多模態智慧居家照護：輕量視覺語言模型驅動的即時事件感知與異常應變
技術介紹:
"以輕量化視覺語言模型為核心，針對居家環境中的連續影像與多模態資訊進行即時理解，掌握使用者日常活動、環境變化與潛在異常事件，並在兼顧運算效率與隱私需求下，支援長時間、持續性的智慧照護應用。1. 輕量高效的多模態模型：透過模型輕量化與高效率推論技術，降低運算與硬體需求，使多模態 AI 能部署於居家、邊緣裝置或有限運算資源的環境。
2. 串流視覺事件的持續理解：不侷限於單張影像辨識，而是持續分析串流影像與前後情境，理解日常活動與事件變化，例如活動狀態、生活作息及異常行為。
3. 異常事件感知與即時應變：結合視覺、語言及其他居家感測資訊，判讀跌倒、長時間無活動、異常移動等潛在風險，並提供事件摘要、告警及後續應變所需資訊。"
產業應用性:
"本技術可應用於智慧居家、長期照護、銀髮照護、醫療照護及安全監控等場域。透過輕量化多模態模型，可降低長時間影音監控所需的運算成本，並將原始感測資料轉化為具有語意的生活事件與異常資訊，協助照護者快速掌握狀況。未來亦可延伸至照護機構、智慧醫院、遠距照護、公共安全及其他需要長時間事件監測的產業場景，作為即時環境理解、異常預警與智慧決策支援的基礎技術。"
中央研究院、國立臺南大學、國立陽明交通大學、中原大學、國家實驗研究院
MASU（Multimodal AI SUite）計畫聚焦於輕量化、高效率多模態大型語言模型的研發，目標是在有限運算資源下，使人工智慧能持續理解影像、語言及其他感測資訊，進一步支援即時、長時間且可實際部署的多模態智慧應用。計畫將特別發展適用於串流視覺事件理解（streaming visual event understanding）的小型視覺語言模型（Vision-Language Models, VLMs），強化模型對連續事件、時間脈絡及異常狀況的掌握能力，同時兼顧推論效率、部署成本與隱私需求。
MASU 的應用範圍涵蓋智慧居家照護、長期照護、智慧醫療、環境與安全監測等場域。例如在居家照護情境中，系統可整合連續影像與多種居家感測資訊，理解日常活動與生活狀態，並辨識跌倒、長時間無活動或其他異常事件，提供即時告警、事件摘要及後續應變所需資訊。
MASU 核心團隊匯集國內多個人工智慧與資訊科技研究團隊，成員來自中央研究院資訊科學研究所（IIS）、中央研究院資訊科技創新研究中心（CITI）、國立陽明交通大學、中原大學及國立臺南大學。團隊整合大型語言模型、多模態學習、電腦視覺、自然語言處理與高效率人工智慧等專長，共同推動具備高效率、可部署性與實際產業應用價值的新一代多模態 AI 技術。
MASU 的應用範圍涵蓋智慧居家照護、長期照護、智慧醫療、環境與安全監測等場域。例如在居家照護情境中，系統可整合連續影像與多種居家感測資訊，理解日常活動與生活狀態，並辨識跌倒、長時間無活動或其他異常事件，提供即時告警、事件摘要及後續應變所需資訊。
MASU 核心團隊匯集國內多個人工智慧與資訊科技研究團隊，成員來自中央研究院資訊科學研究所（IIS）、中央研究院資訊科技創新研究中心（CITI）、國立陽明交通大學、中原大學及國立臺南大學。團隊整合大型語言模型、多模態學習、電腦視覺、自然語言處理與高效率人工智慧等專長，共同推動具備高效率、可部署性與實際產業應用價值的新一代多模態 AI 技術。
