技術簡介:
本團隊研發出專為Transformer架構與LLM推論優化的高效加速器MMA。我們的晶片具備低功耗、高效能等優勢，是目前唯一可全端運行大語言模型於邊緣裝置的方案。相較於喬治亞理工的MicroScopiQ、首爾大學的Tender及高麗大學的OPAL架構，我們率先實現LLM on Edge的完整落地。
產業應用性:
大型語言模型已廣泛應用於日常與專業領域，我們設計的晶片可應用於企業伺服器或行動裝置，提供即時推理服務，同時降低能源消耗並保障資料隱私。未來人人可在手機上離線運行LLM，實現隨時隨地安全互動的AI體驗。