低功耗智慧視覺影像感測晶片
動態視覺感測器使用連續幀差異運算來偵測動態物體與預測移動物體軌跡，但傳統幀差異運算需要儲存兩張完整且經數位化之影像，再以數位方式相減以獲得動態物體影像，造成速度、能耗與記憶體的瓶頸。我們實現具像素內類比式幀差異運算之影像感測器。提供了低功耗低延遲終端應用的動態視覺解決方案。我們的技術展示了一個0.8伏操作電壓之全局快門多模式影像感測器。他實現了8位元的影像擷取與8位元的幀差影像還有2位元的事件偵測和6位元的顯著性偵測。我們實現了世界第一個多模式影像感測器，可以達到71.2uW 360fps的影像擷取以及74.4uW 510fps的移動物件偵測與121.6uW 890fps用於物體追蹤之區域顯著偵測。此偵測器可應用於高速且低功耗的物體追蹤以及移動物體偵測之終端系統。動態視覺感測器有低功耗以及偵測、追蹤移動中物體之特性，可應用於安全監控上，如果搭配立體視覺運算有機會達到高速移動物體之距離偵測，可以做無人機避障或自駕車避障等功能，具有十分可觀的產業價值。

本作品提出一個軟硬體協同設計的方法來設計基於記憶體內運算元件的人工智慧加速晶片以及基於記憶體內運算元件所研發的稀疏化(Sparsity)演算法。稀疏化演算法會根據記憶體內運算的結構將不重要的網路權重給剔除(Pruning)。人工智慧加速器則使用了多顆(Mulit-macro)的靜態記憶體內運算(SRAM CIM)元件當作處理單元並可以支援稀疏化網路。分別在Cifar10和Cifar100兩個資料集下，以8位元權重和4位元輸入，使用ResNet18網路架構分別可達到278.10和220.05 GOPS。在65奈米製程下，能源效率可達到51.50 TOPs/W。
以下為本作品電路特色：
1. 提出一具備高效率且低功耗之硬體加速器架構，並依據此提出之架構設計下線一顆晶片。本架構採用記憶體內運算巨集設計專屬的資料流，以打破馮．諾伊曼瓶頸減低資料搬運時的功耗與延遲。

2. 設計一與記憶體內運算巨集整合之稀疏化感知運算機制，提供加速器在運算過程中跳過零權重值的部分，以節省推論時間和總能源消耗。因零權重並不參與計算過程，故不將其輸入記憶體內儲存，使其可容納遠超晶片上記憶體容量之神經網路模型。

3. 考慮靜態記憶體內運算(SRAM CIM)的平行運算特性，和每次運算輸入及輸出的數量，提出了基於靜態記憶體內運算的剪枝結構。透過稀疏化演算法在神經網路訓練的過程中，針對所設計的剪枝結構進行稀疏化，使訓練後的神經網路產生大量為零的權重，大幅減少記憶體的存取需求。

昆蟲如蜜蜂及果蠅的低功耗以及閃避障礙物的能力是電腦視覺所效法的目標之一。從果蠅受到啟發，我們利用光流法將所見景物的幾何特徵擷取出來，加上慣性測量單元所得到的資訊推算出機器人的自體運動，最終可得到深度估計進行障礙物偵測，並(在未來結合雙眼視覺進行動態物件辨認)。

我們正在研發AI無人機之飛控晶片及韌體。不同於市售方案，我們能擴充晶片及韌體來結合我們所開發的，例如記憶體內運算、感測器內運算等先進AI技術。
此研究榮獲2021年Synopsys ARC盃AIoT設計應用競賽冠軍

線上展網址：
https://tievirtual.twtm.com.tw/iframe/b8eb630e-6638-4f19-8974-287ba02f0721?group=23bfb1fa-dd5b-4836-81a1-4a1809b1bae5&lang=tw