TAIMTAQ : 高效能Transformer邊緣運算加速器晶片

人類社會在二十一世紀邁入了第四次工業革命的嶄新時代,而人工智慧也再一次的擺脫寒冬期而高速發展。在科技業與學術界的緊密合作下,人工智慧2021年就為全球創造了近700億美金的產值,透過自駕車、語言生成等技術革新了我們對科技的想像與期待,成為未來社會不可或缺的支柱。自從GoogleTransformer架構於問世後,許多研究團隊很快地發掘Transformer出乎意料的高度泛用性,於是Transformer在自然語言處理、電腦視覺等領域皆取得突破性的進展,包括現在叱吒風雲的ChatGPT 及GPT系列語言模型、Stable Diffusion圖像生成模型、以及ViT等影像辨識模型都是以Transformer為骨幹。但是在這些成就背後都需要有龐大的資本投入來支持,特別是在語言模型領域,為了提升功能性而不斷的擴充模型體積。各大研究機構,諸如OpenAI、Google、Meta皆已經為兆級規模的語言模型積極備戰,大型語言模型的爭霸已經是勢在必行。當前研究和產業應用最大的難題,便是建立擁有足夠運算能力的大型雲端中心。先進的GPU十分昂貴,比如Nvidia的企業級A100運算卡要價萬餘美金,為了部屬千級甚至是萬級以上的節點數,每個伺服器中心動輒造價近1億美金,營運是更需要無時無刻消耗掉可觀的電量。面對這樣的前景,如果不從運算硬體著手,又如何能使人工智慧的豐碩成果普及到普羅大眾的生活中?有感於此,本團隊歷經多年對Transformer架構的深入研究,結合我們在硬體設計方面的專業,研發了更加細緻的矩陣運算法和許多特化的運算元件,量身打造了通用型的TAIMTAQ加速器架構。我們的特化晶片和GPU相比更加精簡,用更少的製造成本、更小的體積,就可提供足以匹敵的運算力。硬體加速器長期以來都是非常被重視的研究領域。韓國的首爾大學在2020年提出A3加速器架構,而美國的麻省理工大學也在2021提出SpAtten架構。在不懈的研究與改進後,我們 的TAIMTAQ架構在運算量、晶片面積、能效等重要指標上,都超越了這兩個國際級的基準。TAIMTAQ架構上可以運行語言生成模型、物件追蹤模型、影像分割模型,只要是屬於Transformer架構的模型,我們的晶片都可以支援。像TAIMTAQ這樣精悍而實惠的邊緣端AI加速器晶片,即是實現自有化AI的重要環節。