自動駕駛技術為當今熱門議題。實現自動駕駛的方法多種多樣,近來有許多運用
深度強化式學習(Deep Reinforcement Learning; DRL)來進行車輛控制的方法,
獲致優異成果。DRL近年來在棋類及電腦遊戲上有許多突破性的發展,在沒有人
為知識的幫助下,能達到或超越人類玩家的水準,例如AlphaZero、Muzero。
結合DRL與電腦視覺,以純視覺影像為輸入的神經網路可如同人類一般,透過直
接觀測車載前置相機的影像進行車輛控制,此即所謂的端對端 (end-to-end) 控
制。這樣的端對端方式,具備簡潔的架構以及未來對不同環境與路況通用性的潛
力,富有研究價值。
本團隊首先發展一套基於影像的虛實轉移技術(sim-to-real transfer),有效縮減
強化學習模型由虛擬環境轉移至真實環境之效能損失,提升純視覺影像神經網路
模型在真實環境中的表現。我們採用生成對抗模型架構CycleGAN,將模擬器中
之影像從虛擬風格轉換為真實世界風格,並以轉換過後的影相進行訓練。此方法
有效縮減純視覺模型的虛實差異(sim-to-real gap),大幅提升自駕賽車於實體賽
道中的適應性。
為了提高自駕車的駕駛穩定度,本團隊更進一步研究確認了在實體車控制平滑性
方面的重要性,並提出新的平滑化技術。在過去,許多傳統的DRL方法著重於最
大化累積回報,導致車輛控制動作的不穩定性。因此,我們透過損失函數限制神
經網路做出劇烈變化之動作,提高時序相鄰動作之連續性,實現DRL模型輸出動
作的平滑化 (action smoothness),並大幅提高自駕車的控制穩定度;我們的研
究也觀察到動作平滑化,同時也會增快賽車的速度。
克服以上挑戰,本團隊研究出有效且穩定的強化學習策略,能夠有效地提高實體
車的完圈率並降低完圈時間。此新技術除了發表於 ICRA 2022 以及 IJCAI 2022
頂尖會議的Workshop,並於2022年底,由Amazon公司主辦的AWS DeepRac
er全球自動駕駛賽車聯盟競賽(總參賽達15萬人次),獲得包辦全球前三名的殊
榮,並獲得總獎金USD$18,000(約NT$550,000)。