●技術簡介：
我們發展一套基於影像的虛實轉移技術(sim-to-real transfer)，先訓練老師模型(teacher model)來學習最佳路徑，再藉由老師模型與隨機化(randomization)來訓練學生模型(student model)，使學生模型適應虛實環境差異，提升在真實環境的行駛速度及穩定性。

●技術之科學突破性：
將深度強化式學習用於真實世界時，可能會遇到虛實環境差異的問題。雖然現今已有不少虛實轉移的相關技術可用來解決此問題，然而部分方法需要額外蒐集大量真實環境中的資料來輔助訓練，時間與金錢成本較昂貴；此外，有些領域隨機化的技術雖然可以幫助神經網路模型適應環境差異，提升在真實環境中行駛的穩定度，卻可能帶來降低行駛速度的副作用，而兼顧行駛速度與穩定度正是自駕模型賽車研究的關鍵之一。

我們發展一套基於影像的虛實轉移技術(sim-to-real transfer)加上DRL學習方式，能提升神經網路模型在真實環境中的表現。本技術以PPO作為核心演算法，提出teacher model與student model的架構並應用在自駕模型賽車上，為首次運用此概念來解決虛實環境差異的團隊，我們的突破點是在避免犧牲行駛速度的情況下，提升自駕模型賽車在真實環境中行駛的穩定度，達到兼顧速度與穩定度的效果，並且不需要利用真實環境中的資料來進行訓練，能夠有效減少轉移模型到真實世界應用的成本。另外，許多知名的自駕模型賽車比賽如MIT RACECAR、F1TENTH等，使用光達作為主要感測器，而本技術使用基於影像的控制，以相機作為感測器，成本相較低廉許多，且不被受限於有牆壁的賽道。我們將此成果發表於國際頂尖會議IROS 2020的Workshop，也在AWS DeepRacer自駕模型賽車競賽中多次取得亮眼成績，更打破官方最快完圈時間的紀錄，此外，我們獲獎學生如朱詠嘉、郭奎廷，也受到AWS DeepRacer官⽅邀請於北京青少年無⼈⾞俱樂部演講，分享經驗(由於疫情改線上)；另外他們也獲邀到逢甲⼤學、新加坡星展銀⾏等單位進行演講。

●技術之產業應用性：
此虛實轉移技術不只能用於自駕模型賽車，也可以應用於其他基於影像的深度強化式學習模型，幫助解決虛實環境差異的問題，提高深度強化式學習於解決真實問題的可行性。
- 目前本團隊與雷虎科技合作，研究如何使用自駕技術以提升模型賽車比賽的精彩度。例如應用自駕技術於IFMAR(國際模型賽車聯合會主辦的世界無線電遙控汽車錦標賽)上，藉由人類與機器的競賽，增進觀賞性。
- 用於固定環境的機器人巡邏程式，如工廠內的無人搬運車(Automated Guided Vehicle; AGV)，可以使用一般相機取代價格昂貴的光達(LiDAR)或是舖設導引線的繁瑣，達到低成本、快速部署、高效率的目的。
- 利用虛實轉移(Sim-to-Real)技術加速深度強化式學習的開發時間，減少從模擬器測試轉移到現實應用，或是收集現實資料的時間及機器損耗成本。此外，還能夠提升深度強化式學習的可靠性及穩健性，使其在有著眾多雜訊及干擾的現實世界中，依然能夠保有出色的性能，而非模擬器中紙上談兵的成果。
- 利用自駕技術於高風險環境(如崎嶇路面等)之救災探勘，減少人類的手動控制的失誤機率還有訓練成本，使用較少的技術人員操作機器，能夠更有效地分配人員，在避免救難人員的傷亡及安全風險的同時，提高搜救的效率及範圍。

●得獎紀錄：
- 2020 AWS DeepRacer 世界總決賽 第1, 3名
- 2020 AWS DeepRacer 8次線上虛擬賽 第1名 (在此僅列第1名)
- 2019 AWS DeepRacer 世界總決賽 第3名
- 2019 AWS DeepRacer 十月線上虛擬賽 打破當時最快完圈紀錄
- 2019 AWS DeepRacer 台北高峰會 第1, 3名

線上展網址：
https://tievirtual.twtm.com.tw/iframe/c38029ee-8c48-4c04-bf25-7af96736b37b?group=23bfb1fa-dd5b-4836-81a1-4a1809b1bae5&lang=tw