本主題建置深度學習導盲輪型機器人,整體建構規劃區分:(1)機器人本體設計、(2)使用Pyramid Scene Parsing Network(PSPNet)建立平面偵測演算法、(3)使用You Only Look Once(Yolo)建立障礙物偵測系統以及(4)使用Convolutional Neural Networks(CNN)演算法於室內地圖建置與定位,分述如下:
(1) 本主題的機器人因考量到使用者為視障者,其行走的平穩性為首要目標,因此以輪型機器人為導盲機器人之架構,且具下列環境資訊感測功能:超音波、深度攝影機、立體視覺攝影機,因機器人持續蒐集週遭龐大環境資訊,導盲機器人搭配高運算設備以達到即時處理生活中各種意外狀況皆發生於彈指之間,故機器人能否做到即時反應極為重要;在導盲機器人藉由ROS(Robot Operating System)所整合的硬體驅動以及相關API協助開發整體功能;程式語言採用Python,因其具備眾多library、開發速度快及易於維護,其中又以NVIDIA專為Deep Learning推出之cuDNN為主,利用cuDNN將每層神經網路輸出進行配置及分配儲存空間,讓運算更為快速,可做為嵌入式電腦視覺、深度學習、繪圖與 GPU 加速運算等功能的應用。
(2) 本機器人具有超音波、深度相機…等環境資訊感測工具幫助避障,不過這些感測工具無法辨識機器人是否會面臨樓梯或是坑洞…等高低差的平面,為避免機器人墜入高地差的地形,使用MIT ADE20K數據集訓練Pyramid Scene Parsing Network(PSPNet)模型建立平面偵測演算法,將影像中平面區域抽取特徵,並以平面邊緣(Canny)做閥值描邊建立出可行走路面。
(3) 使用Microsoft COCO數據集訓練YOLOv3物件偵測網路,將機器人拍攝的影像進行障礙物偵測,並以語音方式告知視障者障礙物資訊,如:障礙物方向以及距離,讓視障者擁有更多環境資訊以做相對應的避障。
(4) 因應於室內空間大小以及種類,先主要以收集校園場景為主,以視障者辨識角度建立室內場景種類35類並建置2萬張影像,並將影像作前處理,以利於往後室內場景辨識,並建立Convolutional Neural Networks(CNN)神經網路架構結合深度攝影機進行室內地圖建置和室內定位功能。
本校自1953年創校以來,在歷任校長的卓越領導與全體師生的積極努力下,從校地面積僅300坪的臺灣省立海事專科學校、臺灣省立海洋學院、國立臺灣海洋學院,逐步發展為現今校園面積達60公頃的國立臺灣海洋大學,成為一所以「海洋為主體,但不以海洋為限」、「卓越教學」與「特色研究」兼具的國際頂尖一流大學。 本校目前設有「海大校區」、「馬祖校區」及「桃園觀音校區」三個校區。全校計有七個學院,包括22個學系、12個獨立研究所、28個碩士班、20個博士班、13個碩士在職專班,4個進修學士班。本校學生人數將近9,000人,另有來自其他各個國家的境外生與國際生約500人,已成為全球最具完整特色之國際化的頂尖海洋高等學府。 海大主校區濱臨基隆港,校園倚山傍海,與和平島、正濱漁港、碧砂漁港及海洋科技博物館等相毗鄰,並有獨特的龍崗生態園區,可遠眺一望無際的太平洋美麗海景,是一所景色秀麗的港都城市大學。馬祖校區成立於2017年9月,共有3個學系,除教學與實驗研究外,校區特色重點課程與馬祖產業發展方向緊密結合,同時成立「馬祖海洋研究中心」,規劃有關產學合作、生技加值、交通建設、航運、水域活動及觀光休閒等多面向發展,希望培養海洋產業跨領域高階人才。2018年11月,桃園觀音校區設立「海洋創新育成基地」,建置海域環境觀測平台與海洋科學園區,協助桃園市政府建設桃園為兼具陸海空大型國際都會城市。
技術成熟度:實驗室階段
展示目的:可交易技術、可交易專利
流通方式:技術授權/合作
*服務單位
*姓名
*電話
*您參觀這項展品的主要目的?
*您是否希望進一步洽談
*您的職務類別
*展覽整體評價
*最喜歡的展區
*期待展覽著重的技術領域
*是否願意收到電子報/最新資訊
其他建議
敬請期待!