首頁 展示資訊 展品查詢

以影像與深度學習為基礎之導盲機器人研製

回上一頁

以影像與深度學習為基礎之導盲機器人研製

本主題建置深度學習導盲輪型機器人,整體建構規劃區分:(1)機器人本體設計、(2)使用Pyramid Scene Parsing Network(PSPNet)建立平面偵測演算法、(3)使用You Only Look Once(Yolo)建立障礙物偵測系統以及(4)使用Convolutional Neural Networks(CNN)演算法於室內地圖建置與定位,分述如下:
(1) 本主題的機器人因考量到使用者為視障者,其行走的平穩性為首要目標,因此以輪型機器人為導盲機器人之架構,且具下列環境資訊感測功能:超音波、深度攝影機、立體視覺攝影機,因機器人持續蒐集週遭龐大環境資訊,導盲機器人搭配高運算設備以達到即時處理生活中各種意外狀況皆發生於彈指之間,故機器人能否做到即時反應極為重要;在導盲機器人藉由ROS(Robot Operating System)所整合的硬體驅動以及相關API協助開發整體功能;程式語言採用Python,因其具備眾多library、開發速度快及易於維護,其中又以NVIDIA專為Deep Learning推出之cuDNN為主,利用cuDNN將每層神經網路輸出進行配置及分配儲存空間,讓運算更為快速,可做為嵌入式電腦視覺、深度學習、繪圖與 GPU 加速運算等功能的應用。
(2) 本機器人具有超音波、深度相機…等環境資訊感測工具幫助避障,不過這些感測工具無法辨識機器人是否會面臨樓梯或是坑洞…等高低差的平面,為避免機器人墜入高地差的地形,使用MIT ADE20K數據集訓練Pyramid Scene Parsing Network(PSPNet)模型建立平面偵測演算法,將影像中平面區域抽取特徵,並以平面邊緣(Canny)做閥值描邊建立出可行走路面。
(3) 使用Microsoft COCO數據集訓練YOLOv3物件偵測網路,將機器人拍攝的影像進行障礙物偵測,並以語音方式告知視障者障礙物資訊,如:障礙物方向以及距離,讓視障者擁有更多環境資訊以做相對應的避障。
(4) 因應於室內空間大小以及種類,先主要以收集校園場景為主,以視障者辨識角度建立室內場景種類35類並建置2萬張影像,並將影像作前處理,以利於往後室內場景辨識,並建立Convolutional Neural Networks(CNN)神經網路架構結合深度攝影機進行室內地圖建置和室內定位功能。

聯絡人

  • 姓名:羅晏如

  • 電話:24622192#2299、2298

  • 地址:基隆市北寧路二號

Email

其他資訊

  • 展館別:創新領航館

  • 所屬代表參展單位:國科會

  • 主要應用領域:資訊與通訊

位置 更多資訊

相關網站連結

  • 技術成熟度:實驗室階段

  • 展示目的:可交易技術、可交易專利

  • 流通方式:技術授權/合作

詢問

*服務單位

*姓名

*Email

*洽商內容/需求

需求說明

洽商單

*服務單位

*姓名

*Email

*洽商內容/需求

需求說明

敬請期待!

TOP

會員登入

帳號

密碼

忘記密碼