本技術主軸為結合深度學習與數位孿生輔助工地鋼筋之查驗與維護，接軌設計與施工，達到鋼筋全檢核、議題追蹤與虛擬實境(VR)/擴增實境(AR)查驗核實與維護。並為工地實務的兩大痛點提出解決方案，一為工程查驗品管複查的議題追蹤，現行查驗以拍照留存方式難紀錄單一構件的實際空間位置，於大尺度之工地更難落實，往往影響施工品質。另一為設計與施工的資訊不同步或斷鏈，造成現場施工問題，進而導致工期延遲或獲利損失。
本技術以工地現場鋼筋組立影像收集與數位孿生建立、人機協作之半監督式深度學習、鋼筋查驗模組開發為核心，透過建築資訊模型(BIM)與含特徵點雲的4D數位孿生進行自動匹配與比對，打造工地鋼筋查驗新法克服工地實務的兩大痛點。以下就本技術之科學突破性與產業應用性作一說明。
科學上的突破性，主要為下列四點，第一為打造領先國際的現地鋼筋組立影像暨空間資訊的深度學習資料集，資料收集範圍現以大型公共工程為主，涵蓋捷運軌道梁、捷運車站、滯洪池工程、鐵路架構橋等。其資料集內容由RGB-D影像、三維座標及高品質之人工標註所組成。此結合影像、3D資訊與高品質標註的資料集對鋼筋查驗任務的AI技術開發具高應用價值。第二為深度學習RGB-D的鋼筋影像識別，透過特徵識別與深度資訊，成功識別複雜的鋼筋框架查驗特徵，本團隊根據標註資料集，完成鋼筋特徵辨識與實例分割的深度學習模型，在預鑄梁的測試集中達到31.0％的平均精度(AP)與0.166公分的絕對誤差。將人工智慧核心帶入複雜的真實工地場域，搭配無人飛行載具則可輔助高風險場域的鋼筋查驗作業，提升工地安全。。第三為結合數位孿生與前述的深度學習特徵辨識模型，以電腦視覺技術SfM與MVS將二維影像與特徵重構為小尺度且高精度之三維點雲模型，實現鋼筋組立之點雲特徵識別。第四為基於設計的鋼筋施工品質查驗技術，透過BIM與前述的點雲特徵識別結果完成自動比對。
於產業應用上，本技術可開發結合深度學習與4D數位孿生的平台，以具特徵點雲的數位孿生與設計進行自動比對，安全迅速且全面地完成鋼筋查驗，輔以VR/AR技術可用於建物維護管理。應用橫跨設計、施工、維護的建物生命周期，以提升查驗品質、增進工地安全、接軌設計與施工帶來的真實利基驅動營建產業數位轉型，因應後疫情時代的挑戰。此外，此一技術應用模式具有高外溢性，可拓展於如航空、半導體等智慧製造產業，引領產業數位轉型之潮流。

線上展網址：
https://tievirtual.twtm.com.tw/iframe/e40a4362-f76b-4db6-9505-59347d275140?group=23bfb1fa-dd5b-4836-81a1-4a1809b1bae5&lang=tw