面對少量多樣製造趨勢及技術人力經驗傳承挑戰，如何將現場人員操作經驗轉化為可分析、可傳承的數位資產，成為製造業智慧化重要課題。國內金屬加工、精密組裝等產業，部分工序仍高度仰賴人員經驗，例如沾漿作業的旋轉圈數、吹氣均勻度，或檢具檢查的操作順序，都可能影響後續品質。傳統管理多仰賴人工觀察，不易精確回溯問題發生的時間與動作。
在經濟部產業技術司科技專案支持下，資策會數位轉型研究院（數轉院）團隊研發「多視角高精度人員作業雙生最佳化技術」，以多視角無標記（Markerless）3D姿態複製技術，透過多台RGB攝影機同步捕捉肢體與手部軌跡，不需在人員身上配置動作捕捉標記，即可建立可回放、比對與分析的「數位分身」，將人員實際操作轉化為數位雙生資料，即時比對標準作業程序（SOP），找出步驟遺漏、錯序、延遲或動作偏差。
同時，亦可將資深作業人員的標準動作、操作順序與關鍵姿態特徵轉化為可記錄、比較與分析的數位資料，協助製造現場從憑經驗改善走向以數據驅動改善。本技術將於29日至30日「2026 ITRI ICT TechDay」展出。
資策會前期科專研發成果，今年亦以「IntelliGlass™－Multimodal Human-Centered Optimization Platform for Smart Glasses Interaction」獲得R&D 100 Awards肯定。
該技術讓AI從人的第一人稱視角理解實體世界，結合影像、聲音、眼動、手勢及場域資訊進行空間理解與推理。
此人本多模態感知與Spatial AI技術能量，也持續延伸至數位雙生研發，進一步結合物件、人員動作與多視角感知，逐步建立「人－物－環境－作業狀態」的雙生架構，深化製造現場的人員作業感知與分析能力。
AI看懂每個動作 讓製造經驗成為可分析數據
這套技術能對應人體姿態關節，辨識59~133個關節點的全身姿態模型，以33ms低延遲進行人員動作雙生。
透過多視角資訊互補，可降低單一視角因人體或現場物件遮擋造成的辨識影響，再結合AI進行動作時序切分與差異分析，協助判斷人員「做到哪一步、動作是否符合標準」。
例如在金屬加工沾漿作業中，可辨識脫漿旋轉圈數不足，以及吹氣位置、時間或操作軌跡不一致等作業偏差；在檢具檢查中則可找出步驟遺漏、順序錯誤或動作不一致。
系統並可標記異常片段及發生時間，呈現作業差異與效率趨勢，提供管理者比較標準SOP、熟手與新手作業差異的量化依據，將過去難以量化的現場經驗轉化為具體數據。
從應用面來看，這項技術可延伸至金屬加工、精密組裝、半導體檢測等高度仰賴人工操作的場域，目前資策會正與國內金屬加工業者合作進行技術落地驗證，透過可追溯的作業資料，提高SOP一致性與品質穩定度，並作為教育訓練、人機協作及製程最佳化的基礎。
展覽現場中，資策會將以人員即時作業情境，呈現從影像擷取、AI辨識、SOP偏差比對到改善建議的完整流程，讓參觀者直觀看見實體作業如何同步映射至數位環境，以及AI如何辨識異常、留下追溯紀錄。
此技術也可望成為企業累積作業知識的重要工具，降低經驗傳承門檻，進一步支援製程改善與智慧決策。
資策會表示，未來將持續推動AI感知、數位雙生與人機協作技術落地，延續前期人本多模態感知與Spatial AI研發能量，讓資深人員長年累積的操作經驗，逐步轉化為可分析、可複製、可持續優化的數位知識，協助企業強化生產韌性與智慧製造能力；並持續從產業實際需求出發，以科技研發解決現場問題，讓創新成果走出實驗室、走進產業，落實科技研發的價值。
房地產推薦新聞
- 台股都要衝5萬點誰還買房？專家點「200萬槓桿效應」：0056配再多也輸這點
- 比大安區還舒服？網揭北市一地段黃金機能樞紐 鄉民嘆：醫師都買不起
- 央行棄守打房立場！阿宅直言「金流將股轉房」：明年起房價重新大漲