本團隊提出之非接觸式AI病理互動平台以整合Microsoft Hololens 2 擴增實境眼鏡與超音波觸覺回饋之操作介面為基礎，透過虛實疊合及影像串流可視化虛擬控制元件與浮空病理切片畫面，並配合模組化超音波觸覺回饋系統提供互動反饋，使配戴者能直觀操作互動平台並降低認知誤差影響，同時搭配巨量資料處理病理顯示技術及病理切片AI輔助判讀之數位病理平台，提供醫師前瞻且直覺的病理操作體驗。

圖1、病理平台簡介

本實驗室以Leap Motion相機辨識手勢和骨架點與Unity設計互動平台之虛擬控制元件構建MR互動技術 [2], [3]。Leap Motion以手部關節辨識模型擷取骨架特徵點，再經由3D關節點世界座標轉換與卡爾曼濾波器處理，於MR虛擬環境重建配戴者之手掌與平台控制元件互動。其中配戴者操作之控制元件以人因設計理念建立直觀易操作之不同功能性元件，包含按鈕、旋鈕、指標及滑桿常見之操控方式。旋鈕功能為縮放畫面，以大拇指、食指、中指三指中心點計算旋轉角度，每旋轉8度聚焦強度減弱模擬編碼器給予刻度感。滑桿功能為切換頁面，靠近兩側終端，產生漸強式回饋感。