本實驗室提出整合浮空投影、超音波觸覺回饋、手勢辨識及行車資訊之車載互動介面，駕駛可藉由手勢與虛擬元件跟浮空介面進行互動，由於系統整合超音波觸覺回饋裝置，因此駕駛會在操作同時體驗到細緻的觸感回饋，讓使用者無需注視畫面亦能準確地控制車載系統，以提升行車安全性。

圖1、車載系統簡介

系統可分成浮空投影介面及超音波觸覺回饋系統。浮空投影採用雙面正交反射器技術，將顯示器畫面經由特殊光學結構成像於半空中，以呈現無介質之浮空操作介面，同時導入Leap Motion進行手部辨識，有利於手部直接在三維空間中操作。超音波觸覺回饋則以超音波發射器為基礎，將512個發射器排成陣列以匯聚強大的聲壓，並結合振幅、時空的焦點調變方式以產生人體可感受的觸覺點，同時藉由控制驅動訊號之相位、PWM及調變頻率產生多種樣態的觸感，以建立浮空介面上的物件觸感，提升使用者互動回饋及操作效率。

本系統主要以手指指尖及指腹與浮空介面互動，並且輔以點擊、抓取、旋轉、拖移等手勢進行操作，同時導入座標疊合及權重演算法來增加手勢及指尖定位準確度，並導入卡爾曼線性濾波器以消除座標抖動情況。為了提升車輛行駛其間駕駛操作介面之安全程度，本系統之互動演算法中導入隨機森林演算法進行手部動作辨識，提供多樣的互動手勢操作方式，期望可以降低駕駛視線停留於操作介面的時間，並以觸覺回饋的方式提供駕駛介面上的資訊。隨機森林演算法可以將當前手部骨骼點座標集分類為若干種動作，來判斷使用者以何種手勢進行介面操作，隨機森林具有特徵提取及特徵篩選的能力，可以挑選出最重要的特徵來建立決策樹，並由多棵隨機訓練資料建立之決策樹組成隨機分林，進行多數決的投票來決定最終分類結果，可以有效改善單顆決策樹容易過度擬合的情況。隨機森林具低計算時間複雜度，因此可以達到即時的手勢姿態分類效果，導入本系統互動演算法中，可以提升介面互動操作的多元性與易用性。

車載系統之控制介面，包含主目錄、車體資訊、導航、音樂播放器及空調，介面中搭載各類互動物件，按鈕用來選擇各種功能，滑桿用來調整音樂進度條和空調風量大小，旋鈕用來調整音量大小，二指鍵盤則用來調整空調溫度。