在部分遮蔽下動態紋理模型身份識別

想解決什麼問題

疫情期間大家都戴口罩，加上瀏海遮住額頭，人臉辨識常常失效，得拿下口罩，既麻煩又增加感染風險。

怎麼做

1. 從 MediaPipe Face Mesh 的 468 個點中，挑出 52 個不會被口罩遮住、眨眼時變化大的點，各取 15×15 的小圖
2. 用眼睛縱橫比（EAR）偵測眨眼，擷取眨眼前後各 1 秒、共 50 幀的「動態紋理」
3. 以 LBP、HOG 描述紋理，再用 RNN、雙向 LSTM 學習時間變化，並與只看單張照片的 CNN 比較
4. 置信度超過 90% 才算本人，否則視為陌生人

做出了什麼

• 改變光照強度、角度、色溫並翻轉畫面的 90 筆測試：動態 LBP-RNN 準確率 95.6%，靜態 CNN 只有 72.6%
• 加入理想條件共 180 筆：97.8% 對 86.3%
• 60 筆陌生人測試：LBP-RNN 全部擋下（特異度 1.00、F1 0.94），靜態 CNN 只擋下 60%

成果圖