← 全部專題大學專題 · CVGIP 2025
AI 生圖最怕畫手：自動找出六根手指的握手並修好
結合 YOLO 與 Stable Diffusion 之多階段握手圖片修復系統
Hand Defect Detection and Repair in Handshake Images Using YOLO, MediaPipe, and Stable Diffusion
步芷澐、朱葳榛、宋安庭
- 99.2%手勢分類準確率
- 94.7%異常手判斷準確率
想解決什麼問題
生成式 AI 畫的手常常多一根、少一根或扭曲變形，兩人握手的畫面最容易出錯。現有修復方法多半要人工圈選範圍，大量圖片根本修不完。
怎麼做
- YOLOv8 分類器先挑出「握手」的圖片
- MediaPipe 找出手部 21 個關鍵點，裁出 512×512 的手部區域；偵測失敗就自動調亮度、銳化，最多重試 5 次
- 第二個 YOLOv8 分類器判斷這隻手正常還是異常
- 異常的手交給 Stable Diffusion＋ControlNet，依手部骨架重畫，再精準貼回原圖
做出了什麼
- 621 張圖中 593 張成功找到手（95.5%），全部貼回原圖、沒有錯位
- 全自動流程每張約 7–10 秒，可以批次處理
- 測試 10 組提示詞，第 5 組能同時修好扭曲、少指、多指三種缺陷
成果圖
內容與圖片皆取自該組的成果報告或論文。
← 全部專題