跳到主要內容
shih@ncu.edu.tw
← 全部專題大學專題

兩台攝影機變成一雙眼睛:重建 3D 場景、追蹤飛行的球

立體視覺成像之研究及其應用於物體追蹤及3D建模

A Study on Stereo Vision Imaging and Its Applications for Object Tracking and 3D Modeling

向禮勤、翁媺昕

109 學年第 2 學期電機(甲)

拍攝的場景
拍攝的場景
  • 2台一般攝影機
  • 3D點雲重建+球軌跡

想解決什麼問題

人類靠兩眼視差感受深度。本專題用兩台一般攝影機模仿雙眼,算出深度、重建立體場景,並追蹤空中飛行的球。

怎麼做

  1. 棋盤格單目與雙目標定(OpenCV 有時抓不到格點,改用 Matlab 標定工具箱)
  2. 立體校正後產生視差圖,調整參數並濾波補洞,再轉成深度圖與 3D 點雲(加門檻濾掉誤差過大的點)
  3. YOLOv5 偵測球,再結合點雲得到球在每一幀的 3D 位置,連成軌跡

做出了什麼

  • 成功重建背包、植物、雜物堆等場景的 3D 點雲
  • 畫出拋球的 3D 飛行軌跡
  • 發現適度加大兩台攝影機的距離與夾角能減少深度誤差;目前計算還不夠快,未來搭配硬體加速可望即時追蹤

成果圖

同一場景的 3D 點雲重建
同一場景的 3D 點雲重建
拋球的 3D 軌跡
拋球的 3D 軌跡

內容與圖片皆取自該組的成果報告或論文。

← 全部專題