基于3D的運動目標跟蹤方法是通過使用攝像機和場景的幾何學知識,將一個有精確幾何形狀的三維模型投影成圖像,根據圖像中的位置變化來進行跟蹤。最早的基于3D的跟蹤方法是Gennery在1982年提出的。Jung運用3D的方法對圓柱體旋轉運動進行了跟蹤。Nickels運用了3D方法跟蹤機器人機械手的運動情況。VISATRAM系統中為了簡化3D估計,用長方體的車輛模型來跟蹤車輛,獲取了運動車輛的速度和尺寸大小。在XTPACK系統中,跟蹤序列圖像中運動車輛始于用光流場法分割序列圖像中的起始幀目標圖像。這些起始幀圖像的平面投影依賴一個最初估計的一個參照點,獲取目標的方位和速度。初始的角速度假定為0,用合適的多維車輛模型來跟蹤目標。基于3D的跟蹤方法被應用于估計運動目標的運動,從2D圖像中推斷出運動目標的3D形狀。
      基于3D的跟蹤方法其顯著的優點是即使在復雜駕駛操作、明顯交通阻塞的情況下利用模型知識的結果會魯棒地得到跟蹤結果,最大的缺點是由于計算的工作量大,實時性差。