目录
光流
目标跟踪
一、光流
使用OpenCV光流分析,跟踪蚂蚁的轨迹:
代码实现:
import numpy as np
import cv2if __name__ == '__main__':cap = cv2.VideoCapture('ant.mp4')# ShiTomasi 角点检测参数feature_params = dict(maxCorners=100,qualityLevel=0.5,minDistance=30,blockSize=10)# Lucas Kanada 光流检测参数lk_params = dict(winSize=(15, 15),maxLevel=2,criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))# 获取第一帧并发现角点ret, last_current_frame = cap.read()last_gray = cv2.cvtColor(last_current_frame, cv2.COLOR_BGR2GRAY)p0 = cv2.goodFeaturesToTrack(last_gray, mask=None, **feature_params)mask = np.zeros_like(last_current_frame)color = np.random.randint(0, 255, (100, 3))while (1):ret, current_frame = cap.read()if not ret:breakcurrent_gray = cv2.cvtColor(current_frame, cv2.COLOR_BGR2GRAY)# TODO(You): 请在此编写光流跟踪和绘制代码p1, st, err = cv2.calcOpticalFlowPyrLK(last_gray, current_gray, p0, None, **lk_params)good_new = p1[st == 1]good_old = p0[st == 1]for i, (new, old) in enumerate(zip(good_new, good_old)):a, b = new.ravel()c, d = old.ravel()a, b = int(a), int(b)c, d = int(c), int(d)mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)current_frame = cv2.circle(current_frame, (a, b), 5, color[i].tolist(), -1)current_img = cv2.add(current_frame, mask)cv2.imshow('current_img', current_img)k = cv2.waitKey(30) & 0xffif k == 27:breaklast_gray = current_gray.copy()p0 = good_new.reshape(-1, 1, 2)cv2.destroyAllWindows()cap.release()
二、目标跟踪
在视频分析(或视频结构化)应用开发中,多目标跟踪是非常重要的一个环节。它能有效弥补上一个目标检测环节中算法的不足,如检测算法输出坐标不稳定、漏检等。与此同时,跟踪算法输出的目标轨迹(track-id)对于应用下阶段的行为分析环节也有着至关重要的作用。下面是常见视频分析类应用系统结构:
目标检测算法输出单帧检测结果,目标跟踪算法负责将前后2帧中的目标关联起来、给予唯一标识track-id。假设t帧中检测到了M个目标,t+1帧中检测到了N个目标,跟踪算法本质上是M->N的匹配关联过程。
匹配过程中,目标可以分为以下三大类:
matched_tracks
,t帧目标出现,t+1帧该目标仍然出现,算法匹配上。unmatched_tracks
,t帧目标出现,t+1帧该目标消失,算法未匹配上。unmatched_detections
,t帧目标不存在,t+1帧该目标出现,新增检测目标。
其中,对于2和3来说,跟踪算法需要考虑:
t帧目标出现,t+1帧目标其实仍然存在,但是检测算法出现短暂漏检,误认为其消失。此时的解决方案是: 某帧未被匹配到的tracks不要立即清除,而是做若干帧的缓存,等待若干帧后检测算法恢复检测
t帧目标不存在,t+1帧该目标仍然不存在,但是检测算法出现短暂误检,误认为其出现。此时的解决方案是:新增的检测目标不要立即生效,而是做若干帧的缓存,等检测算法连续检测超过若干帧、并且都能匹配关联上后再生效
之所以要考虑以上2点,主要原因是对于连续视频帧而言,大部分检测算法基本无法做到100%连续、稳定检测,出现短暂的误检、漏检非常正常。
代码实现如下:
# 定义跟踪算法类
class Tracker(object):# 初始化参数def __init__(self, max_age=1, min_hits=3, iou_threshold=0.3):self.max_age = max_ageself.min_hits = min_hitsself.iou_threshold = iou_thresholdself.trackers = []self.frame_count = 0# 跟踪函数,每帧检测结果返回后,调用一次updatedef update(self, dets=np.empty((0, 5))):self.frame_count += 1trks = np.zeros((len(self.trackers), 5))to_del = []ret = []for t, trk in enumerate(trks):pos = self.trackers[t].predict()[0]trk[:] = [pos[0], pos[1], pos[2], pos[3], 0]if np.any(np.isnan(pos)):to_del.append(t)trks = np.ma.compress_rows(np.ma.masked_invalid(trks))for t in reversed(to_del):self.trackers.pop(t)# 匹配关联matched, unmatched_dets, unmatched_trks = associate_detections_to_trackers(dets, trks, self.iou_threshold)# 后处理逻辑# TO-DO your code...# 更新matched_tracksfor m in matched:self.trackers[m[1]].update(dets[m[0], :])# 初始化unmatched_detections,假设是当前帧新出现的检测目标for i in unmatched_dets:trk = KalmanBoxTracker(dets[i,:])self.trackers.append(trk)i = len(self.trackers)for trk in reversed(self.trackers):d = trk.get_state()[0]# 输出满足条件的tracksif (trk.time_since_update <= self.max_age) and (trk.hit_streak >= self.min_hits or self.frame_count <= self.min_hits):ret.append(np.concatenate((d,[trk.id+1])).reshape(1,-1))i -= 1# 移除超过self.max_age次的漏检目标if(trk.time_since_update > self.max_age):self.trackers.pop(i)# 返回跟踪结果 [[left, top, right, bottom, track-id]...]if(len(ret) > 0):return np.concatenate(ret)return np.empty((0, 5))
代码相关说明:
self.max_age
代表跟踪算法允许出现的最大漏检帧数self.min_hints
代表跟踪算法要求的最低连续匹配帧数self.trackers
代表跟踪算法维持的目标集合(已生成track-id)update(self, dets)
代表跟踪函数,其中参数dets
代表t+1帧中目标检测结果list[[left, top, right, bottom, score]...],即t+1帧中待匹配的detectionsassociate_detections_to_trackers(...)
代表IOU+卡尔曼滤波匹配算法,返回上面提到的matched_tracks
,unmatched_tracks
,unmatched_detections
三个值time_since_update
代表目标当前漏检帧数hit_streak
代表目标当前连续匹配帧数