Infrared target tracking based on selective convolution features
-
摘要: 对红外图像中的目标跟踪时，复杂的背景信息以及目标像素数较少等因素增加了红外目标跟踪难度，目标区域的图像块缺乏特征信息使得普通跟踪算法较易产生跟踪偏移问题。为解决此问题，提出了一种基于粒子滤波框架下的卷积特征选择的红外目标跟踪算法。首先，在初始目标块上提取少量图像块作为滤波器，进而获得表征能力更强的卷积特征。然后，采用在线提升算法对该特征进行选择，增加跟踪算法的精度和执行效率。最后，将贝叶斯分类器的响应作为粒子权值估计出目标状态。实验结果验证了所提算法的跟踪性能优于其他几种传统算法。Abstract: Infrared target tracking is heavily influenced by illumination variation, small size and complex background, and the lack of target information makes the algorithm lose targets easily. Therefore, an algorithm based on convolution features and feature selection method is presented in this paper to track IR targets. First, several filters in target patches of the first frame are used to obtain strong features. Then, the boosting method is utilized to train the features with redundant information, thus, the algorithm performance of accuracy and execution efficiency can be improved. Finally, particle weights are represented by the response of the native Bayes classifier. Experimental results show that the presented algorithm obtains good performance.
-
Key words:
- infrared image /
- target tracking /
- dim-small target /
- convolutional feature /
- boosting /
- particle filter
-
红外热成像图像序列的目标跟踪已被广泛应用于交通监控、精确制导、医疗诊断等领域。红外图像的低信噪比、目标的快速非线性运动以及遮挡等因素，导致了跟踪偏移[1]。另外，目标离探测器较远时，在成像平面上仅有几像素，即弱小目标[2]。加之背景杂波的影响，红外目标跟踪成为一项较为困难的任务。
传统的红外目标跟踪[3-6]算法主要有基于图像滤波的算法、基于特征匹配的算法以及基于目标与背景分类的算法。图像滤波的跟踪算法包括基于粒子滤波、时空滤波[3]和管道滤波[4]等滤波算法。粒子滤波算法[5]考虑了物体的非线性运动，重采样策略防止了粒子退化现象。后两种算法将多帧图像的目标跟踪转变成单帧图像的检测任务，算法对复杂背景较为敏感且实时性不高。因利用了傅里叶变换，基于相关滤波的跟踪[6]算法获得了较高的实时性。文献[7]中的时空上下文模型表征了目标像素与其邻域像素的时空关系，并依据相关滤波获取目标的响应图，估计出目标状态。
基于特征提取与匹配的算法致力于获取分类性能较强的特征信息，如直方图特征[8]、哈希特征[9-10]和Hog特征[11-12]等。均值漂移算法[8]所提取的直方图特征较好地适应了红外图像，但目标区域的灰度统计的稳定性易受到光照变换和复杂背景的影响。文献[12]提出了一种先粗匹配再细匹配的跟踪方法，基于SIFT特征实现相邻两帧间目标粗匹配，而后进一步匹配HOG特征对目标位置进行微调。该算法中的灰度特征信息不够丰富，这干扰了红外目标状态的估计。由此，可采用提升算法来挑选出分类性能较强的特征[10]。进一步，压缩感知跟踪器通过查找积分图求得图像的哈希特征，并采用稀疏的压缩感知矩阵来降低特征的维度，从而大大提升了算法实时性。但在目标被部分遮挡时，参数频繁更新会导致跟踪失败。由此，文献[13]将压缩特征与稀疏表示模型相结合，从而增加了此类跟踪方法的鲁棒性。
二分类跟踪算法的目的是增加目标与背景的区分度，而其核心也是提取强特征，并通过贝叶斯分类以及支持向量机等分类方法[7, 9]对候选样本加以区分。上述特征均是针对特定目标的应用，而基于卷积网络的跟踪算法可通过对大量样本进行训练，获得适应多种复杂场景的深度特征。张开华等对原始神经网络[14]进行改进，提出一种无需训练的卷积网络[15]的跟踪算法。该算法将初始目标作为先验，获得多特征模式的滤波器。但是，红外弱小目标的纹理信息较少，导致了算法精度较低。
基于上述分析，本文提出了一种基于卷积特征选择的红外目标跟踪算法。采用提升算法对无需训练的卷积特征进行了选择；在运动模型上，采用粒子滤波对粒子状态进行了预测；在匹配方法上，粒子权值最大的模板即为目标。
1. 红外图像的卷积特征
1.1 卷积特征
红外图像块的卷积特征的提取包括简单层和复杂层两部分，具体过程如图 1和图 2所示。首先，在初始目标样本上获取一组滤波器集，并将其与候选图像卷积，从而获得局部特征图，即简单层。然后，由局部特征向量构成二维的特征图，即复杂层。
初始帧，将候选样本归一化为尺寸n×n像素的图像块Ijo(jo=1, 2, …, Np)，Np是模板数量。然后，在目标块上采样图像块Yj(j=1, 2, …, l)∈Rw×w(w < n)作为滤波器，且l=(n－w+1)×(n－w+1)。
在每个目标块对应的滤波器集中，任选一个构成数量为Np的滤波器集。给定滤波器Yj(j=1, 2, …, Np)，简单层Sj⊗Rl可表示为
Sj=Yj⊗Ijo (1) 如图 1和2所示，获取了小目标和面目标的简单层特征。尽管不同时刻的目标模板在外观上存在差异，其简单层仍具有相似灰度分布。由此，滤波器Yj的卷积操作能够提取目标模板的某种特征，即保留了目标的局部结构。另外，目标之间的复杂层具有较高的相似性，而目标与背景的复杂层差别较大。分析可知，将该卷积特征作匹配模板，可有效提高贝叶斯算法的分类性能。
1.2 算法动机
为更好地描述目标的外观，通常采用特征提取或特征选择两种方法，以减少数据属性(即特征)维度。特征提取是在原始特征基础上构造新特征(如Hog)，其改变了原始特征空间。而特征选择则是对原始特征进行筛选，从而获得原始特征的子集。
上述卷积方法可自适应获得目标特征，但由于红外图像信息缺失，卷积特征中包含了冗余背景信息，从而增加了算法分类的难度。为解决这一问题，采用提升算法对卷积特征进行筛选，获得分类性能较强的特征。
2. 基于提升算法的卷积特征跟踪算法
为增加卷积特征的分类性能，引入提升算法来抑制特征的冗余信息。
2.1 提升算法
在弱分类器集中选出若干表征能力强的弱分类器，并通过加权得到强分类器，即
H(v)=K∑k=1αkhk(v) (2) 式中：αk为固定权值1；K表征了挑选出的弱分类器数量。
给定正样本集与负样本集，其卷积特征表示为v=(v1, …, vlNp)，其中元素是独立分布的。基于贝叶斯准则，可求得弱分类器hk为
hk(v)=INp∑i=1lg[P(vi∣y=1)P(vi∣y=0)] (3) 其中，样本的标签y∈{0, 1}，“y=1”和“y=0”分别代表正样本和负样本。条件概率P(vi|y)可依据高斯分布建模为
P(vi∣y=1)→N(μ1i,σ1i) (4) P(vi∣y=0)→N(μ0i,σ0i) (5) 其中：参数μi1，σi1，μi0和σi0分别表示正负样本的均值和方差，其更新表示为
μ1i←ρμ1i+(1−ρ)μ1 (6) σ1i←√ρ(σ1i)2+(1−ρ)(σ1)2+λ(1−ρ)(μ1i−μ1)2 (7) μ0i←ρμ0i+(1−ρ)μ0 (8) σ0i←√ρ(σ0i)2+(1−ρ)(σ0)2+λ(1−ρ)(μ0i−μ0)2 (9) 式中: ρ>0是学习因子; λ为权重参数。
提升算法是通过一种贪婪的训练弱分类器的方式来选择少量表征能力强的分类器的方法，可描述为
hk=argmax (10) 式中：Hk-1表示(k-1)个弱分类器构成的强分类器；h表示任意弱分类器；L表示对数似然函数，即
L=\sum\limits_i \lg \left[P\left(y_i \mid v_i\right)\right]=\sum\limits_i\left[y_i \lg \left(P\left(y_i=1 \mid v_i\right)\right)+\left(1-y_i\right) \lg \left(1-P\left(y_i=1 \mid v_i\right)\right)\right] (11) 其中，P(y=1|v)=1/{1+exp[H(v)]}。
训练过程中，每次迭代都会选出表征能力最强的弱分类器，并赋予权值，以构成强分类器。由此，提升算法相当于从特征池中选出了K个分类性能较强的特征，且特征降维提升了算法实时性。
2.2 基于卷积特征选择的算法
红外弱小目标的机动性较强，通常表现为非线性和非高斯运动。由此，基于粒子滤波框架，通过动态估计粒子状态进一步提高分类器性能。
采用二阶自回归模型预测当前帧的目标状态，即
s_t(g)=2 s_{t-1}(g)-s_{t-2}(g)+\eta (12) 式中：st(g)指t时刻的第g个粒子的状态；η表示二维白噪声协方差。
进一步，观察模型P(zt|st(g))可描述为
P\left[z_t \mid s_t(g)\right] \propto \exp [H(\boldsymbol{v}(g))] (13) 式中：v(g)是第g个粒子的特征。
跟踪过程中，目标的外观变化较大，参数更新是必要的。但参数更新得过于频繁会导致跟踪偏移。由此，算法中每五帧更新一次。
在进行面目标跟踪时，卷积模型的滤波器随着时间的推移而更新。对于小目标，滤波器保持初始状态不变，也可在滤波器集中加入由二维高斯函数生成的小目标模板，即
I(x, y)=I_{\max } \exp \left[-\frac{\left(x-x_0\right)^2}{2 \sigma_x^2}-\frac{\left(y-y_0\right)^2}{2 \sigma_y^2}\right] (14) 式中：I(x, y)是位置(x, y)处的灰度; (x0, y0)表示目标位置; Imax是目标灰度最大值；σx和σy分别表征了水平与垂直方向的扩散程度。
在特征选择部分，更新弱分类器的均值和方差参数，在线更新机制有效地提高了算法适应目标外观变化的能力。算法的流程图如图 3所示。
3. 实验结果及分析
实验中采用六组复杂背景的红外序列，即Girl-Griffith，People-Griffith，Car-Griffith，Plane-Griffith，Plane1以及Plane2，序列总长度为942帧，具体描述如表 1所示。实验的硬件为3.2 GHz的CPU和4 GB内存的台式电脑，软件为Matlab2014a。进一步，将本算法CNB与模板匹配算法TMT[16]、压缩跟踪算法CT[9]、时空上下文跟踪STC算法[7]、均值漂移算法MSPF[8]以及L1跟踪算法[13]作定性与定量比较，结果如图 4到9所示。
表 1 六组红外序列描述Table 1. Description of six IR sequencessequence frame image size target size description Girl-Griffith 150 640×512 40×110 people, around the tree and stone People-Griffith 200 640×512 35×75 people, in front of the jungle Car-Griffith 147 640×512 40×35 car, on the road Plane-Griffith 239 640×512 15×8 plane, influenced by the cloud Plane1 86 256×256 2×2~4×4 plane, bright cloud Plane2 120 256×256 3×3~5×5 plane, strong edge 将目标模板归一化成25×25像素(小目标为12×12)，滤波器尺寸设为15×15(小目标为6×6)，滤波器数量设为16。在特征选择部分，弱分类器的学习因子ρ为0.85，且弱分类器数量k设为50。在粒子滤波部分，二维协方差η设为[0.5, 0.5]~[5, 5]，该参数值与速度有关。兼顾算法的执行效率与精确度，粒子数量设为100。更新阶段，参数σx和σy均设为目标长宽的均值。
3.1 定性比较
如图 4所示，Girl-Griffith序列中的目标在树和石头旁行走，CT算法和TMT算法在115帧和150帧丢失目标。图 5中，两个人的外观特征类似，两者在第130帧时在视场的中间交叉而过。L1在第130帧时跟踪失败，而均值偏移跟踪算法和压缩跟踪算法将非目标的人检测为目标(如第195帧所示)，即受目标遮挡或具有相似外观的物体干扰。图 6中，Car-Griffith序列中的目标周围存在有多个类似物体，L1算法在该序列的跟踪效果较不好。
进一步，序列4-6含有小目标和大量背景杂波。在序列4的第100帧中(图 7(b))，目标周围云层边缘较强，从而导致STC算法和CT算法开始发生跟踪偏移且不可恢复，这也是仅跟踪而不检测这种方法的不足之处。在序列5中，目标始终淹没于云层背景中，L1算法和TMT算法在第85帧跟踪失败，而MSPF算法在跟踪初始时刻就丢失目标且跟踪误差越来越大。在图 9的序列6中，第90帧和115帧中，只有本文所提CNB算法成功跟踪小目标，其余的算法均在目标穿过云层时(第90帧)，产生跟踪误差且不可恢复。
3.2 定量比较
采用中心位置误差(CLE)、跟踪精度(SR)和帧每秒(FPS)作定量分析，实验结果如图 10和表 2所示。
表 2 跟踪性能对比Table 2. Comparison of all tracking algorithmsCLE average SR FPS sequence Girl-Griffith People-Griffith Car-Griffith Plane-Griffith Plane1 Plane2 CT 0.06 0.86 0.40 0.39 1.00 0.54 0.54 40 L1 0.59 0.20 0.05 0.96 0.65 0.58 0.51 12 TMT 0.33 0.38 0.54 0.95 0.77 0.08 0.51 24 STC 0.23 0.99 0.71 0.32 0.10 0.34 0.45 100 MSPF 0.47 0.04 0.76 0.84 0.15 0.65 0.49 20 CNB 1.00 0.97 1.00 0.97 1.00 0.95 0.98 19 
图 10 六组序列的所有算法的中心位置误差Figure 10. Center location error of all trackers over the six sequences图 10的纵坐标表示CLE的对数，“y=lg(6)”是大目标跟踪成功与否的边界，即CLE为10，而小目标CLE值设为6。如图 10(a)所示，L1算法和所提算法的平均CLE值较小，而其余四种算法在多数帧的CLE值大于该边界值。对于序列2，L1算法、TMT算法和MSPF算法的CLE曲线在第100帧后上升较快，这是由于目标受相似物体干扰。如表 2所示，L1算法和MSPF算法在序列2上的SR分别为0.2和0.04。CT算法因采用了分类性较强的哈希特征，使得其在背景简单的红外序列上有效地跟踪目标。图 10(c)中，L1算法在第十帧后的目标估计位置与真实位置的距离逐渐变大。另外，TMT算法、STC算法与CT算法在第100帧后跟踪失败。
如图 10(d)所示，CT算法和STC算法的CLE曲线的在70帧后浮动较大，这是由于目标在此时运动经过云层边缘。由图 10(e)和图 10(f)可知，MSPF算法对强辐射的红外背景较为敏感。在图 10(f)中，只有本文算法在整个序列中有效地跟踪弱小目标，其余算法在初始几十帧后便丢失目标。从图 10的(a)~(f)中可以看出，本文提出的算法的CLE波动较小，跟踪准确并且稳定。
如表 2所示，粗体与斜体分别表示最优与次优。L1算法的SR可高达为0.96，但算法较为耗时。MSPF算法提取了红外图像的梯度直方图特征，因而在小目标浸入亮云背景中时获取了不稳定的灰度统计(如Plane1序列上，SR为0.15)。CT算法在背景杂波较多的红外序列(如Plane-Griffith以及Plane2序列)上的SR较低。得益于粒子滤波，本文算法的目标状态可由权值较高的少数粒子状态求得，算法鲁棒性得到提升。
综上所述，本文算法能够克服复杂的背景杂波，适用于复杂背景下的红外弱小目标跟踪，也适用于复杂背景下的面目标跟踪。相对于其他几种对比算法，所提算法在六组红外序列上的中心位置误差较小，并且跟踪精度明显优于其他几种对比算法。另外，在128 GB内存平台上验证了该算法具有较好的实时性。
4. 结论
针对复杂红外背景，本文结合特征提取与特征选择，提出了一种粒子滤波下的目标跟踪算法。红外图像的卷积特征适应了多种红外目标，提升算法一定程度上提升了该特征的分类性能。另外，在线的更新策略降低了算法对复杂红外图像的敏感程度。多组实验验证了所提算法具有较高的精度，为后续的目标识别奠下了坚实的基础。
-
图 10 六组序列的所有算法的中心位置误差
Figure 10. Center location error of all trackers over the six sequences
表 1 六组红外序列描述
Table 1. Description of six IR sequences
sequence frame image size target size description Girl-Griffith 150 640×512 40×110 people, around the tree and stone People-Griffith 200 640×512 35×75 people, in front of the jungle Car-Griffith 147 640×512 40×35 car, on the road Plane-Griffith 239 640×512 15×8 plane, influenced by the cloud Plane1 86 256×256 2×2~4×4 plane, bright cloud Plane2 120 256×256 3×3~5×5 plane, strong edge 
下载: 导出CSV
表 2 跟踪性能对比
Table 2. Comparison of all tracking algorithms
CLE average SR FPS sequence Girl-Griffith People-Griffith Car-Griffith Plane-Griffith Plane1 Plane2 CT 0.06 0.86 0.40 0.39 1.00 0.54 0.54 40 L1 0.59 0.20 0.05 0.96 0.65 0.58 0.51 12 TMT 0.33 0.38 0.54 0.95 0.77 0.08 0.51 24 STC 0.23 0.99 0.71 0.32 0.10 0.34 0.45 100 MSPF 0.47 0.04 0.76 0.84 0.15 0.65 0.49 20 CNB 1.00 0.97 1.00 0.97 1.00 0.95 0.98 19
下载: 导出CSV
-
[1] Kim S, Lee J. Scale invariant small target detection by optimizing signal-to-clutter ratio in heterogeneous background for infrared search and track[J]. Pattern Recognition, 2012, 45(1): 393-406. doi: 10.1016/j.patcog.2011.06.009 [2] Wang Xin, Ning Chen, Xu Lizhong. Spatiotemporal difference-of-Gaussians filters for robust infrared small target tracking in various complex scenes[J]. Applied Optics, 2015, 54(7): 1573-1586. doi: 10.1364/AO.54.001573 [3] 张素, 安博文, 潘胜达. 基于时空非局部相似性的海上红外目标检测[J]. 光子学报, 2018, 47: 1110001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201811031.htmZhang Su, An Bowen, Pan Shengda. Infrared dim target detection based on temporal-spatial non-local similarity. Acta Photonica Sinica, 2018, 47: 1110001 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201811031.htm [4] 董维科, 张建奇, 刘德连, 等. 基于运动方向估计的管道滤波算法[J]. 光子学报, 2013, 42(4): 471-474. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201304018.htmDong Weike, Zhang Jianqi, Liu Delian, et al. Pipeline filter algorithm based on movement direction estimation. Acta Photonica Sinica, 2013, 42(4): 471-474 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201304018.htm [5] 程建, 周越, 蔡念, 等. 基于粒子滤波的红外目标跟踪[J]. 红外与毫米波学报, 2006, 25(2): 113-117. doi: 10.3321/j.issn:1001-9014.2006.02.008Chen Jian, Zhou Yue, Cai Nian, et al. Infrared object tracking based on particle filter. Journal of Infrared and Millimeter Waves, 2006, 25(2): 113-117 doi: 10.3321/j.issn:1001-9014.2006.02.008 [6] He Yujie, Li Min, Zhang Jinli, et al. Infrared target tracking via weighted correlation filter[J]. Infrared Physics and Technology, 2015, 73: 103-114. doi: 10.1016/j.infrared.2015.09.010 [7] 赵东, 周慧鑫, 于君娜, 等. 复杂天空背景下的红外弱小目标跟踪[J]. 强激光与粒子束, 2018, 30: 061002. doi: 10.11884/HPLPB201830.170511Zhao Dong, Zhou Huixin, Yu Junna, et al. Tracking of infrared dim small target in complex sky background. High Power Laser and Particle Beams, 2018, 30: 061002 doi: 10.11884/HPLPB201830.170511 [8] 王晓卫, 王旭东, 贺明. 基于直方图比的背景加权的Mean Shift目标跟踪算法[J]. 强激光与粒子束, 2016, 28: 051001. doi: 10.11884/HPLPB201628.051001Wang Xiaowei, Wang Xudong, He Ming. Target tracking algorithm based on Mean Shift and histogram ratio background weighted. High Power Laser and Particle Beams, 2016, 28: 051001 doi: 10.11884/HPLPB201628.051001 [9] Zhang Kaihua, Zhang Lei, Yang M H. Fast compressive tracking[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2014, 36(10): 2002-2015. doi: 10.1109/TPAMI.2014.2315808 [10] Babenko B, Yang M, Belongie S. Robust object tracking with online multiple instance learning[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632. doi: 10.1109/TPAMI.2010.226 [11] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596. doi: 10.1109/TPAMI.2014.2345390 [12] Qiao Huang, Yang Jie. A multistage target tracker in IR image sequences[J]. Infrared Physics and Technology, 2014, 65: 122-128. doi: 10.1016/j.infrared.2014.03.005 [13] Li Ying, Li Pengcheng, Shen Qiang. Real-time infrared target tracking based on l1 minimization and compressive features[J]. Applied Optics, 2014, 53(28): 6518-6526. doi: 10.1364/AO.53.006518 [14] Wang Li, Liu Ting, Wang Gang, et al. Video tracking using learned hierarchical features[J]. IEEE Trans Image Processing, 2015, 24(4): 1424-1435. doi: 10.1109/TIP.2015.2403231 [15] Zhang Kaihua, Liu Qingshan, Wu Yi, et al. Robust visual tracking via convolutional networks without training[J]. IEEE Trans Image Processing, 2016, 25(4): 1779-1792. [16] 陈皓, 马彩文, 陈岳承, 等. 基于灰度统计的快速模板匹配算法[J]. 光子学报, 2009, 38(6): 1586-1589. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB200906065.htmChen Hao, Ma Caiwen, Chen Yuecheng, et al. Fast template matching arithmetic based on image gray statistic. Acta Photonica Sinica, 2009, 38(6): 1586-1589 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB200906065.htm 期刊类型引用(3)
1. 刘延春，李娜，王香. 基于红外摄像机的智能竞速车运行状态监控. 激光杂志. 2021(09): 179-183 . 
百度学术2. 龙巧玲. 云计算技术的舰船运动目标自动跟踪. 舰船科学技术. 2020(02): 52-54 . 百度学术3. 王宁，邓秋菊，闫会峰. 基于图像分割与重组的激光全息图像处理方法. 激光杂志. 2020(11): 58-62 . 百度学术其他类型引用(3)
-
下载:
点击查看大图
计量
- 文章访问数: 1230
- HTML全文浏览量: 278
- PDF下载量: 54
- 被引次数: 6
