行人检测技术是实现汽车自动驾驶系统的组成部分，对提升道路驾驶交通安全水平具有重要作用。近年来随着人工智能技术的蓬勃发展，越来越多的研究者开展了基于有监督深度神经网络的可见光行人检测技术研究工作，取得了显著的检测性能提升。但是，有监督深度神经网络的训练过程需要提供大量的目标标注数据，而目标训练数据集目前通常是通过人工标注完成，耗时、耗力且难以针对不同场景进行有效扩展。此外，基于可见光单一频谱信息的行人检测模型的检测性能，受环境复杂光照和背景噪声干扰严重，在复杂驾驶条件（黑夜、大雾、烟霾和浑浊空气、雨、雪等）下无法稳定应用。

针对以上技术挑战，浙江大学制造技术及装备自动化研究所杨将新教授、曹衍龙教授和曹彦鹏研究员团队与深圳码隆科技和中国科学院深圳先进技术研究院科研团队合作，提出了一种基于可见光与远红外信息融合的行人检测技术，构建了无监督深度神经网络模型，可以有效进行检测器的迁移学习，通过可见光与远红外多频谱图像中互补信息的迭代更新，自动生成标注信息，并通过时序追踪算法对标注信息进行优化，融合生成无监督的目标数据标注结果。同时，科研团队提出了一种特征学习能力更强的双通路深度神经网络，该网络采用无监督标注进行训练，可以得到稳定性和运算效率更优的多频谱行人检测器。

图1 基于可见光与远红外图像信息融合的行人检测无监督深度神经网络模型

图2 可见光与远红外图像行人标注迭代生成过程

课题组通过实验证明了提出的无监督算法在不需要任何人工标注的情况下可大幅度提升原目标检测器的识别准确率，得到与有监督深度神经网络检测器精度相当的无监督检测器，能自动生成高精度的标注信息。该研究可广泛应用于需要大量数据标注的多频谱目标检测领域。

图3 无监督深度神经网络模型生成的自动标注结果

图4 所提的无监督检测模型和有监督检测模型性能对比示图

（a）全天候条件下，（b）白天条件下，（c）夜间条件下

相关论文Pedestrian detection with unsupervised multispectral feature learning using deep neural networks已被Information Fusion期刊录用。

论文链接：https://www.sciencedirect.com/science/article/pii/S1566253517305948