适用于算法训练的免费FLIR热数据集

前言

FLIR热数据集于2018年7月发行，帮助开发人员开发并训练卷积神经网络，使汽车行业能够使用FLIR的高性价比热像仪，开发新一代更安全、更高效的ADAS和无人驾驶汽车系统。

为何ADAS要使用FLIR热传感技术？

在ADAS环境中，感知热红外辐射或热量的能力为可见光相机、激光雷达和雷达系统等现有传感器技术提供了独特的互补优势：

凭借在汽车领域15年以上的服务经验，FLIR打造了唯一一款与汽车完美匹配的热传感器，目前已在超过50万辆汽车的驾驶员预警系统中部署。
FLIR热传感器通过提供激光雷达、雷达和可见光相机之外的补充数据集，在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下，可检测并区分行人、骑行者、动物和机动车辆。检测范围是普通前大灯的四倍。
在与可见光数据和从激光雷达和雷达获得的距离扫描数据相结合时，热数据配上机器学习功能，打造更全面的检测和分类系统。

数据集详解

项目	注意
内容	同步注释热图像和无注释RGB图像供参考。热像仪中心线相距大约2英寸并且经校准以最大限度地减小视差
图像	共14,000张图像，其中10,000张来自短视频片段，另外4,000张BONUS图像来自一段140秒视频
图像捕获刷新率	以30Hz帧率记录。数据集序列以2帧/秒或1帧/秒速率采样。视频注释以30帧/秒记录。
帧注释标签总数	共计10,228帧，其中9,214帧带边界框。
	1.人（28,151）
	2.汽车（46,692）
	3.自行车（4,457）
	4.狗（240）
	5.其它车辆（2,228）
视频注释标签总数	共计4,224帧，其中4,183帧带边界框。
	1.人（21,965）
	2.汽车（14,013）
	3.自行车（1,205）
	4.狗（0）
	5.其它车辆（540）
驾驶环境	11月至5月期间日间（60%）和夜间（40%）晴到多云天气行驶在加利福尼亚州圣巴巴拉市街道和公路上。
捕获热像仪技术参数	IR Tau2 640×512，13mm f/1.0（HFOV 45°，VFOV 37°）FLIR BlackFly（BFS-U3-51S5C-C）1280×1024，Computar 4-8mm f/140-1,600万像素镜头（视场角设置为匹配Tau2）
数据集文件格式	1.14位TIFF热图像（无AGC）
	2.8位JPEG热图像（应用AGC），图像中未嵌入边界框
	3.8位JPEG热图像（应用AGC），图像中嵌入边界框便于查看
	4.RGB – 8位JPEG图像
	5.注释：JSON（MSCOCO格式）
示例结果	通过利用本数据集微调RefineDetect512获得的mAP得分为0.587（50% IoU），并使用保持验证集进行测试。

标记注释：

注解者被要求使边界框尽可能紧。省略物体的小部分(如肢端)的紧边界框比宽边界框更受欢迎。个人用品不包括在人身上的包裹盒里。当发生遮挡时，只标注对象的非遮挡部分。对于人和狗来说，头和肩膀比身体的其他部位更容易被包含在这个包里。当遮挡只允许部分肢体或物体的其他次要部分可见时，它们没有被标注。车轮是自行车类别的重要组成部分。通常被车手遮挡的自行车部件，如车把，并没有包含在这个包裹盒中。骑自行车的人和自行车分开标注。当一个对象被一个遮挡分割时，对对象的两个可见部分给出两个单独的注释。

仅为热图像创建注释。热成像相机和RGB相机在车辆上的位置不相同，因此具有不同的观察几何形状，因此热注释不能代表物体在RGB图像中的位置。你无法使用该数据集下的RGB图像进行训练，因为没有Ground True标签。

文件格式：

train（8862张图像）序号：1-8862

Annotated_thermal_8_bit: 该文件夹包含经过处理的8位热数据，以便将来自ground true文件夹的注释边界框覆盖在这些数据上。

thermal annotations.json: 这些ground true标签通常以MSCOCO注释风格格式化。

thermal_8_bit 8位，AGC应用，.jpeg格式的图像，否则与thermal_16_bit文件夹中的图像相同。

RGB: 8位RGB(三通道)图像。注意，Training中的499张图像、Validation中的109张图像和Video中的29张图像没有RGB对应图像。图像分辨率一般为1600 X 1800，也有480 X 720、1536 X 2048、1024 X 1280等不同分辨率的图像。

val（1366张图像）序号：8863-10228

video（4224图像）序号：1-4224

数据集下载

官网链接：https://www.flir.com/oem/adas/adas-dataset-form/
链接：https://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1yJ5LDpvuj4M27MLmD9OsJw
提取码: 9il7

目标检测网络

目前，看到大家的训练多数是在yolov3, yolov4, yolov5中，Yolo系列我也进行了训练在yolov5上，整个调试过程还较为简单，当然，如果大家需要的话，我也可以写一个新的博客来为大家讲解yolov5上的训练过程。需要的话可以评论区见=_=||。

先暂时附一张训练结果图：

图片有点小，左下角是val-loss，能看到后期有点过拟合了，训练到150epoch其实就差不多了，检测结果也可以露出两张供大家参考！

也强调一下，对于这样的检测结果，确实是让我出乎意料，能够有效的在夜间行车，检测效果相比RG图像有很不错的提升，从结果中也可以看出网络是深入地进行了单通道图像的学习，也将我的顾虑给打消掉了。