-
单位数 1 个
-
数据集9 个
-
图像数据71254 帧
-
点云数据71254 帧
1. 车路协同3d检测任务
车路协同3d检测是在通信带宽约束下，车端融合路端信息，实现3d目标检测的视觉感知任务。与传统自动驾驶3d检测任务相比，本任务需要解决车端与路端多视角信息融合、数据多模态融合、时空异步、通信受限等挑战，通过设计车路融合感知算法，实现盲区补充、提升感知精度。
1.1 问题建模
- 输入：车端数据（图像、点云）、路端数据（图像、点云），以及对应的时间戳和标定文件
- 输出：车端感兴趣区域内的障碍物目标3d位置、朝向等
- 优化目标：
- - 提高检测性能：提升算法在测试集上的3d目标检测精度
- - 减少路端数据使用量：保证相近精度的前提下，降低路端数据使用量，减少通信时延
- - 减少传感器使用量：保证相近精度的前提下，降低车端和路端传感器使用数量，以节省成本、降低能耗
1.2 评测指标
目标检测精度(map)：针对车辆、行人等不同类别目标，计算3d 边界框的尺寸、 位置和置信度， 基于不同的iou阈值计算检测精度(average precision, ap) ，最终计算所有类别ap的平均值（mean average precision, map）；
数据传输消耗(bit number)：以比特数(bit)度量车路融合检测过程使用的路端传输数据量；更少的数据传输可以降低带宽消耗，减少通信时延。
1.3 baseline后融合参考方案
分别利用车端相机 lidar及路端相机 lidar传感器信息，计算3d目标位置、置信度等结果，在世界坐标系中将计算结果进行后融合。车路协同感知后融合整体流程如下图。
图：车路协同感知后融合参考方案流程
2. 数据采集
a. 场景设置
- 路侧设备：基于北京市高级别自动驾驶示范区，选择若干交通场景复杂路口，路侧部署相机和激光雷达，完成gps授时同步，并完成相应的内参外参标定。
- 自动驾驶车辆：利用配置好相机和激光雷达的自动驾驶车辆，完成gps授时同步，并完成相应的内参外参标定。
- 设置路线并采集数据：当自动驾驶路线经过路侧设备附近区域时，分别保存该时段路侧传感器和自动驾驶传感器数据。
- 截取数据：从保存的传感器数据截取20s以上片段作为车路协同数据。
图：车路协同场景设置示意图
b. 路端采集设备
- 在每个路口安装至少一对相机和激光雷达，其中每对相机和激光雷达安装在相同方位，同时对该相机和激光雷达进行标定，并对图像去畸变。路侧传感器型号如下：
- 300线lidar
- - 采样帧率：10hz
- - 水平fov：100° ，垂直fov：40°
- - 最大探测范围：280m
- - 探测距离精度：<=3cm
- camera
- - 传感器类型：1英寸全局曝光cmos
- - 采样帧率：25hz
- - 图像格式：rgb格式，按1920x1080分辨率压缩保存为jpeg图像
c. 车端采集设备
- 自动驾驶车配备1个顶端激光雷达1个前视摄像头，同时对该激光雷达和前视摄像头进行标定，并对图像去畸变。顶端激光雷达和前视摄像头型号如下：
- hesai pandar40线lidar
- - 采样帧率：10hz
- - 水平fov：360° ，垂直fov： 40°，-25°~15°
- - 最大探测范围：200m；反射率：10%；最小垂直分辨率：0.33°
- camera
- - 采样帧率：20hz
- - 水平fov：128° ，垂直fov：77°
- - 图像格式：rgb格式，按1920x1080分辨率压缩保存为jpeg图像
d. 标定和坐标系
图3. 车路协同多传感器空间位置关系
- 为了达到不同传感器之间的空间同步，车路协同需要使用传感器参数信息进行坐标系转换，其中为方便研究人员使用和数据隐私保护，路端lidar相关数据统一旋转到与地面平行的虚拟lidar坐标系，世界坐标系统一旋转平移到虚拟世界坐标系。各坐标系之间的关系如下图：
- - 虚拟世界坐标系
- 虚拟世界坐标系是以地面某一随机位置为原点，x 轴、y 轴与地面平行，z 轴垂直于地面竖直向上，符合右手坐标系规则。
- - lidar坐标系
- lidar坐标系是以lidar传感器的几何中心为原点，x 轴水平向前，y 轴水平向左，z 轴竖直向上，符合右手坐标系规则。
- - 虚拟lidar坐标系
- 虚拟lidar坐标系是以lidar传感器的几何中心为原点，x 轴平行地面向前，y 轴平行地面向左，z 轴垂直于地面竖直向上，符合右手坐标系规则。由于路端lidar与地面存在俯仰角，为方便研究，通过路端lidar外参矩阵，统一将路端lidar坐标系转到虚拟lidar坐标系，同时将路端点云全部转到虚拟lidar坐标系。
- - 相机坐标系
- 相机坐标系是以相机光心为原点，x 轴和y 轴与图像平面坐标系的x 轴和y 轴平行，z 轴与相机光轴平行向前、与图像平面垂直。通过lidar到相机的外参矩阵，可以将点从lidar坐标系转到相机坐标系。
- - 图像坐标系
- 图像坐标是以相机主点（即相机光轴与图像平面的交点，一般位于图像平面中心）为原点，x 轴水平向右，y 轴水平向下的二维坐标系。相机内参可以实现从相机坐标到图像坐标的投影。
- - 定位系统
- 利用gps/imu等定位和惯性系统，可实时获取自动驾驶车辆在全球定位系统的位置以及朝向角。为保护数据安全和研究方便，将真实世界定位系统得到的定位转换到虚拟世界坐标系下。
e. 时间同步
时间同步是为实现车路协同针对路端和车端传感器所做的同步操作。利用gps授时以同步各传感器时间，并在采集每帧数据时得到相应的时间戳。时间戳可通过时间转换得到相应的标准时间。
3. 数据标注
数据抽样
当自动驾驶车辆经过路端设备所在路口时，车端路端传感器同步采集车路协同序列数据，从中抽取约100段时长20s左右的多模态序列数据，按照10hz频率分别对车端和路端序列进行抽样得到离散帧。
3d标注
针对采样得到的路端和车端数据，利用2d&3d联合标注技术，标注图像和点云数据中的道路障碍物目标的2d和3d框，同时标注障碍物类别、遮挡和截断等信息。其中dair-v2x同时提供两套3d标注，分别以camera和lidar时间戳为基准。
- - 障碍物类别：一共10类，包括行人、机动车等，具体如下表所示 类型小汽车卡车/大货车面包车/厢式货车公交车/大型旅客车行人英文cartruckvanbuspedestrian类型自行车三轮车摩托车手推车交通锥筒英文cyclisttricyclistmotorcyclistbarrowlisttrafficcone
表：3d标注属性10类类别表
- - 障碍物截断：从[0, 1, 2]中取值，分别表示不截断、横向截断、纵向截断
- - 障碍物遮挡：从[0, 1, 2]中取值，分别表示不遮挡、0%～50%遮挡，50%～100%遮挡
- - 2d box：图像中2d bounding box框
- - 3d box：点云上3d bounding box，车端基于 lidar坐标系，路端基于虚拟lidar坐标系；包括 (height, width, length, x_loc, y_loc, z_loc, rotation)，其中rotation表示障碍物绕z轴旋转角度
车路协同3d标注
基于车端和路端标注数据，以车端点云为协同标注时间基准，对"car" "truck" "van"和"bus"四类目标进行结果融合，选择时间差小于30ms的车端和路端数据作为数据对，对该车端和路端标注结果投影到相同虚拟世界坐标系后进行结果匹配，然后利用运动补偿进行结果融合，作为融合标注结果。
4. 数据文件结构
|
数据
|
数据简介
|
|
|
cooperative-vehicle-infrastructure/infrastructure-side
|
velodyne/xxxxxx.pcd
|
路端点云数据，转到虚拟lidar坐标系
|
|
image/xxxxxx.jpg
|
路端图像，与lidar做过时间戳对齐
|
|
|
calib/virtuallidar_to_world/xxxxxx.json
|
路端虚拟lidar坐标系到虚拟世界坐标系的外参文件
|
|
|
calib/virtuallidar_to_camera/xxxxxx.json
|
路端虚拟lidar到camera的外参文件
|
|
|
calib/camera_intrinsic/xxxxxx.json
|
路端camera的内参文件
|
|
|
label/camera/xxxxxxx.json
|
标注文件，其中3d标注以图像时间戳为基准贴合图像中障碍物目标、以虚拟lidar为坐标系
|
|
|
label/virtuallidar/xxxxxx.json
|
标注文件，其中3d标注以点云时间戳为基准贴合点云中障碍物目标、以虚拟lidar为坐标系
|
|
|
data_info.json
|
数据索引相关信息
|
|
|
cooperative-vehicle-infrastructure/vehicle-side
|
velodyne/xxxxxx.pcd
|
车端点云数据
|
|
image/xxxxxx.jpg
|
车端图像，与lidar做过时间戳对齐
|
|
|
calib/novatel_to_world/xxxxxx.json
|
车端定位系统到世界坐标系的外参文件
|
|
|
calib/lidar_to_novatel/xxxxxx.json
|
车端lidar到定位系统的外参文件
|
|
|
calib/lidar_to_camera/xxxxxx.json
|
车端lidar到camera的外参文件
|
|
|
calib/camera_intrinsic/xxxxxx.json
|
车端camera的内参文件
|
|
|
label/camera/xxxxxx.json
|
标注文件，其中3d标注以相机时间戳为基准贴合图像中的障碍物目标、以lidar为坐标系
|
|
|
label/lidar/xxxxxx.json
|
标注文件，其中3d标注以lidar时间戳为基准贴合点云中的障碍物目标、以lidar为坐标系
|
|
|
data_info.json
|
数据索引相关信息
|
|
|
cooperative-vehicle-infrastructure
|
cooperative/data_info.json
|
数据索引相关信息
|
|
cooperative/label_world/xxxxxx.json
|
融合标注文件
|
|
京公网安备110401200236