近日，蘑菇车联提出multi-to-single知识蒸馏框架，可以解决自动驾驶一些典型场景下3D激光点云的语义分割难题。这一研究成果论文被ICRA 2023收录，这是蘑菇车联半年内再次得到国际顶会ICRA认可。该成果由蘑菇车联与复旦大学类脑人工智能科学与技术研究院薛向阳团队共同研发。

ICRA是业界公认的人工智能领域最有影响力的国际学术会议。去年，蘑菇车联与清华大学团队提出的数据采集系统以及对应开源的首批路侧多模态目标检测数据集被ICRA 2022收录为大会论文。迄今为止，蘑菇车联基于“车路云一体化”的多项研究成果受到ICRA、IROS等国际顶级学术机构认可。

图说：multi-to-single知识蒸馏框架

此项研究专注于3D激光点云的语义分割，这是自动驾驶环境感知中的重要任务之一。相比于2D图像来说，3D点云数据具有无可比拟的优势，可以提供丰富的几何、形状和尺度信息，且不易受光照强度变化和其他物体遮挡等影响。通过3D点云语义分割技术，可以将道路环境点云数据进行分割，识别出行人、汽车等物体，帮助自动驾驶车辆理解道路环境。

虽然点云数据分割的相关技术近年来取得显著进步，但由于3D点云数据具有稀疏性、不规则性，在针对物体样本较少或者物体点云数量较少等情况，分割技术仍需提高。

ICRA 2023将于5月29日-6月2日在英国伦敦召开

蘑菇车联论文提出了一种新的multi-to-single知识蒸馏框架，以提高高难度类别3D点云数据的分割性能。

multi-to-single知识蒸馏框架有两个明显的优势：一是降低了融合点云的计算成本，二是迫使模型在知识蒸馏过程中专注于困难样本。

具体来看，与通常的把多帧扫描点云数据直接融合的做法不同，multi-to-single知识蒸馏框架将高难度类别的样本实例提取出来后进行融合；同时为了快速地从多帧扫描中蒸馏知识，论文提出多层蒸馏框架，包括特征表示蒸馏、logit蒸馏和affinity蒸馏；两者相结合可以有效的学习到物体高层结构信息。

3D点云数据的采样、融合、训练过程

SemanticKITTI数据集上的验证表明，multi-to-single知识蒸馏框架能有效提升分割性能。

蘑菇车联“车路云一体化”协同感知

蘑菇车联研究成果将持续为自动驾驶算法升级迭代，公司持续加强与高校合作，在世界前沿技术领域实现突破。与此同时，在标准化产品的支持下，蘑菇车联的自动驾驶项目正加速在全国落地，路端和车端可快速生成庞大的道路交通数据集，反哺研发形成技术闭环，进一步提升“车路云一体化”安全性和效率。