022-89887198

自动驾驶需要传感器融合:摄像头+雷达vs摄像头+激光雷达

  市场研究机构IHS Markit汽车信息娱乐和高级驾驶辅助系统(ADAS)研究总监Egil Juliussen列出了以下几个将在2019年困扰汽车行业的"遗留问题":

1、我们是否真的需要激光雷达(LiDAR)?

2、科技/汽车公司是否真的准备好一起合作追求"网络效应",以推动驾驶软件的发展?

3、业界能否解决Level 2级到Level 3级驾驶操控权的移交问题?

行业观察家已经看到科技公司、Tier 1和汽车OEM制造商之间兴起的新一轮自动驾驶伙伴关系。有几家公司正对Level 2级到Level 3级自动驾驶操控权的移交问题尝试新技术,例如以色列ADAM公司,正在尝试利用人工智能(AI)及算法助力其技术平台,以解决人、车驾驶操控权的移交问题。

对于自动驾驶汽车突然将控制权交回人类驾驶员时的手足无措困境,"预计下个月在拉斯维加斯举办的2019年消费电子展上,Tier 1和汽车OEM制造商对驾驶员监控系统的兴趣会重新抬头,"市场研究机构Semicast Research首席分析师Colin Barnden表示。

但是,ADAS汽车和自动驾驶汽车真的需要激光雷达吗?Juliussen称,"我们已经听到很多这样的市场疑问。"这个疑问在数字成像雷达出现之后获得了更多关注,"因为,数字成像雷达相比过去的产品可以提供更多信息,"他解释道。

 AEye融合"摄像头+激光雷达"数据

在此背景下,位于美国加利福尼亚州普莱森顿的一家名为AEye的创业公司,近日宣布为ADAS和自动驾驶市场推出了首款商用产品"iDAR",这是一款融合了高清摄像头的固态激光雷达。

近一年来,自动驾驶汽车不一定需要激光雷达的声音一直在科技界回响。这种思路确实很诱人,因为许多汽车OEM制造商都认为激光雷达太昂贵了,他们认为激光雷达技术距离实际应用还远未成熟。

AEye从另一个角度进入了这场"激光雷达是否必要"的市场辩论。该创业公司认为,汽车OEM制造商不愿意使用现有的激光雷达,除了成本问题,还因为他们目前的解决方案依赖于一系列独立的传感器,这些传感器共同产生了海量数据。

"这需要漫长的处理时间和庞大的运算能力,通过较准、分析、校正、下采样来收集和重组这些传感器采集的数据,并将它们转换为可用于安全引导车辆的可操作信息,"AEye解释说。

但是,如果AEye以某种方式使用人工智能,仅对自动驾驶路径规划有意义的数据信息进行区分采集,而不是为每个像素分配相同的优先级呢?"正是这一初衷激发了AEye开发iDAR,"AEye营销副总裁Stephen Lambright解释道。

事实上,AEye的iDAR"深根于最初为国防工业开发的技术",Lambright表示。该创业公司首席执行官Luis Dussan之前曾致力于为战斗机设计监控、侦察和防御系统。他创建了AEye公司,"以为自动驾驶汽车提供军用级别的性能。"

据Lambright称,驱动iDAR开发的是"首席执行官Dussan在军用飞机感知系统中学到的三个原则", 1)永远不错过任何信息;2)所有物体对象不是平等的,需要给予不同的权重;3)实时处理。

简而言之,iDAR的目标是开发一种"无需浪费计算周期"的传感器融合系统。iDAR的构建模块包括1550nm固态MEMS激光雷达,低光照高清摄像头和嵌入式AI。该系统旨在整合2D摄像头"像素"(RGB)和3D激光雷达数据"体素"(XYZ),以提供"一种新的实时传感器数据",为自动驾驶路径规划系统提供更快速、更准确、更长距离、更智能的信息。

值得注意的是,AEye的iDAR提供的不是各自独立的摄像头和激光雷达系统的扫描后融合。而是通过开发人工智能感知系统,iDAR将固态激光雷达与高分辨率摄像头进行物理融合,创建了一种被称为动态像素的新数据类型。通过捕捉x、y、z、R、G、B数据,这种动态像素"仿生"了人类视觉皮层的数据结构。

 整合片上系统(SoC)

近日发布的新型iDAR系统AE110是AEye公司的第四代原型产品。据Ratnam介绍,"该系统中包含一个基于赛灵思(Xilinx)Zynq SoC的整合SoC。Zynq将基于ARM的处理器与FPGA集成在一起,旨在实现关键分析和硬件加速,同时在一个器件上集成了CPU、DSP、ASSP和混合信号功能。2019年,AEye计划为这款整合SoC设计自己的ASIC。"

自动驾驶需要传感器融合:摄像头+雷达vs摄像头+激光雷达"摄像头+雷达"或"摄像头+激光雷达"?

AEye正在推广其"摄像头+激光雷达"整合传感器系统,而一些高精度毫米波(mmWave)雷达芯片开发商则推崇"摄像头+雷达"解决方案。

科技行业研究机构Linley Group的高级分析师Mike Demler称,AEye的摄像头+激光雷达融合"是一种有趣的方案"。Aeye的方案"可能具有一些独特的功能",但Mike Demler也提出,AEye"并不是唯一一家这样做的公司。"Demler指出,大陆集团(Continental)也在销售"摄像头+激光雷达"的组合单元。但据推测,大陆集团是将两个独立传感器的数据进行预处理后再进行整合。

正如Demler所看到的那样,AEye解决方案的优势在于"传感器融合软件"。实质上,"将摄像头/激光雷达传感器作为一个集成单元进行处理,可以加速识别目标区域,"Demler指出,"除此之外,两个传感器的各自优缺点仍然保留。"

Demler表示,AEye采用了MEMS激光雷达,但并没有公开透露其空间分辨率。他推测,跟Velodyne等机械扫描激光雷达相比,这可能是AEye的一个弱项。"摄像头传感器具有相对最高的分辨率,但它无法应对极其明亮或黑暗的场景,并且仍然会受到可能阻挡镜头的污垢和沉积物的影响。因此,不能单独依靠摄像头来获得空间分辨率。同样地,激光雷达在降雨时性能表现也不如雷达,所以在这些条件下不能单独依靠激光雷达进行物体探测,并且,大多数激光雷达都不能测量物体的移动速度。"

 真正的边缘融合

谈及AEye,据VSI Labs创始人Phil Magney透露,VSI Labs被聘请验证激光雷达的距离和扫描速率。

Magney强调,"iDAR传感器的独特之处在于它将摄像头和激光雷达耦合了在一起,并在中央计算机摄入整合数据之前,对两个传感器数据进行融合。"他认为,"这是真正的边缘融合,因为设备在对采集的数据进行任何分类之前,融合了摄像头数据和激光雷达原始数据。我们还认识到,其设备有能力聚焦目标主题,而不需要处理整个点云场景。"

此外,Magney还承认,AEye的iDAR设备"由于拥有融合的摄像头数据,因此具有更好的目标分类潜力。"他指出,"iDAR正在开发适用于融合数据集的分类算法。"

理论上,AEye所谓的动态像素创建的内容"比摄像头或激光雷达各自产生的内容更丰富",Magney说。但他也提出"基本上每个像素都有一个点,每个点都有一个像素,但需要注意的是摄像头的分辨率要远高于激光雷达,因此像素与点的比例不是一对一的。"

Magney承认,"当把iDAR与雷达放在一起比较时,确实可以放弃对雷达的需求,因为激光雷达和雷达都是测距设备。"

他指出,"如果iDAR激光雷达的深度感知能力可以给你足够的信心,并且又能够跟踪目标的速度信息,那么完全可能放弃雷达。值得一提的是,与大多数商用激光雷达产品相比,iDAR的扫描速度是其两倍(100赫兹),这是其另一个优势。"

另一方面,在完全自动驾驶汽车实现之前,会有越来越多配备ADAS功能的汽车推出,雷达似乎在ADAS市场比激光雷达(或iDAR)更占优势。

"雷达在恶劣天气下能够更好地工作,因此最适合ADAS,即使条件不适合自动驾驶,也需要安全系统运行,"Magney说,"但雷达本身在物体分类方面仍然受到限制。这是由雷达设备的硬件决定的。我们知道雷达在分类方面正在变得越来越好,并且相关厂商声称可以提供更丰富的功能。一些雷达创业公司也提出了非常吸引眼球的方案。"

VSI近期在AEye最近的性能测试中验证了iDAR传感器的探测和方法。Magney表示,该公司验证了iDAR激光雷达信号能够探测到道路上距离1000米的卡车,其扫描速率达到了100赫兹。

"我们没有验证这种传感器能否带来更好的性能或安全性,但我们证明它确实有足够的性能和智能来识别1000米处的物体,"他补充说。

在Demler看来,AEye的iDAR并没有取代雷达。德州仪器(TI)的mmWave成像雷达也并没有取代激光雷达,Demler解释说,"大多数自动驾驶开发商都使用了这三种传感技术,当然,事实上它们也在使用其他传感器,例如,超声波传感器、红外传感器等等。"

Demler说:"自动驾驶的安全性需要传感器冗余支持,并且需要多种传感器共同完成,因为没有一种类型的传感器可以在所有条件下发挥最佳性能。"

产业链巨头看好,Aeye累计完成6000万美元融资近日,AEye还披露了其二次B轮融资,这使公司的总融资额超过了6000万美元。

AEye表示其B轮投资方包括汽车OEM制造商、Tier 1和Tier 2厂商,以及战略投资者海拉(Hella Ventures)、斯巴鲁(Subaru-SBI)创新基金、LG电子和SK海力士。

AEye营销副总裁Lambright指出了Hella Ventures和LG电子在公司B轮融资中加入的重要意义。AEye将依靠这些Tier 1合作伙伴来提高iDAR产量并降低单位成本。Lambright估计到2021年iDAR的初步单位成本将降到1000美元以下。


分享到