双目立体视觉“新生”

发布时间:2022-10-01 04:05:51 来源:华体会体育app下载手机版 作者:华体会全站登录官网

  特斯拉“抛弃”传统毫米波雷达,原因是目前的视觉(摄像头)与雷达的前融合,还无法经受复杂道路场景的考验,尤其是非4D成像雷达无法在感知能力上与摄像头的分辨率匹配(前融合)。

  目前,在面向高阶智能驾驶赛道,一部分厂商不断强化纯视觉感知能力,比如,特斯拉、Mobileye(也在布局4D成像雷达、激光雷达),同时依赖数据训练迭代;另一部分则寻求通过双目立体视觉+激光雷达+高分辨率雷达来实现,比如,雷克萨斯、奔驰S。

  同时,单目摄像头也在寻求扩展“深度估计”感知能力,比如,密集光流技术+自监督单目图像深度估计。不过,通过平面2D帧来实现3D视图,单目系统存在可靠性难题(比如,对不同复杂场景、动静态物体感知的性能指标能否达到同样的水准),技术门槛较高。

  在行业人士看来,距离准确度和精度是更高级别自动辅助驾驶的关键组成部分。激光雷达、4D成像雷达是解决方案之一,但仍需要可见光/红外摄像头感知能力的提升来配合。

  突破方向之一,就是双目立体视觉。这个在过去被行业视为小众技术路线的方案,正在演变成高阶智能驾驶系统的主流方案。同时,更多供应商的进入,也让双目立体视觉(甚至搭配雷达的情况下)的系统成本具备挑战传统1V1R的可行性。

  在前装市场,去年开始,双目立体视觉的搭载车型也在增加,并且不再只是豪华品牌的专属。比如,吉利旗下星越L、领克07/09、极狐阿尔法S华为HI版以及更多自主品牌新车正在陆续“升级”双目立体视觉配置。

  高工智能汽车研究院监测数据显示,2021年全年国内新车(自主+合/独资)标配双目立体视觉ADAS上险量为22.4万辆,同比上年增长13.71%。而在供应端,除了日立、Veoneer、大陆、博世等传统双目立体视觉方案商,也有不少初创公司进入赛道。

  实际上,不管是瑞萨、TI、安霸还是英伟达、高通等芯片厂商,对于双目立体视觉应用都有支持。比如,瑞萨的R-Car V3H,除了支持多传感融合、高达800万像素摄像头的ISP,同时支持用于CNN、密集光流、立体视觉和物体分类的专用硬件加速器。

  而在面向域控制器赛道,安霸半导体最新发布的大算力SoC-CV3(等效算力500TOPS,上图为架构)就自带了双目立体视觉引擎和稠密光流引擎,从而实现深度检测和运动感知。

  考虑到高阶智能驾驶赛道还处于早期阶段,不同技术路线的博弈还没有定论。这为双目立体视觉(实际上斯巴鲁量产搭载双目和Mobileye成立时间都在1999年)提供了争夺份额的机会。

  两年前,Xilinx宣布将与斯巴鲁合作,基于汽车级Zynq UltraScale+多处理器芯片系统(MPSoC),为其下一代双目高级驾驶辅助系统提供算力支持。同时,双目立体视觉方案商也同步更换为Veoneer。

  按照斯巴鲁的说法,新一代系统采用的图像处理技术可以扫描立体摄像机捕捉到的所有信息,并创建高精度的3D点云,从而更好的应对高级别自动驾驶场景。

  随后,丰田旗下豪华品牌雷克萨斯在2020年底正式上市最新一代LS轿车,除了搭载由电装开发的激光雷达,还有双目立体摄像头,可以实现在高速公路上自动换道并实现换道超车。

  紧接着,去年底梅赛德斯·奔驰全新一代Drive Pilot系统(首发搭载新一代S级轿车)获得监管机构L3级(低速)自动驾驶上路许可,前置双目立体视觉+毫米波雷达+激光雷达的配置成为焦点。

  按照此前公开的数据,这套感知系统的选装价格低于9500美元。其中,双目立体视觉感知(视场角70度)由Veoneer提供,完全集成硬件和感知软件(CNN+3D立体视觉,对车前物体进行精确分类和定位),支持车道检测、可行驶区域检测、小障碍物检测和三维物体分类。

  从物理性能来看,激光雷达通过测量光信号从物体反射到车端传感器所需要的时间来提供距离测量。类似的,双目立体视觉也提供距离估计,基于从两个不同的视角获取的视觉信息的三角测量结果。

  而通过立体视觉生成的数据更丰富,这反过来使激光雷达的障碍检测更容易。此外,在弱光场景下,立体视觉的分辨率也很高(这一点在4D成像雷达也可以奏效)。

  此外,在测距方面,立体视觉通过处理两幅图像得到的间接测量。但无论如何,立体视觉都能够提供远程(不强制要求精确测量距离)和短程(要求高精度执行精确机动)应用所需的精度水平。

  在这方面,立体视觉可以与激光雷达形成很好的互补关系。同时,立体视觉提供的双重图像还可以用来并行执行单目CNN算法,如物体分类。而其特有的优势在于,不需要单目视觉过于依靠深度学习能力,实现对未知障碍物的感知。

  “我们把立体视觉的机械工程问题转变为软件问题,”NODAR公司创始人Dr. Leaf Jiang表示,针对远距离探测,可以基于软件算法创新,实现两颗摄像头超大距离的宽基线配置,同时允许机械公差和主动补偿功能。

  与此同时,目前一些车企搭载的多目摄像头方案,也同样可以通过立体视觉成像方案来进行“硬件复用”。比如,两颗摄像头的视场交集部分,即便是不同焦距、不同距离的摄像头。这打破了过去对双目立体视觉的传统认知(固定基线、规格统一)。

  在“弃用”雷达的同时,特斯拉在FSD软件中开始采用多摄像头+实时运行神经网络的技术路线,这其中就可能采用了两种技术,主要就是通过软件技术来实现硬件“升级”。

  一是类似立体视觉,通过两颗摄像头重叠视场或者类似虚拟立体技术(实际分辨率是原有摄像头的1/8,同时在中距区间内发挥作用);二是运动视差技术,通过连续帧追踪物体(与背景和其他物体相对移动),来实现深度预估。

  最近,特斯拉宣布,在原有Model 3和Model Y车型基础上,今年2月中旬开始,Model S和Model X车型也开始“移除”毫米波雷达。这意味着,特斯拉正式完成全系车型的纯视觉感知能力,技术成熟度已经达到一定水准。

  “每增加一个传感器,就会增加系统的输入带宽要求。因此,需要找到传感器的最优配置,应该限制传感器的总数,但不限制捕获的数据的数量和类型。”特斯拉的专利材料这样写道。

  当然,还有一些企业采用非可见光红外摄像头来补充立体视觉感知的能力。比如,QuadSight的四目视觉系统,在现有双目立体系统的基础上,增加了两个红外摄像头,这使得探测范围从可见光扩展到红外波段。

  而对于双目立体视觉方案来说,短期内更大的机会或许在法规(新车评级)入门级市场。毕竟,在高阶智能驾驶赛道,任何技术路线还都处于小规模上车周期。

  高工智能汽车研究院监测数据显示,2021年度中国市场(不含进出口)15万元及以下新车上险量达到1120.11万辆,占全部新车比重超50%,同比保持小幅增长。

  而在ADAS(L0-L2)部分,这个价格区间的前装搭载率仅为19.73%,低于市场平均水平近20个百分点。这个区间由于成本敏感度高,近年来,基于纯单目前向视觉感知方案异军突起。

  此前,包括采埃孚、法雷奥、智驾科技、知行科技、福瑞泰克等Tier1供应商开始前装交付基于单摄像头(宽视场角)的L1/L2级辅助驾驶方案,再通过360度环视/周视,可以实现更高阶感知。

  2020年7月,采埃孚在中国市场首发量产基于单摄像头(S-Cam4.8)的L2单车道智能驾驶系统,搭载于自主品牌哈弗SUV热销车型,该项目由采埃孚中国团队负责开发。更多的中国供应商也在入局。

  比如,知行科技的第二代产品IFC2.0(单目摄像头方案)提升了2倍的FOV(100°),提供十字路口辅助相关功能;同时,基于比第一代提升3倍的算力,可以同时跟踪更多的目标。这套性价比极高的方案同样可实现L2级自动驾驶辅助系统。

  按照该公司的说法,单摄像头方案对整个系统的识别、定位、规划、控制等环节的精度要求非常高,方案的成功量产充分证明公司在核心算法、软硬件开发和系统集成验证方面的技术能力。

  此外,按照高阶智能驾驶技术架构的发展趋势,这套基于单目感知的低成本、高性价比方案同时可以作为复杂多传感+域控制器方案的冗余备份。不过,单目要“优化”性能,需要大量的数据迭代。

  随着新车评级指标的逐步升级,以及车企对于技术路线选择、功能差异化的考虑,也给了双目立体视觉感知方案一次突围的机会。“如果从系统开发角度,而不是单一的硬件考虑,双目立体视觉方案已经可以与单目抗衡成本,”行业人士指出。

  一直以来,受限于成本及量产开发难度、可选供应商数量少等原因,双目立体视觉仅仅是小众化的感知方案,但在不依靠毫米波雷达的情况下,同样具备独立实现各种ADAS功能的能力。

  同时,随着高分辨率摄像头的逐步上车,车端处理器能力的提升以及实时在线校准、深度学习实现分类等技术的成熟,双目立体视觉方案已经具备挑战能力。和几年前相比,供应商的能力和方案成熟度也已经进入新的周期。

  以元橡科技自主研发的智能立体视觉高级ADAS系统解决方案为例,可以智能识别全类型障碍物、精准记录位置信息,30米以内精度达到99%,最远可探测200米距离(平均误差低于5%),实时画面延迟达到毫秒级。

  此外,通过几代系统的迭代升级,根据美国公路安全协会(IIHS)的数据,斯巴鲁的EyeSight(立体视觉)驾驶辅助系统可以将追尾事故的可能性降低至多85%,甚至比很多搭载单目+毫米波雷达的车型数据还要高出不少。

  而传统的单目视觉最大的瓶颈在于对训练样本的依赖,即便拥有海量数据用来训练深度模型,仍然无法保证能够正确处理所有场景,特别是对于低频出现的非常见障碍物。这也是为什么不少企业开始动起了“数据迭代,驱动系统优化”的模式。

  不同的是,双目立体摄像头是一个具有天然测量能力的传感器,能直接得到物体空间位置和大小,可以对任意障碍物进行检测,而不只针对事先训练的模型,避免因漏检造成意外风险。

  同时,这也是一个天然融合的传感器,将深度学习和图像学习进行有效糅合(特斯拉似乎在专利中也有提及),以应对部分恶劣天气和照明条件,从而解决单目感知的全场景覆盖的瓶颈。

  这也解决了目前绝大部分单目+毫米波雷达融合方案的可靠性难题。但同时,视觉侧能力的提升,意味着毫米波雷达可以专注于自己的能力范围,比如,提高车辆空间感知能力。

  这意味着,相比于“前融合”的开发难度,双目立体视觉+雷达降低了系统开发成本。“发挥各自所长,比拉郎配,效果更好”。

  以全新奔驰S级轿车L3级系统为例,Veoneer的双目立体感知方案,基于CNN深度学习技术,结合3D立体视觉,对车前物体进行精确分类和定位,实现车道检测、自由空间检测、小障碍物检测和三维物体分类。

  相比较而言,这款车搭载的毫米波雷达和激光雷达都不是性能“爆表”的产品。比如,法雷奥的第二代混合固态激光雷达SCALA2,大陆集团的长距离毫米波雷达ARS510(并非ARS540的4D成像)。

  这意味着,从系统而非单一传感器角度来看,双目立体视觉的优势在于可以降低其他传感器与感知系统进行协同数据融合开发的难度和成本。

  “这将打开全新的感知组合设计选项,并站在系统的角度降低全生命周期开发成本,再加上摄像头的复用,还可以提供冗余的感知能力。”业内人士表示。

  高工智能汽车研究院监测数据显示,从去年开始,国内不少车企(包括商用车、乘用车)已经开始选择双目立体视觉方案作为前装量产定点,预计未来三年,将是放量周期。返回搜狐,查看更多

上一篇:上汽大通MAXUS G10 汽油版团购低价
下一篇:计算机图形与视觉技术开发商粒界科技获数千万美元 A+ 轮融资

相关信息

  • 计算机图形与视觉技术开发商粒界科技获数千万美元 A+ 轮融资

    计算机图形与视觉技术开发商粒界科技获数千万美元 A+ 轮融资

      粒界科技(GritWorld GmbH)近日完成数千万美元 A+ 轮融资,领投方为郑志刚 C 资本,高瓴资本、线性资本跟投。  “C 资本带领下本轮各投资方对于粒界科技的投资及其带来的数字化商业机遇,将为粒界打开了一扇全新的数字化之门,将极大的加快数字化渲染及建模技术的智能化和标准化。” 粒界科技创始人吴小毛表示。  粒界科技于 2015 年 12 月由吴小毛博士在德国美茵河畔的法兰克福创立,其致力于研发实时图形渲染技术和实时大规模 3D 重建技术,并应用到不同工业领域,包括影视动漫、数字城市及工业仿真、高维数据可视化,以及大规模商品数字化和广告等,以便极大地推动这些领域的数字变革,提高制作效率并降低批量制作成本。  粒界科技拥有自主知识产权的的计算机图形渲染引擎 GritGene,能以秒级速度渲染出高精度画面,目前主要服务于动画制作、互动影视等非游戏领域。。同时还拥有计算机视觉重建引擎 GritRena,由实时 GPU 驱动计算。  粒界科技团队来自全球 17 个国家,核心团队在游戏、影视级智慧城市领域积累了 10 年以上的经验。未来,以智能影视动画渲染及智能化建模技术为基础,该
  • 悠宝利新车手绘图解读:年轻人的新潮艺术品出行生活新体验

    悠宝利新车手绘图解读:年轻人的新潮艺术品出行生活新体验

      当前汽车市场,追求潮流个性的年轻人已逐渐成为消费主力军,他们的购车观念中感性特征明显,尤其是新世代年轻人,他们观念超前又紧跟时尚,会享敢享,在选购汽车时他们更倾向于外观新颖时尚、内饰精致个性的车型。  同时,随着女性独立意识和经济实力的不断增强,女性群体的汽车消费能力和家庭汽车消费决策权也正在逐年上升,其中以90后年轻女性用户增速最快,正在不断成为未来汽车消费的主力人群。  作为专注于小型电动汽车的精致潮牌,悠宝利汽车对市场发展趋势和消费者需求变化始终保持着敏锐洞察,基于时下消费者特征,悠宝利汽车提出了“Small for Bigger Fun近享都市精致生活”的理念。通过打造精致时尚、对女性友好的新能源汽车切入汽车细分市场,在提升用户出行生活品质的同时,为未来都市出行增添一道靓丽风景线。  悠宝利全新车型采用现代数字美学设计理念,将受新世代热捧的潮流元素与时下流行的数字艺术相融合,重新定义了“新潮与美学”概念,在设计师笔下悠宝利汽车已不单是日常出行的交通工具,更像一款时尚潮品,充分满足了新世代悠享精致生活的个性化需求。  曝光的手绘图外观造型设计前卫又有趣,通过使用具有亲和力的图
  • C前沿王思聪入局半导体;B站回应审核员加班猝死……

    C前沿王思聪入局半导体;B站回应审核员加班猝死……

      近日,韩国反垄断监管机构因虚假夸张宣传尾气减排效果,对梅赛德斯-奔驰韩国子公司及德国母公司处以202亿韩元,约合人民币1亿元的罚款,涉及2012年至2018年在韩国售出的15款柴油车型,共计约3万2千辆。  2月7日,佛吉亚宣布完成了对海拉79.5%股份的收购。其中包括来自海拉控股家族的60%海拉股份,以及去年公开收购要约所收购的19.5%海拉股份。  据悉,从2022年2月1日起,海拉的业绩就已经开始并入了佛吉亚集团的财务报表;而佛吉亚的股票也于当天,正式在巴黎泛欧交易所恢复交易。而在佛吉亚完成对海拉控制股权的收购之后,两者合并后的新集团被命名为FORVIA。  2月8日,宁德时代盘中股价一度暴跌9.94%,创上市以来最大跌幅。截至当日收盘,宁德时代下跌6.66%,报收于540.86元,单日市值蒸发约900亿元。同时,网曝宁德时代正在美国向专业机构求助,咨询其被美国制裁的可能性。对此,宁德时代回应称:关于网传我司向美机构咨询被制裁可能性一事为不实信息。  近日消息,海马汽车在互动平台表示,公司氢燃料电池汽车第三代样车已投入研发,将采用更高功率电堆、更高效率电驱系统、更安全的储氢技
  • 均普智能:正研发新一代智能视觉系统机器人引导技术

    均普智能:正研发新一代智能视觉系统机器人引导技术

      汽车制造业一直是工业机器人主要的应用市场,也是较早应用自动化和部署机器人的行业。随着新能源汽车销量的快速增长以及汽车产业数字化和智能化的转型升级,汽车制造以及零部件生产正在加速机器代人趋势,工业机器人市场或将迎来新一轮爆发。  据公安部7月份发布的最新数据显示,截至2022年6月底,中国新能源汽车保有量已突破千万辆,达1001万辆。随着最近两个月新能源汽车等制造行业的快速复苏,据乘联会数据显示,6月中国新能源乘用车市场批发销量预计达到54.6万辆,同比增130%。新能源汽车制造端和销售端的旺盛需求直接带动上游工业机器人的需求增长。  迅猛发展的新能源汽车市场,正在对工业机器人的技术创新和功能延伸提出新要求。工业机器人行业相关人士表示,相对于其他工业制造行业,新能源汽车行业对工业机器人的高度柔性化、智能化、数字化要求非常高。有别于传统的工业机器人,新能源汽车制造要求机器人在协作区域内与人、产线直接进行近距离交互及协作。而目前能满足这些要求的工业机器人制造商主要还是以发那科、ABB、库卡为代表的老牌机器人公司为主。  新能源汽车包括自动驾驶因核心部件创新、新材料应用、软硬件系统更高级等

手机扫一扫添加微信