最近有些做传统规控和轨迹预测的小伙伴问我:现在LLM做端到端自动驾驶这么火,自己要不要考虑转行,坚持传统规控/轨迹预测还能做几年?会不会三五年后失业了。。。而且最近小米汽车发布会,也说已经搭载了端到端感知决策大模型,全球首次用于量产车~ 这个问题很好,说明这个小伙伴不仅紧追前沿,更重要的是自己在思考,在思考自己何去何从,更是在思考这个行业。欢迎更多的小伙伴找汽车人交流。下面就来聊聊这个问题,换个角度阐释这个问题:模块化的方法和端到端的方法孰优孰劣?或者说端到端方法能否取代模块化方法成为自动驾驶量产的主流。
回答这个问题,先看看端到端方法有哪些:一是像上海人工智能实验室提出的UniAD这种,整个感知、预测、决策都在一个网络里面学习;另一种就是结合大语言模型直接实现端到端的方法,最近集中爆发了很多工作,像LMDrive。
那么为什么说端到端方法出来后有希望取代模块化的希望,最主要的优势我觉得的有以下几个方面:整个量产框架的极大简化,就像特斯拉的FSD从30W行精简到3000行,这对工程而言的意义更大,但!却不是必须的;二是可能的性能提升,理论上E2E系统有可能学习到比模块化方法更复杂的驾驶策略。
换个角度,模块化方法的优势在哪里:可解释性强、安全性强、灵活性高(模块化方法的版本更新可以只更新某个固定的模块用于优化指定的问题,但E2E的方法必须更新整个模型,这从成本上和灵活性上讲还是差很多的)。就汽车人的主观认知,端到端方法离量产落地还有很长的一段路要走。
端到端一些待解决的问题可能有下面几个:千万/亿级的数据如何高效训练模型?如何提高模型的可解释性/安全性(更具体的说如何保证加数据能解决问题)?
道阻且长行则将至。模块化方法发展了几十年,有它的技术壁垒在这里。端到端方法正是站在这个巨人的肩膀上,我们需要它看的更远,走的更扎实!
新兴技术不知道如何入门?
以上内容都是汽车人日常和小伙伴们交流和思考的问题,仅做分享。这些内容我们第一时间都会分享在
公众号【自动驾驶Daily】
,欢迎关注!