欢迎访问,中国低碳网!

当前位置:典型案例 > 供需发布 > 正文

小鹏汽车:智能感知是提升用户体验的基础

2018/8/6 10:11:08  http://www.ditan360.com/   小鹏汽车官网  人气:6194

7月29日,小鹏汽车首席科学家郭彦东博士出席钛媒体2018科技生活节,以“造更懂中国人的AI Car”为主题做演讲,他提出:“在车和人互动的过程中,AI的应用能让车去更好的识别和理解人,从而提升用户体验及车辆安全性。小鹏汽车不仅要更懂路上的中国人、还要更懂车里的中国人。”

1、小鹏汽车首席科学家郭彦东博士演讲.jpg

小鹏汽车首席科学家郭彦东博士演讲

以下为郭彦东博士演讲实录:

我今天想从小鹏汽车发展中的一些思考和努力,跟大家探讨一下如何造更懂中国人的智能汽车。

什么是更懂中国人的AI Car?

第一层面,更懂路上的中国人。

其实我们路上有这样那样的行为,包括开远光灯也好,有时候人车混流也好,需要学习的其实是人的行为,人的文化,也还有人制定的政策和法规。举个例子,在美国车跟车之间的距离是比较远的,但在中国驾驶场景当中,在等红灯的时候,车跟车的距离非常之近,哪怕非常之近的时候都有车加塞进来,这个环境当中对智能的要求,就已经超出了普通的物体检测提到的要求,智能车其实学的是人的行为、人的文化,学的是人的政策和法规。其他几个例子包括中文的路牌、中国特色路牌,包括密集交通、人车混流,甚至中国一些特色天气下的处理,等等都给我们更懂“路上的”中国人提出一些机遇和挑战。

第二层面,更懂车里的中国人。

更懂车里的中国人,我也把它分这么两个层次讨论:1、更懂车里的中国人,最简单的就是要求智能车听得懂中国话,认得到中国人,符合中国的驾驶习惯。2、“懂你”。“懂你”指的是说,懂在车里的这一个中国人,这一个中国司机我们要懂他。为了实现这样一个目的,第一我们要人脸识别,知道开车的是谁,他有什么样用户的画像。第二我们需要对用户的情绪状态有这样的感知,为什么有这样的感知呢,情绪信号其实是对我们调教车的用户体验的一个非常强的信号。

智能感知是提升用户体验的基础

这个分享从一个橘子开始,大家在图上看到,一个橘子被卡在了方向盘上面。这其实是一张特斯拉的图片,说的是,特斯拉的“自动驾驶限制”被一颗橘子破解。

2、特斯拉高级辅助驾驶被一颗橘子骗过.jpg

特斯拉高级辅助驾驶被一颗橘子骗过

我们知道,特斯拉的辅助驾驶系统,实际上要求,司机必须要手持方向盘。那么,它是通过什么来检测司机是不是手持方向盘的呢?其实,在特斯拉的方向盘里面有一个压力传感器。有些用户不愿意去遵守特斯拉公司这样的一个规定,就把这个橘子放在方向盘上面,从而成功的骗过了特斯拉汽车。这个是一个很小事件,但是我们从这个橘子上也看到了一些挺有意思的事情。

有很多辅助驾驶功能,都包括车道线辅助、紧急刹车、盲点检测等等技术,甚至很多都有供应商提供了。我们希望能让人工智能技术真正提升用户体验跟车辆安全性,比如用智能的感知与决策把这些独立的辅助驾驶功能有机结合起来,这个车才是一个真正的智能车,才能够提高用户的体验。我举几个例子,一方面是车外的一些感知,比如天气,比如说场景的识别、事件识别和预测。例如,一个司机在路上看到一辆校车停在路边,车门打开了,他会知道可能有小朋友从车里跑出来。但是什么时候我们的辅助驾驶功能车,搭载了智能模块以后也能做出类似的判断呢?这才是我们乐于看到的一个事情。

另外,我觉得,跟车外的一些情况预测和判断、智能感知比起来,车内的感知可能显得更重要。我举几个例子,包括乘客、司机的识别,包括我刚才说的注意力、情绪的识别。我们能不能在人和车互动的过程中,让车去更好的理解司机的状态?不光是他的注意力,包括他的疲劳、情绪,做一个正向的反馈循环,来提升用户的体验,这个是我们的近期愿景。

所以,我们核心就是要把这些功能智能化,然后提升用户体验。它的基础就是智能感知。

三大维度构建小鹏AI Car

我想和大家分享一下,我们小鹏汽车是怎样实现这个愿景的。我们有三大模块,第一是大数据,我们的智能车,始于大数据,训练和优化在人工智能训练平台上,成熟在量产车平台。量产车平台是我们作为整车厂商一个独特的优势,我们OTA最新的算法模型在量产车上,然后我们再从量产车里面收集、采集更多的中国用户真实数据,来完成这样一个闭环迭代的过程。

我从数据、人工智能平台、量产车从这三个方面,来跟大家分别探讨一下。

第一,数据为王。

小鹏汽车作为整车厂商,作为一个真正做量产车产品的公司,我们最关心的、最重视的就是我们的数据。我们的数据来自于下面4个主要的来源:互联网大数据、仿真大数据、自有车队或者测试车队大数据、中国真实用户大数据。

我主要说一下互联网大数据和中国真实用户的大数据。一是互联网大数据。最近这20年,整个人类其实做了一件很有意义的事情,就是把他们的行为、信息、知识都做了互联网化。我们现在想要找一些信息,在互联网上直接做简单的搜索就可以马上得到,是因为我们大量的人类信息都已经在互联网上有所体现了,都已经在互联网上被数字化了。我可以和大家分享一个更细节的数字,我们也跟很多技术供应商去探讨,一些很顶级的技术供应商,可能一年收集10个亿的图片,但是这个图片的量对于互联网数据来说,可能是一周,甚至远远不到一周的时候,互联网上就有这么多图片产生了。这个做过搜索引擎的人最有体会的,包括我自己。互联网数据量非常之大,对早期算法的演进意义重大。但是它有它的挑战,就是说,这部分数据可能跟无人驾驶、智能车想要的数据分布有一些不一样的地方,标注也有一些困难,需要用一些办法,比如迁移学习把互联网的知识转移到智能车上去。为了达到这样的一个目的,我们也关注另外3个主要数据来源:1、仿真大数据。2、自有车队数据。3、来自于用户的真实数据。

尤其是中国用户的真实数据,不管从真实度上,还是成本效率上,还是对场景的覆盖度、数据量上,都远远的优于仿真和自有车队的数据体量。在人工智能尤其是深度学习的大环境下,其实谁坐拥了数据,谁就有可能会有最先进、最完善的技术体系。这也是整车厂商有的一个优势。我们从大量的用户中搜集用户的反馈,用这个数据不停的调教和更新我们的智能车系统。

第二,我们有了数据以后,如何去做。我们搭建人工智能平台,用大量的数据训练多个深度学习模型。

但是,我们想强调的是在智能车的场景中,往往最有价值的就是所谓的长尾(long-tail)数据。就是说这些数据发生的频次很低,很有可能你开很久的车才会有一次、两次发生,但是这些事情的种类、类别、数量会非常多,想要让我们的车辆适应尽可能多的场景,就要求我们的人工智能平台有快速处理这样一个长尾(long-tail)数据的能力。

这有几个挺有意思的例子,比如我从加州回来之前在路上。因为天气也很好,前面是一个油罐车,这个油罐车很干净,它把后面的车,包括我自己的车倒影在油罐车的油罐上面去了。

3、油罐车倒影中的场景有可能会被算法误认为是真实的车道线与车辆.jpg

油罐车倒影中的场景有可能会被算法误认为是真实的车道线与车辆

如果你对这个场景没有一个特殊的理解和处理的话,很多世界上最好的计算机视觉算法,都有可能误认为倒影是真实的车道线与车辆。特斯拉曾经发生过一件很惨痛的事故,特斯拉的车没有成功的把一辆白色的大货车认成车,认为是一片云彩,也撞上去了。

4、特斯拉把大货车误认为是一片云彩.jpg

特斯拉把大货车误认为是一片云彩

还有一个案例,下面这张图其实是一个披着cosplay衣服的行人走在路上,人类司机都可以完成识别是一个行人。但是计算机视觉,由于这个人穿了一件cosplay的衣服,可能算法不一定能成功检测到是一个人。

5、穿人偶服装的行人无法被车辆识别.jpg

穿人偶服装的行人无法被车辆识别

这就对我们人工智能学习平台提出的问题——当样本不是那么常见、频次很低的时候,如何快速学习呢?其实在业界有很多这种类似的方法、技术已经被研发出来了,比如微软的custom vision,我本人也曾参加了custom vision的核心研究工作。将来也会针对小鹏汽车的特殊场景定制和打造可以快速迭代,应对小样本学习的人工智能学习平台。

第三、我们有了数据,有了人工智能训练平台,还需要有一个独特的场景,就是量产车场景。首先小鹏汽车有一个全球化的企业布局,在硅谷、广州、北京、上海、肇庆、郑州等地方都有研发和生产中心,在单车研发上投入很多。此外,我们现在也跟世界上最好的芯片厂商有紧密的合作,也签署了战略合作协议,我们将会搭载世界上算力最强的人工智能芯片之一,这样也保证我们最新的算法能够在车上跑起来,能够把用户的一些行为能够实时的反馈回来。

小鹏汽车有了这样一个闭环的智能进化能力之后,就可以做到人车共存,不仅车会更懂路上的中国人,还会更懂车里的中国人。

共有访客发表了评论 网友评论

验证码: 看不清楚?

     精彩图集