继小爱同学为车进化并搭载在小米SU7上以来,无论是基础的车控功能,亦或是大模型加持下的车辆问答、互动畅聊与前车识别,都是广受大家好评的语音助手功能。在小米YU7上,小爱同学再次进化,摇身一变超级小爱,为智能座舱带来了又一次创新变革。
今天的文章将带大家探索一下包括语音交互能力、车外语音控制、多模态交互体验以及情感交互等方面超级小爱的进阶,解析其背后的技术支持和体验提升。
语音交互基础能力
强上加强
基础交互能力上,超级小爱在YU7上有了进一步的升级。此前的五音区交互,可以判断出唤醒人在车内的位置并提供定制化的功能服务,例如车辆行驶相关的功能开关只有主驾可以控制,不同位置的乘客有打开车窗、座椅加热等功能需求时,小爱会精准识别呼唤者的方位,并定向执行指令。
这一次超级小爱,让五音区语音交互能力进一步提升,带来了昵称免唤醒、指令免唤醒,让语音控车的交互效率进一步提高。

首先是昵称免唤醒,过去要呼唤小爱同学,需要先说“小爱同学”后,等待小爱回应,才能继续说出指令。现在有了昵称免唤醒功能后,只需在您要说的指令前面或后面加上“小爱”二字,便可连贯的通过一句话让小爱执行,例如“小爱导航到最近的充电桩”亦或是“空调开到最冷小爱”,无需停顿,一气呵成,交互流程直接减半。
进一步,对于车上诸如导航、媒体控制等一些高频车控功能,我们还带来了指令免唤醒功能。开启指令免唤醒后,无需唤醒词,直接说出您的车控类指令,小爱便会立刻执行,交互效率进一步提升。
交互效率的提升,意味着语音系统需要同时处理方向盘按键唤醒、常规唤醒、昵称免唤醒与指令免唤醒四种不同的唤醒方式,车内座舱是一个天然的多人共用场景,很有可能会有多个人同时发出指令,如何才能保证各种唤醒方式之间能够和谐共处、互不冲突?我们的做法是接到免唤醒指令时,直接让超级小爱“多重分身”,得益于车内优秀的麦克风硬件与模型算法加持,我们同步在免唤醒场景下推出了全车多路同说功能,当车上多个乘员同一时间说出不同免唤醒指令时,超级小爱依旧能够同时处理并分别执行。
升级端云大模型
多模态融合应用

语音交互能力增强的背后是端侧大模型技术的支持,这是一个基于Attention架构的多模态模型,车内外的摄像头、麦克风、屏幕与各类整车传感器的信号都能被模型识别并纳入思考范畴。根据用户下达的指令涉及领域不同,内置的各类专家模型会被适时的调用,通盘思考各个模态信息后给予用户专业答复。
它能做到认识人、看世界、懂屏幕,并且个人隐私相关数据严格控制在本地处理且不进行保存,无需借助网络,也无需将数据上传至云端,从而提高了响应速度和隐私保护,也让多指令的快速理解和执行变得可行。
除此以外,端云大模型还赋能了很多使用有趣的功能。
超级小爱具备“走哪问哪”的功能,之前的前车识别功能已经广受用户好评,我们也即将在OTA版本中实现对建筑物的识别。用户可以随时对拍摄的建筑进行问答,进一步如果视野中有多个地标建筑物,还可以在图片上圈选您好奇的那一幢建筑并继续追问超级小爱。这一功能的实现得益于多模态交互技术,它融合了语音、文字、图像等多种交互方式,为用户提供更加丰富和自然的交互体验。

哨兵模式在超级小爱加持下还带来了自动总结功能,当车辆处于哨兵模式监控状态时,一旦检测到异常情况,如车辆被碰撞、刮擦,或者有可疑人员靠近等,超级小爱会自动对事件进行分析和总结,并用一段简洁明了的文字描述异常情况,帮助车主快速了解危险情境。

还有一个非常实用的功能也强烈依靠着超级小爱的多模态跨端能力,那便是手机超级小爱一句话找车。在商场地库停车后找不到车的情况时有发生,依靠闪光、鸣笛等方式找车又会对其他顾客造成不必要的干扰。现在只需要和手机上的小爱同学问“我的车停在哪了?”手机端、云端和车端的小爱便会通力协作,将车辆停车前的车周照片中出现的文字、物体信息进行多模态分析,并用一句话来总结出车位号和周围环境信息,轻松找到停车位置。

车外超级小爱
车外也一样贴心安心
小米YU7在车身四周布置了8颗车外麦克风,支持车外360°拾音,让用户可以更好地与小米YU7互动。当用户双手提着购物袋走向车辆时,只需说一句“小爱同学,打开前备箱”,系统便会立即校验随身的数字钥匙,并执行指令,同时车灯还会伴有动态灯语,向你展示小爱的积极回应。
当然,安全方面也无需担心。在车外通过小爱同学打开小米YU7的前备箱,需要同时满足以下三个条件:
在车机中开启「车外语音唤醒」功能;蓝牙/数字钥匙位于车辆旁边;当车辆处于P挡且车上无乘员时;
通过车机中的「账号管理」完成声纹录入后,除了上述基本条件外,还需要符合声纹信息的声音和蓝牙/数字钥匙同时出现在车辆旁边,系统才会执行车外语音指令。该功能能更完善地保障您的车辆安全,有效防止未经授权的操作、意外触发及其他安全风险。
不仅是前备箱开启,其他车外语音的交互功能都设有安全保护机制。当检测到车内有人时,车辆会自动禁用车外语音功能,优先确保车内人员安全,即使是家人误操作也无需担心。
主动交互 更进一步
超级小爱整合了先进的情绪识别技术、优化算法和多模态交互能力,升级了原有的单轮情感回复功能,构建多轮情感对话策略,显著提升了情感交互的共情性和连续性。
超级小爱还可以根据用户的使用习惯和偏好进行个性化优化,为用户提供更加个性化的服务。当识别到今天的常走通勤路线出现意外拥堵时,超级小爱会主动提醒;长途开车识别到驾驶员略有疲劳时,会主动启动座椅按摩功能;每日上车,还会根据当天的热点信息以及车主的状态进行定制化的问候,让语音交互更富情感,更加温暖。
超级小爱在小米汽车上的升级不仅提升了语音交互能力、多模态交互体验和情感交互能力,还与车载系统深度融合,为用户提供了更加丰富、便捷、安全和个性化的体验。这些升级的背后是端侧大模型技术、多模态交互技术、情绪识别技术等先进技术的支持,以及小米汽车强大的硬件设备保障。未来,随着技术的不断发展和优化,超级小爱有望为用户带来更加智能和人性化的车载体验。