目录
一.设计背景
二. 系统总体方案设计
2.1 系统框图及总体工作原理描述
三. 系统硬件介绍
3.1处理器资源介绍
3.1.1核心板资源
3.1.2 核心板特性
3.4 Camera接口
3.5音频接口
四. 系统软件设计
4.1 软件整体流程图及软件方案介绍
4.2 各模块功能设计
4.2.1登录检测功能
4.2.2图片播放功能
4.2.3 视频播放功能
4.5.4 语音播放功能
4.2.5 摄像头监控功能
一.设计背景
随着汽车电子智能化、网联化的迅猛发展,车载电子电气系统功能越来越复杂,语音控制系统作为关键技术之一,对用户体验和驾驶安全具有重要影响。搭载语音控制系统,不仅提高了车载智能化体验性和娱乐性,还可以在驾驶过程中实现对车辆的便捷控制。为满足用户需求,当前国内市场主流车型大部分均已配备车载语音控制系统。目前,红旗全系车型也将语音控制系统作为标准配置之一。为实现对红旗系列车型车载语音控制系统的高效功能验证,本文提出一种基于语音仿真和机器视觉的车载语音控制系统自动化验证方案,利用语音仿真和机器视觉技术可实现语音指令仿真输入和测试结果的自动回采,通过编制自动化测试序列,可以实现对车载语音控制系统自动化测试和重复性测试,可有效提升测试效率,提高测试覆盖度,对缩短产品周期和降低开发成本有重要意义。
二. 系统总体方案设计
2.1 系统框图及总体工作原理描述
![](https://img-blog.csdnimg.cn/e6fd67a1897e403ab1ec246ac1bf7b7b.png)
智能车载监控系统主要由三个部分组成:语音识别模块、控制逻辑模块和执行控制模块。其中,语音识别模块负责将驾驶员的语音指令转化为计算机可以理解的数字信号;控制逻辑模块根据语音指令确定车辆需要执行的操作;执行控制模块负责将控制逻辑模块输出的指令转化为具体的车辆控制信号。这三个模块的协同工作,可以实现对车辆的多种控制操作,例如控制车辆行驶、调节车辆音响、调节车辆空调等。在语音识别模块中,可以使用自然语言处理技术对驾驶员的语音指令进行识别。自然语言处理技术可以将人类语言转化为计算机可以理解的形式,例如将单词转化为数字或者将语句转化为语法树。自然语言处理技术的核心是语义理解,即将语言中的含义转化为计算机可以处理的形式。在语音识别模块中,可以使用深度学习技术训练语音识别模型,提高语音识别的准确率和鲁棒性。在控制逻辑模块中,可以使用规则引擎技术对语音指令进行解析和处理。规则引擎技术可以将语音指令转化为规则表达式,并根据规则表达式执行相应的操作。规则引擎技术的优点是易于维护和扩展,可以根据需求灵活地定义规则表达式。在控制逻辑模块中,可以定义多种规则表达式,例如控制车辆行驶的规则表达式、调节车辆音响的规则表达式、调节车辆空调的规则表达式等。在执行控制模块中,可以使用物联网技术和传感器技术对车辆进行控制。S5P6818处理器是一款高性能、低功耗的 ARM Cortex-A53 处理器,具有丰富的硬件资源和功能。S5P6818 核心板具有多种接口,例如 HDMI 接口、USB 接口、以太网接口、SPI 接口、I2C 接口等,可以方便地与外部设备进行连接。S5P6818 核心板还具有丰富的存储器,例如 DDR3 存储器、eMMC 存储器、SD 卡存储器等,可以方便地进行数据存储和读取。此外,在本系统中我们设计了系统的 GUI,系统的起始界面是登录界面,在登陆界面中,用户需要输入账号和密码方可开启系统,进入系统之后,用户可自由选择系统功能,如语音识别模块,相册模块,摄像头监控模块以及视频播放模块,选择相应的功能可执行对应的操作。在摄像头监控模块中,摄像头会实时的捕捉当前路面信息,并将捕获的图片数据通过网络发送到云端进行数据的分析,判断当前行驶安全系数,同时会通过音频模块将分析的结果进行播放,此外,还可以通过语音进行控制摄像头进行抓拍或者合成视频,播放音乐,调节音量大小等等,也可以在系统相册中查看抓拍的图片信息并上传到移动端。总之,简易语音控制的汽车综合控制系统展示了人工智能技术在汽车领域的广泛应用前景。通过语音识别、自然语言处理、规则引擎、物联网和传感器等多种技术的协同工作,可以实现对车辆的多种控制操作,提高驾驶安全和用户体验。
三. 系统硬件介绍
3.1处理器资源介绍
3.1.1核心板资源
![](https://img-blog.csdnimg.cn/324966d4198d49018f73a61a1d575924.png)
S5P6818 核心板采用邮票孔的核心板方式设计,核心板可扩展性强,多达 180PIN 脚,运行速度高达 1.4GHz。PCB 采用 8 层沉金工艺设计,具有最佳的电气特性和抗干扰特性,工作稳定可靠。核心板板载了足以胜任 S5P6818 的 PMU AXP228,带库仑计的充电管理,同时支持 S5P4418 和 S5P6818 正常工作,并集成千兆以太网,可以广泛应用于 MID,POS,PDA,PND,智能家居,手机,车机,学习机,游戏机以及其他各种工控领域。 S5P6818 采用 28nm 制作工艺,内置高性能八核 ARM Cortex-A53 处理器架构,在多媒体性能上, 它几乎支持全格式视频解码,在 LCD 控制器上,芯片板载 LVDS、RGB、MIPI三路显示控制接口,显示分辨率可以高达 2048*1280@60Hz。同时,内部集成千兆以太网控制器,令很多对网络有更高要求的客户垂涎三尺。
在存储器方面,S5P6818核心板内置了1GB DDR3 RAM和8GB eMMC存储器,同时还支持TF卡扩展,能够满足不同应用场景的需求。S5P6818核心板还支持多种显示接口,包括HDMI、LVDS和RGB接口,能够满足不同的显示需求。它还支持多种网络接口,包括千兆以太网、WiFi和蓝牙,能够方便地连接到网络。此外,S5P6818核心板还支持多种扩展接口,包括USB、UART、SPI、I2C和GPIO等,能够方便地连接外部设备和传感器。在视频处理能力方面,S5P6818核心板支持1080P视频解码和编码,能够提供出色的视频处理性能。
GEC6818 的嵌入式开发平台出色的性能,能够完美展现芯片的绝大多数功能,可以大大缩短用户的开发周期。GEC6818 嵌入式开发在设计之初,就充分考虑了 S5P6818 的芯片特性,同时考虑到了很多实际应用场景。从软硬件整体考虑,即大大节约了用料成本,又很完美的将芯片本身的性能发挥到极致,教学、科研以及企业用户的学习与借鉴具有非常大的意义。大缩短用户的开发周期。GEC6818嵌入式开发在设计之初,就充分考虑了 S5P6818 的芯片 特性,同时考虑到了很多实际应用场景。从软硬件整体考虑,即大大节约了用料成本,又很完美的将芯片本身的性能发挥到极致,教学、科研以及企业用户的学习与借鉴具有非常大意义。
3.1.2 核心板特性
GEC-S5P6818 核心板具有以下特性:
1. 处理器:S5P6818处理器,基于Cortex-A53架构,主频1.4GHz,具有强大的计算能力和低功耗特性。
2. 存储器:板载2GB DDR3内存和8GB eMMC存储器,可以满足大部分应用的存储需求。
3. 显示接口:板载HDMI接口和LVDS接口,支持双显示输出,满足多种显示需求。
4. 网络接口:板载10/100/1000Mbps以太网接口和WiFi模块,支持有线和无线网络连接。
5. 扩展接口:板载多种扩展接口,包括USB接口、SD卡接口、SPI接口、I2C接口、UART接口等,方便用户进行扩展开发。
6. 视频处理能力:板载Mali-400 MP2 GPU,支持1080P视频解码和编码,可以满足多媒体应用需求。
7. 操作系统支持:支持Android、Ubuntu等多种操作系统,方便用户进行开发和应用。
8. 电源管理:板载电源管理芯片,支持多种电源管理模式,可以实现低功耗运行。
9. 尺寸和重量:板子尺寸为120mm x 120mm,重量约为50g,体积小巧,便于携带和嵌入式应用。
3.2 LCD接口
![](https://img-blog.csdnimg.cn/47b35b818dfc49098a7f0f3ce77f6f98.png)
S5P6818核心板是一款高性能的嵌入式开发板,其LCD接口是其重要的组成部分之一。LCD接口是指连接显示器和主板之间的接口,开发板底板默认留有一个40PIN的LCD接口,用于传输图像和控制信号。S5P6818核心板的LCD接口采用了RGB接口和LVDS接口两种方式,下面将对这两种接口进行详细介绍。
首先是RGB接口,它是指将红、绿、蓝三个颜色的信号分别传输到显示器上,通过混合这三个颜色来显示出不同的颜色和图像。S5P6818核心板的RGB接口支持24位真彩色和16位高彩色,分辨率可达1920×1080。此外,RGB接口还支持同步信号和时序控制,能够实现对显示器的亮度、对比度等参数进行调节,提高显示效果。
其次是LVDS接口,它是指低电压差分信号接口,是一种高速、低功耗的传输方式。S5P6818核心板的LVDS接口支持单通道和双通道两种模式,可以实现高清视频的传输。此外,LVDS接口还支持多种分辨率和刷新率,适用于不同的显示器。
除了RGB接口和LVDS接口,S5P6818核心板的LCD接口还支持多种显示器接口,如HDMI、VGA、MIPI等。这些接口可以实现与不同类型的显示器的连接,提高了核心板的兼容性和可扩展性。
3
.3
USB HOST接口
S5P6818核心板是一款高性能的嵌入式开发板,其USB HOST接口是其重要的组成部分之一。USB HOST接口是指连接外部USB设备的接口,用于传输数据和控制信号。S5P6818核心板的USB HOST接口采用了USB2.0和USB3.0两种方式,下面将对这两种接口进行详细介绍。
首先是USB2.0接口,它是一种传输速率较低的接口,最高传输速率为480Mbps。S5P6818核心板的USB2.0接口支持多种USB设备的连接,如鼠标、键盘、打印机等。此外,USB2.0接口还支持USB OTG功能,可以实现设备之间的直接通信和数据传输。
其次是USB3.0接口,它是一种传输速率更高的接口,最高传输速率可达5Gbps。S5P6818核心板的USB3.0接口可以实现高速数据传输,适用于需要大量数据传输的应用场景。此外,USB3.0接口还支持USB PD功能,可以实现快速充电和供电。
除了USB2.0接口和USB3.0接口,S5P6818核心板的USB HOST接口还支持多种USB设备的连接,如U盘、移动硬盘、摄像头等。这些设备可以通过USB HOST接口实现与核心板的连接,方便数据的传输和控制。
总的来说,S5P6818核心板的USB HOST接口具有多种连接方式、高速传输、支持多种USB设备等优点,适用于各种嵌入式应用场景。
3.4 Camera接口
![](https://img-blog.csdnimg.cn/8f08d50f18504a309108e1c65fc29b2c.png)
S5P6818核心板支持MIPI CSI和DVP两种接口方式,其中MIPI CSI接口支持1-4个数据通道,支持多种数据格式,包括RAW、YUV、RGB等,支持8/10/12/14/16位数据宽度,最高支持1080P@60fps的视频数据传输。而DVP接口则支持8位数据宽度,最高支持720P@30fps的视频数据传输。此外,S5P6818核心板还支持多种摄像头模组,包括OV5640、OV5642、OV8865等,可以满足不同应用场景的需求。需要注意的是,使用摄像头时需要根据具体情况进行驱动开发和配置,可以通过修改设备树配置文件来实现。另外,还需要注意摄像头的供电和信号线的长度等问题,以确保摄像头正常工作。
3.5音频接口
![](https://img-blog.csdnimg.cn/6d6248f509244ca88b908ff81b4f0b1f.png)
S5P6818核心板的音频接口主要有两种,分别是I2S接口和AC97接口。
I2S接口是一种串行音频接口,它可以支持多种音频格式,包括PCM、DSD、AC-3等。I2S接口具有高保真度、低失真、低噪声等特点,适合于高品质音频传输。在S5P6818核心板上,I2S接口可以通过GPIO引脚进行配置,支持多种时钟模式和数据格式。
AC97接口是一种多路音频接口,它可以支持多达6路音频输入和2路音频输出。AC97接口具有低成本、低功耗、易于实现等特点,适合于普通音频传输。在S5P6818核心板上,AC97接口可以通过专用的接口进行配置,支持多种音频格式和时序模式。
需要注意的是,在使用这些音频接口时需要根据具体情况进行驱动开发和配置,以确保正常工作。同时,还需要注意音频信号的抗干扰能力和传输距离等因素,以确保音频传输的质量和稳定性。
四. 系统软件设计
4.1 软件整体流程图及软件方案介绍
简易语音控制的汽车综合控制系统是在嵌入式设备上运行Linux操作系统,并利用Linux提供的各种功能,实现有登录功能、视频播放功能、语音播放功能、摄像头监控功能的控制系统,通过LCD触摸屏实现界面的切换以及功能的选择等,主要流程图如下:
![](https://img-blog.csdnimg.cn/e8acfbca57f94390a1441005fb5432fa.png)
从流程图中可以看到系统首先会进入登录界面,登录界面有账号、密码、以及键盘等选项,用户可通过触摸屏键盘进行账号与密码的输入,输入完成后点击登录选项,系统就会检测账号和密码是否正确,如果账号和密码都正确则进入功能选择页面,如果账号或密码不正确则重新回到登录界面,在功能选择界面中,通过点击LCD触摸屏可选择视频播放功能、语音播放功能、摄像头监控功能、相册功能。这四个功能都会对应一个子功能模块,选择哪个功能就会进入相应的子功能模块进行对应的操作,每个子功能模块内都可选择结束选项回到最初的登录界面。
4.2 各模块功能设计
4.2.1登录检测功能
![](https://img-blog.csdnimg.cn/3a7905cd31d4430998b9821aa9ad9811.png)
系统的起始页面是登录界面,登录界面有键盘、账号输入、密码输入、登录等端口,用户可以通过键盘端口输入账号与密码,如果输入错误可点击删除并继续输入,输入完毕后点击登录,随后系统会读取输入的账号与密码存入至数组当中,然后将将存入账号的数组与我们设定的账号数组进行元素的一一对比,如果输入的账号不正确,则会重新回到登录界面,如果输入正确,则会继续进行密码比对,如果密码正确则进入下一个功能界面,不正确则回到登录界面,在程序中相当于进行了一个if的嵌套判断。
4.2.2图片播放功能
在图片播放模式下,我们可以实时的查看我们存入的图片,也可以查看通过摄像头捕捉到的图片数据,其流程如下:
![](https://img-blog.csdnimg.cn/7d035c55712f42a9bd57033bde83a45c.png)
图片播放功能的模式有两种,一种是手动播放模式,另一种是自动播放模式。用户可自由的进行选择,如果选择自动播放模式,那么系统存储的相片会以1s的时间间隔循环的进行播放,在循环播放的同时,系统会实时扫描触摸屏幕,检测是否点击了退出的选项,如果选择退出,则会回到功能选择界面,如果不选择退出,则会继续进行循环播放;如果我们选择的是手动播放模式,那么图片的播放则是人为控制,播放方式又分为两种供用户选择,分别是播放上一张(模式1)与播放下一张(模式2),选择对应的播放方式则会进行相应的操作,同时系统也会实时检测是否结束当前功能。
4.2.3 视频播放功能
通过视频播放功能,用户可以实时的观看上传的视频,也可以查看摄像头录制的图像数据,视频播放功能的运行流程图如下:
![](https://img-blog.csdnimg.cn/d3e2a6332c6646b590733e7f3f76a12b.png)
首先系统会根据指定的路径播放视频,在视频播放的界面下,可以选择功能如播放倍速、视频快进、视频后退、视频暂停等等,同时也可以在播放列表中指定视频进行播放,同时系统会实时的检测是否选择结束当前功能,如果选择结束,则会回到功能选择界面,否则会继续进行播放。
4.5.4 语音播放功能
在车辆行驶的过程中,系统会实时的检测当前小车运行情况,并且会通过语音播报的方式向驾驶员汇报,此外,驾驶员还可以在休息时通过语音播报功能听音乐放松,防止疲劳驾驶造成事故。以下是语音播放功能的运行流程图:
![](https://img-blog.csdnimg.cn/8edc116410ad4c538ab15fd01146c1c8.png)
首先系统会根据指定的路径播放语音,在语音播放的界面下,可以选择功能如播放倍速、视频快进、视频后退、视频暂停等等,同时也可以在播放列表中指定语音进行播放,同时系统会实时的检测是否选择结束当前功能,如果选择结束,则会回到功能选择界面,否则会继续进行播放。
4.2.5 摄像头监控功能
通过摄像头系统会实时的捕捉当前驾驶环境的情况,并且会实时的捕捉当前路况图片上传至云端,通过云端对这些图像进行分析可获得当前行驶的安全系数,并通过语音播报功能汇报给驾驶员;也可以拍摄当前驾驶员的面部图片上传至云端,分析驾驶员的驾驶状态,在状态较差时,可以提醒驾驶员进行休息,以免发生事故。以下是摄像头监控功能的运行流程图:
![](https://img-blog.csdnimg.cn/328fcf91d35e422dbc18e958d9da516c.png)
在进入摄像头监控功能后,系统会进行摄像头的初始化操作,随后进行线程的创建,在主线程中,系统会实时的检测用户所进行的功能选择,我们在程序中会定义一个功能标志位用来记录所选功能,如果此时我们选择了抓拍功能,则Flag则会置0,如果选择拍摄模式,则Flag则会置1,如果选择结束,则Flag则会置2。在子线程中,系统会实时的检测Flag的值,如果FLag=0,则会进入抓拍子功能模块,如果FLag=1,则会进入视频录制子功能模块,如果FLag=2,则结束子进程。