1、老年人语音情感识别系统设计与实现目 录课题研究背景与意义Background And Significance Of The Selected Topic1CONTENTS系统总体方案设计系统相关算法研究系统详细设计与实现测试结果与工作总结Test Result and Future Work2345Detail Design and ImplementationRelated Technologies Analysis and Algorithm DesignOverall Project Design1研 究 背 景 与 意 义4课题来源校企合作项目“重庆市XX区智慧养老系统研发”人口老龄
2、化问题我国已经步入老龄化社会，且养老资源短缺，分布不均预计到2020年，独居和空巢老人将达到1.18亿人国家大力支持依托“互联网+”的智慧养老产业发展 语音情感识别通过对语音信号的分析和处理得出情感状态情感计算领域有代表性的方向与深度学习模型的结合取得了不错的进展存在的问题 现有智慧养老系统较少涉及独居老人情感关怀，大多只是功能的整合 针对老年人设计的单独的语音情感识别系统很少智慧养老使用现代化信息技术构建的新型养老体系解决养老问题的创新途径政府、学者、专家陆续投入智慧养老方面的建设2老年人语音情感识别系统 总体方案设计OVERALL PROJECT DESIGN52系 统 总 体 方 案 设
3、 计 6应用场景：特殊疾病诊疗、远程医疗、E-Learning（远程网络课堂）系统用户需求分析独居老年人后台管理员老年人子女(1)用户管理：管理自己的账户信息和基本信息，包括登录时身份验证、修改登录密码等。(2)语音留言：给子女进行语音留言。(3)语音上传：将采集的语音信号通过网络上传至后台服务端进行情感识别。(1)用户管理：管理自己的账户信息和基本信息，包括登录时身份验证、修改登录密码等。(2)语音留言：查看父母留言及给父母语音留言。(3)父母情感报告中心：查看父母情感报告及心理疏导机构提供的建议。(1)用户管理：管理自己、老年人用户及子女用户的账户信息和基本信息，管理用户权限。(2)语料存
4、储：存储管理老年人语料。(3)语音增强：对带噪语料库进行增强。(4)特征提取：对语料库进行预处理、生成语谱图特征、尺度规范化调整及格式转换等操作。(5)模型训练：将语谱图特征输入模型进行训练。(6)分类识别：对语料或采集的语音进行情感分类。(7)信息推送：定期推送识别结果至子女端。功能需求功能描述账户信息管理提供使用人员的账号、密码等账户信息管理用户信息管理提供用户注册申请信息的管理；提供用户基础信息管理，如用户姓名、年龄、家庭住址等语音留言提供手机客户端语音留言功能语音上传提供将采集的语音信号通过网络上传至后台服务端进行情感识别功能父母情感报告中心提供手机客户端查看父母情感报告及心理疏导机构
5、提供的建议功能语料存储提供存储管理老年人语料功能语音增强提供带噪语音库语音增强功能特征提取提供对语料库预处理、生成语谱图特征、尺度规范化调整及格式转换等操作模型训练提供语谱图特征输入模型进行训练的功能分类识别提供语料库或采集的语音进行情感分类的功能信息推送提供定期推送识别结果至子女端的功能软件功能需求非功能需求：易用性、稳定性、响应时间、安全性、可扩展性2系 统 总 体 方 案 设 计7老年人语音情感识别系统总体方案老年人语音情感识别系统组织结构图2总 体 方 案 设 计8提供用户交互的窗口，由手机客户端和后台服务端组成数据分析处理1.老年人语音增强2.语谱图特征提取3.CNN训练识别4.消息
6、推送数据来源用户交互界面手机客户端后台服务端应用层老年人语音增强模块数据处理层主程序语谱图特征提取模块CNN训练识别模块消息推送模块数据采集层语音采集设备手机麦克风其他语音采集设备老年人语音情感识别系统总体方案数据请求数据返回数据请求数据返回老年人语音情感识别软件总体结构图 C/S价格便宜，成本低系统安全性好，响应速度快具有强大的数据操作和事务处理能力 Linux、java支持多用户、多任务可跨平台免费开源 Android免费开源易开发性使用较为主流的开发语言JavaRESEARCH BACKGROUNDS2系 统 总 体 方 案 设 计9系统开发工具选择手机终端，数据库开发平台软件架构 老年
7、人语音情感识别系统 MySQL可跨平台移植融合性良好开源免费适合中小项目开发3系统相关算法研究RELATED ALGORITHMS ANALYSIS 103系 统 相 关 算 法 研 究 11老年人语音情感识别系统整体流程基于先验信噪比的维纳滤波改进算法基于CNN的老年人语音情感识别算法系 统 相 关 算 法 研 究123基于先验信噪比的维纳滤波算法流程基 于 先 验 信 噪 比 的维 纳 滤 波 改 进 算 法通过先验信噪比和后验信噪比构造增益函数传统算法的不足传统算法的改进1.噪声估计的方法过于简单（前120ms），只适用于稳定或变化不大的噪声。利用语音活动期间的无声帧对估计出来的噪声功率
8、谱进行更新算法不足改进方法2.噪声增益函数对带噪信号过度抑制，引入大量的语音失真，造成信号畸变。在基于先验信噪比的维纳滤波增益函数的基础上开平方，引入门限修正引入语音活动检测算法增益函数开平方改进算法实现框图改进算法实现框图系 统 相 关 算 法 研 究133算法验证验证的算法改进算法与传统算法仿真场景高斯白噪声、火车噪声仿真软件Matlab 2012b语音库NOIZEUS语音库仿真参数采样频率：8000Hz帧长：20ms选用窗：汉明窗，重叠1/2实验设置b.火车噪声下的输出信噪比以及基于帧的分段信噪比结果a.高斯噪声下的输出信噪比以及基于帧的分段信噪比结果c.几种语音信号的时域波形比较3系
9、统 相 关 算 法 研 究14卷积层降采样层全连接层卷积神经网络基本结构图每层卷积核尺寸单一固定，导致提取的特征信息不充分。基 于 C N N 的 老 年 人语 音 情 感 识 别 算 法基本网络的不足基本网络的改进同层多卷积核CNN结构图卷积层选用两种不同尺度的卷积核，提取不同分辨率下的语音情感特征。3系 统 相 关 算 法 研 究15基于CNN的老年人语音情感识别算法实 验 分 析实验设置实验一实验二实验三识别率0.620.640.690.640.620.670.630.660.71平均识别率0.630.640.69语料库融合对比实验设置实验一实验二实验三训练集EESDB（600句）EES
10、DB（650句）EESDB（450句）CASIA（300句）CASIA（300句）CASIA（450句）测试集CASIA（600句）CASIA（0句）CASIA（600句）EESDB（0）EESDB（660句）EESDB（0）语 料 库 融 合 性 能 对 比 分 析CNN类型基本CNN多卷积核CNN识别率0.630.710.660.750.660.73平均识别率0.650.73多卷积核CNN语谱图分辨率256*256128*12864*64识别率0.570.540.590.520.560.610.500.520.62平均识别率0.530.540.61语谱图64*64多 种 卷 积 结 构 对
11、 比 实 验多 种 分 辨 率 语 谱 图 对 比 实 验4老年人语音情感识别系统详细设计与实现DETAIL DESIGN AND IMPLEMENTATION 164系 统 详 细 设 计 与 实 现功能模块划分17三大组成部分重点模块4系 统 详 细 设 计 与 实 现数据库设计与实现18概念模型设计数据库表设计编号数据库表名数据库描述1spr_olduser _info存储老年用户基本信息2spr_childuser_info存储子女用户基本信息3spr_admin_info存储系统管理人员信息4spr_admin_action存储系统管理员操作记录5spr_old_voice存储老年人
12、带噪语音信息6spr_enhanced_voice存储纯净老年人语音信息7spr_child_voice存储子女语音信息8spr_vocupload_record存储老人语音上传记录9spr_enhanced_record存储语音增强记录10spr_pretreat_record存储语音预处理记录字段字段字段类型字段类型为空为空约束约束缺省值缺省值备注备注user_idint(8)no用户编号usernamevarchar(32)no主键用户名passwordvarchar(32)no密码namevarchar(32)no用户姓名genderchar(4)no性别certificate_idc
13、har(18)no证件号ageint(4)no年龄phonechar(11)no电话号码user_tpyechar(8)no用户类型4系 统 详 细 设 计 与 实 现系统通信协议设计19通信时序图设计数据协议设计老人语音留言时序图子女查询老人情感状况时序图老年人客户端老年人客户端数据类型数据类型发送消息发送消息用户管理数据用户管理数据注册请求“Register/”+username+”/”+usertype+”/”+password登录请求“Login/”+username+”/”+usertype+”/”+password修改密码请求“Changepsd/”+username+”/”+us
14、ertype+”/”+oldpsd+”/”+newpsd+”/”+repeatpsd语音留言数据语音留言数据语音留言请求“LeaveVocMsg/”+username+”/”+usertype+”/”+time语音上传请求“UploadVocMsg/”+username+”/”+orderid+”/”+voicelen+”/”+usertype+”/”+time后台服务端后台服务端数据类型数据类型发送消息发送消息用户管理数据用户管理数据注册反馈“Register/”+result+”/”+username+”/”+usertype登录反馈“Login/”+result+”/”+username
15、+”/”+usertype修改密码反馈“Changepsd/”+result语音留言数据语音留言数据语音留言反馈“VoiceMsg/”+result+”/”+username+”/”+usertype+”/”+time语音上传反馈“UploadVocMsg/”+result+”/”+username+”/”+orderid+”/”+voicelen+”/”+usertype+”/”+time查看语音留言反馈“CheckVocMsg/”+result+”/”+username+”/”+usertype+”/”+time查看父母情感报告反馈“CheckEmoReport/”+result+”/”+
16、username+”/”+usertype+”/”+time4系 统 详 细 设 计 与 实 现20用户管理语音留言手机客户端父母情感报告执行算法页面显示4系 统 详 细 设 计 与 实 现21后台服务端的设计与实现数据库负责系统数据的存储后台服务端核心模块示意图4系 统 详 细 设 计 与 实 现22语音增强语谱图特征提取执行算法判断语音长度格式转换生成语谱图4系 统 详 细 设 计 与 实 现23语音情感识别执行算法CNN训练流程修改配置5测试结果与工作总结TEST RESULT AND FUTURE WORK245测 试 结 果 与 工 作 总 结25测试环境测试环境网络拓扑图系统软硬件
17、环境软件环境硬件环境操作系统：Ubuntu 14.04处理器：Intel(R) i5-4200U 1.6GHZ 4核数据库：MySql 5.6.26内存：16G服务器：Apache 2.4.7硬盘：500G调试工具：Eclipse移动端操作系统：Android网络环境：WiFi系统测试项测试类型测试项功能测试手机客户端、后台服务端、系统级性能测试手机客户端、后台服务端非功能测试手机客户端兼容性测试、易用性测试、可靠性测试ANALYSIS AND DISCUSSION5测 试 结 果 与 工 作 总 结26 注册 登录 个人中心 密码修改 语音留言 父母情感报告中心手机客户端功能测试5测 试 结
18、 果 与 工 作 总 结27 用户管理 查询用户成功 查询用户失败 修改管理员密码 添加新用户 添加新用户成功后台服务端功能测试5测 试 结 果 与 工 作 总 结28基于先验信噪比的维纳滤波改进算法测试 人工试听增强前后语音 观察语音增强前后语谱图：功率谱能量更加集中，白噪声得到明显抑制语音增强前语谱图语音增强后语谱图5测 试 结 果 与 工 作 总 结29CNN训练识别测试模型训练系统分类结果5测 试 结 果 与 工 作 总 结30系统级功能测试上传的老年人语音语音情感识别结果5测 试 结 果 与 工 作 总 结31测试工具ADB工具、腾讯WeTest质量开放平台测试机型HUAWEI Y6
19、35-TL00手机系统Android 4.4网络WiFi测试环境手机客户端性能测试手机客户端兼容性测试手机电量变化趋势CPU整机CPU测试机型分布兼容性测试结果内存变化趋势5测 试 结 果 与 工 作 总 结32后台服务端性能测试并发用户数吞吐率（reqs/s）服务器平均请求时间（ms）用户平均等待时间（ms）12214.810.4520.452102100.310.4764.761302209.820.45313.576501989.540.50325.131702031.240.49234.462901990.730.50245.2101002192.420.45645.612120174
20、4.830.57368.7751401175.670.851119.0811601168.970.855136.873AB测试页面AB测试结果未来工作展望5测 试 结 果 与 工 作 总 结工作总结 已完成工作l 完成了老年人语音情感识别系统的需求分析和总体设计l 提出并解决了系统设计中存在的关键问题l 完成了老年人语音情感识别系统各功能的详细设计与实现l 测试验证系统正确性和可行性l 系统语音情感识别准确率还有待提高。l 情感识别的准确率受到众多因素的影响，单一考虑语音的老年人情感识别准确率有待提升。l 系统应考虑如何使用移动设备进行语音情感识别，提高在移动终端上的使用率。33感谢各位答辩老师和评审专家
