1、四、后续工作四、后续工作三、三、研究进度研究进度二、二、研究内容及方法研究内容及方法一、一、研究研究背景和目的背景和目的在大数据时代,在大数据时代,远程监控中大量远程监控中大量数据的快速上传数据的快速上传是一是一个亟待解决个亟待解决的问题。的问题。在监控系统中,在监控系统中,当大量数据同时当大量数据同时到达的时候,系到达的时候,系统的并发应对能统的并发应对能力是系统正常运力是系统正常运行的保证。行的保证。监控系统不出现监控系统不出现出现错误是不可出现错误是不可避免避免的,系统的的,系统的健壮健壮性和容错能性和容错能力也是关键所在。力也是关键所在。1.大量数据的快速上传是监控系统实时性的体现。2
2、.监控系统的并发能力的研究具有重要意义。3.系统的健壮性和容错性是值得长久研究的。针对监控系统的并发应对能力进行研究针对监控系统的并发应对能力进行研究提出了一种方案,通过对erlang这门编程语言自身的并发特性的研究,以及RabbitMQ这种消息中间件的结合来获得更好的并发性能。1.Erlang之间通过进程进行通信,其内置的并发支持可以彻底的隔离任务,并且能充分发挥当今多核硬件的能力。2.利用RabbitMQ的易于集群和高可用性等特性来减少数据的丢失和并发应对能力。多处理器硬件上的Erlang进程Erlang的一大优势是它帮你隐藏了任务实际执行的细节。如果有额外的CPU,Erlang就会它们执
3、行更多的任务。Erlang程序能过自动适配不同的硬件CPU越多它们跑的越快。运行时系统会自动将负载分配到可用的CPU资源上。RabbitMQ结构图针对监控系统的健壮性问题进行研究针对监控系统的健壮性问题进行研究基于erlang的OTP架构具有强大的容错能力,通过监督树的模式能够对工作进程进行监督管理,可以防止错误的进一步的扩散进而导致整个系统的崩溃。OTP架构下的行为模式使得我们能更加方便的编写我们的监控系统。OTP架构下进程监督与退出信号捕捉某工作进程的崩溃被级联传播至所有与之链接的其他进程,信号传播至监督者后,监督者对进程进行重启,同一监督者辖区的其他进程则不受影响。OTP架构下进程的分层
4、容错如果处于某种原因监督者A崩溃或退出,他管辖区内所有尚还存活的进程都会被强制关闭,同时C会收到通知,于是进程左半边会被重启。监督者B则不受影响,除非C决定关闭整个系统。开题情况开题情况中期情况中期情况针对项目中遇到的监控系统要解决数据的并发问题进行了可行性的调研。通过文献的阅读,提出了一种解决监控系统应对并发能力的方案,并编写完成了相关的测试代码和小论文的大致框架。搜索到相关的测试工具,准备对其进行测试。(70%)针对系统的健壮性进行分析与探讨提出关于OTP架构的容错的方案并对其性能进行测试与分析。(10%)论文:基于erlang的并发性能的研究。(待投)2016年年11月至月至2016年年
5、12月对第一个创新点的实验进一步月对第一个创新点的实验进一步完善与丰富,并完成小论文。完善与丰富,并完成小论文。2017年年1月至月至2017年年2月底完成大论文的前三章的撰写和月底完成大论文的前三章的撰写和对第二个创新点进行研究,且完成实验仿真。对第二个创新点进行研究,且完成实验仿真。2017年年3月至月至2017年年4月完成大论文的撰写与修改。月完成大论文的撰写与修改。2017年年5月至月至2017年年6月准备毕业答辩。月准备毕业答辩。大论文目录大论文目录摘要Abstract目 录第一章 绪论1.1 研究背景及意义1.2 国内外研究现状1.3 论文主要工作1.4 论文组织结构1.5 本章小结第二章 相关技术概述2.1 Hadoop技术介绍2.2 MQTT协议介绍2.3 消息中间件RabbitMQ介绍2.4 Riak数据库介绍2.5 本章小结第三章 面向高并发的监控系统服务器架构研究3.1 系统并发问题分析3.2 传统并发模型3.3 基于Erlang的并发实现过程3.4 系统的高并发性能测试3.5 本章小结第四章 监控系统容错性研究4.1 容错问题分析4.2 传统容错模型4.3 基于Erlang/OTP的容错架构4.4 方案可行性分析4.5 本章小结第五章 结束语5.1 主要工作与创新点5.2 后续研究工作致谢攻读硕士学位期间从事的科研工作及研究成参考文献