1、第5单元数据分析与人工智能5.l走近数据分析数据分析的方法数据分析主要用于现状分析、原因分析和预测分析。进行数据分析时，首先要根据分析的目标提出假设，然后选择恰当的分析方法进行分析，验证假设是否正确，继而得出相应的结论。数据分析的方法有很多，如对比分析和平均分析。对比分析.对比分析是指将两个或两个以上的数据进行比较，分析它们的差异，从而揭示这些数据所代表的事物的发展变化情况和规律。对比有横向对比和纵向对比两种情况。横向对比是在类似的或同类的事物之间进行比较，而纵向对比是将相同事物的不同时期进行比较。例如，我们可以横向比较27路和49路公交线路的客流量，以分析哪一条线路更加繁忙;也可以纵向比较同
2、一条公交线路一天内不同时段的客流量，分析高峰期出现的时间。平均分析平均分析是指运用计算平均值的方法反映总体在一定时间、地点条件下某一数量特征的一般水平。平均分析和对比分析常结合使用，例如比较不同线路的平均客流量。数据可视化表达以图形、图像和动画等方式更加直观生动地呈现数据及数据分析结果，揭示数据之间的关系、趋势和规律等的表达方式称为数据可视化表达。数据可视化的应用范围广泛，如图5.1.1所示的第五届世界互联网大会关键词云和图5.1.2所示的手机记录的健身数据。图表是最常用的数据可视化表达方式之一。基本图表类型，如柱状图、饼图和折线图等，利用一般的表格加工软件即可绘制。如需创建表现形式更为丰富或
3、者具有互动功能的图表，则必须借助专业性工具。数据分析报告数据分析报告是项目研究结果的展示，也是数据分析结论的有效承载形式。通过报告不仅把数据分析的起因、过程、结果及建议完整地展现出来，还可以为决策者提供科学、严谨的决策依据。例如，中国互联网络信息中心每半年发布一次的中国互联网络发展状况统计报告即是一份典型的反映我国互联网发展的数据分析报告。在数据分析报告中，首先要明确数据分析的目的和背景，阐述目前存在的问题及通过分析希望解决的问题；其次需要描述数据来源和 数据分析的思路、方法和模型；最后要重点呈现数据分析的过程、结论和建议。大数据大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据
4、集合，它正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据的“大”是一个相对概念，没有具体标准，如果一定要定一个标准， 那么10TB 100TB通常称为大数据的门槛。实际应用中，很多企业级用户把多个数据集放在一起，已经形成了PB级的数据量。而且随着数据来源的多样化，数据的类型也更加复杂，如网络日志、音频、视频、图片和地理位置信息等。大数据的意义在于，我们有可能从如此庞杂的数据中挖掘出有价值的数据，并运用于管理、农业、金融、医疗和教育等各个社会领域，为社会发展服务。大数据分析的应用面对海量的数据，为了
5、搜索、处理、分析、归纳和总结其深层次的规律，大数据分析应运而生。大数据分析是指对规模巨大的数据进行分析。它的应用日益丰富，例如实时公交系统根据用户当前位置，迅速定位最近的公交站点，查找系统中公交车辆的位置数据，选出经 过该站点所有线路车辆的即将到站信息，使用户可以直观地在手机上查看车辆实时位置。用户和车辆的位置信息通常通过卫星定位系统、Wi-Fi热点和基站的位置确定。大数据分析带来价值的同时，也在隐私保护、安全问题等方面带来危机。因此，合理、健康地使用大数据，遵循“数据道德”是我们的必备品质。5.2 探秘人工智能启发式搜索根据问题的实际，不断寻找可利用的知识，构造一条推理路线解决问题，这个过程
6、就是搜索。按预定的控制策略进行搜索，而不考虑问题本身特性的搜索，称为盲目搜索，这种搜索一般适用于求解比较简单的问题。另一种搜索方式称为启发式搜索，它在搜索过程中加入估价函数等启发信息，不断自动调整搜索方向，加速求解进程。人工智能1950年的“图灵测试”揭开了人工智能的序幕。一般而言，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。有人把人工智能分成弱人工智能和强人工智能。弱人工智能一般指实现特定功能的专用智能设备，不能真正实现推理和解决问题。强人工智能是指真正能思考、有知觉、有自我意识的人类级别的智
7、能机器。机器学习机器学习是当前人工智能的核心技术之一，目的是使计算机能模拟或实现人类的学习行为，获取新的知识或技能，重新组织已有的知识结构，从而不断完善自身的性能。神经网络神经网络是目前人工智能领域的研究热点之一，是一种模仿动物神经网络行为特征，进行并行信息处理的算法模型。人工神经网络无须事先确定反映输人、输出之间映射关系的数学方程，它通过自身的训练，学习某种规则，最终在给定输人时得到最接近期望输出的结果。BP( Back Propagation )神经网络是目前应用最广泛的算法，它是一种按照误差逆向传播算法训练的多层前馈神经网络，输入层、隐藏层、输出层其结构大致如图5.2.7所示。算法由信息
8、的正向传递与误差的反向传播两部分组成，它们由可修正的权值互连。在正向传播过程中，输人信息从输人层经隐藏层逐层计算传向输出层，当前层神经元的状态只影响下一层神经元的状态。如果输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来，修改各层神经元的权值直至达到期望目标。让我们搜索“好玩的神经网络”，通过简单实例进一步了解神经网络吧。结合信息感知、信息表示与形成、智能推理、智能决策、智能执行与信息输出的一般过程，人工智能领域的关键技术目前主要包括机器学习、知识图谱、自然语言处理、计算机视觉、人机交互、生物特征识别、虚拟现实与增强现实等。神经元
9、芯片目前通用型处理器的存储和运算处理分离，因此需要大量读写运行操作的深度神经网络，在此过程中不可避免地会受到传输数据带宽的制约，从而效率低下。2010年，训练一个识别猫脸的深度学习神经网络使用1.6万个处理器运行了7天，而“阿尔法围棋”则使用了更多的处理器。未来人工智能若想实现像人脑一样的千亿个神经元网络，则需要海量机器来完成。2016年中国科学院计算技术研究所发布了寒武纪神经元芯片，用硬件直接“绘制”大脑的结构。它采用专门的硬件神经元，并将几百万个神经元连接在一起，使每个神经元都能通过位数众多的路径向其他的神经元发送信息。实验表明，该芯片的速度是普通中央处理器(CPU)的1000倍。智能传感器智能传感器是具有信息处理功能的传感器。智能传感器带有微处理机，具备采集、处理、交换信息等功能，是传感器集成化与微处理机相结合的产物。智能传感器属于人工智能的神经末梢，用于全面感知外界环境。各类传感器的大规模部署和应用为实现人工智能创造了不可或缺的条件，如智能隐形眼镜、葡萄糖手表等。未来，高敏度、高精度、高可靠性、微型化、集成化将成为智能传感器发展的重要趋势。
