1、第四章 数据处理与应用 学习目标： 1、文本数据处理、分析及应用 2、了解数据可视化的作用、基本方法和常用工具 3、能发现数据中隐藏的特征、关系和模式 文本数据处理是大数据处理的重要分支之一，目的是从大规模 的文本数据中提取出符合需要的、感兴趣的和隐藏的信息。目前， 文本数据处理主要应用在搜索引擎搜索引擎、情报分析、自动摘要、自动 校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应 答等方面。 文本处理数据 文本处理数据 使用百度搜索“春节”，如图 所示，找到相关结果约 100,000,000个，这些返回的结果 数据对“春节”的关键特征描 述是什么？ 如何处理这些数据才能获得答案？如何处
2、理这些数据才能获得答案？ -要提炼对“春 节”的关键特征描述，需要采集返回结果页面中的 文本数据进行分析 文本处理数据 文本处理的一般过程 1、中文分词 （1）基于词典的分词方法 （2）基于统计的分词方法 （3）基于规则的分词方法 2、特征提取 （1）标签云 文本数据分析与应用 标签云将关键词按照一定的顺序和规律排列， 是文本可视化的一种方式 ， 文本可视化将文本中复杂的或者难以通过文字表达的内容和 规律以视觉符号的形式表达出来。 文本数据分析与应用 （2）文本情感分析 文本情感分析是指通过计算机技术对文本的主观性、观 点、情绪、极性进行挖掘和分析，对文本的情感倾向做出分 类判断。 数据可视化
3、 阅读教材133-138页，回答问题？ 1.什么是可视化？ 2.可视化的作用？ 3.可视化的基本方法？ 什么是数据可视化 以图形、图像和动画等方式更加直观生动地呈现数据及 数据分析结果，揭示数据之间的关系、趋势和规律等表 达方式。 可视化的作用 1.快捷观察与追踪数据 2. 实时分析数据 可视化的作用 3. 增强数据的解释力与吸引力 可视化的作用 可视化的基本方法 1. 有关时间趋势的可视化 可视化的基本方法 2. 有关比例的可视化 3. 有关关系的可视化 可视化的基本方法 4. 有关差异的可视化 可视化的基本方法 可视化的基本方法 5. 有关空间关系的可视化 可视化的工具 (免费的大数据可视
4、化分析工具) （动态和分层图的交互可视化与探测开源工具） TableauTableau（实时可视化分析）实时可视化分析） PythonPython (用于统计分析,图形表示和报告的编程语言和软件环境) (D3 是最流行的可视化库之一) (用纯JavaScript编写的一个图表库) (提供的一项动态生成图表的服务)。 可视化的典型案例 （1）“巴士群”现象 当一辆巴士被延迟，就会导致多辆巴士在同一时间到站。把它变成一 个互动游戏，我们所要做的就是观察一个短暂的延迟如何使巴士在一 段时间以后聚集起来。 （2）世界上的语言 它将世界上众多语言用非语言的方法表现出来，一共有2678种。可以 让你浏览使
5、用共同语言的家庭，看看哪些语言是最常用的，并查看语 言在世界各地的使用范围。 可视化的典型案例 （3）Google Flights 上的美国感恩节 这是由Google Trends驱动的项目，它跟踪感恩节前出发、到达和穿 越美国的航班。可视化始于当天很早的时间，随着时间的推移，像播 放电影一样显示在全国各地飞行中的航班。 可视化的典型案例 课堂练习 1.文本数据处理的主要步骤包括： 数据分析 特征提取 分词 结果呈现 文本数据获取 下列文本数据处理顺序正确的是（ ） A. B. C. D. D 课堂练习 2. 下列关于中文分词方法的描述中，属于基于词典的分词方法的是（ ） A.在分析句子时与词
6、典中的词语进行对比，词典中出现的就划分为词 B.依据上下文中相邻字出现的频率统计，同时出现的次数越高就越可能组 成一个词 C.让计算机模拟人的理解方式，根据大量的现有资料和规则进行学习，然 后分词 D.依据词语与词语之间的空格进行分词 A 课堂练习 3. 在中文文本分析中，一般不用做文本的特征项的是（ ） A.字 B.词 C.短语 D.段落 D 课堂练习 4. 下列数据分析中可能涉及文本情感分析的是（ ） A.博主地域分析 B.微博评论内容分析 C.微博发布设备分析 D.博主男女比例分析 B 课堂练习 5.某文本数据集的标签云如图所示，下列说法正确的是（ ） A.对数据集中文本分词后可直接创建
7、标签云，无须特征提取 B.标签云须显示该数据集包含的全部词语 C.该数据集中，词语“玩偶”比“注意力”的出现频率高 D.最能表现该数据集中文本特征的词有“车顶”“玩偶”“路口” C 课堂练习 6.下列关于数据可视化的描述中，错误的是（ ） A.标签云是基于语句的文本内容可视化 B.数据可视化将数据以图形图像等形式表示 C.数据可视化可以直观的呈现数据中蕴含的信息 D.数据可视化增强了数据的解释力与吸引力 A 课堂练习 7. 下列有关图表类型的说法，错误的是（ ） A.有关时间趋势的可视化可以采用折线图 B.有关比例的可视化可采用以饼图、环形图 C.要探究一件事情变化时另一件事情是否会发生某种变
8、化，可采用散点图 D.要探寻包含多种变量的对象与同类之间的差异和联系，可采用雷达图、 面积图 D 课堂练习 8. 下列有关可视化工具的说法，错误的是（ ） A.使用Python、R等语言可以编写程序实现数据的可视化 B.Tableau主要用于实时可视化分析，仅能连接本地数据 C.High charts 是基于HTML5 技术的开源图表库，支持移动端 D.Google Charts 是为浏览器与移动设备定制的交互式图表开发包 B 课堂练习 9.某组织将关于春节期间人们主要支出的调查数据可视化，如图所示，下列分析错误 的是（ ） A.不同年龄段的人群“买年货”的支出都比较多 B.“棋牌、KTV等娱乐活动”的支出，23-30岁人群的花费最大 C. 60以上人群的最大花费是“压岁钱”，最少花费是“交通费” D.“走亲访友的礼物”的支出，51以上人群的花费比较大 C 每一种知识都需要努力， 都需要付出，感谢你们！
