社会调查教程第11章课件.pptx

1、社会调查教程精编本（第二版）江立华 水延凯 主编 国家级精品课程教材 新编21世纪社会学系列教材 第十一章 网络调查法第十一章 网络调查法第一节 网络调查法概述第二节 网络调查的方法与步骤第三节 大数据：概念、特点与类型第四节 大数据：获取与分析第一节 网络调查法概述网络调查法概述 网络调查，又称为网上调查、在线调查，是指通过互联网及其调查系统把传 统的调查、分析方法在线化、智能化，简言之就是借助互联网进行的问卷调查。其构成包括三个部分：用户、调查系统、参与人群 网络调查法的特点：及时性和广泛性交互性和共享性超时空性和客观性低费用和便捷性 目前，网络调查在市场调查中应用广泛，社情民意调查也是网

2、络调查的主要 应用，专业的社会调查团队也逐渐使用网络问卷代替纸质问卷开展社会调查。一一第二节 网络调查的方法与步骤第一节 调查报告的特点和类型一、网络调查的方法二、网络调查（主要指问卷式网络调查）的步骤三、网络调查应该注意的问题网络调查的方法目前常用的网络调查方法有网上问卷调查法、网上讨论法、网上测验法和网上观察法等。网上问卷调查法网上问卷调查法网上问卷调查法就是调查者在网上发布问卷，调查对象在网上填答、提交 问卷，调查者对调查信息进行分析研究后得出结论，并在网上公布调查结果的方法。根据采用技术的不同，网上问卷调查有两种具体做法：p 网站法，即将问卷放置在网络站点或手机 上，由受访者自愿填写。

3、目前，、微信、微博等社交媒体的分享和推送，大大提高了问卷分发的范围 和效率。p 电子邮件法，即通过电子邮件发送问卷，受访者填答问卷后，再通过电 子邮件向指定邮箱提交问卷。一一网络调查的方法 网上讨论法网上讨论法网上讨论法，就是调查者在网上提出问题，组织参与者在网上讨论，通过网 上讨论收集信息和数据，经分析、研究后，在网上发布讨论结果的方法。网上讨 论法是集体访谈法在网络上的应用。目前，网上讨论法一般通过BBS、News-group、ICQ、IRC、Netmeeting等交互平台实施。网上测验法网上测验法网上测验法，就是调查者通过网络发出含有测验内容的问卷或信件，请受测 者回答问卷或信件，然后，

4、调查者对测验信息进行分析、研究，并做出测验结论 的方法。测验内容非常广泛，可以是产品试销，可以是网络购物，可以是各种社 会热点问题，也可以是受测者的主观素质、态度等方面的问题。一一网络调查的方法 网上观察法网上观察法网上观察法，是调查者进入网络聊天室观察参与者的网络聊天情况，并按事先设计的观察项目和要求做记录，然后进行定量分析和对比研究，最后得出观察结论的方法。网上观察法可分为网上直接观察法和网上间接观察法。p 网上直接观察法又可分为网上参与观察和网上非参与观察。网上参与观察，是指观察者作为被观察者的一员参与聊天活动，在聊天过程中实施观察；网上非参与观察，是指观察者不参与被观察者的聊天活动，只

5、作为旁观者进行观察和记录。p 网上间接观察法，就是利用网络技术对网站访问情况或网民在网上的行为进行监测和观察。一一网络调查（主要指问卷式网络调查）的步骤 制订调查计划制订调查计划调查目标。查内容。调查方法。调查载体。调查对象。调查时间。二二网络调查（主要指问卷式网络调查）的步骤 设计调查问卷设计调查问卷p 调查问卷的设计，对网络调查的成败往往具有决定性作用，必须高度重视。一般来说，网络调查问卷大体有三种方式：简单方式组合方式完整方式p 调查结果呈现方式：简单方式多采用页面直接呈现的方式公布，各答项人数和百 分比一目了然。其优点是，回答者可即时看到调查结果，有利于吸引更多网民参与调查组合方式、完

6、整方式的调查结果，要经过整理资料、统计分析等程序才 能形成，因而一般要经过一段时间才能以调查报告、研究论文、统计公报等形式呈现。二二网络调查（主要指问卷式网络调查）的步骤 设计数据库和网页设计数据库和网页设计数据库设计数据库，就是设计计算机存储、管理数据的软件系统。常用的计算机网络数据库系统软件有 MSAccess、MSSQL、系列、Sybase、Oracal、My SQL等。设计数据库的主要工作是问卷编码，问题结构及其答案设计，数据规则设计，数据视图、过程、触发器设计，数据接口设计，等等。设计网页设计网页，是指设计问卷在网页中以何种页面形式显示出来的计算机程序。它包括两个部分：p 客户端界面

7、设计p 后台处理程序设计二二网络调查（主要指问卷式网络调查）的步骤 测试和试调查测试和试调查测试，是指对网页设计的客户端界面程序和后台处理程序进行检测、试验及修改、完善的过程，其目的是测试设计的功能是否完善，是否具有实用性和可操作性。试调查试调查，是指对经过测试后的客户端界面程序和后台处理程序进行试验性调查。二二网络调查（主要指问卷式网络调查）的步骤 问卷的网络发布和开始调查问卷的网络发布和开始调查问卷的网络发布，是指将设计的调查问卷程序系统放置到网络服务器上，以便网民参与调查。它一般包括三个步骤：1.程序安装2.程序测试3.告知网民参与调查在发布公告后，应在规定时间开始网络调查。调查前，要测

8、试数据清空操 作，并做好紧急情况处理预案。在从调查开始到调查截止的时期内，要安排专人 对网络运行状况进行监测，以保证网络畅通，及时处理紧急情况，同时做好网络服务器的定时备份工作。二二网络调查（主要指问卷式网络调查）的步骤 数据收集和统计分析数据收集和统计分析 调查结束后，经后台处理程序录入、编码的调查数据，已被存储在数据库服务器上。然后根据研究需要对调查数据做统计分析:一般数据库系统都有基本的统计分析功能，只要进行相应操作，就可完成简单的统计分析工作。如果要进行较复杂的统计分析，就必须使用数据库系统的数据导出功能将所需数据导出，然后运用专业统计分析软件（如等）进行统计分析。应注意的问题是：及时

9、对调查的原始数据库进行完整备份，数据提取应多用数据视图和不改变数据原貌的查询操作，不得改动调查的原始数据。二二网络调查（主要指问卷式网络调查）的步骤 撰写并提交调查报告撰写并提交调查报告:撰写调查报告是网络调查的最后一步。撰写调查报告：在分析调查数据的基础上对调查结果所做的系统论述或说明。提交调查报告：根据调查的目标和任务，实事求是地把调查结果报告出来，反馈给网络调查的参与者、委托者或广大网民。如果仅反馈给网络调查的参与者，那么只需给网络调查参与者密码就行了。二二网络调查应该注意的问题（主要是网络问卷调查）主题选择主题选择从理论上说，凡是适用传统调查方法的主题，都适用网络调查法从实践上看，确定

10、网络调查主题应该注意两个问题：p 应该以网民的看法、态度、感受、愿望等主观状况为主，而不宜以客观事实为主，因为通过网络调查所获得的有关客观事实的回答无法查证和核实，无法对其做出准确评价p 应该与网民的社会结构相适应。三三网络调查应该注意的问题（主要是网络问卷调查）问卷设计问卷设计网络调查的问卷设计与一般调查的问卷设计基本相同，但应注意以下几个问题：尽可能简短。简明、易懂。明示起止时间。尽可能立即显示调查结果。三三网络调查应该注意的问题（主要是网络问卷调查）程序控制程序控制这是网络问卷调查不同于一般问卷调查所特有的问题，应着重解决以下几个问题：重复填答问题。应通过程序设计控制一址（IP）多票、重

11、复填答现象，避免大量灌水票，以增强调查的真实性。程序控制问题。要设计必要的程序，对相关问题的转接，以及填 答不完整的问卷、回答中有逻辑错误的问卷等，实施系统的检验和控制。多网站调查问题。为了扩大调查的覆盖面，同一调查问卷可以在多个网站同时进行调查。三三网络调查应该注意的问题（主要是网络问卷调查）问卷发布问卷发布 这是网络问卷调查所特有的问题。调查问卷的发布有几种做法：利用自己的站点发布调查问卷借助别人的站点发布调查问卷慎重选择发布网站。网络调查问卷发布在不同网站，参与填答的人数往 往有很大差异。科学选择发布版面。网络调查问卷发布在不同版面，参与填答的人数也 会有较大差异。通过电子邮件发送问卷三

12、三第二节 大数据：概念、特点与类型大数据的概念一一二二第二节 大数据：概念、特点与类型大数据的特点大数据的类型三三大数据的概念 大数据（big data或mega data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的形式的信息。与传统数据不同，大数据不是通过抽样调查所获取的样本数据，而是人类活动的实时记录，并大都可以通过互联网存储、获取、交换和分析，可以克服抽样调查带来的许多随机和非随机误差。要确保抽样调查的随机性，需要建立总体的抽样框，然而在现实社会中绝大多数情况下很难建立抽样框，而大数据对于特定的群体

13、所收集的数据一般就是该群体的总体数据。一一大数据的特点 数据体量巨大（数据体量巨大（volumevolume）传统数据处理的是以MB为基本单位的数据量，大数据则常常以GB，甚至是TB、PB为基本处理单位。数据种类繁多（数据种类繁多（varietyvariety）传统数据种类单一，且以结构化的数据为主，如问卷调查数据；而像人口普查这样的数据虽然数据量大，但可用变量少。大数据种类数以千计，这些数据又包括结构化、半结构化以及非结构化的数据。二二大数据的特点 流动速度快流动速度快 （velocityvelocity）流动速度：数据的获取、存储以及挖掘有效信息的速度，现在处理的数据以级代替了T级，考虑到

14、“超大规模数据”和“海量数据”也有规模大的特点，强调数据是快速动态变化的，形成流式数据是大数据 的重要特征，数据流动的速度快到难以用传统的系统去处理。价值密度低价值密度低 （valuevalue）在数据量呈指数增长的同时，隐藏在海量数据中的有用信息却没有以相应比例增长，反而使我们获取有用信息的难度加大此外，对于大数据的分析将更加复杂、更追求速度、更注重实效。二二大数据的类型 按数据来源分类交易数据。交易数据。大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅包括POS或电子商务购物数据，还包括行为交易数据。人人为数据为数据。非结构数据广泛存在

15、于电子邮件、文档、图片、音频、。非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流中。视频，以及通过博客、维基，尤其是社交媒体产生的数据流中。移动数据移动数据。移动数据库是能够支持移动式计算环境的数据库。机器和传感器数据机器和传感器数据。机器和传感器数据包括功能设备创建或生成的数据，如智能电表、智能温 度控制器、工厂机器和连接互联网的家用电器。三三大数据的类型 按数据形式分类结构化数据结构化数据结构化数据结构化数据，通常是指用关系数据库方式记录的数据，数据按表和字段进行存储，字段之间相互独立。半结构化数据半结构化数据，是指以自描述的文本方式记录

16、的数据，由于自描述数据无须满足关系数据库中那种非常严格的结构和关系，在使用过程中非常方便。非结构化数据非结构化数据，通常指语音、图片、视频等格式的数据。三三第四节 大数据：获取与分析 大数据获取一一二二第四节 大数据：获取与分析大数据分析在大数据时代，数据处理流程一般采用多处理阶段模型，具体包括：原始数据（数据选择 任务数据（数据处理）净化数据（数据转换）事务数据（挖掘提取）模式（分析评估）知识。三三数据挖掘和社会计算大数据获取 数据交易数据交易2015年4月15日，全国首家大数据交易所贵阳大数据交易所正式挂牌运营并完成首批大数据交易。在数据交易的模式方面，API接口是目前数据交易的一个常见手

17、段，接口商（即交易平台）通过各种方法（购买、合作、抓取等）拿到上游数据生产单位的 数据资源进行融合、清洗（增值），然后形成数据接口提供给下游需求用户。另一种是数据包交易，数据主要以数据包的形态进行交易，就是对数据进行清洗、脱敏，最后像实体商品一样出售。数据采集数据采集目前常用的数据抓 取软件包括Python、R语言（这两个软件均是开源、免费的编程语言）。缺乏数据抓取技术的人，可以使用八爪鱼、集搜客、火车采集器等网页数据 抓取工具，这些数据抓取工具通过简单的操作就可以采集网络文本数据。一一大数据获取 数据开放数据开放数据开放意味着数据可以被任何人自由免费地访问、获取、利用和分享。2013年，在北

18、爱尔兰召开的G8会议签署了开放数据宪章，该宪章将开放数 据定义为具备必要的技术和法律特性，从而能被任何人在任何时间和任何地点进行自由利用、再利用和分发的电子数据。它要求发布的数据不是一般的数据，而是高价值的数据，不仅要有加工过的数据，还要有源数据。开放数据需要技术框架支持，包括开放数据管理、开放数据技术和开放数据门户。一一大数据分析大数据分析是根据相关业务知识，应用相应技术，如统计学、数据挖掘的方法，分析出数据中的信息。大数据分析有五个基本方面。可视化分析可视化分析对于数据分析专家和普通用户，数据可视化都是对数据分析工具最基本的要求。可视化可以直观地展示数据，让数据自己说话，让观众听到结果。数

19、据挖掘数据挖掘大数据分析的理论核心就是数据挖掘算法。各种数据挖掘算法基于不同的数据类型和格式，才能更加科学地呈现出数据本身具备的特点，挖掘出公认的价 值。通常的算法包括集群、分割、孤立点分析等。二二大数据分析 语义引擎语义引擎语义引擎是利用自然语言处理技术，让计算机具备文字阅读能力，去分析提炼海量数据的工具系统。它能帮助人们从数据中智能地提取信息。数据质量和数据管理数据质量和数据管理数据质量和数据管理是指依赖于标准化的流程和有效的工具对数据进行处理。大数据分析离不开数据质量和数据管理。无论是在学术研究领域还是在商业应用领域，只有高质量的数据和有效的数据管理，才能保证分析结果真实和有价值。二二数

20、据挖掘和社会计算基于内容信息的数据挖掘和基于结构信息的社会计算，是目前网络大数据 挖掘和社会计算领域的研究热点。基于内容信息的数据挖掘基于内容信息的数据挖掘网络搜索技术与实体关联分析等主要研究内容。研究的热点从传统的海量数据抓取、索引结构优化和用户查询分析等转移到了排序学习算法，专注于提高检索质量。此外，社会媒体需要关注数据的短文本特征，对简短关键词表达进行深入理解和分析，掌握用户真实的查询意图。三三数据挖掘和社会计算 基于结构信息的社会计算基于结构信息的社会计算社会网络是以社会媒体中的用户为节点、用户间的关系为连边而构建的网络。社会网络具有关系的异质性、结构的多尺度性以及网络的动态演化性三方

21、面特性。在社会网络中，个体因血缘关系或兴趣爱好等因素而形成了连接紧密的圈子，这种内部关系紧密而对外关系相对稀疏的结构被称为社区。社区结构的存在对于网络的高效搜索、网络演化、信息扩散等具有重要意义。三三本章要点1、网络调查，又称为网上调查、在线调查，是指通过互联网及其调查系统 把传统的调查、分析方法在线化、智能化，简言之，就是借助互联网进行的问卷 调查。2、网络调查法的特点是及时性和广泛性、交易性和共享性、超时空性和客 观性、低费用和便捷性。3、常用的网络调查方法有网上问卷调查法、网上讨论法、网上测验法和网 上观察法等。4、大数据是指所涉及的数据量规模巨大到无法通过人工在合理时间内达到。截取、管

22、理、处理并整理成为人类所能解读的形式的信息。5、大数据的特点包括数据体量巨大、数据种类繁多、流动速度快、价值密度低等。6、大数据的类型通常可以按数据来源、数据形式进行划分，前者包括交易 数、人为数据、移动数据、机器和传感器数据，后者包括结构化数据、半结构化 数据和非结构化数据。7、大数据获取的三种常见形式是数据交易、数据采集和数据开放。8、大数据分析的五个基本方面，分别是可视化分析、数据挖掘、预测性分 析、语义引擎以及数据质量和数据管理。基于内容信息的数据挖掘和基于结构信 息的社会计算，是目前网络大数据挖掘和社会计算领域的研究热点。本章中的基本概念网络调查法网上问卷调查大数据数据挖掘思考与练习 简述网络调查法的概念及其特点。网络调查的方法有哪些？什么是网上问卷调查法？它与一般问卷调查法有何异同？略述网上讨论法、网上测验法和网上观察法的特点和异同。网络调查有哪些步骤？什么是大数据？它有何特点？如何获取、分析大数据？推荐阅读书目