1、2023-5-28陈小林发表经验论文（empirical paper）应做到三条o 研究问题有趣，能引起共鸣o 论文必须对文献做出贡献n 其他研究者未曾考虑过此问题n 其他研究者未能回答此问题n 其他研究者提供的回答是错误的o 对研究的经验分析必须非常可靠为什么需要计量分析2023-5-28陈小林 在数学与头脑相遇的地方，你的脑筋可以豁然开朗，你可以轻而易举地化解掉数学现象中的匪夷所思。数学是最奇妙的，它不关心主题，知道2X+2X=4X就行，能把真理浓缩统计分析是正确理解数据的工具o 首先：要避免犯统计错误o 明确：统计没有错误，犯错的是人。n 1.理论和方法的错误n 2.理解和解释的错误20
2、23-5-28陈小林2023-5-28陈小林理念o 统计模型的严格数学表达很复杂、繁琐，但是其背后的思想往往很简单o 做为统计学的使用者，重要的是掌握统计学的思想、解决问题的步骤和结果的解读，至于那些研究方法本身的事情，交给统计学家去做吧o 复杂的方法未必是可行的方法，越是简单的方法，越容易得到广泛采用，也往往给使用者带来更多的价值o 要注意统计学方法的适用条件，滥用统计学会造成“严重”的负效果2023-5-28陈小林2023-5-28陈小林2023-5-28陈小林2023-5-28陈小林经验数据分析三步骤o 数据收集与整理o 描述性统计o 多元回归分析（与稳健性检验）注：一篇经验研究论文的数
3、据 3-4描述性统计和单变量分析表 一些多元回归分析表2023-5-28陈小林一、数据的收集与整理（select data&manage data）o 数据的收集n 数据库：CSMAR;CCER;WINDn 手工收集：年报；年鉴；网络资源o 数据整理n 数据结构变换n 数据合并（sas/stata：merge；append）n 计算新变量n 2023-5-28陈小林数据结构变换2023-5-28陈小林合并o 简单合并（simple merge）n一个文件记录100个公司资产、负债，另一个文件记录该100个公司利润，合并成一个文件o 附加合并（append）n一个文件记录50个公司的资产、负债和
4、利润，另一个文件记录另外50个公司的资产、负债和利润，合并成一个文件o 匹配合并（match merge）n一个文件记录100个公司资产、负债，另个文件记录100个公司利润，但两个文件的变量有缺失，合并成一个，需要按关键字合并(如股票代码等)研究中主要是此类合并比如：前一文件中第30个公司没有数据，后一文件中第75个公司没有数据2023-5-28陈小林匹配合并示例2023-5-28陈小林计算新变量o 研究中的测试变量往往需要重新计算n 独立董事比例n 国有股比例n 净资产收益率n 2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o 什 么 是 描 述 性
5、统 计（什 么 是 描 述 性 统 计（D e s c r i p t i v e Statistics）n 描述性统计就是组织、描述和总结所收集到的一组数据的特征。n 需要注意的是，它所描述的是这组数据本身的分布特征。2023-5-28陈小林编号姓名年龄职业1王X X30工人2李X X42干部3张X X18学生4李X X26工人5李X X22工人6刘X X29教师7陈X X19农民8王X X22工人9陈X X25工人10吴X X23工人2023-5-28陈小林 二、描述性统计分析（Descriptive Analysis）o 什么是推论统计什么是推论统计（Inferential Statis
6、ticsn 推论统计就是从一个较小的群体中了解的信息并得出相关结论，推广到更大的一个群体。我们把较小的这个群体，也就是我们收集了数据的群体称之为样本（sample），把更大的那个群体，也就是我们所感兴趣的、要研究的对象群体称之为总体（population）。2023-5-28陈小林描述统计与推断统计的关系 二、描述性统计分析（Descriptive Analysis）2023-5-28陈小林 二、描述性统计分析（Descriptive Analysis）o 描述统计的目的n 检查数据（如：变量值要有意义）n 对此变量的分布特征做初步判断n 依据此数据推论总体是否合适，要如何做调整n 依据此变量
7、分布特征，选择合适的统计模型进行回归分析之前，进行描述性统进行回归分析之前，进行描述性统计分析是非常重要的计分析是非常重要的2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o 总体和样本n 样本是总体的一部分，是对总体随机抽样后得到的集合。n 对观察者而言，无法了解总体，只能了解样本的具体情况。通过对具体样本研究，来推断总体特征。o 随机变量n 连续型n 离散型2023-5-28陈小林变量的测量尺度2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o 名称级：用于测量“定类变量（nominal scale）”的值，是最低
8、级别的测量等级。大多数定性测量都使用定类变量。其严格区分又可分为标记和类别n标记：作为一个识别的记号，并不表示数量的多少，不能做数学运算，如运动员的号码n类别：可以作为对变量的不同状态的度量。如性别、宗教。类别能够识别出某些特征，但也不能运算o 顺序级：用于测量“定序变量（ordinal scale）”的值，是可以按某种特性将观测对象排序的，如等级、高低，先后的次序等，人的经济地位、文化程度的测量n 2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o 间隔级：用于测量“定距变量（interval scale）”的值，这种值之间不但可以比较大小顺序，还可以说
9、明相差多少，即两上个值之间是有实际意义的。n例如，摄氏温度这一定距变量说明，摄氏40度比30度高10度，摄氏30度比20度又高10度，它们之间高出的距离相等，而摄氏零度并不是没有温度。又比如调查数个地区的工人占全部劳动人口的比率时，发现甲、乙，丙、丁、戊五个地区的比率分别是2、10、35、20、10。甲区与丙区相差33，丙区与丁区相差15。这也是一个变距变量。定距变量各类别之间的距离，只能用加减而不能用乘除或倍数的形式来说明它们之间的关系。n定距变量的每一等级之间的间距是相等的，可以用来相加或相减，但不能相乘和相除2023-5-28陈小林二、描述性统计分析（Descriptive Analys
10、is）o 比例级：用于测量“定比率变量（ratio scale）”，这是最高的测量级别。n 数字具有实际意义，能够进行加减乘除运算，运算的结果也具有实际意义。o 一般情况下，测量级别高的变量可以当作级别低的变量来分析，但反过来一般不可以 o 定类变量是属于定性型的；定距和定比率变量属于定量型；而定序变量则根据具体情况而定。2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）数据特征的描述数据特征的描述分布特征分布特征集中趋势集中趋势离散程度离散程度2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o（1）数据集中趋势描述统计
11、量）数据集中趋势描述统计量n均值（mean）o 衡量数据的中心位置的重要指标。包括算术平均值（常用，总和除以个数）、加权算术平均值、调和平均值和几何平均值 n中位数（median）o 另外一种反映数据的中心位置的指标，其确定方法是将所有数据以由小到大的顺序排列，位于中央的数据值就是中位数，当当n为奇数为奇数，按大小排列，按大小排列后后，第，第(n+1)/2个观察值个观察值，就是中位，就是中位数数。当当n为偶数与为偶数与，则则取第取第n/2与与(n+2)/2个观察个观察值值的平均数为中位数的平均数为中位数。n众数（mode）o 是指在数据中发生频率最高的数据值。可能不止一个众数，也可能没有众数（
12、即不重复出现）2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）n 如果X的分布是单峰的对称分布，这时众数、中位数和平均数是一致的 n 对于一个偏斜的分布，相对于众数，中位数朝长尾巴方向偏离了一些，而均值刚偏离的更远 n 均值对异常值是较敏感的，而中位数不那么敏感 n 如果各个数据之间的差异程度较小，用平均值就有较好的代表性；而如果数据之间的差异程度较大，特别是有个别的极端值的情况，用中位数有较好的代表性。众数虽然稳定性差，但有时会有用，比如评选最受欢迎的比如评选最受欢迎的XXX 2023-5-28陈小林二、描述性统计分析（Descriptive Analy
13、sis）o（2）数据的离散程度）数据的离散程度描述统计量描述统计量n离散程度分析主要是用离散程度分析主要是用来反映数据之间的差异来反映数据之间的差异程度程度 n标准差（std Deviation）o 主要是用來衡量主要是用來衡量观察观察值与平均值的离散程值与平均值的离散程度，其值越小，表示度，其值越小，表示总体的齐质总体的齐质性越高性越高112nxxSniinxxSnii12总体标准差样本标准差2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）n 方差（Variance）n 最大值（maximum）n 最小值（minimum）n 全距（range）（=max
14、-min）n 分位数(排序后处于25%和75%位置上的值)2023-5-28陈小林二、描述性统计分析（Descriptive Analysis）o（3）数据的分布）数据的分布n 偏度（skewness）o 偏度衡量的是样本分布的偏斜方向和程度，以平均值为中心的不对称程度o=0 分布为对称分布分布为对称分布o 0 此此分布为右偏或分布为右偏或正偏分正偏分布布，分配集中，分配集中在低在低数数值方面，不值方面，不对称对称的尾端向的尾端向较较大值方大值方向（右）延伸向（右）延伸o 3 此分此分布为高狭峰，布为高狭峰，分分布较为布较为尖峰集中尖峰集中o 2t（t 值大）“统计量的值落入临界域上统计量是统
15、计上显著的拒绝 H0假设Pr(t)（P 值小）。2023-5-28陈小林（四）模型诊断o 多重共线性n 两个或多个变量之间高度相关称为多重共线性（multicollinearity）n 多重共线性的原因o(1)经济变量间的内在关系。由于经济变量之间的内在相关性而导致，在这个意义上，它是一个不可避免的问题o(2)经济变量在时间上有同方向变动的趋势，受同一决定因素的影响。如经济增长时期，收入、消费、投资、价格、就业都上升2023-5-28陈小林（四）模型诊断n(3)分布滞后模型的广泛运用。一个经济变量前后期之值可能高度线性相关 n(4)所使用的数据收集及计算方法n(5)模型设定偏误。如自变量的多项
16、式易导致这一问题n(6)过分确定模型。如解释变量个数多于观测数2023-5-28陈小林（四）模型诊断n 多重共线性的后果o(1)具有较大的方差与协方差，难以得到精确的估计o(2)参数估计不稳健，对异常值敏感o(3)参数估计值标准误增大，从而使t 检验得出误导性结果。t统计量可能变得很小，从而参数检验不显著o(4)产生有偏的预测置信区间n 多重共线性的检验方法（有多种方法）n vif2023-5-28陈小林（四）模型诊断n 多重共线性的克服o 转换变量法，差分法，对数法，倒数、增长率等。o 利用截面数据（时间序列容易产生多重共线性）o 删去共线变量n删去变量后的模型不能反映出被删除变量与因变量的
17、关系n删除变量后的回归系数估计量不再是无偏的，而是有偏的，且决定系数和F统计量都可能降低n可能会删除错变量，引起模型选择的错误2023-5-28陈小林（四）模型诊断o 异方差n 样本方差不一致，于是就有所谓异方差(Heteroscedasticity)n 如下图可以明显看出样本方差与点(Xi,Yi)有关，随着样本数值增大而增大。造成异方差往往造成异方差往往是因变量不对称是因变量不对称2023-5-28陈小林（四）模型诊断n 异方差的后果o 普通最小二乘法参数估计量不再有效；显著性检验失效；预测精度下降n 异方差的检验o 一般需要比较大的样本，一般都是作所谓残差分析o 最简单直观的方法是将残差平
18、方和oo 与 画在一张图上，大致可以看出残差是否发生改变niYYeiii,1 ,)(22iYiYiYiy2023-5-28陈小林（四）模型诊断Y2 e2 eYY2 eYY2 e2 e2023-5-28陈小林（四）模型诊断n 异方差的解决o 可以通过因变量的转换，如取对数变换、倒数变换、开方变换等o 使用统计技术，如stata中的robusto the t-statistics on the independent variables are much smaller when the standard errors are adjusted for heteroscedasticity2023
19、-5-28陈小林（四）模型诊断（四）模型诊断o 引起内生性的原因引起内生性的原因n（1）模型设定偏误（遗漏变量）n 这主要是因为实际的问题中，一个变量往往受到许多变量的影响，在实际建模过程中无法将解释变量全部列出。在这样的情况下，遗漏的变量的影响就被纳入了误差项中，在该遗漏变量与其他解释变量相关的情况下，就引起了内生性问题。即。()0E x（四）模型诊断n（2）测量误差n关于测量误差引起内生性的问题要基于测量误差的假设。测量误差可能是对被解释变量的测量误差，也可能是由于对解释变量的测量误差。这两种情况引发的结果是不一样的。内生性来源于X的测量误差。n(3)双向交互影响（或者同时受其他变量的影响
20、）n这种情况引起的内生性问题在现实中最为常见。其基本的原理可以阐述为，被解释变量Y和解释变量X之间存在一个交互影响的过程。X的数值大小会引起y取值的变换，但同时Y的变换又会反过来对X构成影响。n例如：例1：金融发展与经济增长n 例2：外商直接投资FDI与经济增长n 例3：犯罪率与警备投入2023-5-28陈小林（四）模型诊断o 内生性的检验n Hausman(1978)首先提出关于变量内生性的检验用统计量。Davison&MacKinnon(1989;1993)又提出一种借助辅助回归进行Hausman 检验的方法n 现假定做如下回归2023-5-28陈小林（四）模型诊断二次二次回归回归2023
21、-5-28陈小林（四）模型诊断o 异常值n 异常值可能 对模型产生 重大影响2023-5-28陈小林（四）模型诊断n 解决方法o 删去异常值 cooks大于4/N 认为影响大，应该删去o 把极端值定义为某一个数字，如百分之一分位数o 中位数回归（分位数回归）o winsor lnaf,gen(wlnaf)p(0.01)o winsor lnta,gen(wlnta)p(0.01)o sum lnaf wlnaf lnta wlnta,detailo reg wlnaf wlnta big62023-5-28陈小林（四）模型诊断o 相关残差（Correlated errors）n The res
22、iduals of a given firm are correlated across years(“time series dependence”)n The residuals of a given year are correlated across firms(“cross-sectional dependence”)2023-5-28陈小林（四）模型诊断o Time-series dependencen使用面板数据时往往成为一个问题，在面板数据中，可能存在有未观察到公司具体特征变量不随时间的变化而变化n存在此问题时，重复的观察值不能提供附加信息，影响估计的标准差（实际标准差不变），
23、估计标准差更小，而T更大n解决问题：o stata ：robust cluster（companyid）o 按公司进行clustero 凡是使用planel data数据回归时，要习惯使用 robust cluster2023-5-28陈小林（四）模型诊断o Cross-sectional dependencen 残差截面相关性是指同一年份的不同公司的残差是相关的n 可以采用Fama-MacBeth(1973)的方法纠正2023-5-28陈小林（四）模型诊断nFor example:o reg lnaf lnta if year=1998,robusto gen lnta_coeff=_bln
24、ta in 1o reg lnaf lnta if year=1999,robusto replace lnta_coeff=_blnta in 2o reg lnaf lnta if year=2000,robusto replace lnta_coeff=_blnta in 3o reg lnaf lnta if year=2001,robusto replace lnta_coeff=_blnta in 4o reg lnaf lnta if year=2002,robusto replace lnta_coeff=_blnta in 5o sum lnta_coeff2023-5-28
25、陈小林（四）模型诊断o 解决方案，可以通过clustering on time，o 即robust cluster(year)o Note：we cluster on time to control for cross-sectional dependence while we cluster on the company to control for time-series dependence 2023-5-28陈小林中位数回归（median regression）o 中位数回归模型中，系数估计是最小化残差绝对值之和，因而受异常值（极端值）影响更小o STATA 把中位数回归作为一种特殊的
26、分量回归模型对待2023-5-28陈小林中位数回归（median regression）2023-5-28陈小林中位数回归（median regression）o 分位数回归中，系数估计是残差加权平均和最小o 权数就是Wi2023-5-28陈小林中位数回归（median regression）o 对符号为正的残差和符号为负的残差，可选择不同的加权数 o 如果所有的残差的加权数相等，那么所进行的回归就是中位数回归 o 如果正的残差的加权因子为1.5，负的残差的加权因子为0.5，所进行的回归就是第三分位数回归，依次类推2023-5-28陈小林中位数回归（median regression）o 在S
27、TATA 中执行分位数回归，可用 qregn qreg lnaf lnta big6 n reg lnaf lnta big62023-5-28陈小林Tobit模型o 当数据出现left-censored或right-censored是可以使用tobit模型o Tobit 模型有点相似于nY*=a0+a1 X+enY=0 if -Y*0nY=Y*if 0 Y*5n gen lnnaf2=lnnafn replace lnnaf2=.if lnnaf5&lnnaf!=.n intreg lnnaf1 lnnaf2 lnta if miss=02023-5-28陈小林Logistic回归模型o 引
28、入Logistic的原因n 二值因变量的存在（虚拟变量）o 采用OLS会产生预测值无法解释的现象和异方差等n 审计学：审计意见、事务所规模、审计师更换n 常用来研究o 审计意见的影响因素o 审计意见的预测o 事务所的选择o 审计师为什么会更换o 财务会计中也会用来预测企业破产的概率2023-5-28陈小林Logistic回归模型o Logitstic模型n logit变换变换对数发生比线性函数线性函数2023-5-28陈小林Logistic回归模型11kk(+x+)1xPeP 发生比发生比oddsodds2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回
29、归模型o Logistics模型的检验n（1）模型拟合度的检验n拟 表示成n卡方值 chi-square2seudo-PR2R2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回归模型n（1）系数检验和解释n Wald检验n 系数的解释：o 系数显著为正，表示在其他变量不变的情况下，对数发生比随自变量值的增加而增加o 系数显著为负，表示在其他变量不变的情况下，对数发生比随自变量的增加而减少o 系数不显著，说明自变量对因变量的影响不显著2023-5-28陈小林Logistic回归模型n 因logistic的因变量是logit，不是连续变量，直接解释系数时含义
30、较为模糊，为了清晰地反映变量之间的关系，通常转换后再进行解释，如转换为发生比（P/(1-P)）。n 发生比是日常大家能够轻易理解的概念，比如高考的升学率，发表非标准意见的比率，选择大所的可能性、企业发生破产的可能性等。n 发生比 odds=发生的概率/不发生的概率，如果odds大于1，表示事件发生的可能性更大，反之，则不发生的可能性更大。2023-5-28陈小林Logistic回归模型n 比如，发表非标准意见的概率为0.6，那么发表标准意见的概率就是0.4。发生比就为1.5，表示发表非标的可能性是发表标准可能性的1.5倍。n 发生比率o 如果有10家民营企业和5家国有企业被出具了非标准意见，1
31、00家民营企业和200家国有企业被出具标准意见。那么：o 民营企业：发生比=10/100=10%o 国有企业：发生比=5/200=2.5%o 民营和国有的发生比率（OR）=10%/2.5%=42023-5-28陈小林Logistic回归模型o Logistic模型转换2023-5-28陈小林Logistic回归模型n连续自变量的解释n自变量每变化一个单位，发生比率的变化率就是kabe)(1ke2023-5-28陈小林n对于连续变量的分析，往往不会只比较相邻两个值之间的发生比率，而是比较某一个组距（b-a）的发生比，即从a变到b。此时调整发生比率为：kabe)(2023-5-28陈小林Logis
32、tic回归模型n分类自变量（虚拟变量等）o 与线性模型一样，代表的是该变量与参照变量对因变量影响的差异，即是该变量与参照变量的发生比率。o 如果虚拟变量企业性质的指数为o 则表示，民营企业被出具非标准意见的发生比是国有企业的2.5倍。o 能否转换表述为民营企业被出具非标准意见的概率是国有企业的2.5倍？n分类自变量多于两个分类时如何转化为虚拟变量？ke2.5ke2023-5-28陈小林Logistic回归模型o 标准化回归系数n 与OLS一样，也可以计算标准化回归系数，OLS计算标准化回归系数的方法：o（1）代入回归前先将变量标准化：标准化值=（变量-变量平均值）/变量的标准差o（2）按下述公
33、式计算o 但对于分类变量，标准化没有意义。yx*ss标准化回归系数2023-5-28陈小林Logistic回归模型n Logistic计算标准化回归系数要更为复杂，计算方法如下：2023-5-28陈小林Logistic回归模型o 系数子集的检验n 有时研究兴趣是检验一组自变量作为子集是否与因变量显著相关，即一组变量对因变量是否有显著影响。2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回归模型n Chen，Chen 和Su（2001）o 2023-5-28陈小林Logistic回归模型2023-5-28陈小
34、林Logistic回归模型o 回归结果2023-5-28陈小林Logistic回归模型o 将上述结果进行转换2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回归模型o 回归结果的分类准确率2023-5-28陈小林Logistic回归模型2023-5-28陈小林Logistic回归模型o Logistic模型注意的问题n 过度离散o 实际数据常有过度离散现象存在，反应概率P不是随机分布的，P的变动造成Y的方差大于其本来应有的方差，造成过度离散。以下原因都可能造成过度离散：o 未纳入重要解释变量o 未纳入应纳入的交互项o 非线性函数o 存在特异值等2023-
35、5-28陈小林Logistic回归模型o 过度离散的检验和解决：在sas中model语句后加入 aggregate scale=deviance n 空单元（zero cell count）o 交互表中某些单元的观测值为0o 造成的原因：样本少，很多交互单元o 后果：估计系数很大，系数标准误差很大o 解决方法：合并分类2023-5-28陈小林Logistic回归模型n 完全分离o 是指自变量存在一个临界值，大于临界值，事件便发生，小于临界值，事件便不发生o 后果：估计系数很大，系数标准误差很大2023-5-28陈小林Logistic回归模型n 多重共线性o 在线性回归中使用VIF检验，但在lo
36、gistic中，spss和sas都没有检验程序o 检验办法：假定函数为线性函数，运行软件获得线性回归下的VIF值予以判断。这样做的原因是自变量之间的共线性与因变量的函数形式无关o 解决方法：删除多余变量n 特异值（与其他值的影响方向大不同）和极值的影响o 检验：model 后选择influence，Sas回归中 的dfbeta绝对值大于1要注意2023-5-28陈小林Logistic回归模型o 论文中Logistic回归结果的报告2023-5-28陈小林Logistic回归模型扩展应用o Logistic不仅能处理二分变量，而且能够拓展到多分类的变量，既可以是定序变量，也可以名义变量。o 如果
37、因变量是定序变量，应采用累积logistic回归。2023-5-28陈小林Logistic回归模型扩展应用o 给定X值的累积概率分布函数为2023-5-28陈小林Logistic回归模型扩展应用n 那么，累积logistic回归为：n 累积概率：2023-5-28陈小林Logistic回归模型扩展应用n 某一特定级别的概率计算：2023-5-28陈小林Logistic回归模型扩展应用n 如果不是定序变量，则是多项logistic模型，此时logit的形式:2023-5-28陈小林Logistic回归模型扩展应用n 第j个类别的概率为：n SAS中要使用proc catmod 程序，不能再用logistic。
