1、大数据环境下的大数据环境下的 交通模型解决方案交通模型解决方案 提纲提纲 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 四、正确看待大数据四、正确看待大数据 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 1、数据是交通模型的基本原材料、数据是交通模型的基本原材料 交通模型 数 据 数学模型 软件工具 模 型 师 一、互联网一、互联网+交通大数据时代的的数据资源交通大数据时代的的数据资源 2、交通模型的主要数据、交
2、通模型的主要数据 交通模型基础数据交通模型基础数据 GIS和数据库技术和数据库技术 土地利用土地利用 建筑量建筑量 人口岗位人口岗位 综合交通网络综合交通网络 航空影像图、航空影像图、 地形图地形图 交通调查交通调查 其他数据其他数据 现状用地现状用地 现状建筑量现状建筑量 人口普查人口普查 道路交通网络道路交通网络 居民出行调查居民出行调查 规划用地规划用地 规划测算规划测算 经济普查经济普查 轨道交通网络轨道交通网络 校核线调查校核线调查 核心数据:核心数据: ?用地和人口岗位用地和人口岗位 ?综合交通交通网络综合交通交通网络 规划预测规划预测 公交线网公交线网 手机信令调查手机信令调查
3、模型辅助线模型辅助线 其他调查其他调查 ?基于交通调查的模型参数基于交通调查的模型参数 一、互联网一、互联网+交通大数据时代的福利交通大数据时代的福利 3、道路网络的建立、道路网络的建立 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 4、公交线网数据的获得以及建立路网映射模型数据库、公交线网数据的获得以及建立路网映射模型数据库 商业地图公交线商业地图公交线 路和站点获取和路和站点获取和 图形化图形化 ?JavaScript TransCAD公交系公交系 统统 ( (公交模型数公交模型数 据库)生成据库)生成 ?GISDK 站点集群、城市站点集群、城市 坐标转换坐标转换
4、, ,其他模其他模 型软件接口型软件接口 ?GISDK WGS84转换商业转换商业 地图坐标地图坐标 ?Python 公交线路和站点公交线路和站点 坐标校准坐标校准 ?GISDK 公交与路网数据关联表公交与路网数据关联表 工作效率提高:工作效率提高: 2500条线路,条线路,57000个站点个站点 人工维护:人工维护:150天天 自动维护:自动维护:95%精度,精度,10天天 100%精度,精度,25天天 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 29-30 28-29 27-28 26-27 25-26 24-25 23-24 22-23 21-22 20-21
5、 19-20 18-19 17-18 16-17 15-16 14-15 13-14 12-13 11-12 10-11 9-10 8-9 7-8 6-7 5-6 4-5 3-4 2-3 1-2 0-1 一、互联网一、互联网+交通大数据时代的的数据资源交通大数据时代的的数据资源 100% 86% 83% 90% 78% 82% 75% 80% 69% 79% 70% 70% 60% 50% 40% 29% 24% 30% 19%21% 19% 15% 13% 20% 5%10% 6% 4%2% 3%2% 2%10% 4% 0% 其他 其他 其他 新城内部 新城内部 新城内部 新城内部 中心城
6、中心城 中心城 中心城 其他 手机信令分析 居民出行调查 信令的职信令的职 住分析住分析 工作岗位分布比例 5 、 手手 机机 嘉定新城 21 18 15 百 12 分 比 9 (6 % )3 0 青浦新城 松江新城 金山新城 新城居民工作岗位分布区域 居民出行调查 手机调查 通勤距离( km) 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.1、从单独的空间分析扩展到空间联系、从单独的空间分析扩展到空间联系 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.1、从单独的空间分析扩展到空间联系、从单独的空间分析扩展到空间联系 居民的工作地分
7、布居民的工作地分布 工作地 内环内 内外环间 周边地区 71% 22% 4% 内环内 57% 7% 居住地 内外环间 32% 21% 58% 周边地区 12% 区域 其他 合计 3% 100% 4% 100% 9% 100% 岗位的居住地分布岗位的居住地分布 居住地 内环内 内外环间 周边地区 45% 44% 9% 内环内 70% 14% 工作地 内外环间 13% 17% 71% 周边地区 4% 区域 其他 合计 2% 100% 3% 100% 9% 100% 通勤距离通勤距离 居住/工作地 内环内 内外环 周边地区 居住地居民 6.8 9.1 9.0 通勤距离(km) 岗位/居住 工作地岗位
8、 8.6 1.3 7.9 0.9 7.7 0.9 邻域栅格联系紧密度邻域栅格联系紧密度 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.2、大数据提供了足够的小区域研究样本、大数据提供了足够的小区域研究样本 1-2%的居民出行抽样抽样调查无法分析的居民出行抽样抽样调查无法分析 小区域的吸引点的空间分布小区域的吸引点的空间分布 一、互联网一、互联网+交通大数据时代的的数据资源交通大数据时代的的数据资源 5.3、AFC和手机信令的印证和手机信令的印证 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.4、职住通道不平衡,交通设施规划处于两难境地
9、、职住通道不平衡,交通设施规划处于两难境地 0% 1号线 2号线 3号线 4号线 5号线 6号线 7号线 8号线 9号线 10号线 17% 16% 14% 13% 13% 14% 15% 5% 10% 15% 12% 12% 14% 13% 20% 20% 上海轨道交通线路客流特征 线路线路 1号线 2号线 3号线 4号线 5号线号线 6号线号线 7号线 8号线 9号线 10号线 11号线 12号线 13号线 16号线 全网 11号线 13号线 工作日工作日 客运强度(万客运强度(万 客流量客流量 乘次乘次/km) 36.9 121 3.27 60.3 147 2.44 40.2 57 1.4
10、1 33.8 84 2.49 16.6 14 0.85 32.7 38 1.17 43.9 73 1.65 37.0 95 2.57 49.8 82 1.65 35.2 73 2.06 70.6 60 0.86 19.0 17 0.92 12.0 12 1.00 58.2 6 0.11 546.2 880 1.61 长度长度 平均乘平均乘 高断面客流高断面客流 距距(km) (万人次(万人次/小时)小时) 9.01 5.1 8.74 4.7 8.56 2.6 6.14 2.4 8.95 1.3 6.74 2.6 7.74 4.0 6.71 3.5 11.15 4.2 6.87 2.7 13.7
11、8 3.3 6.74 1.5 5.86 1.0 22.89 0.6 14.6 - 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.4、职住平衡分析、职住平衡分析 最小通勤最小通勤Tmin :2.1km 最大通勤最大通勤Tmax :48.6km 随机通勤随机通勤Tran :33.6km 实际通勤实际通勤Tact :8.2km 剩余通勤:剩余通勤:EC= (1-Tmin/Tact)*100 潜在通勤:潜在通勤:Cu=(Tact-Tmin)/(Tmax-Tmin)*100 经济通勤:经济通勤:Ce=(1-Tact/Tran)*100 正规化经济通勤:正规化经济通勤:NCe
12、=(Tran-Tact)/(Tran-Tmin)*100 越小越好!越小越好! 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 5.4、职住平衡分析、职住平衡分析 指标 最小通勤与城市空间形态,人口 规模和土地使用关系不大; 单 上海 位 2013 北京 东京 伦敦 2001 年份 Tmin 最大通勤、随机通勤与城市和人 口规模有较大关系; 实际通勤上海较好; 剩余通勤和东京还有较大差距, km Tmax Tran Tact 2010 2000 2.5(bus) 2.1 3.5(car) 6.7 24.7(bus) 48.6 35.6(car) 50.5 33.6 -
13、- 8.2(bus) 8.2 11.2(car) 69.5(bus) 74.0 68.8(car) 25.7(bus) 13.1 24.3(car) 3.6 17.8 13.9 主要是东京的最小通勤较大。职 住平衡不在于讲究小范围的人口 岗位平衡或用地混合配置; 潜在通勤和东京接近; 11.0 39 10 9.1 60.0 38.5 EC Cu % 和随机通勤差距越大,越具有较 强的中心集聚作用。 Ce NCe 75.6 80.1 - - - - 34.6 46.9 一、互联网一、互联网+交通大数据时代的数据资源交通大数据时代的数据资源 6、各种交通采集数据,尽情使用!、各种交通采集数据,尽情
14、使用! Talking Data, POI, 大众点评,大众点评, 房价房价 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 1、4D与出行生成模型与出行生成模型 大众点评,百度热力,手机信令如何使用?大众点评,百度热力,手机信令如何使用? Density 开发密度:容积率;开发密度:容积率; Diversity Design 多样性:用地混合程度,人口岗位比;多样性:用地混合程度,人口岗位比; 城市设计:大小尺度街坊;城市设计:大小尺度街坊; Dest Accessibility 目的地可达性:多种交通方式的可达性。目的地可达性:多种交通方式的可达性。 二、挖掘大数据,改进交通模型
15、二、挖掘大数据,改进交通模型 2、模型和、模型和Google的等时线比较的等时线比较 百度、高德、出租车百度、高德、出租车GPS,模型经得起对比吗?,模型经得起对比吗? 大数据如何使得模型的成本模块更精准?大数据如何使得模型的成本模块更精准? 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 3、出行分布模型的改进、出行分布模型的改进 阻抗:距离阻抗:距离?多方式的综合广义成本多方式的综合广义成本 因素:因素:K因子因子=常数项,社会经济因素的加入常数项,社会经济因素的加入 预测:地区发展的类型参照预测:地区发展的类型参照 区域区域 陆家嘴陆家嘴 外高桥外高桥 2km 21.1% 58
16、.8% 2-8km 45.1% 19.8% 8km 33.8% 21.4% 外高桥外高桥 陆家嘴陆家嘴 金桥居民工作岗位分布图金桥居民工作岗位分布图 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 3、出行分布模型的改进、出行分布模型的改进 Tij ? Pi ? A j * K ij ? f ?d ij? j? ij B B C j? ?Zones ? A * K ? f ?d ij? ?H A C A H Let Aj ? exp(S j ) Let Kij ? exp(?k kij ) Let f ?d ij ? exp(? ? t ) ij Tij ? Pi ? exp(S j
17、 ) ?exp(?k kij ) ?exp(? ? tij ) j? ?Zones 目的地的替代性和互补性目的地的替代性和互补性 职住分布的社会经济因素职住分布的社会经济因素 活动类型特征与次序活动类型特征与次序 抽样与参数标定技术抽样与参数标定技术 ?exp(S ) ?exp( j k ij k ) ?exp(? ? t ij ) Tij ? Pi ? exp(S j ? ?k kij ? ? ? tij ) j ? ?Zones ?exp(S exp(V j ) j ? ?k k ij ? ? ? t ij ) Tij ? Pi ? j? ?Zones ?exp(V j ) 二、挖掘大数据
18、,改进交通模型二、挖掘大数据,改进交通模型 4、轨道交通接驳模型、轨道交通接驳模型 大数据能否做到?大数据能否做到? ?车站的服务范围车站的服务范围 ?接驳交通方式获接驳交通方式获 Primary ModePrimary Mode Bus Modes Bus Rapid Transit Urban Rail Commuter Rail High Speed Rail WalkWalk X X X X X ?两端接驳的组合多样性两端接驳的组合多样性 ?客流分配的配套应用客流分配的配套应用 Access ModesAccess Modes DriveDrive BusBus PnRPnR X X
19、X X X X X X X Egress ModesEgress Modes WalkWalk DriveDrive BusBus X X X X X X X X X X KnRKnR 得,例如得,例如IC卡分析公卡分析公 交和轨道的换乘交和轨道的换乘 X X X 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5、调查技术的改进、调查技术的改进 手机信令手机信令 分析分析 GPS或手或手 机小样本机小样本 PAD居民调查居民调查 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5.1 基于手机基于手机GPS的小样本调查校核技术的小样本调查校核技术 手机APP 个人信息、家
20、庭信息(包括家庭住址、工作地点定位数据) 出行轨迹数据(手机GPS定位、采样间隔1s) 网页反馈 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5.2 基于手机基于手机GPS的小样本调查校核技术的小样本调查校核技术 方法一:算法推算(仅发挥手机的GPS功能) ? 停驻点识别 ? 基于速度的停留点合并 ? 时间加权法 停留中心 ? 出行方式判断 ? 隶属函数加权判别法 ? 平均速度, 95%位加速度, 出行距离,出行时间 ? 出行目的判断 ? 活动地点活动目的 ? 家庭、工作地坐标 ? 二维核密度估计 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5.3 基于手机基于手机
21、GPS的小样本调查校核技术的小样本调查校核技术 方法一:算法推算(仅发挥手机的GPS功能) 停留点识别停留点识别 ?出行列表 转换点 检验 ?区段划分区段划分 方式判别方式判别 单一模式 起讫点 转换点 信号丢失区段 其他区段 检验 合并 ?区段特征 ?速度 ?距离 ?时间 出行列表 方式判断结果 最终结果最终结果 ?出行目的出行目的 ?家庭住址 工作地址 学校地址 土地利用信息 (POI) 目的判断结果 ?出行列表 区段划分 方式判断结果 目的判断结果 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5.4 基于手机基于手机GPS的小样本调查校核技术的小样本调查校核技术 结果分析
22、? 停留点识别 实际 停留点数 513 算法判断 停留点数 470 判断正确 停留点数 468 上海市上海市2222个志愿者个志愿者 109109天的出行数据天的出行数据 查全率 0.996 查准率 0.912 F1-Measure 0.952 ? 出行方式及目的的判断 200 1 0.8 200 区区 段段 100 数数 150 1 0.8 0.6 比比 0.4 例例 0.2 0 walk bike bus metro car 实际区段 查全率 算法判断 查准率 判断正确 F1-Measure 150 区区 段段 100 数数 50 0 0.6 0.4 0.2 0 比比 例例 50 0 实际
23、区段 查全率 算法判断 查准率 判断正确 F1-Measure 二、挖掘大数据,改进交通模型二、挖掘大数据,改进交通模型 5.5 基于手机基于手机GPS的小样本调查校核技术的小样本调查校核技术 方法二:手机居民出行用户调查界面开发,出行者录入; 方法三: 居民出行调查 对比 手机用户电子 问卷调查录入 手机信令采集 模拟 手机GPS数据 算法推算 手机信令分析 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 1、居民出行调查的扩样校核、居民出行调查的扩样校核 a b c a a a b c c 户、人、出行关联一致性?户、人、出行关联一致性? 关联的程度?关联的程度?
24、 多套扩样参数?多套扩样参数? 户、人主要依靠人口普查,统计信息户、人主要依靠人口普查,统计信息 出行主要依靠交通大数据出行主要依靠交通大数据+ +综合判断综合判断 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 户扩样:户扩样: 区域层面的家庭户、集体户 区域层面的1人户、2人户、3人户、多人户 小汽车拥有总量等。 人扩样:人扩样: 区域层面的分户口性质常住人口; 区域层面的分性别常住人口; 区域层面的分年龄常住人口; 区域层面的分教育程度常住人口; 交叉分类; 母体准备(上海为例):母体准备(上海
25、为例): 行政区居家流动人口: 18*1=18 街道常住人口分户籍:195 2=390 街道常住人口分性别:195 2=390 街道常住人口分年龄: 195 7 =1365 行政区常住人口分年龄: 18 15=270 街道常住人口分教育程度:195 4=780 行政区常住人口分教育程度:18 6=108 街道常住人口分是否就业:195 2=390 行政区就业常住人口分职业:18 7=126 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 扩样母体分为扩样母体分为“完全准确完全准确”与与“挖潜推算挖潜推算”两类:两类: 轨道交通AFC数据:客运量,出行人次,时段分布,分
26、区域; 公交售票总体数据:客运总量; 公交IC卡数据:时段分布,通勤数据挖潜,换乘系数; 出租车GPS数据:时段分 布,空间分布; 其他数据:高速公路OD 数据,交通流量监测数据 等等; 传统调查方法:校核线、 车辆出行特征与小汽车出 行等等。 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 多个表的关联扩样,系数的一致性; 户表和、个人表扩样,可根据各种家庭户特 征、人口分类母体作为扩样校核要素输入; 出行表扩样,可以根据其他各项调查作为扩样 校核要素输入,使得各项调查获得的有限准确信 息能够通过居民出行调查进行完全利用; 可以在一定程度上解决居民出行调查漏报漏填
27、的情况。扩样工具可以根据其他调查的综合分析 ,确定出行率和出行总量后,对调查数据进行总 体扩样。软件在计算扩样系数时,会降低漏填漏 报人员的扩样权重; 扩样校核精度分析。会给出扩样后各类人口母 体以及各分项调查校核数据与扩样统计数据的误 差,生成扩样效果报告。 10000 ?2 ? n ? ( x ? y i)/ n ? i ? ? i ? RMSE % ? ? yi i 人人 数数 8000 6000 4000 2000 0 95-100 5-10 15-20 25-30 35-40 45-50 55-60 65-70 75-80 85-90 105-110 115-120 125-130
28、扩样系数值扩样系数值 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% 0-20 40-60 80-100 120-140 160-180 200-220 240-260 280-300 320-340 360-380 400-420 440-460 480-500 520-540 560-580 600-620 640-660 680-700 720-740 760-780 800-820 840-860 880-900 920-940 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 三、大数据在上海交通规划模型中的应用三、大数据在上海
29、交通规划模型中的应用 新城 新城内部 中心城 69.7% 78.1% 85.6% 64.8% 86.1% 6.0% 2.5% 4.3% 2.3% 1.9% 其他 24.4% 19.4% 10.1% 32.9% 12.0% 合计 100% 100% 100% 100% 100% 2、通勤圈分析、通勤圈分析 通勤圈定义:通勤圈定义:区域内至中心城的通勤量与该区域内至中心城的通勤量与该 区域通勤的总量比例不低于一定的比例(东区域通勤的总量比例不低于一定的比例(东 京定义的比例为京定义的比例为 5%,通勤圈,通勤圈50km,85%的的 通勤者居住在通勤者居住在30km圈内)。圈内)。 内环内通勤圈内环
30、内通勤圈 嘉定新城 青浦新城 松江新城 奉贤新城 南汇新城 金山城区 城桥城区 69.3% 72.5% 2.0% 0.6% 28.7% 26.9% 100% 100% 中心城通勤圈中心城通勤圈 主城区通勤圈主城区通勤圈 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 3、通勤圈时间分析、通勤圈时间分析 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 4 、典型居住区通勤特征、典型居住区通勤特征 通勤空间形态和轨道交通网的关系密切; 居住区位和通勤形态的关系密切; 通勤距离与区位; 通勤空间发散度和居民社会经济条件; 相关指标 人口密度(万人/
31、平方公里) 顾村 1.62 大华 3.68 曹杨 4.43 长寿路 3.84 联洋 1.72 职住比 45分钟可达范围(平方公里) 45分钟累积通勤者(万人) 0.09 210.7 2.2 0.21 185.5 2.8 0.32 232.4 4.4 81.4 0.53 214.5 2.2 84.9% 1.87 0.79 176.0 1.3 70.1 % 1.37 45分钟累积通勤者比例(%) 45分钟可达范围岗位密度(万个/平方公里) 42.3% 0.24 69.9% 1.60 % 1.66 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 5、上海交通模型基本情况、上
32、海交通模型基本情况 交通小区:交通小区:45504550个个 路段数:路段数:1010万以上万以上 公交线路(含列车交路):公交线路(含列车交路):25002500余条余条 站点数据:站点数据:6 6万万 矩阵数:矩阵数:500500多个多个 三、大数据在上海交通规划模型中的应用三、大数据在上海交通规划模型中的应用 6、模型应用、模型应用 (1)城市总体规划应用)城市总体规划应用 三甲医院公共交通服务范围分析三甲医院公共交通服务范围分析 周边地区与中心城通勤联系周边地区与中心城通勤联系 城市副中心公交可达性分析城市副中心公交可达性分析 手机大数据识别公共活动中心手机大数据识别公共活动中心 城镇
33、空间交通联系分析城镇空间交通联系分析 特定区域居民工作地分布特定区域居民工作地分布 四、正确看待大数据四、正确看待大数据 1、对大数据本身的认识、对大数据本身的认识 概念和定义:概念和定义: 大数据:是指数据,有其本身的特点;大数据:是指数据,有其本身的特点; 大数据技术:是指数据处理和挖掘的技术;大数据技术:是指数据处理和挖掘的技术; 大数据思维:是指分析的方法,关联的判断等。大数据思维:是指分析的方法,关联的判断等。 大数据的优点:大数据的优点: 采集手段自动化;采集手段自动化; 能够反映人或物的空间位置和联系;能够反映人或物的空间位置和联系; 覆盖面广;覆盖面广; 规模巨大;规模巨大;
34、具有较细的空间分辨率和时间分辨率。具有较细的空间分辨率和时间分辨率。 四、正确看待大数据四、正确看待大数据 大数据的缺陷:大数据的缺陷: 很多数据本意不是为我们决策分析服很多数据本意不是为我们决策分析服 务,利用副产品是有难度的;务,利用副产品是有难度的; 很多数据需要清洗,清洗的规则有时很多数据需要清洗,清洗的规则有时 候并不明确;候并不明确; 数据要反映传统定义的特征,需要做数据要反映传统定义的特征,需要做 一定的假设和推断,这也是大数据处一定的假设和推断,这也是大数据处 理的理的“关键技术关键技术”; 数据反映的往往只是一个方面,并不数据反映的往往只是一个方面,并不 能完整地反映现实世界
35、;我们需要用能完整地反映现实世界;我们需要用 多种数据来分析城市交通问题!多种数据来分析城市交通问题! 四、正确看待大数据四、正确看待大数据 2、多元数据的融合校核分析、多元数据的融合校核分析 大数据犹如提供了海量的地图矫正点,可通过自动大数据犹如提供了海量的地图矫正点,可通过自动 化的手段,对传统调查进行融合校核分析!化的手段,对传统调查进行融合校核分析! 四、正确看待大数据四、正确看待大数据 3、大数据和交通模型的关系:共同成长、大数据和交通模型的关系:共同成长 大数据、大数据技术、大数据思维无法替传统交通模型大数据、大数据技术、大数据思维无法替传统交通模型 数据数据+处理方法,或者思维,区别于理论体系处理方法,或者思维,区别于理论体系 大数据大数据 特征挖掘特征挖掘 关联分析关联分析 融合分析融合分析 决策参考决策参考 数据综合数据综合 模模 型型 计算结果计算结果 参数标定参数标定 决策参考决策参考 谢谢 谢!谢!