第5单元-Agent的复杂系统建模与模拟方法课件.ppt

1、第5单元 基于Agent的复杂系统 建模与模拟方法本章内容 主体与多主体系统 多主体建模与仿真 多主体模型的实现 多主体仿真在社会科学中的应用 Aspen多主体经济模型5.1 主体与多主体系统5.1.1 主体概念（1）主体的来源Agent ：主体，智能体，代理来源于分布式人工智能领域Minsky，1986The Society of Mind 1990s在人工智能领域得到重视 1990s 在其他领域广泛应用 （2）Agent的定义 研究人员对Agent的理解并不一致，至今还没有一个普遍接受的关于Agent的定义。 “Agent”一般用来描述自包含的、能感知环境并能在一定程度上控制自身行为的计算

2、实体。 Hewitt:“什么是主体对于基于主体的计算来说是个尴尬的问题，就像主流的人工智能研究中什么是智能这个问题一样” （3）主体的弱概念主体的弱概念从广义的角度规定主体的特性：自治性(autonomy)： 主体的运行不受人或其它物的直接控制，它对自己的行动和内部状态有一定程度的控制权。社会能力(social ability)： 主体通过某种主体通信语言与其它主体或人进行信息交互。反应能力(reactivity)： 即对环境的感知和影响。无论主体生存在现实世界还是虚拟世界，主体都应该可以感知所处环境，并能及时地对环境中发生的变化做出反应，通过行为影响环境。预动性(pro-activeness

3、)： 主体不是简单的对环境被动反应，而是能采取主动，表现出目标导向（goal-directed）的行为。（4）主体的强概念 主体的强概念主要应用在人工智能领域 认为主体是一个计算机系统，除了上述弱概念说明的特性外，主体还应该具有人类的某些一般特性，如知识、信念、意图、承诺等心智状态，甚至具有情感等 5.1.2 多主体系统(Multi-Agent Systems)（1）为什么需要多主体系统？单一主体很难对存在于动态开放环境之中的大规模复杂问题进行求解 。人类智能本质上是社会性的，人们往往为解决复杂问题组织起来，这些组织能够解决任何个人都无法解决的问题。（2）多主体系统的特点 概念：多主体系统是由

4、多个可以相互交互的主体所组成的系统。 多主体系统的特点： 有限视角，即每个主体都面临不完全信息，或只具备有限能力； 没有系统全局控制； 数据分散； 计算是异步的（3）多主体系统的结构 各个主体相对独立，主体之间可能存在复杂的关系主体之间的关系类型 结构相关结构相关性是指不同主体之间具有结构关系，如小组关系、上下级关系等。这种结构关系将对系统中主体的运行以及主体之间的相互作用产生影响。 行为相关不同的主体对环境的一部分产生影响，某些主体的影响范围发生重叠，则它们之间就产生了行为上的相互影响。 5.1.3 主体的一般结构 从计算的角度看，主体是一个计算实体， 具有属于自身的资源， 能够感知环境信息

5、， 根据内部的行为控制机制确定主体应采取的行动， 主体的行动实施后，将对自身状态和环境状态产生影响。 要实现这样的主体，可以采用不同的结构。 所谓结构就是定义主体的基本成分以及各成分之间的关系和交互机制。 对特定的应用场合采用某种结构可能会更自然，也更容易理解。 （1）标准主体形式化假设环境变化可以抽象为一个环境状态序列，环境在任何离散的瞬时状态的有穷集合为:主体有一个可执行动作集合主体在环境中的一次执行r是环境状态与主体动作的一个交替序列：主体的动作决策部件可以定义为以下函数： 为环境演化的状态序列。,210eeeE ,210aaaA uaaaaeeeeru1210210:AEChoose*

6、:*E 主体的动作将对环境状态产生影响，定义影响函数为： 标准主体定义为以下三元组：ChangeChooseAAgent,)(:EAEChange（2）纯反应式主体 有一种Agent决策完全基于当前状态，不考虑过去的状态。 这种Agent只是直接对环境做出反应，因此称为纯反应式Agent。 其动作决策部件与标准主体有所不同，决策函数为：AEChooser:（3）具有感知部件的主体 将标准主体的决策部件分解为感知子系统和动作子系统，称为具有感知部件的Agent。 （4）具有状态部件的主体 一种与标准主体等价的表示方法，思路是认为Agent具有内部状态 5.1.4主体之间的通信与交互 主体之间实现

7、交互需要三个方面的技术保障： 要有一致的消息协议， 要有实现通信的机制， 要有高层的交互协议。 这三个方面密切配合，才能实现主体之间的协作。 （1）主体通信语言 主体通信语言 是一种用于表达主体之间交互消息的描述性语言， 它定义了交互消息的格式（即语法）和内涵（即语义）。 影响较大的主体通信语言： KQML ACLACL 消息结构 一个ACL消息是由通信行为、通信内容以及一组消息参数等几部分组成 （2）通信方式 主体之间常用的通信机制有三种： 黑板机制 邮箱机制 消息传递机制 （3）交互协议 交互协议定义了主体之间为了进行协作，实现某个特定目标而进行交互的结构化消息。 FIPA对一些典型的对话

8、定义了交互协议， 请求(request) 查询(query) 合同网(contract-net) 代理(broking) 订阅(subscribe) 建议(propose)查询交互协议查询交互协议5.2 多主体建模与仿真 5.2.1 多主体建模思想ABM：MAS是对人类或生物群体的自然隐喻，采用多主体观点可以更自然的对这些系统建模，由此形成了基于主体的建模方法（Agent-Based Modeling，ABM ）。ABM的基本出发点是：许多系统可以看作是由多个自治的主体构成的，主体之间的相互作用是系统宏观模式出现的根源，通过建立主体模型，可以更好的理解和解释这些系统。 5.2.2 多主体仿真研

9、究框架 用多主体思想建立的复杂系统模型往往用仿真技术求解。这样就形成了多主体仿真(Multi-Agent Simulation) 技术。 多主体仿真方法的本质特征是采用多主体视角建立实际系统的概念模型 首先辨识组成实际系统的微观个体，将这些个体抽象为具有自治性的主体， 主体之间通过相互作用构成一个多主体系统 以这样的多主体概念模型为基础通过仿真计算展开研究。 多主体仿真基本过多主体仿真基本过程程多主体仿真过程的特点 在对实际系统进行观察时应同时收集微观数据和宏观数据。 概念模型采用多主体视角建立。 仿真模型一般采用多主体技术实现。 模型验证采用微观和宏观相结合的方法。 仿真所得到的结论主要用来

10、帮助理解系统微观和宏观的联系。 5.2.3 与其它仿真方法的比较（1）与离散事件系统仿真的区别 基本要素：事件/主体 状态变化：串行/并发 结构变化：无/有 学习适应：无/有5.2.3 与其它仿真方法的比较（2） 与微观分析模拟的区别 应用目的：政策效果/理论揭示 个体动机：无/有 个体交互：无/有5.2.3 与其它仿真方法的比较（3）与元胞自动机的区别 空间结构：规则/灵活 个体记忆：无/有或无 学习推理：一般无/一般有 交互结构：临近/网络 5.3 多主体仿真的实现技术5.3.1 主体构建技术（1）产生式系统一个产生式系统包括三个部分：规则集、事实库和控制器。 规则集存储有关问题的状态转移

11、、性质变化等过程性知识，简单产生式规则的形式为“if,then”,每个规则有条件和行为两部分组成，当前提条件满足时就执行动作。 事实库存储关于目前环境/自身状态、性质等信息，由此决定某个规则的前件是否满足。 控制器根据主体的性质选择控制策略，将规则与事实进行匹配，消解冲突，进行推理，实现主体决策，产生行动。（2）面向对象技术 为每类主体设计相应的类，用属性表达主体的内部状态，用方法表示主体的行为。 多主体系统中的主体本质上是并发的。主体的主动性和并发性需要在面向对象框架中采用一定的技术手段进行模拟。5.3.2 主体的学习算法 学习是智能生物的一个重要特征 如果一个系统能够通过执行某个过程改进他

12、的性能，我们就认为它有学习能力。 对主体而言，学习的含义是 主体根据所观察到的事件，在连续交互过程中结构化的修改行为策略，改进它的性能。 （1）强化学习 基本思想： 如果某个行动引起的后果较好，则在以后增加使用该行动的可能，反之则减少。 强化学习主体的一般结构 ：目标是学习一个策略目标是学习一个策略：SA，使系统选择的动作能够获得回报的累计值最大。，使系统选择的动作能够获得回报的累计值最大。 Roth-Erev算法 初始化：选择各行动的倾向（Propensity） 重复: 根据各个行动的倾向计算选择概率 按概率选择行动 根据该行动的回报调整其倾向 返回 行动倾向的更新方法： ),()(1 )

13、1(tkEtqtqjjj if 1)( if 1)(),(kjNtqkjtrtkEjkj概率计算 将倾向转换为选择概率有多种方法，较简单的一种是计算相对倾向作为概率：)()()(tqtqtpmjj（2）遗传算法 基本思想： 首先将状态-行动对表达为染色体， 然后主体在动态环境中感知状态选择行动得到回报计算适应度， 根据个体适应度指标淘汰低适应度个体， 染色体之间进行交叉，以小概率发生变异，产生下一代种群，重复进行。 例：多人囚徒困境博弈 状态State=(上次行动，上轮对手行动) 主体的行动有两种：合作=1，欺骗=0 有四种可能的状态，编码为 状态1为(1,1),2为（1，0）,3为(0,1)

14、,4为(0,0) 个体的一个策略就可以用位串表示 例如针锋相对（TFT）策略就是： 初次选择行动1 if State 1,then choose action 1; if State 2,then choose action 0; if State 3,then choose action 1; if State 4,then choose action 0; 则该策略可以编码为（1 1 0 1 0），表示初次选择行动1，以后若状态为1则选择1，若状态2则选择0，状态3则选择1，状态4则选择0。 5.4 多主体仿真在经济中的应用 经济系统的特点： 经济系统是一个复杂动态系统 微观上由许多相对独

15、立的个体组成，个体具有智能性，存在学习和适应行为 个体之间存在复杂的相互作用（1） 基于Agent的计算经济学 ACE ，Agent-based Computational Economics 将经济过程看作是由交互作用的主体构成的动态系统，采用仿真手段对经济系统进行研究。 研究方法： 采用“培养皿”（culture dish）类比 ，对经济过程进行理论研究。（2） “培养皿”研究方法 首先构建一个由多种主体构成的虚拟经济世界， 设定初始条件（如结构条件、制度安排、主体行为分配等）， 然后令虚拟世界自然发展，发展的根本原因是主体之间的交互； 研究者对虚拟世界进行观察，收集数据，进行分析。 主体

16、 将经济系统中的个人、公司、市场、政府等抽象为主体 主体可能很简单，也可能具有不同程度的认知能力： 适应 社会交互 目标导向的学习 自治 在主体的交互过程中行为模式或交互模式演化发展研究过程（3）ACE的主要研究内容实证性理解规范性理解定性洞察/理论产生方法和工具实证性理解 目的为实证中经常观察到的规律提供因果解释。 研究方法 构建一个反映实际系统主要特征的基于主体的虚拟世界，然后研究实证规律是否能够在这个虚拟世界里可靠的再现。 研究实例 金融市场，为观察到的格式化特征提供解释。 规范性理解 目的将基于主体的模型作为“实验室”用于发现比较好的经济设计，判断制度设计是否会导致效率、公平、有序的社

17、会结果。 研究方法构造一个反映制度设计主要特征的基于主体的虚拟世界，引入具有不同禀赋、需求、目标、信念等的主体，令虚拟世界自发演进，观察和评价社会结果。 研究实例 设计失业救济计划、电力市场定价等。 定性洞察/发展理论 目的加强对经济系统规律的全面了解 研究方法设定不同的初始条件，系统全面的考察系统的演化动态 研究实例分散市场的自组织，瓦尔拉斯均衡的条件方法和工具 目的为通过受控计算实验进行严格的经济理论研究提供方法和工具。 方法方面如何建模，如何提出理论命题，如何简明、充分的报告实验过程和结果，如何对实验产生的理论与实际数据进行检验等 工具方面建模工具、仿真工具、数据分析工具等（4）ACE的

18、优点 主体的决策和交互可以采用直观描述。 适合对由一群具有不同特性的决策者形成的群体进行建模 允许对主体之间复杂的关系建模 能够跟踪不同均衡态之间的过渡路径 引入学习算法，研究主体行为的变化 （5）ACE的缺点需要大量的计算实验 输出结果是随机的模型校核验证困难（6）近期研究实例 Aspen美国经济模型 ASM 股票市场模型 SugarScape 技术变迁 产业组织 贸易网络5.5 Aspen经济系统多主体模型5.5.1 Aspen简介名称：基于主体的微观分析模拟模型 Agent-based Simulation Model of the U.S. economy 开发者： 美国Sandia

19、National Lab. 发展历史： 1996 原型开发、验证 研究美国经济、过渡经济、电力市场 最近研究突发事件（恐怖袭击）的影响Aspen的特点 针对美国经济特点抽象出多类主体，各类主体具有比较坚实的微观基础 采用学习算法GALCS模拟企业定价，通过学习过程模拟企业行为 运行在Paragon并行计算机上 主体分散决策，通过消息传递进行交互Aspen模型的优缺点 优点： 模拟各类经济政策的影响 对单部门或多部门进行分析 明确放弃了一般均衡论 主体决策比较真实 能够模拟新概念 缺点： 参数设置困难 计算性能要求太高5.5.2 Aspen基本模型（1）主体 家庭 企业，又分为四类： 食品生产商

20、、其他非耐用品生产商、汽车制造商、房地产商 银行 政府 美联储 资本物品生产商 金融市场（2）消息传递技术 主体分布在不同的计算节点上 将连续的时间划分为离散的时期（天），每天又划分为11个阶段 多数行动每天只发生1次，且在特定的阶段发生 每个主体有一个消息队列，用于存放收到的消息消息分发过程（3）主体之间的交互（4）各类主体的行为 家庭主体14个个人组成家庭收入 在企业、银行、政府就业，获得工资收入 老年成员从政府领取社会保障金 户主失业时，从政府领取失业救济金 存款利息、债券利息、企业分红等 家庭支出 向政府交税 消费 食品消费 其他非耐用品 汽车 住房食品消费 按家庭规模估计当日食品需求

21、 根据价格选择企业购买食品设企业f当日食品价格为p(f)则从该企业购买的概率为按同样的方式购买其他非耐用消费品qfkp)(汽车消费 每天汽车以给定的概率损坏，如果汽车正常，没有汽车消费需求，否则购买新车 按基本价格选择汽车厂商 如果储蓄较多，则购买一辆昂贵的汽车，否则根据贷款利率选择一家银行申请5年期汽车贷款住房消费 区分房客或房东 房客 每天缴纳房租 以一定概率产生购买新房的愿望 如果决定购买，按价格选择开发商，选择银行申请住房贷款 房东 每天收房租 购买新房行为与房客一样 企业 生产函数 企业决策： 每天进行价格、雇用决策 年初决定是否购买机器 企业交税、缴纳社会保险 税后利润分配baLcKy 价格决策GALCS渐进学习算法 状态16种： 近期产品价格上升还是下降了 近期销量上升还是下降了 近期利润上升还是下降了 本企业的价格高于还是低于行业均价 每种状态有一个涨价、降价、保持概率向量 根据对利润的影响调整概率（5）仿真结果主体数量 家庭 1000 食品企业 3 其他非耐用品企业 2 汽车制造厂 2 房地产商 2 银行 2 政府、储备委员会、资本品生产商各1不同货币政策的影响