1、 前一小节我们已经简单介绍了马尔可夫型前一小节我们已经简单介绍了马尔可夫型决策，并求出了平均收益矩阵，对短期收益也决策，并求出了平均收益矩阵，对短期收益也做了简单的分析，本节将在长期准则下分析马做了简单的分析，本节将在长期准则下分析马尔可夫型决策尔可夫型决策.4 4.3 3长期准则下的马尔可夫型决策长期准则下的马尔可夫型决策教学目标知识与能力知识与能力 进一步加深对马尔可夫型决策的理解，进一步加深对马尔可夫型决策的理解，掌握平稳分布的意义，能用平稳准则马尔可掌握平稳分布的意义，能用平稳准则马尔可夫型决策夫型决策.过程与方法过程与方法 通过学生讨论理解，老师讲解具体案通过学生讨论理解，老师讲解具
2、体案例，最后能独立解决长期准则下的马尔例，最后能独立解决长期准则下的马尔可夫型决策可夫型决策.情感态度与价值观情感态度与价值观 通过长期准则下马尔可夫型决策的通过长期准则下马尔可夫型决策的学习，更加全面和清晰地了解马尔可夫型学习，更加全面和清晰地了解马尔可夫型决策，能解决长期准则下的马尔可夫型决决策，能解决长期准则下的马尔可夫型决策案例策案例.当机器处于状态状态是对它进行检修，当机器处于状态状态是对它进行检修，在一小时内排除故障的概率为在一小时内排除故障的概率为0.6.Xn表表示时刻示时刻n时的状态，试分析时刻时的状态，试分析时刻n分布分布的规律的规律.教学重难点教学重难点重点：重点：平稳分布
3、平稳分布.难点：难点：长期准则下的马尔可夫型案例分析长期准则下的马尔可夫型案例分析.高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)案例分析案例案例5 某工厂的一台自动加工机有某工厂的一台自动加工机有2种工作种工作状态状态:正常状态和故障状态正常状态和故障状态.在每个整数钟点在每个整
4、数钟点的起始时刻检查机器的工作情况的起始时刻检查机器的工作情况，若机器处若机器处于正常状态于正常状态，则让它继续工作则让它继续工作;若机器处于若机器处于故障状态故障状态，则他进行检修则他进行检修.假设处于正常状态假设处于正常状态的机器，在一小时后发生故障的概率为的机器，在一小时后发生故障的概率为0.05.高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期
5、准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)解：解：依题意依题意 为马尔可夫链，则有为马尔可夫链，则有时时刻刻n的分布和时刻的分布和时刻n+1的分布的关系为的分布的关系为又有又有高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)所以所以，时刻时刻n的分布和时刻
6、的分布和时刻n+1的分布的分布的关系为的关系为假设初始分布假设初始分布高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)则得各个时刻的分布表则得各个时刻的分布表012350100高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论
7、长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)根据上表数据，做出假设当根据上表数据，做出假设当n足够大时足够大时状态分布为一固定值状态分布为一固定值设稳定分布为设稳定分布为 则有则有高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A
8、 A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)化简得化简得解之得解之得高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)所以当所以当n足够大时足够大时，存在存在 使使n以后各个
9、时刻以后各个时刻的分步都相等的分步都相等.说明假设成立说明假设成立高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)定义定义 一般地分布，如果时刻一般地分布，如果时刻n的分布的分布w能能使马尔可夫链在使马尔可夫链在n以后的各个时刻的分布以后的各个时刻的分布相等，即相等，即w=wP，其中
10、，其中P为该马尔可夫链为该马尔可夫链的转移矩阵，则称的转移矩阵，则称w为该马尔可夫链的为该马尔可夫链的一个一个平稳分布平稳分布.高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)对于一般情况对于一般情况，若马尔可夫链若马尔可夫链 的转的转移概率矩阵为移概率矩阵为P，平稳分布，平稳分布则
11、有则有高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)对于案例对于案例5，假设，假设采取的是加急检修，采取的是加急检修，在一小时内排除故障的概率在一小时内排除故障的概率0.9，则是否则是否存在平稳分布，若存在求出，若不存在说存在平稳分布，若存在求出，若不存在说明理由明理由.高中数学人
12、教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)长期准则也成为平稳准则，用平稳长期准则也成为平稳准则，用平稳准则进行马尔可夫型决策的一般步骤准则进行马尔可夫型决策的一般步骤 （1）根据背景确定所研究对象是否可以用）根据背景确定所研究对象是否可以用马尔可夫链描述，若可以则明确决策目标，否马尔可夫
13、链描述，若可以则明确决策目标，否则运用其他决策方法；则运用其他决策方法；（2）确定所有行动方案，可能状态，损益）确定所有行动方案，可能状态，损益函数或损益矩阵；函数或损益矩阵；（3）对于给定行动方案，确定马尔可夫链）对于给定行动方案，确定马尔可夫链在该行动方案下的转移概率矩阵，并判断相应在该行动方案下的转移概率矩阵，并判断相应平稳分布是否唯一；平稳分布是否唯一；（4）如果各个行动方案所对应的平稳分布）如果各个行动方案所对应的平稳分布唯一，就可以用平稳准则选择可行的方案唯一，就可以用平稳准则选择可行的方案.解解：设平稳分布设平稳分布则则 解之得解之得所以，存在平稳分布所以，存在平稳分布案例案例6
14、 某建筑公司的施工队长期分别在甲，某建筑公司的施工队长期分别在甲，乙和丙三地区施工，施工所需要的大型设乙和丙三地区施工，施工所需要的大型设备由建筑公司统一调配，由以往规律，大备由建筑公司统一调配，由以往规律，大型设备在三地的状态转移规律为：型设备在三地的状态转移规律为：停留在停留在甲地的概率为甲地的概率为0.8；甲转到乙的概率为；甲转到乙的概率为0.2；由乙转到甲的概率为由乙转到甲的概率为0.2；由乙转到丙的概；由乙转到丙的概率为率为0.8；停留在丙地的概率为；停留在丙地的概率为0.6；由丙；由丙转到乙的概率为转到乙的概率为0.4，三地的距，三地的距离如下图，运费与距离成正比，如果该建离如下图
15、，运费与距离成正比，如果该建筑公司想建一个大型设备维修厂，从长远筑公司想建一个大型设备维修厂，从长远考虑，应该选甲，乙，丙哪个地方考虑，应该选甲，乙，丙哪个地方？依题意，该公司长远决策目标是依题意，该公司长远决策目标是使运输费用最少，行动方案使运输费用最少，行动方案 d1：建在甲地，：建在甲地，d2：建在乙地，：建在乙地，d3：建在丙地；：建在丙地；大型设备可能所处的状态大型设备可能所处的状态 h1：在甲地，：在甲地，h2：在乙地，：在乙地，h3：在丙地；：在丙地；损失矩阵损失矩阵状态转移矩阵为状态转移矩阵为高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则
16、下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)设平稳分布设平稳分布则有则有高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期
17、准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)解之得解之得3个行动方案所对应的风险分别为个行动方案所对应的风险分别为高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)因为因为 所以应所以应该选择该选择d3，即建在丙地即建在丙地.高中数学人教高中数学人教A A版选
18、修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)再见再见高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)高中数学人教高中数学人教A A版选修版选修4-9 4-9 第四讲第四讲 三三 长期准则下的马尔可夫型决策理论长期准则下的马尔可夫型决策理论 课件课件(共共2727张张PPT)PPT)
