应用马可夫决策过程进行课件.ppt

1、指導老師：吳文洪指導老師：吳文洪組員：許筱茹組員：許筱茹 葉玟妏葉玟妏詹秀櫻詹秀櫻 關若倩關若倩 唐寶如唐寶如研研 究究 動動 機機研研 究究 步步 驟驟 與與 方方 法法實實 證證 結結 果果 與與 分分 析析結結 論論 與與 建建 議議經濟環境是經常變化的，對於不同的經經濟環境是經常變化的，對於不同的經濟環境，可以認為事物處於不同的狀態濟環境，可以認為事物處於不同的狀態中，馬可夫決策過程（中，馬可夫決策過程（Markov DecisionMarkov Decision ProcessProcess）的理論，可以對事物不同狀態）的理論，可以對事物不同狀態的初始機率與狀態之間的移轉機率予以的初

2、始機率與狀態之間的移轉機率予以估算，以確定狀態變化趨勢，及預測事估算，以確定狀態變化趨勢，及預測事物的未來。物的未來。馬可夫決策過程馬可夫決策過程資資料料準準備備最佳策略求解最佳策略求解&實證結果分析實證結果分析結論與建議結論與建議馬可夫決策過程是由四組參數所構成的決策模式馬可夫決策過程是由四組參數所構成的決策模式 1.1.狀態變數（狀態變數（State variableState variable）2.2.移轉機率（移轉機率（Transition probabilityTransition probability）3.3.決策變數（決策變數（Decision variableDecision

3、 variable）4.4.期望利潤（期望利潤（Expected rewardExpected reward）本研究的實驗對象為民國九十五年證交本研究的實驗對象為民國九十五年證交所的個股股價資料。擷取由九十五年一所的個股股價資料。擷取由九十五年一月二日至九十五年六月三十日，此六個月二日至九十五年六月三十日，此六個月的資料當作原始資料，其中含塑膠類月的資料當作原始資料，其中含塑膠類、電子類、金融類、鋼鐵類、汽車工業、電子類、金融類、鋼鐵類、汽車工業類項目包括營業的每天日資料的開盤價類項目包括營業的每天日資料的開盤價、最高價、最低價與收盤價。、最高價、最低價與收盤價。表表1 1即為亞聚股價記錄表的

4、表格，其中即為亞聚股價記錄表的表格，其中，第一類資料為每檔股票的交易日期、收盤，第一類資料為每檔股票的交易日期、收盤價格和開盤價格。價格和開盤價格。第二類資料有九個欄位，而此九個欄位均依第二類資料有九個欄位，而此九個欄位均依據每日的第一類資料而來據每日的第一類資料而來(如圖如圖1 1)。第三類資料記錄收盤價落點區間，依據第第三類資料記錄收盤價落點區間，依據第二類資料分出區間後，由二類資料分出區間後，由H1H1至至H5H5，L5L5至至L1L1，共記取，共記取1010個股價狀態變數個股價狀態變數(如圖如圖2 2)。第一類第一類第三類第三類第一類第一類第三類第三類交易日交易日開盤價開盤價收盤價收盤

5、價收盤價記收盤價記號號交易日交易日開盤價開盤價收盤價收盤價收盤價記收盤價記號號95/1/213.813.5L595/4/612.512.75L395/1/313.713.85H595/4/712.7512.6L395/1/41413.85H595/4/1012.612.55L395/1/513.914.15H595/4/1112.5512.85L495/1/614.314.6H495/4/1212.812.95L495/3/2912.2512.25L295/6/2612.312.6L3 H1 H2 H3 H4 H5 L5 L4 L3 L2 L1第二類第二類0+20+20+1.50+1.50+1

6、0+10+0.50+0.50 00-0.50-0.50-10-10-1.50-1.50-20-215.815.815.315.314.814.814.314.313.813.813.313.312.812.812.312.311.811.8I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2I+2I+1.5I+1I+0.5II-0.5I-1I-1.5I-2H1 H2H3H4H5L5L4L3L2L1本研究是利用每家公司過去的歷史股價資料本研究是利用每家公司過去的歷史股價資料，來計算每個狀態變數的移轉機率，因此每，來計算每個狀態變數的移轉機率，因此每家公司各有不同的移轉機率。家公司各

7、有不同的移轉機率。舉例而言，以亞聚為例：自舉例而言，以亞聚為例：自9595年年1 1月月2 2日至日至9595年年6 6月月2929日收盤價記號，經統計後可得到每日收盤價記號，經統計後可得到每個狀態變數由前一個交易日轉變為次一個交個狀態變數由前一個交易日轉變為次一個交易日的狀態變化總次數，如易日的狀態變化總次數，如表表2 2及及表表3 3所示。所示。2006/1/22006/6/30H1H2H3H4H5L5L4L3L2L1totalH1H2H322H42226H5217423L538718L41519328L31229335L2358L12006/1/22006/6/30EXAMPLES:19

8、49H1 H2H3H4H5L5L4L3L2L1totalH10H20H312H40.333 0.333 0.3336H50.087 0.739 0.17323L50.167 0.444 0.38918L40.036 0.178 0.679 0.08628L30.029 0.057 0.829 0.08635L20.375 0.6258L10在本研究的數學模式中，所謂的決策變數即為在本研究的數學模式中，所謂的決策變數即為股票投資時的操作方法，本研究採用買進賣出、股票投資時的操作方法，本研究採用買進賣出、融券、補券與持有操作策略。其中，融券、補券與持有操作策略。其中，買進策略買進策略:1.1.買進

9、買進:每次只買進或補券一張股票。每次只買進或補券一張股票。2.2.若於買進狀態時，而連續幾天均出現適於買進股票的若於買進狀態時，而連續幾天均出現適於買進股票的狀態時，則視為該股續抱。狀態時，則視為該股續抱。賣出策略賣出策略:1.1.賣出賣出:每次只賣出或融券一張股票。每次只賣出或融券一張股票。2.2.若於賣出狀態時，而連續幾天均出現適於賣出股票的若於賣出狀態時，而連續幾天均出現適於賣出股票的狀態時，則視為該股續抱。狀態時，則視為該股續抱。期望利率的計算方法：期望利率的計算方法：1.1.令今日收盤價為令今日收盤價為。2.2.由於台灣股市交易法規定，每日股票漲跌幅由於台灣股市交易法規定，每日股票漲

10、跌幅為昨日收盤價的為昨日收盤價的7%7%，因此將，因此將P P可切分為可切分為1414個區個區間，各區間以間，各區間以k1k1，k2k2、.如如表表4 4來表示。來表示。3.3.利用過去實際的收盤價歷史資料，來統計次利用過去實際的收盤價歷史資料，來統計次一日收盤價格會落入前一日一日收盤價格會落入前一日1414個股價等分區個股價等分區間的機率值。因此可以分別計算得出如間的機率值。因此可以分別計算得出如表表5 5的的條件機率表。條件機率表。4.4.根據表根據表5 5的條件機率值，即可計算出當策略為的條件機率值，即可計算出當策略為買進時，在各個不同狀態下的期望利潤值如買進時，在各個不同狀態下的期望利

11、潤值如表表6 6。tdP P(Pj=k1|Pi=Ptd，Si=H1)P(Pj=k2|Pi=Ptd，Si=H1)P(Pj=k3|Pi=Ptd，Si=H1).P(Pj=k14|Pi=Ptd，Si=H1)P(Pj=k1|Pi=Ptd，Si=H2)P(Pj=k2|Pi=Ptd，Si=H2)P(Pj=k3|Pi=Ptd，Si=H2).P(Pj=k14|Pi=Ptd，Si=H2)P(Pj=k1|Pi=Ptd，Si=L1)P(Pj=k2|Pi=Ptd，Si=L1)P(Pj=k3|Pi=Ptd，Si=L1).P(Pj=k14|Pi=Ptd，Si=L1)(Pi(Pi：前一日收盤價：前一日收盤價 PjPj ：次一

12、日收盤價：次一日收盤價 Si Si：前一日的狀態：前一日的狀態)策略策略狀態狀態買進買進H1,買買H2,買買H3,買買H4,買買H5,買買L5,買買L4,買買L3,買買L2,買買L1,買買1Hr3Hr2Hr5Hr4Hr5Lr4Lr3Lr2Lr1Lr 策略策略狀態狀態買入買入賣出賣出H100H200H3-0.263830.26383H4-0.021990.02199H5-0.013190.01319L50.0031410.003141L4-0.032980.03298L30.011639-0.011639L20.049467-0.049467L100本研究運用線性規劃法本研究運用線性規劃法 (L

13、inear Programming)(Linear Programming)來求解馬可夫決策過程最佳策略。線性規劃法為來求解馬可夫決策過程最佳策略。線性規劃法為RossRoss（19831983）所提出，若欲找尋模式中最大值（）所提出，若欲找尋模式中最大值（maximizationmaximization）或最小值（）或最小值（minimizationminimization）問題）問題的最佳策略，可透過如下的線性方程式求解：的最佳策略，可透過如下的線性方程式求解：最大值問題（最大值問題（Maximization ProblemMaximization Problem）可運用其對偶函數來進行求

14、解。可運用其對偶函數來進行求解。目標函數：目標函數：min Z=V1+V2+VNmin Z=V1+V2+VN限制式：限制式：s.t.s.t.For each state i and each dd(iFor each state i and each dd(i)最小值問題（最小值問題（Minimization ProblemMinimization Problem）其對偶函數如下：其對偶函數如下：目標函數：目標函數：max Z=V1+V2+VNmax Z=V1+V2+VN限制式：限制式：s.ts.t.其中其中 i,ji,j：狀態變數：狀態變數 ,d,d：決策變數：決策變數 ,：折現率：折現率

15、,V,V：總利潤：總利潤 ,r,r：週期利潤。：週期利潤。透過透過EXCELEXCEL的求解後，即可得到一組最佳策略。的求解後，即可得到一組最佳策略。()=-Njjidjir VdijPV1,b()=-Njjidjir VdijPV1,b經使用前述馬可夫機率模型及配經使用前述馬可夫機率模型及配合轉移矩陣原理，對股價歷史資合轉移矩陣原理，對股價歷史資料作進出場最佳投資策略分析後料作進出場最佳投資策略分析後，亞聚股價實際進出場投資報酬，亞聚股價實際進出場投資報酬分析結果如分析結果如表表9 9。日日期期價價格格買買賣賣策策略略股股數數金金額額融券融券保證保證金金利利息息手手續續費費融券融券手續手續費

16、費 證證交交稅稅 成本成本或或淨收益淨收益實現實現損益損益報酬報酬報報酬酬率率7/312.8買買買入買入10001280018.2412818.247/412.7買買持有持有10007/512.55買買持有持有10007/612.5買買持有持有10007/712.55買買持有持有10007/1712.2買買持有持有10007/1812.3賣賣賣出賣出10001230017.5336.912245.57-572.67融券融券123001107017.5312.312270.177/1911.55維持維持持有持有10007/2011.6買買補券補券100011600110700.6116.5334

17、.811651.94618.24買入買入1160016.5311616.538/2911.7買買持有持有10008/3011.65買買持有持有10008/3111.75買買持有持有1000215.170.029/111.8買買持有持有10009/2912買買持有持有1000215.170.02本研究主要透過馬可夫決策過程的動態本研究主要透過馬可夫決策過程的動態規劃決策模式，以線性規劃法所找出最佳決規劃決策模式，以線性規劃法所找出最佳決策法則，來進行實際投資的操作策略。經由策法則，來進行實際投資的操作策略。經由實際採用五類樣本驗證分析後，得到以下的實際採用五類樣本驗證分析後，得到以下的結論：結論

18、：1.1.本文以五類本文以五類1515支個股作投資報酬率績效比支個股作投資報酬率績效比較，結果顯示，績效優異排名類股依序為較，結果顯示，績效優異排名類股依序為電子類股、塑膠類股、金融類股、汽車類電子類股、塑膠類股、金融類股、汽車類股、鋼鐵類股。股、鋼鐵類股。2.2.各類股投資報酬率績效比較各類股投資報酬率績效比較表表1010中顯中顯示，電子類股的聯電季投資報酬率為示，電子類股的聯電季投資報酬率為0.99970.9997倍，獲利至為豐碩，鴻海季投倍，獲利至為豐碩，鴻海季投資報酬率亦高達資報酬率亦高達0.15450.1545倍。其次表現倍。其次表現佳者為塑膠類股其中以華夏投資報酬佳者為塑膠類股其中

19、以華夏投資報酬率為率為0.38440.3844倍，表現較佳；亞聚投資倍，表現較佳；亞聚投資報酬率為報酬率為0.09400.0940倍。其次表現最佳者倍。其次表現最佳者為鋼鐵類股，盛餘季投資報酬率為為鋼鐵類股，盛餘季投資報酬率為0.08980.0898倍，其中金融類股第一保季季倍，其中金融類股第一保季季報酬率報酬率0.03050.0305倍，獲利尚可。倍，獲利尚可。表表1010 類股類股股別股別報酬報酬報酬報酬率率7月月8月月9月月累計累計7月月8月月9月月累計累計電子電子聯電聯電-706.15519395.18018689.027-0.03781.037800.9997鴻海鴻海-7029.68

20、246916.49-8936.80430950.005-0.03510.2342-0.0446 0.1545台積台積電電1468.20342492.5758-4081.56-120.78080.025680.0436-0.0714-0.0021塑膠塑膠華夏華夏206.0391354.8741329.6138890.5270.28860.04970.04620.3844亞聚亞聚774.1684215.1743215.1743989.34280.06040.01680.01680.094臺塑臺塑-188.78300-188.783-0.003800-0.0039金融金融合庫合庫175.525-3.

21、4150172.110.0077-0.000200.0075第一第一保保-647.123892.615590.42535.9162-0.55080.07880.50260.0305群益群益證證00000000鋼鐵鋼鐵盛餘盛餘3700.6378170.1895-1338.392532.43720.13130.0060-0.04750.0898新鋼新鋼-2198.362-1607.36196.8825-3608.8423-0.1430-0.10460.0128-0.2348新光新光鋼鋼396.3916-2597.74-241.4215-2442.76990.0182-0.1190-0.0111-0

22、.1119汽車工業汽車工業裕隆裕隆3.3.本文以本文以1515支個股作投資報酬率績效比較，支個股作投資報酬率績效比較，有有5 5支季報酬率超過支季報酬率超過0.080.08倍，即有超過倍，即有超過1/31/3 模擬股數績效優異，而總平均季報酬率為模擬股數績效優異，而總平均季報酬率為0.1050.105倍。故本馬可夫決策過程模型倍。故本馬可夫決策過程模型 基本上可以作為股市進出場之技術分析方基本上可以作為股市進出場之技術分析方 法。法。建議：建議：如欲提昇本文所建立的馬可夫模型，可進如欲提昇本文所建立的馬可夫模型，可進 一步加入門檻值修正操作策略及傳統技術一步加入門檻值修正操作策略及傳統技術 分析方法，應可有效減少交易次數，並增分析方法，應可有效減少交易次數，並增 加總報酬率。加總報酬率。報告結束報告結束謝謝大家謝謝大家