挖掘网路服务系统之探讨课件.ppt

1、目錄目錄 1.緒論 2.文獻探討 3.研究方法 4.系統實作 5.結論1.緒論緒論-研究動機研究動機 目前市面上已有許多獨軟體開發廠商以及應用軟目前市面上已有許多獨軟體開發廠商以及應用軟體服務供應商針對一般企業組織在資挖掘上的需體服務供應商針對一般企業組織在資挖掘上的需求，推出套裝資挖掘軟體或是資挖掘相關的服求，推出套裝資挖掘軟體或是資挖掘相關的服務與技術支援。務與技術支援。企業在實際使用現有的資料挖掘軟體與服務時經常企業在實際使用現有的資料挖掘軟體與服務時經常面臨以下的問題：面臨以下的問題：一、企業部門間異質系統的整合與資料傳輸的相容性一、企業部門間異質系統的整合與資料傳輸的相容性 問題問題

2、二、傳統資料挖掘軟體缺乏因應使用者的需求而進行二、傳統資料挖掘軟體缺乏因應使用者的需求而進行 流程彈性調整的能力流程彈性調整的能力三、軟體或服務的整合及維護成本過高三、軟體或服務的整合及維護成本過高研究目的研究目的 為解決以上的問題，我們將提出一個具有跨平為解決以上的問題，我們將提出一個具有跨平台能，而且具有彈性程調整能的資挖掘台能，而且具有彈性程調整能的資挖掘系統架構。具體而言，本研究的主要目的是在解系統架構。具體而言，本研究的主要目的是在解決目前企業所面到的以下問題：決目前企業所面到的以下問題：一、克服質系統與資交換格式的問題一、克服質系統與資交換格式的問題 二、提供彈性的資挖掘程二、提供

3、彈性的資挖掘程 三、低軟體整合與維護成本三、低軟體整合與維護成本2.文獻探討文獻探討-資挖掘資挖掘 資資(Data)、資訊、資訊(Information)與知與知(Knowledge)等三者的定義與之間的關係。等三者的定義與之間的關係。資挖掘的相關技術資挖掘的相關技術 一、分一、分(Classification)：分是一種監督式學習分是一種監督式學習(Supervised Learning)，它，它的定義為根據一些已經有別的史資分析它們的所的定義為根據一些已經有別的史資分析它們的所有特徵，再依據這些特徵對未分或是新的資進歸，有特徵，再依據這些特徵對未分或是新的資進歸，如銀根據某些規則將其顧客區

4、分為高貢獻族群、低如銀根據某些規則將其顧客區分為高貢獻族群、低貢獻族群等別。貢獻族群等別。二、關法則二、關法則(Association Rule)：關法則的目的是從一堆看似無關的資中，挖掘出關法則的目的是從一堆看似無關的資中，挖掘出同項目之間發生的關性，探討在同一事件中某一項目同項目之間發生的關性，探討在同一事件中某一項目出現時，另一個項目也在該事件出現的機出現時，另一個項目也在該事件出現的機 三、群集三、群集(Clustering)：群集就是將一大筆資根據它們彼此間的相似程，群集就是將一大筆資根據它們彼此間的相似程，將似的資分在一群之中，而區隔相似的資。將似的資分在一群之中，而區隔相似的資。

5、資挖掘的步驟資挖掘的步驟 學者學者Fong 等人等人(2002)認為資挖掘的過程一般可分為確認為資挖掘的過程一般可分為確認挖掘目標、資選擇、資準備、資轉換、資儲存、認挖掘目標、資選擇、資準備、資轉換、資儲存、資挖掘與結果評估等七大步驟資挖掘與結果評估等七大步驟資前處資前處1.資清資清2.資整合資整合3.資轉換資轉換4.資簡化資簡化資挖掘的應用資挖掘的應用-1 資挖掘的相關應用相當的廣泛與多樣化，在許資挖掘的相關應用相當的廣泛與多樣化，在許多域如生物醫學域、財務融業、製造售多域如生物醫學域、財務融業、製造售業等各方面可以發現資挖掘的相關應用與研業等各方面可以發現資挖掘的相關應用與研究。以生物醫學

6、域為，近十生物醫學究。以生物醫學域為，近十生物醫學域的相關研究呈現爆炸性的成長，從新藥物的開域的相關研究呈現爆炸性的成長，從新藥物的開發、癌症法的研究到人發、癌症法的研究到人DNA 序解析等研究序解析等研究域，均藉助資訊科技與資挖掘技術處龐域，均藉助資訊科技與資挖掘技術處龐大的資。大的資。資挖掘的應用資挖掘的應用-2 資挖掘技術出現過短短十多，但卻能迅速資挖掘技術出現過短短十多，但卻能迅速地應用於各種學術與商業域，學者地應用於各種學術與商業域，學者Berry and Linoff(1997)經過規納分析之後，認為以下五個經過規納分析之後，認為以下五個因素促成資挖掘技術的崛起：因素促成資挖掘技術

7、的崛起：一、大資的取得難低一、大資的取得難低 二、資倉儲系統的發展成熟二、資倉儲系統的發展成熟 三、電腦運算速的加強與網際網的發展三、電腦運算速的加強與網際網的發展 四、全球化商業競爭的壓四、全球化商業競爭的壓 五、資挖掘軟體的取得方五、資挖掘軟體的取得方企業應用整合與網服務企業應用整合與網服務 學者學者Coyle(2001)則認為企業組織可以採取以則認為企業組織可以採取以下三種新技術因應目前劇競爭的商業環境，下三種新技術因應目前劇競爭的商業環境，它們分別為它們分別為 1.可延伸式標記語言可延伸式標記語言 2.網服務網服務 3.無線技術無線技術 質系統與資訊整合質系統與資訊整合 企業組織對於資

8、訊整合的需求已從企業應用系統的整合提企業組織對於資訊整合的需求已從企業應用系統的整合提升至廣泛的資訊源的整合，微軟升至廣泛的資訊源的整合，微軟(2002)認為資訊系統認為資訊系統整合的演進大致上可分成以下三大階段：整合的演進大致上可分成以下三大階段：一、資整合一、資整合 二、應用程式整合二、應用程式整合 三、服務整合三、服務整合 這三個資訊整合的階段清楚地表達出目前企業組織在系統這三個資訊整合的階段清楚地表達出目前企業組織在系統整合與資交換這大議題中所面到的限制所在，以及整合與資交換這大議題中所面到的限制所在，以及在同階段中整合方式的差之處。在同階段中整合方式的差之處。企業應用整合企業應用整合

9、 企業應用整合企業應用整合(Enterprise Application Integration;EAI)的發展是提供企業組織一套完整系統整合架構的解決方案，的發展是提供企業組織一套完整系統整合架構的解決方案，以達成企業資訊的整合與分享。以達成企業資訊的整合與分享。企業組織應用企業組織應用EAI 進企業內部的資訊整合自以下三個進企業內部的資訊整合自以下三個因素：因素：一、電子商務一、電子商務 二、企業合併與組織功能的強化二、企業合併與組織功能的強化 三、企業資源規劃三、企業資源規劃 雖然雖然EAI 是以企業主體為出發點，強調企業程與資訊是以企業主體為出發點，強調企業程與資訊系統之間的整合與自動

10、化，藉著整體採用單一系統標準及軟系統之間的整合與自動化，藉著整體採用單一系統標準及軟體達成企業組織內部應用程式的整合，但是所必須付出的體達成企業組織內部應用程式的整合，但是所必須付出的成本依舊居高下。而為增加企業競爭優勢，與合作夥伴成本依舊居高下。而為增加企業競爭優勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業資訊整合的以及顧客之間的資訊整合在所難免，因此，企業資訊整合的發展，除必須以服務為導向外，也必須跳脫特定標準或介發展，除必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統的彈性以及未擴充的能。面的限制，而保有系統的彈性以及未擴充的能。網服務的應用網服務的應用 由於由

11、於Web Service 具有即時、彈性、標準化等特色，目前具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將許多廠商紛紛開始將Web Service 的相關技術與其原本的的相關技術與其原本的域進整合。域進整合。Web Service 在資訊技術在資訊技術(IT)域的應用大致上有以下所域的應用大致上有以下所述的四個方面：述的四個方面：一、入口網站一、入口網站 二、企業應用程式整合二、企業應用程式整合 三、分散式運算三、分散式運算 四、應用程式服務提供者與獨軟體開發四、應用程式服務提供者與獨軟體開發商3.研究方法研究方法 本研究將以本研究將以Web Service 架構為基礎，將資架構為基礎，

12、將資挖掘過程中的程序視為由一系的挖掘過程中的程序視為由一系的Web Services 所構成，並透過動態工作程的概，所構成，並透過動態工作程的概，以敘述以敘述Web Service 程的程的BPEL4WS 語法，提語法，提供服務使用者得以根據實際上的需求自編排資供服務使用者得以根據實際上的需求自編排資挖掘挖掘Web Service 的整體程，透過程中各的整體程，透過程中各個個Web Service 的執達成使用者的目標。的執達成使用者的目標。系統概系統概-1 本研究所提出之系統架構是考本研究所提出之系統架構是考W3C所提出所提出之服務導向架構的概與基本架構修改而。之服務導向架構的概與基本架構修

13、改而。為達成為達成SOA 的遠景，企業組織必須將系統或應的遠景，企業組織必須將系統或應用程式加以分割成為許多具有同功能特性的分用程式加以分割成為許多具有同功能特性的分散式子系統模組，這些分散於企業組織內外部的散式子系統模組，這些分散於企業組織內外部的子系統模組必須要支援統一的共通性標準，如此子系統模組必須要支援統一的共通性標準，如此一才能使得資訊毫無阻礙的在系統中傳遞，達一才能使得資訊毫無阻礙的在系統中傳遞，達成系統整合的目的。目前業界對於成系統整合的目的。目前業界對於SOA架構的作架構的作法是將應用程式與系統建構在網際網上，也就法是將應用程式與系統建構在網際網上，也就是將應用程式與系統加以網

14、化，而是將應用程式與系統加以網化，而Web Service 架構正是目前架構正是目前SOA 架構中最新的作法。架構中最新的作法。系統概系統概-2W3C 所提出SOA 之基本架構圖4.實作實作-範例流程實作步驟過程範例流程實作步驟過程以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合 本步驟中所呼叫的遠端Web Service採用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進行分割成為數個相互間無關聯的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數個群集，而群集的結果須滿足以下條件：1.每個群

15、集中至少要有一個以上的物件 2.每個物件須完全的歸屬於某個群集 3.每個物件與其所歸屬的群集質心間的歐基理德 距離會小於與其他群集質心間的距離 我們可根據其所在位置、參與流程的我們可根據其所在位置、參與流程的目的與方法，將他們分為三種角色：目的與方法，將他們分為三種角色：1.具資料挖掘需求的系統使用者，也就是流具資料挖掘需求的系統使用者，也就是流程設計者與流程使用者程設計者與流程使用者 2.於網際網路上提供對資料庫進行資料擷取於網際網路上提供對資料庫進行資料擷取和分群演算等和分群演算等Web Services的服務提供者的服務提供者 3.作為上述兩者間的資料傳輸橋樑，由流程作為上述兩者間的資料

16、傳輸橋樑，由流程設計者所設計規劃完成的設計者所設計規劃完成的IrisFlow等等5.結論結論此研究的貢獻可以歸納如以下幾點：此研究的貢獻可以歸納如以下幾點：1.導入導入Web Service與與XML相關技術做基礎，克服在相關技術做基礎，克服在傳統資料挖掘流程中所遇到的資料相容性問題傳統資料挖掘流程中所遇到的資料相容性問題2.以工作流程的觀念做基礎，結合以工作流程的觀念做基礎，結合Web Service流程流程描述語言描述語言BPEL4WS，有系統的提供在資料挖掘流程，有系統的提供在資料挖掘流程中關於活動、流程順序等各方面的細節描述中關於活動、流程順序等各方面的細節描述3.在資料挖掘流程中各步

17、驟的演算活動是由多個功能在資料挖掘流程中各步驟的演算活動是由多個功能各異的各異的Web Service元件所組成，在日後因需求改變元件所組成，在日後因需求改變而使資料挖掘流程需進行更新和修改時，較傳統資料而使資料挖掘流程需進行更新和修改時，較傳統資料挖掘軟體更具有流程變動上的彈性挖掘軟體更具有流程變動上的彈性4.以統一且公開的資料挖掘模式描述語言以統一且公開的資料挖掘模式描述語言PMML，作，作為描述資料挖掘模式的工具，不但是以具系統化的方為描述資料挖掘模式的工具，不但是以具系統化的方式描述資料挖掘模式，並請提供使用者日後在其他軟式描述資料挖掘模式，並請提供使用者日後在其他軟體重新建置原有模式的參考體重新建置原有模式的參考未來展望未來展望 本研究未來之發展可朝以下幾個方向進行：1.機密資料傳輸安全的強化 2.分散式運算架構的導入 3.資料挖掘結果合併演算法的發展The End!