微软Big-Data解决方案介绍(与Hadoop对应)课件.pptx

1、微軟 Big Data 解決方案Microsoft Analytics Platform System Microsoft Analytics Platform System - 結合新一代的 SQL Server Parallel Data Warehouse 與 100% Apache Hadoop 技術 -Mark Chen Data Platform Technology Solution Professional 所有的企業都在談論Big Data 的需要性: 但是傳統資料倉儲的問題資料來源 非關聯式資料資料倉儲首要解決 資料來源OLTPERPCRMLOB非結構化資料分析前得先將資料

2、從 HDFS 搬到資料倉儲ETL學習新技術T-SQL建置整合管理維護支援單獨的 Hadoop 不能解決巨量資料所有的挑戰艱深的學習曲線、速度慢、效率低只利用Hadoop ecosystem的便宜新的資料來源裝置網站 感應器社群“New” data sources新的資料來源裝置網站 感應器社群為何不全部都住在同一台為何不全部都住在同一台TSQL問題不在便宜而已,關鍵在開發應用共存共生的架構“New” data sourcesDevicesWeb SensorSocial透過加一台Bridge Server來連接TSQL“New” data sourcesDevicesWeb SensorSoc

3、ial新技術帶來新契機亦或新挑戰！？CloudBig DataSocialMobility做個有效可運用的分析？該怎麼做?+ + + +微軟現代化的資料倉儲系統 業界業界最低價執行海量資料分析最低價執行海量資料分析，且，且擁有突破性效能擁有突破性效能 提供了大規模平行處理 (MPP) 資料倉儲技術 SQL Server Parallel Data Warehouse (PDW) 與 Microsoft 的 100% Apache Hadoop 散發技術 HDInsight，結合成一套周全的應用裝置。 並且為了將 SQL Server PDW 的資料與 Hadoop 的資料整合，APS 提供了

4、PolyBase 資料查詢技術。Analytical Platform System (APS)結果直接且平行存取 HDFS透過 外部資料表、Polybase查詢引擎與 HDFS Bridge非關聯式資料APS-Hadoop關聯式資料APS-RelationalHDFS bridgePolybase查詢引擎外部資料表外部資料來源外部檔案格式一般的T-SQL社群應用程式感應裝置與 RFID行動應用程式網頁應用程式傳統資料綱要的資料倉儲軟硬體整合設計的 APS 是最容易使用又最開放的一體機預先建構好的硬體 + 軟體與 Dell, HP, Quanta 聯合設計預先建構的硬體預先安裝完成的軟體隨插即

5、用內建 Best Practice省時為巨量資料而生Analytics Platform System, (APS)SQL ServerParallel DataWarehouseMicrosoft HDInsightPolyBase以欄位式架構大規模壓縮儲存資料高達 60% 的效能改善史資料進出記憶體速度更快可更新與叢集架構提供即時的資料更新與載入作業12提升100 x 更快的查詢Updateable clustered columnstore vs. table with customary indexing提升15x更強的壓縮資料存放區索引表示並行查詢執行QueryResults高效能且

6、於一體機內調教完成整合 AD 使用者驗證機制使用 Microsoft BI 方案即能輕鬆存取使用 System Center 進行管理、監控100% 的 Apache Hadoop 方案SQL ServerParallel DataWarehouseMicrosoft HDInsightPolyBaseAPS 以 HDInsight 提供企業級的 Hadoop 解決方案可管理的，安全的，高度可性的 Hadoop 集成一體機進行 Hadoop 查詢時獲得更高的效能不須特別技術，即可將資料倉儲的資料封存至 Hadoop 中 (搬移)匯出關聯式資料至 Hadoop (複製)匯出 Hadoop 資料至

7、資料倉儲 (複製)PolyBase 簡化 Hadoop 資料應用的情境Bringing islands of Hadoop data together Seamlessly Add CapacitySmallest (53TB) To Largest (6PB) Start small with a few Terabyte warehouseAdd capacity up to 6 Petabytes53 TB6 PBAddCapacityAddCapacityLargest WarehousePBStart Small And GrowTopology designed for Growt

8、hExtendAPS的優勢StartS1S2S3S4EndC1C2C3C4C5C6C7C8BI ToolsBI ToolsReporting and cubesReporting and cubesSQL Server SMPSQL Server SMPMicrosoft APS 的應用Analytics Platform SystemETL/ELT with SSIS, DQS, MDSETL/ELT with SSIS, DQS, MDSERPCRMLOBAPPSETL/ELT with DWLoaderETL/ELT with DWLoaderHadoop / Big DataHadoo

9、p / Big DataPDWHDInsightPolyBaseAd hoc queriesAd hoc queriesIntra-DayNear real-timeFast ad hocColumnstorePolybaseCETASLink TableReal-TimeROLAP / MOLAP DirectQuerySNAC從 APS 到 Big InsightMicrosoft AzureHDInsightHortonworks for Windows and LinuxSQL ServerParallel DataWarehousePolyBaseMicrosoft HDInsigh

10、tResult setSelectOffice 365 Office 365 雲端平台雲端平台1 in 4 enterprise customers on Office 365ShareFindQ&AMobile1 in 4 enterprise customers on Office 365分享找到Q&A行動1 Billion Office Users分析視覺發現可擴充 | 可管理 | 可信賴微軟 Power BI for Office 365 雲端商業智慧方案Power PivotPower Pivot 建置資料模型Power Map Power Map 運用 Bing Map Bing

11、Map Power Query Power Query 連結與合併各種資料Power ViewPower View 即時互動視覺分析瀏覽報表Power BI Site in Office Power BI Site in Office 365 365 Q&A Q&A 自然語言加上提示的查詢方式支援各式行動裝置HTML5 & HTML5 & PowerPower BI BI APP APP Power PivotPower Pivot 建置資料模型Power Query Power Query 連結與合併各種資料Power Map Power Map 運用 Bing Map Bing Map P

12、ower ViewPower View 即時互動視覺分析瀏覽報表Power BI Site in Office Power BI Site in Office 365 365 Q&A Q&A 自然語言加上提示的查詢方式智慧工廠解決方案產線資料收集控制系統 APAX/ADAM/EKI/WebOP 產品品管資料收集主機1號生產線2號生產線3號生產線4號生產線Microsoft Microsoft StreamInsightStreamInsight Cache快取暫存與資訊處理前端BI應用分析生產即時監控趨勢報表資料採礦-趨勢分析情境 即時監控作業儀表板 (Ticking - Snapshot)報

13、表儀錶板 (Refreshed)1號線即時作業分析生產資料DCS工程資料庫生產資料庫檢驗資料庫歷史生產資料庫ERP 資料庫資料來源良率預測產能預測機台維修預測生產資料2號線即時作業分析3號線即時作業分析4號線即時作業分析Refresh (Push)Microsoft Microsoft StreamInsightStreamInsight生產資料生產資料生產資料生產資料生產資料生產資料生產資料自動化決策報表儀錶板雲端應用Site to Site VPN歷史多維度資料集OLAPMining DataTraining DataData Mining當日多維度資料集MicrosoftWindows

14、AzureMicrosoftHDInsightSQL Server Parallel Data WarehousePolyBaseMicrosoft Analytics Platform System (APS)將提供給客戶立即可用的現代化資料倉儲設備End to End 解決方案及整體資料處理的方法關聯與非關聯型資料在單一設備企業就緒的 Hadoop整合 Hadoop 和 PDW 綜合查詢使用 T-SQL直接整合微軟 BI 工具 如 Microsoft Excel更即時的性能透過 In-Memory Columnstore能夠擴展以適應不斷增長的數據去除資料倉儲的瓶頸透過 MPP SQL S

15、erver並行性的快速採用每 TB 業界最低的資料倉儲設備價格 透購單一設備解決方案更彈性的硬體選擇在利用商業硬體上微軟 Big Data 的效益 建構在 Windows 或 Azure 上的 Hadoop Excel Hive 增益集 Fast Track 與 PDWBroader Access 使用熟悉的工具分析 Big Data 背後的意義 (Excel, PowerPivot, Power View) JavaScript 為基礎的簡易程式開發Breakthrough Insights 整合 Active Directory 整合 System Center 企業關鍵資料庫 SQL Server 2012Enterprise Ready不只成本最低原廠服務更好支援多種系統及行動裝置Gartner評定最完整系統平台資源及支援最豐富