IBM新增 Apache Spark支援
分類: PC零組件 新品報導 4/6/2016
IBM最新z/OS平台可支援Apache Spark,方便企業更簡便、更快速地取用及分析IBM z Systems大型主機內的資料,為資料科學家與開發商創造新契機,結合先進分析技術與系統內豐富資料,擁有即時分析能力。
IBM z/OS 平台可支援Apache Spark,使開源分析架構Spark可自然地在z/OS大型主機作業系統內運作。此新平台現已上市,幫助資料科學家在系統源頭分析資料,不需擷取、轉換與載入(ETL),打破分析資料庫與底層檔案系統的連結。
[廣告]
在認知時代中,資料是新的天然資源,電腦系統能夠瞭解、歸納並學習這些資料,企業則必須在洞見價值尚未消失前,及時地開發與利用。該平台包含z Systems事業夥伴開發的加速器,讓組織能更輕易的利用z Systems資料與性能,以瞭解市場變遷及滿足個別客戶需求,並即時調整業務,縮短創造價值所需的時間。
全球多家大型銀行、保險業者、零售商及運輸公司均已使用z Systems處理重要資料及交易,其中內含業界最快速的商業微處理器,能在交易中執行分析工作,並在兩毫秒內計算交易的預測模型。各組織如今可運用這些功能,透過Spark運用先進的內存記憶體分析,無需將資料移到大型主機外,如此可節省時間與金錢,也降低潛在風險。
IBM新興網路技術研究員Rod Smith指出,「企業不論規模大小,都逐漸轉型為即時數位組織,企業必須掌握內部所有資料的全貌,但不能耗費過多時間或提高ETL風險。透過Apache Spark可於z Systems等IBM平台內自然運作,客戶能在存有重要資料的交易系統內完成分析,同時從其他資料來源挖掘相關資訊,實踐與客戶即時互動、創造營收」。
支援Apache Spark的IBM z/OS平台內含Spark的開源功能,包括Apache Spark核心、Spark SQL、Spark Streaming、機器學習資料庫(MLlib)與Graphx,搭配業界中唯一大型主機內建Spark資料提煉解決方案。全新IBM z/OS平台協助企業提升汲取洞見的效能與安全性,特色包括:
• 簡化開發-開發者與資料科學家能運用本身既有的專業及程式語言,如Scala、Python、R及SQL,縮短評估可行作為所需的時間。
• 簡化資料存取-優化資料抽象化服務後能降低複雜度,並透過Apache Spark APIs的常見工具,以IMS、VSAM、DB2 z/OS、PDSE或SMF等傳統格式,流暢存取企業資料。
• 就地化資料分析-Apache Spark使用內存記憶體的方式處理資料,以加速傳送結果。該平台包含資料提煉與整合服務,協助z/OS分析應用程式並善用標準Spark APIs,如此可讓組織恰當準確地分析資料,免除與ETL有關的高成本處理及安全考量。
• 開放源碼功能-本平台提供Apache Spark開源碼、專為海量資料設計的內存記憶體處理引擎。
IBM也與DataFactZ、Rocket Software及Zementis三家夥伴合作,使用支援Apache Spark的 IBM z/OS 平台建立客製化解決方案:
• DataFactZ為IBM的新合作夥伴,共同以Spark SQL及MLlib為基礎,開發Spark分析工具,處理大型主機內的資料與交易。
• Rocket Software為IBM長期合作夥伴,合作項目包括z/OS Apache Spark,例如客戶在最新的Rocket Launchpad解決方案內,可使用z/OS上的資料試用該平台。
• Zementis在自有z/OS交易內預測分析工具中,搭配Apache Spark標準執行引擎,這項解決方案協助用戶建置與執行先進的預測模型,估算終端用戶的需求、計算風險,並在最大衝擊時即時偵測錯誤,同時處理交易內容。
最新支援Apache Spark的z/OS 平台與夥伴解決方案結合後,可協助在不同來源中收集資料的資料科學家及數據整理專業人員,使用偏好的格式及工具,從各方蒐集與分析資料。
IBM去年投入一項Spark計畫,由逾3,500名內部研究與開發者參與框架架構相關專案,為繼續推動大型主機開源分析技術,z Systems已成立GitHub組織,讓開發者彼此合作並打造z/OS上的Spark工具,例如結合Project Jupyter 與各種 NoSQL資料庫之後,可打造兼具彈性與延展性的資料處理及分析解決方案。
這項計畫讓開發者可自選工具及程式語言,促進現代開源工具更加普及化,並提供新視覺輔助工具,可在分散資料環境內監控分析結果,促進現代資料處理技術與技能。