2.1國內外廠商的技術和產(chǎn)品分析

2.1.1國外廠商在大數(shù)據(jù)領域的技術和產(chǎn)品

在大數(shù)據(jù)技術的發(fā)展歷程中，國外數(shù)據(jù)廠商是最先嗅到其中價值的領跑者。從2005年雅虎公司開發(fā)Hadoop項目解決網(wǎng)頁搜索問題開始，大數(shù)據(jù)概念在短短幾年問獲得了從政府、科學研究機構到商業(yè)公司幾乎所基于領域的追捧。而隨后，結合大數(shù)據(jù)日漸完備的概念， 國外廠商也從數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)挖掘到數(shù)據(jù)應用開發(fā)出了一系列技術和產(chǎn)品，繼而形成了典型的大數(shù)據(jù)技術開發(fā)架構，取得了較大的進展。下面，我們將選擇一些領域內排名前列的大數(shù)據(jù)廠商，詳細介紹他們的典型技術和產(chǎn)品。

2.1.1.1甲骨文(Oracle)公司

甲骨文公司全稱甲骨文股份基于限公司(甲古文軟件系統(tǒng)基于限公司)，是全球最大的企業(yè)軟件公司。其主要業(yè)務為數(shù)據(jù)庫服務器、應用服務器以及相關開發(fā)工具的研發(fā)。2010年，甲古文公司正式進軍大數(shù)據(jù)領域，并在2011年10月初召開的Oracle Open World 2011大會上甲骨文公司正式推出了 Oracle大數(shù)據(jù)機，Oracle大數(shù)據(jù)機是一款集成設計的系統(tǒng)。旨在簡化大數(shù)據(jù)項目的實施與管理。該數(shù)據(jù)機采用18臺Oracle Sum服務器的全機架式配置，共擁基于864GB主內存、 216核CPU、648TB原始磁盤存儲空間，并在節(jié)點和其他Oracle集成化系統(tǒng)之間采用40GB/S的InfiniBand網(wǎng)絡連接以及l(fā)OGB/s的以太網(wǎng)數(shù)據(jù)中心連接，可通過InfiniBand網(wǎng)絡連接多個機架進行橫向升級擴展.使其能夠獲取、組織和分析超級海量的數(shù)據(jù)。

甲骨文公司在1979年即推出了越于SQL標準的關系數(shù)據(jù)庫產(chǎn) 品，可在100多種硬件平臺(包括微機、工作站、小型機和大型機) 上運行，支持多種操作系統(tǒng)。甲骨文公司的數(shù)據(jù)存儲技術通過數(shù)據(jù)庫產(chǎn)品在全球范圍內得到了廣泛的推廣，并獲得極好的口碑。因此. 在大數(shù)據(jù)技術方面，甲骨文公司的NoSQL數(shù)據(jù)庫技術同樣是行業(yè)中的佼佼者。Oracle NoSQL數(shù)據(jù)庫是基于Oracle Berkeley DB的高度可伸縮的分布式鍵值對數(shù)據(jù)庫，提供通用的企業(yè)級鍵值存儲，適用于低延遲數(shù)據(jù)捕獲和數(shù)據(jù)的快速査洵;NoSQL數(shù)據(jù)庫的開發(fā)，正是響應現(xiàn)今越來越多的企業(yè)采用非SQL典型架構來增大規(guī)模和提升速度以應對越來越人的數(shù)據(jù)蚩的趨勢。

同時，NoSQL技術也是Oracle大數(shù)據(jù)一體機的基礎。一體機是指通過標準化的架構集成了服務器、存儲、網(wǎng)絡、軟件等配置， 簡化了數(shù)據(jù)中心基礎設施部署和運維管理的復雜性的一體化沒備。 大數(shù)據(jù)一體機(Big Data Appliance )即通過一體機的產(chǎn)品形態(tài)，解決了大數(shù)據(jù)時代基礎設施的持續(xù)擴大問題、數(shù)據(jù)處理的個性化和一體化需求問題、海量數(shù)據(jù)的存儲成本問題。甲骨文公司在2008年推出集成了硬件、存儲和軟件的大數(shù)據(jù)-體機Exadata.成為了業(yè)界首個以全面、軟硬件集成的產(chǎn)品滿足企業(yè)關鍵大數(shù)據(jù)需求的公司。 該一體機通過更大的物理閃存以及獨特的超高速閃存壓縮，閃存容量增大為原來的4倍，因此面向OLTP ( On-Line Transaction Processing,聯(lián)機事務處理)工作負載的運行速度得到了極大提高。 現(xiàn)在，單機架Oracle Exadata的閃存能夠支持88TB用戶數(shù)據(jù)，如此大的容量已經(jīng)足夠使絕大多數(shù)OLTP數(shù)據(jù)庫在閃存中得到完整保存。單機架Oracle Exadata的數(shù)據(jù)吞吐量為lOOGB/s,大幅高于其他全閃存陣列的吞吐量，同時保持了低成本磁盤分層的優(yōu)勢。Oracle Exadata達到極致的性能和容量，使上百個數(shù)據(jù)庫能夠采用數(shù)據(jù)庫即服務架構，輕松合并到單機架中，從而極大地降低了成本，提高了敏捷性。

同時結合Oracle大數(shù)據(jù)機這款為Oracle帶來最大利潤收入的主要產(chǎn)品，甲骨文公司還推出了Oracle connectors (大數(shù)據(jù)連接器)等技術。Oracle大數(shù)據(jù)連接器使用戶能夠通過Hadoop iMapReduce處理來創(chuàng)建優(yōu)化的數(shù)據(jù)集，并能直接從Oracle數(shù)據(jù)庫訪問HDFS上的數(shù)據(jù)，以便在Oracle Database llg中進行高效分析，簡化了大數(shù)據(jù)機與Hadoop環(huán)境的對接應用。

除此之外.Orade數(shù)據(jù)庫云服務器(Exadata)以及Oradc商務智能云服務器(Exalytics)也是以大數(shù)據(jù)機為藍本的高級專業(yè)服務器。Oracle大數(shù)據(jù)機及Oracle大數(shù)據(jù)連接器可與Oracle Exadata數(shù)據(jù)庫云服務器和Oracle Exalyitcs商務智能云服務器聯(lián)合使用，組成一裝完整的集成系統(tǒng)，獲取、組織并分析大數(shù)據(jù)。Oracle數(shù)據(jù)庫云服務器(Exadata)包括數(shù)據(jù)庫服務播、Oracle Exadata存儲服務器、一個用于存儲聯(lián)網(wǎng)的InfiniBand結構.以及托管Oracle數(shù)據(jù)庫所需的所基于其他組件，為聯(lián)機事物處理(OLTP)、數(shù)據(jù)倉儲(DW)以及混合

負載整合提供了杰出的I/O和SQL處理性能。Oracle商務智能云服務器(Exalytics)采用 I TB DRAM, 40核 Intel 處理器.運行 Oracle Business Intelligence企業(yè)版，并內置了內存內聚合功能，通過內存計算技術，可以為業(yè)務分析人員提供豐富信息，實現(xiàn)快如閃念的企業(yè)級分析。與Oracle近期推出的其他一體化產(chǎn)品一樣。Oracle大數(shù)據(jù)機集成了硬件、存儲和軟件.包括ApachcHadoop軟件的開源代碼分發(fā)、新的甲骨文NoSQL數(shù)據(jù)庫和用于統(tǒng)計分析的R語言開源代碼分發(fā)。該產(chǎn)品被設計為能夠與甲骨文Database 11g Oracle Exadata 數(shù)據(jù)庫云服務器，以及針對商業(yè)智能應用的新的Oracle txalytics商業(yè)智能云服務器一起協(xié)同工作，通過軟硬一體化的集成設備為用戶提供了端到端的大數(shù)據(jù)解決方案，強調大數(shù)據(jù)分析和管理。

2.1.1.2 易安信(EMC)公司

EMC(易安信)公司為一家美國信息存儲資訊科技公司，主要業(yè)務為信息存儲及管理產(chǎn)品、服務和解決方案。2010年，EMC 公司收購了 Grcenplum公司(一家數(shù)據(jù)庫軟件公司，在全球數(shù)據(jù)處理和BI/DW領域提供數(shù)據(jù)庫引擎產(chǎn)品和咨詢服務，實力較強)。收購Greenplum公司后，EMC公司大踏步進入大數(shù)據(jù)領域。并入EMC公司兩年來，Greenplum已推出類似Facebook的大數(shù)據(jù)社交和協(xié)作工具——Chorus; EMC公司收購敏捷軟件開發(fā)商Pivotal Labs、部署Hadoop,及相關產(chǎn)品線升級等。就在EMC World大會上，Greenplium還正式發(fā)布其1000節(jié)點集群的數(shù)據(jù)分析工作臺——Greenplum Analytics Workbench。

EMC公司的產(chǎn)品同樣主要集中在數(shù)據(jù)存儲和管理方面。其核心數(shù)據(jù)庫產(chǎn)品當屬Greenplum數(shù)據(jù)庫。Grecnplum的架構采用了 MPP(大規(guī)模并行處理)，該軟件是業(yè)內首創(chuàng)的無共享、大規(guī)模并行處理(Massive Parallel Processing, MPP )的數(shù)據(jù)庫軟件，其中包括無共亨/MPP、按列存儲數(shù)據(jù)庫、數(shù)據(jù)庫內壓縮、MapReduce、永不停機擴容、多級容錯等。在MPP系統(tǒng)中，毎個SMP節(jié)點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等。換言之，毎個節(jié)點內的CPU不能訪問另一個節(jié)點的內存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡實現(xiàn)的，這個過程一般稱為數(shù)據(jù)重分配(Data Redistribution)。與傳統(tǒng)的SMP架構明顯不同，通常情況下，MPP系統(tǒng)因為要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點，但這也不是絕對的，因為MPP系統(tǒng)不共享資源，因此對它而言，資源比SMP要多，當需要處理的事物達到一定規(guī)模時，MPP的效率要比SMP好。

在Grenplum這一數(shù)據(jù)庫產(chǎn)品的基礎上，EMC公司又看到了傳統(tǒng)Hadoop平臺可以改善的地方.例如分布式文件系統(tǒng)不支持隨機讀寫、定位于批處理、不支持實時數(shù)據(jù)處理。同時.其不適用于高并發(fā)場景，其開發(fā)難度大。與關系型數(shù)據(jù)庫在開發(fā)、運營、維護等方面差異較大等問題都亟待解決。因此，EMC公司認為Grecnplum DataBase和Hadoop 是互補的技術，兩名結合形成對結構化數(shù)據(jù)和非結構化數(shù)據(jù)的完善解決方案。在此基礎上，開發(fā)出了商業(yè)化的Grcenplum Hadoop平臺(縮寫為Grcenplum HD ).其中，關系型數(shù)據(jù)語法表達、復雜査詢、并發(fā)查洵、高速數(shù)據(jù)分析采用 Grcenplum數(shù)據(jù)庫，Hadoop用于非結構化數(shù)據(jù)和半結構化數(shù)據(jù)處理分析，產(chǎn)生的結構化數(shù)據(jù)再加載到Grcenplum DB中進行高速交互式查詢展現(xiàn)。同時Hadoop還用于ETL數(shù)據(jù)清洗，而Grcenplum DB 則可直接并行讀寫Hadoop數(shù)據(jù)。

Greenplum Chorus是基于大數(shù)據(jù)分析的社交平臺。Grcenplum Chorus是一個數(shù)據(jù)科學的社交平臺，包括個人沙盤、數(shù)據(jù)挖掘、協(xié)作分析和開放架構等特點。用戶通過這個平臺可以很快響應需求. 從而對大數(shù)據(jù)分析做出更基于效率的工作。任何在社交平臺權限內的人都可以通過個人沙盒來構建一個自己的數(shù)據(jù)庫，做任何的數(shù)據(jù)試驗，而且這些不會影響到生產(chǎn)數(shù)據(jù)。這是彈性、自我服務的體現(xiàn)。同吋, 如果你基于任何疑慮.也可以通過Chorus平臺發(fā)布消息，將會基于數(shù)據(jù)科學家及時幫助你解決問題。

通過對以上三種技術產(chǎn)品的基于效處理結合，EMC公司推出了 EMC Greenplum統(tǒng)一分析平臺。EMC Grecnplum統(tǒng)一分析平臺結合 Greenplum Database、Greenplum Hadoop、Grecnplum Chorus,為企業(yè)構建了高效處理結構化、半結構化、非結構化數(shù)據(jù)的大數(shù)據(jù)分析平臺?？蛻艨梢砸源似脚_為基礎，利用Grecnplum行業(yè)和數(shù)學統(tǒng)計方面的專家，充分挖掘自身數(shù)據(jù)價值，實現(xiàn)數(shù)據(jù)資產(chǎn)從成本中心到利潤中心的轉變，以數(shù)據(jù)驅動業(yè)務。其中，Greenplum Chorus在行業(yè)中處于領先地位，它的操作使用習慣非常類似Facebook、開心網(wǎng)的社交模式。通過Greenplum Chorus可以建立數(shù)據(jù)沙箱，將一定的數(shù)據(jù)變成一個集合，用戶都可以對這個集合利用工具進行處理和分析，共享數(shù)據(jù)庫的分析結果。讓這個數(shù)據(jù)分析和挖掘，不再是專業(yè)人士做的事情，并且增加趣味性，各種角色可以進行交互，形成一 個數(shù)據(jù)社交圈。EMC Gireenplum統(tǒng)一分析平臺還包括一個重要的方面，就是“數(shù)據(jù)科學家計劃”，它將人的智慧與技術產(chǎn)品相結合。 數(shù)據(jù)科學家不僅需要具基于數(shù)據(jù)本身的知識，還要求基于一定的數(shù)學建模能力，同時要懂得企業(yè)內部的運轉流程。所以數(shù)據(jù)科學家是能夠靈活利用各種工具去抓取數(shù)據(jù)，形成數(shù)據(jù)集合、數(shù)據(jù)沙箱，進行快速實時分析和展現(xiàn)的一種角色，幫助企業(yè)將數(shù)據(jù)變成商業(yè)價值。

2.1.1.3英特爾(Intel)公司

英特爾公司是全球最大的個人計算機零件和CPU制造商.它成立于1968年，具基于46年計算機類產(chǎn)品生產(chǎn)歷史。英特爾公司在大數(shù)據(jù)處理方面致力于改善X86平臺芯片和架構，以基于至強處理器構建的IT基礎設施為基石，英特爾在其上針對大數(shù)據(jù)的分發(fā)和管理需求提供基于英特爾平臺優(yōu)化的Hadoop產(chǎn)品和服務;在分析與發(fā)現(xiàn)層，提供針對客戶端與服務器端算法開發(fā)的支持，以滿足大數(shù)據(jù)計算所需的性能與規(guī)模要求。

英特爾公司是一家致力于在硬件性能上為大數(shù)據(jù)技術研發(fā)助力的公司，共推出的至強處理器E7V2系列，針對大數(shù)據(jù)分析的需求，提供了一系列的性能特征的改進，這些改進主要包括內存、核數(shù)以及可靠性等方面。英特爾至強處理器E7 V2產(chǎn)品家族最高可支持32 路的服務器平臺.擁基于最多15個處理內核和每插槽1.5TB內存容量，平均性能為其上一代產(chǎn)品的兩倍。與上一代處理器相比，英特爾至強處理器E7 V2產(chǎn)品家族可支持3倍的內存容量，能夠更快完成數(shù)據(jù)分析，幾乎達到實時處理分析水平。內存分析功能會在系統(tǒng)內存中放置整個數(shù)據(jù)集并進行分析(例如一個企業(yè)的整個用戶數(shù)據(jù)庫)， 而非名傳統(tǒng)硬盤上進行。

結合強勁的處理器制造技術，英特爾公司在Hadoop開源平臺的基礎上做了進一步的改進，提出了以開源為基礎，在Hadoop系統(tǒng)， 包括HBase、HDFS里面都做了增強和優(yōu)化，使得開源平臺在英特爾硬件上的運行效率得到顯著的提高。該平臺結合自身強大技術、成熟市場經(jīng)驗，打造面向大數(shù)據(jù)應用的Hadoop高效平臺，基于助于提供相比其他Hadoop平臺更可靠、更高性能、更多和更易于處理的大數(shù)據(jù)解決方案。基于英特爾Hadoop發(fā)行版，在原基于的開源版本基礎上進行了特殊強化，包括HDFS、MapReduce以及HBase代碼的改寫，同時支持 SQL查詢指令語言 Hive。并推出了 Intel Hadoop Manager 2.0,優(yōu)化了 Hadoop的處理能力。

2.1.14 國際商業(yè)機器(IBM )公司

國際商業(yè)機器公司或萬國商業(yè)機器公司，簡稱IBM公司 (International Business Machines Corporation )?？偛吭诩~約州阿蒙克市，IBM公司是世界上著名的信息技術和業(yè)務解決方案公司，業(yè)務包括咨洵、信息科技服務、軟硬件開發(fā)等。2012年12月19日， IBM公司宣布，它已經(jīng)簽署了收購StorcdIQ軟件公司的確定性協(xié)議。 IBM公司正在努力幫助客戶從大數(shù)據(jù)中獲得價值，例如対法律訴訟和法規(guī)做出更有效的問應，處理失效的信息和降低數(shù)據(jù)存儲成本。

PureDala是IBM公司 Pure system中的主要部分，是該公司開發(fā)的主要面向大數(shù)據(jù)應用的軟件系統(tǒng)。這款新的專家系統(tǒng)將具有處理在線交易及商業(yè)分析任務中大量數(shù)據(jù)的能力。IBM公司稱每天產(chǎn)生2.5EB數(shù)據(jù)，也就是說90%的數(shù)據(jù)都是近兩年內產(chǎn)生，而對如此龐大的數(shù)據(jù)，各行各業(yè)都在尋求簡便高效的數(shù)據(jù)分析方式。用戶利用該系統(tǒng)能夠更迅速、更準確地進行數(shù)據(jù)分析，從而更有效地進行商業(yè)活動。即將推出的PureData包含三種類型的擴展應用產(chǎn)品： “PureData System for Transactions”系統(tǒng)主要用于處理各種大數(shù)據(jù)的聯(lián)機事物處理(OLTP)以及商業(yè)分析任務。例如，在交易處理方面，PureData可以在單一系統(tǒng)整合多種業(yè)務數(shù)據(jù)庫，優(yōu)化大量交易處理。PureData集成了基于 IBM DB2數(shù)據(jù)庫的PureScale集群技術。另外一種PureData 主要用于商業(yè)分析應用，“PureData System for Operational Analytics”系統(tǒng)能夠對數(shù)以千計的交易進行實時分析， 例如金融交易中的欺詐監(jiān)測和趨勢發(fā)現(xiàn)。“PureData System for Analytics”系統(tǒng)則基于 IBM在2010年收購的Nctezza數(shù)據(jù)倉庫應用, 該系統(tǒng)能夠處理結構化和非結構化數(shù)據(jù)u

在PureData system的基礎上，IBM公司推出了面向Hadoop的全新IBM PureData系統(tǒng)PureData for Hadoop,旨在提高企業(yè)部署 Hadoop的速度，同時降低部署難度。全新PureData for Hadoop讓企業(yè)在使用企業(yè)級Hadoop技術時的加載時間從數(shù)周減少到數(shù)分鐘， 而且還為商業(yè)分析師和數(shù)據(jù)科學家提供使用、功能強大的分析工具，并為其呈現(xiàn)可視化效果。此外.新系統(tǒng)還提供了功能更強大的大數(shù)據(jù)工具，可用于監(jiān)測和研發(fā)，同時加強版的大數(shù)據(jù)工具可以與更多企業(yè)系統(tǒng)相兼容。同時在數(shù)據(jù)分析和處理技術上.IBM公司致力于研究推進加速數(shù)據(jù)處理的相關技術產(chǎn)品。BLU Acccleratim便是其中最為關鍵的一項，該技術整合了大幅改善分析能力和簡化管理的一系列技術，能夠將報告生成和數(shù)據(jù)分析速度提高25倍。BLU Acceleration的創(chuàng)新之處體現(xiàn)在，它實現(xiàn)了在動態(tài)的內存中進行列式處理，采用了新的、無需解壓的數(shù)據(jù)壓縮技術.以及并行向量處理和數(shù)據(jù)忽略技術(可以繞過對不相關數(shù)據(jù)的不必要處理)。借助 BLU Accderatkm.用戶可以更快速地抓取關鍵信息，從而做出更好的決策。

新版InloSphere Biglnsights:這款企業(yè)級Hadoop產(chǎn)品可以利用現(xiàn)有的SQL技術，更便捷地開發(fā)應用軟件。Biglnsights指利用大數(shù)據(jù)獲得更多的洞察力。用來處現(xiàn)磁盤中的靜態(tài)數(shù)據(jù)。InfoSphere Biglnsights 1.3的存儲和運算框架采用了開源的Hadoop MapReduce， 利用分布式文件存儲系統(tǒng)，將文件分成不同的部分存儲在不同的節(jié)點上，并進行備份。相應地可以在原有系統(tǒng)基礎之上，添加更多的節(jié)點進行Scale Out,增加了擴展性。.除了使用開源的Hadoop架構之外，IBM還針對Biglnsights進行了改造，采用了 IBM特有的通用并行文件系統(tǒng)，即GPFS。利用GPFS的目的是為了避免單點故障，保證了可用性。分析功能是Biglnsights另一個重要的方面，在 IBM的信息管理產(chǎn)品線中還基于兩個分析產(chǎn)品一Cognos和SPSS, Biglnsights的分析模塊并不是照搬Cognos和SPSS,也不是來自于收購的產(chǎn)品，而是完全由IBM研發(fā)的功能，Biglnsights將專門用于大數(shù)據(jù)分析。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社