如今，隨著不斷增加的大數(shù)據(jù)解決方案需求，Apache Hadoop已經(jīng)迅速成為存儲和處理海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的首選平臺之一。企業(yè)只需在少量基于英特爾至強處理器的服務(wù)器上部署這種開源軟件框架，就可用較低的成本迅速開始進(jìn)行大數(shù)據(jù)分析。隨后可逐步將其Apache Hadoop集群擴展到數(shù)百乃至數(shù)千個節(jié)點，從而將多PB數(shù)據(jù)的查詢響應(yīng)時間縮短到次秒級。

英特爾與Apache Hadoop社區(qū)開展協(xié)作，支持系統(tǒng)管理員盡可能地實現(xiàn)其Apache Hadoop集群的高性能，同時保證復(fù)雜度處于低限度。英特爾開發(fā)了HiTune性能分析器和HiBench基準(zhǔn)測試套件，用它們來降低Apache Hadoop性能調(diào)優(yōu)的復(fù)雜性，用戶可以在更短的時間內(nèi)更有信心地設(shè)計和實現(xiàn)Apache Hadoop解決方案。

HiTune性能分析器

Apache Hadoop的主要優(yōu)勢之一就是比傳統(tǒng)數(shù)據(jù)倉庫更容易部署和使用。然而，由于分布式環(huán)境的硬件與軟件之間存在復(fù)雜的交互，因此，要優(yōu)化Apache Hadoop集群和工作負(fù)載以提高性能會面臨重重挑戰(zhàn)。為了應(yīng)對這樣的挑戰(zhàn)，英特爾開發(fā)了HiTune，為開發(fā)人員提供了開發(fā)高度可伸縮型應(yīng)用程序的簡單工具。

典型的Apache Hadoop查詢是使用直觀、高級的數(shù)據(jù)流模型編寫的。這對于程序員而言非常理想，因為數(shù)據(jù)分區(qū)、任務(wù)分發(fā)、負(fù)載平衡、容錯和節(jié)點通信等所有繁雜的細(xì)節(jié)都由Apache Hadoop運行時環(huán)境來處理。然而，隱藏這種低級復(fù)雜性也會導(dǎo)致性能調(diào)優(yōu)成為一項繁瑣的挑戰(zhàn)。因為工程師對于硬件與軟件之間的低級交互知之甚少，甚至毫不知曉，而這種認(rèn)識卻是理解和優(yōu)化性能所必不可少的前提。工程師們通常只能依靠漫長而又耗時的試錯法，而結(jié)果往往也只是能得到次優(yōu)的性能。

HiTune將監(jiān)視Apache Hadoop集群中各服務(wù)器的關(guān)鍵性能指標(biāo)，隨后匯總這些低級指標(biāo)，將這些指標(biāo)與高級數(shù)據(jù)流模型相關(guān)聯(lián)。這樣，工程師就可以獲得不同任務(wù)與階段之間動態(tài)交互的深入了解，并迅速查明拖慢性能的性能瓶頸、應(yīng)用程序熱點和硬件問題。HiTune簡化和加速性能調(diào)優(yōu)；跨數(shù)千臺服務(wù)器擴展分析；逐漸獲得更高的價值。

HiBench基準(zhǔn)測試套件

利用HiBench基準(zhǔn)測試套件，您可以跨不同的工作負(fù)載準(zhǔn)確而又一致地度量、驗證和對比Apache Hadoop集群的性能，為客戶提供更出色的信息和信心。HiBench提供了對10種易于使用的Apache Hadoop工作負(fù)載的便捷訪問，這些工作負(fù)載經(jīng)過擴展、配置和定制，能夠反映典型的部署。可以為特定的通用任務(wù)度量性能，例如排序和文字計數(shù)，或者為更加復(fù)雜的實際應(yīng)用度量性能，這些應(yīng)用包括Web搜索、機器學(xué)習(xí)和數(shù)據(jù)分析。不同的工作負(fù)載具有不同的特征，使您能夠建立測試矩陣，體現(xiàn)特定環(huán)境的資源需求。

英特爾將繼續(xù)擴展和改進(jìn)HiBench，還會與領(lǐng)先供應(yīng)商和標(biāo)準(zhǔn)實體聯(lián)手協(xié)作，開發(fā)針對Apache Hadoop的行業(yè)標(biāo)準(zhǔn)性能基準(zhǔn)測試。建立這些基準(zhǔn)測試之后，您就具備了理解架構(gòu)問題、度量和驗證Apache Hadoop解決方案性能的更好基礎(chǔ)。

構(gòu)建一個經(jīng)過驗證的基礎(chǔ)

設(shè)計全面優(yōu)化的Apache Hadoop集群需要深入理解整個解決方案體系。可能要投入數(shù)月的時間來探索Apache Hadoop工作負(fù)載特征，并了解如何與底層硬件和軟件交互。還可以利用英特爾多年來與目前運行某些全球規(guī)模大、成功的Apache Hadoop實現(xiàn)的企業(yè)之間，共同研究和協(xié)同使用所得到的專業(yè)經(jīng)驗。

英特爾將這種專業(yè)經(jīng)驗構(gòu)造成為參考架構(gòu)、調(diào)優(yōu)指南和實踐建議，可以將它們用作設(shè)計和部署Apache Hadoop集群的起點。利用從硬件規(guī)范直至完整軟件架構(gòu)的明確指南，可以更迅速、更經(jīng)濟地設(shè)計、構(gòu)建和配置適宜的解決方案。

還可以在多種領(lǐng)先Apache Hadoop發(fā)布版中任意選擇，所有這些發(fā)布版均已針對英特爾至強處理器而高度優(yōu)化。英特爾與Cloudera，Hortonworks，IBM和其他商業(yè)經(jīng)銷商合作，確保運用的是已專門針對企業(yè)環(huán)境中的生產(chǎn)就緒性而進(jìn)行擴展、加強和測試的軟件，在英特爾架構(gòu)上實現(xiàn)極優(yōu)性能。 （文/龔略）