俞 偉，寧璐璐， 許 菲*

（1.江南大學(xué)，信息化建設(shè)與管理中心，江蘇 無錫214122；2.江南大學(xué)，生物工程學(xué)院，江蘇 無錫 214122）

基于GPU的生物大分子計算平臺的構(gòu)建與優(yōu)化

俞 偉1，寧璐璐2， 許 菲*2

（1.江南大學(xué)，信息化建設(shè)與管理中心，江蘇 無錫214122；2.江南大學(xué)，生物工程學(xué)院，江蘇 無錫 214122）

通過生物大分子計算平臺對分子動力學(xué)的模擬運算，計算值可以描述分子的運動軌跡，從而揭示原子間的內(nèi)在關(guān)系，但這一過程較為復(fù)雜且昂貴。作者研究了較低投入下大分子計算平臺的構(gòu)建與優(yōu)化，在并行GPU條件和CUDA體系下使用AMBER軟件包完成分子動力學(xué)的模擬運算。通過對兩個大分子體系的運算，實驗結(jié)果表明計算平臺達到了60倍的計算加速，實現(xiàn)了較高的加速性能，完成了高性價比的高性能計算平臺的建設(shè)。

生物大分子，分子動力學(xué)，計算加速，圖形處理單元

隨著計算機計算能力的快速提升，生物大分子的動力學(xué)模擬計算受到了科研人員的重視。分子動力學(xué)（Molecular Dynamics，MD）通過軟件模擬計算出生物大分子在原子水平上的相互作用力，從而展示生物大分子運動的微觀過程，得到生物大分子結(jié)構(gòu)變化、系統(tǒng)靜態(tài)和動態(tài)的動力學(xué)性質(zhì)和熱力學(xué)性質(zhì)等詳細信息。

2007年，馬國正等[1]實現(xiàn)了雙CPU下生物大分子分子動力學(xué)的模擬。2008年，Yasuda[2]最早實現(xiàn)了使用GPU來提高計算電子排斥積分的速度并加以改進。文獻[3-5]均提及GPU對于分子動力學(xué)的模擬計算有顯著的加速效果。2007年，CUDA被用于對分子動力學(xué)的計算進行改進，在GPU上計算簡化的范德華勢。上述研究表明多種分子計算程序包伴隨著GPU的加入，計算速度得到顯著的提升[6]。

綜上所述，GPU的引入為計算化學(xué)帶來了快速發(fā)展，基于GPU的開源軟件也有了長足的進步。但是習(xí)慣于傳統(tǒng)CPU計算化學(xué)的國內(nèi)用戶對于GPU還是不甚了解，甚至認為GPU是高貴神秘的技術(shù)。因此GPU在計算化學(xué)中的使用需要宣傳、推廣和普及。研究人員提出了使用PDB代碼、Web程序等生物信息學(xué)方法描述源蛋白大分子中連接肽的位置、長度、溶劑可及性和二級結(jié)構(gòu)等信息[6]。部分學(xué)科需要通過生物大分子計算平臺的計算值來描述分子的運動軌跡，從而揭示原子間的內(nèi)在關(guān)系，但是巨大的計算量延緩了科研的進展。作為一名計算機工作人員，協(xié)助這類學(xué)科構(gòu)建大分子計算平臺是作者的一項研究課題。通過實踐，作者證明了可以通過較低的投入完成高性能大分子計算平臺的構(gòu)建。

如何構(gòu)建和優(yōu)化基于GPU的大分子計算平臺是作者研究的重點和核心，通過對分子動力學(xué)的模擬計算，證明并行效果良好，GPU環(huán)境下計算速度較CPU環(huán)境下有近60倍的提高，為構(gòu)建分子動力學(xué)計算平臺提供了性價比高的解決方案。

1 相關(guān)技術(shù)

1.1AMBER

目前分子動力學(xué)計算模擬軟件中，常用的包括AMBER、CHARMM和GROMOS等。其中AMBER分子力場由加利福尼亞大學(xué)P.A.Kollman課題組最初為計算蛋白質(zhì)和核酸體系而開發(fā)，計算參數(shù)數(shù)據(jù)均來源于實驗值。隨著Kollman課題組和其他課題組對AMBER內(nèi)容的不斷豐富，逐漸形成了一個具備用于生物大分子、有機小分子和高分子模擬計算功能的力場體系。AMBER包含了分子動力學(xué)模擬計算的源代碼和演示程序，是一個在生物大分子模擬計算領(lǐng)域被廣泛應(yīng)用的分子力場軟件。AMBER的優(yōu)勢在于對生物大分子的計算，對小分子體系的計算還需借助其他模擬計算體系。

AMBER力場的勢能函數(shù)形式簡單，所需參數(shù)少，計算量比較小，但也在一定程度上限制了這個力場的擴展性。AMBER力場用傅立葉級數(shù)的形式描述二面角扭轉(zhuǎn)能，用諧振子模型計算鍵長伸縮能和鍵角彎轉(zhuǎn)能，用Lennard-Jones勢模擬范德華力，其勢能表達式（1）為：

表達式（1）rij為兩個原子之間的距離，σ為碰撞常數(shù)（collision parameter），εij為勢阱深度（well-depth），qi和qj分別為兩個原子的電荷，ε0為常數(shù)，ε為介電常數(shù)。

作者使用的計算軟件AMBER 14由AMBER 12升級而來。通過升級，實現(xiàn)了對GPU的完全支持，將注意力集中于擴展封裝性能、提升單GPU運行性能 30%、支持 CUDA（5、6和 7）、支持多 GPU 有效運行、進一步提升對分子動力學(xué)的加速等方面。

1.2CUDA在GPU計算中的使用

GPU 不僅用于圖形的渲染，由于其具備萬億次浮點運算的性能導(dǎo)致從金融到醫(yī)藥產(chǎn)生了爆發(fā)式的應(yīng)用。使用高層語言，可以在CPU上通過使用GPU加速應(yīng)用的運行，既優(yōu)化了CPU的單線程性能，又加速了GPU的并行處理。

CUDA是由NVIDIA公司開發(fā)的編程模型和并行計算平臺，通過GPU的使用實現(xiàn)計算能力的大幅提高。CUDA被廣泛應(yīng)用于各類計算應(yīng)用和研究論文，目前至少有3億個支持CUDA的GPU被用于筆記本、工作站、計算機集群和超級計算機。通過CUDA實現(xiàn)了使用C、C++和Fortran等高級語言直接操作GPU，而不再需要匯編語言。

1.3 MPI的使用

在多處理器前提下，計算機指令的執(zhí)行分為串行和并行兩種方式。并行執(zhí)行指令的方式（MPI）在完善的資源調(diào)度和通信機制下可以取得更高的性能，通過MPI可以將計算任務(wù)分?jǐn)偨o多個處理單元實現(xiàn)處理單元的負載均衡，最終實現(xiàn)各處理單元性能的最大發(fā)揮。MPI不是一種語言，是一種并行執(zhí)行的思想，是一種規(guī)范和模型。課題使用的服務(wù)器配置了2塊GPU卡，因此需要通過MPI的引入來實現(xiàn)2塊GPU卡的并行工作，在較短的時間內(nèi)完成更大的計算量。課題通過OpenMPI開源工具來實現(xiàn)MPI。

2 大分子計算平臺的構(gòu)建

針對課題計算的需求，構(gòu)建了如表1的硬件平臺。

表1 計算平臺硬件配置Table 1 Hardware configuration of computing platform

課題構(gòu)建的生物大分子計算平臺使用了NVIDIA的高性能GPU加速器TeslaK40，該加速器峰值雙精度浮點性能為1.43 Tflops，峰值單精度浮點性能為4.29 Tflops，存儲器帶寬 （ECC關(guān)閉）為288 GB/秒，存儲器容量（GDDR5）達到 12 GB，在桌面獲得集群的性能。在表1的硬件條件下在CentOS 6操作系統(tǒng)中首先要完成基礎(chǔ)運行環(huán)境的構(gòu)建，主要包括如下兩個步驟：

1.安裝Intel CPU環(huán)境下的C++環(huán)境

cd/home/tony

tar zxvf l_ccompxe_2013_sp1.0.080.tgz

cd./intel/l_ccompxe_2013_sp1.0.080

su

setenforce 0

getenforce

yum install libstdc++.so.5

exit

./install.sh

cd

vim.bashrc

export MKL_HOME=/home/tony/intel/mkl

source/ home/tony/intel/composer_xe_2013_sp1.0.080/bin/compilervars.sh intel64

source .bashrc

su

yum install gcc flex tcsh zlib-devel bzip2-devel libXt-devel libXext-devel libXdmcp-devel

2. 安裝分子計算平臺AMBER 14 和AMBERtools 14

cd /home/tony

tar xvfj AmberTools15.tar.bz2

tar xvfj Amber14.tar.bz2

vim .bashrc

export AMBERHOME=/home/tony/amber14

source .bashrc

cd $AMBERHOME

./configure intel

make install

make test

上述環(huán)境搭建后已可以進行分子動力學(xué)的計算，但為了實現(xiàn)高效和并行，需對平臺做如下優(yōu)化，主要包括如下兩個步驟：

1.編譯安裝openmpi-1.6.tar.bz2

tar xvfj openmpi-1.6.tar.bz2

cd /home/tony/openmpi-1.6

./configure --prefix =/home/tony/openmpi -intel

FC=ifort CC=icc CXX=icpc F77=ifort

make

make install

vim .bashrc

export MPI_HOME=/home/tony/openmpi-intel

export PATH = $MPI_HOME/bin：

$AMBERHOME/bin：$PATH

export LD_LIBRARY_PATH = $MPI_HOME/lib：

$AMBERHOME/lib：$ LD_LIBRARY_PATH

export MKL_HOME=/home/tony/intel/mkl

2.安裝并行

cd $AMBERHOME

./configure-mpi intel

make install

3 實驗與仿真

3.1 測試體系說明

平臺對兩個體系進行了測試，體系參數(shù)如表2所示。

表2 測試體系Table 2 Test system

兩個體系的模擬形狀如圖1所示。

圖1 DNA與蛋白質(zhì)測試體系的模擬形狀Fig.1 Shape of DNA and protein about simulation test system

測試體系的模擬運算參數(shù)如表3和表4所示。

表3 模擬參數(shù)Table 3 Simulation parameters

表4 力場參數(shù)Table 4 Force field parameters

3.2 實驗結(jié)果

為提高計算精度，計算數(shù)據(jù)使用了雙精度數(shù)據(jù)。在計算平臺上分別使用單核CPU、八核CPU、單GPU和雙GPU對上述DNA和蛋白質(zhì)體系進行了測試。DNA測試結(jié)果如圖2所示，蛋白質(zhì)體系測試結(jié)果如圖3所示。

在單CPU、8CPU、1GPU和2GPU條件下對于兩個生物大分子體系的運算加速比如表5所示。

圖2 DNA體系測試結(jié)果Fig.2 Result of DNA system

圖3 蛋白質(zhì)體系測試結(jié)果Fig.3 Result of protein system

表5 不同運算單元的加速比

Table 5 Speedup different process unit

2GPU57.7465.25

4 結(jié)語

實現(xiàn)了低投入高性價比的生物大分子計算平臺的構(gòu)建與優(yōu)化。證明了GPU對于加速分子動力學(xué)的模擬運算起著至關(guān)重要的作用。

后續(xù)課題將從事如下兩方面的工作：目前2GPU較1GPU的加速比分別是1.60和1.65，需要優(yōu)化GPU環(huán)境下的計算平臺，實現(xiàn)2GPU較1GPU的加速比接近或達到2；構(gòu)建低成本的計算集群，通過多機的并行運行實現(xiàn)更高的加速比，為更高級別的原子數(shù)量的模擬計算提供計算平臺。

[1]MA Guozheng，NAN Junmin.Molecular dynamic simulations of biomacromolecule on dual Process-based system using MPICH technology[J].Computers and Applied Chemistry，2007，24（8）：852-855.（in Chinese）

[2]YASUDA K.Two-electron integral evalution on the Graphics[J].J Comput Chem，2008，29：334-342.

[3]FEI Hui，ZHANG Yunquan，WANG Ke，et al.Parallel algorithm and implementation for molecular dynamics simulation based on GPU[J].Computer Science，2011，38（9）：1056-1058.（in Chinese）

[4]LIN Jianghong，LIN Jinxian，LU Tun.Accelerated molecular dynamics simulation using multi-core CPU and GPU[J].Journal of Computer Applications，2011，31（3）：367-381.（in Chinese）

[5]LI Jiangyu，ZHAO Dongsheng，WANG Yumin.GPU computing and its application in biomedical research[J].Mil Med Sci，2011，35（8）：1024-1028.（in Chinese）

[6]LI Jianfang，WANG Chunjuan，WU Minchen.Design of linker peptides and its application in fusion protein[J].Journal of Food Science and Biotechnology，2015，34（11）.（in Chinese）

Construction and Optimization of GPU-Based Computing Platform for Biological Macromolecules

YU Wei1，NING Lulu2，XU Fei*2
（1.NIC，Jiangnan University，Wuxi，214122，China；2.SchoolofBiotechnology，Jiangnan University，Wuxi 214122，China）

Biological macromolecules by molecular dynamics computing platform for analog operation，calculated value can describe the trajectory of molecules，which reveals the intrinsic relationship between atoms，but the process is more complicated and expensive.In this paper，the construction and optimization to achieve lower investment macromolecules computing platforms，using a software package AMBER molecular dynamics simulation runs in parallel GPU and CUDA system conditions.Through the operation of two large molecules，experimental results show that the computing platform reached 60 times the computing speed up to achieve a high acceleration performance，completed the construction of cost-effective，high-performance computing platform.

biological macromolecules，molecular dynamics （MD），accelerated computing，graphic processing unit（GPU）

TP 302.7

A

1673—1689（2017）10—1101—05

2015-10-08

江蘇省自然科學(xué)基金項目（BK20151126）。

俞 偉（1975—），男，江蘇無錫人，工學(xué)碩士，講師，主要從事計算機工程研究。E-mail：yuwei@jiangnan.edu.cn

*通信作者：許 菲（1978—），女，黑龍江哈爾濱人，工學(xué)博士，教授，博士研究生導(dǎo)師，主要從事生物化學(xué)、生物大分子研究。

E-mail：feixu@jiangnan.edu.cn

俞偉，寧璐璐，許菲.基于GPU的生物大分子計算平臺的構(gòu)建與優(yōu)化[J].食品與生物技術(shù)學(xué)報，2017，36（10）：1101-1105.