bool isSuccessful;

List FailedUrlList = new List();

foreach (string url in urlList)

{

//從網(wǎng)站下載數(shù)據(jù)

string xmlPage = DownloadDataFromSite(url);

if (xmlPage == null)

{

FailedUrlList.Add(url);

PubmedLogger.Log(url + "/r" + "There is not the downloaded data. ", LogCategory.Warning); continue;

}

//從xml格式的數(shù)據(jù)里提取所需的題錄信息

articleList = ExtractDataFromXmlPage(xmlPage, searchLogID, url);

if (articleList == null) { FailedUrlList.Add(url); continue; }

//把提取的題錄信息存入本地數(shù)據(jù)庫

isSuccessful = PutDataToDB(articleList);

if (isSuccessful == false){ return null;}

}

return FailedUrlList;

}

圖 2 EFetch下載題錄信息詳細(xì)流程

3.2.2 EFetch單個PMID值單條下載方式

如果EFetch批量下載方式下載過程中有失敗的部分，則通過EFetch單個PMID值單條下載方式逐條下載題錄信息并存入本地數(shù)據(jù)庫。

第一步，需要通過ESearch下載xml數(shù)據(jù)并提取所有相關(guān)的PMID值，再跟數(shù)據(jù)庫中成功的部分比較，得到前面批量下載過程中所有失敗的PMID值。需要注意的是需下載所有的PMID值，ESearch的URL中需要設(shè)置“RetMax”參數(shù)值。ESearch的URL格式如下：http://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=pubmed&term=liver+cancer+AND+AFP&usehistory=y&RetMax=4206

第二步，通過EFetch單個PMID值單條下載方式，逐條下載題錄信息并存入本地數(shù)據(jù)庫。下載和保存的實(shí)現(xiàn)代碼與EFetch批量下載方式中的第二步一樣，區(qū)別在于EFetch單個PMID值單條下載方式的URL的格式不一樣。

http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pubmed&rettype=abstract&retmode=xml&id=26815502

4 測試結(jié)果

測試主要是比對手工檢索結(jié)果頁面顯示的總的記錄項(xiàng)數(shù)目和本地數(shù)據(jù)庫中的記錄項(xiàng)數(shù)目是否相等，以及比對手工下載的結(jié)果文件中的部分內(nèi)容和本地數(shù)據(jù)庫中由程序代碼下載的內(nèi)容是否相同。由于PubMed數(shù)據(jù)每天更新，所以測試時要保證手工檢索和下載結(jié)果文件的時間與通過程序代碼下載的時間不能相隔太久。在不同時間段，用不同檢索詞，進(jìn)行了多次的測試，得到的結(jié)果都是相同的。

5 結(jié)語

本文利用NCBI的E-utilities中的ESearch和EFetch兩個標(biāo)準(zhǔn)的URL接口，實(shí)現(xiàn)了對PubMed數(shù)據(jù)庫的檢索和批量自動下載檢索結(jié)果中的文獻(xiàn)題錄信息。給出的實(shí)現(xiàn)流程和關(guān)鍵代碼為進(jìn)一步文本挖掘和信息分析提供數(shù)據(jù)基礎(chǔ)。