譚新寧 吳文如 梁婉晴 陳浩文 趙凱瑩 張 睿

廣州中醫(yī)藥大學(xué)中藥學(xué)院，廣東 廣州 510006

青葙子為莧科植物青葙CelosiaargenteaL.的干燥成熟種子[1]，性微寒，味苦，歸肝經(jīng)，具有清肝瀉火、明目退翳之功效，常用于肝熱目赤、目生翳膜、視物昏花、肝火眩暈等癥，為眼科要藥。由于青葙子藥材體積小，直徑僅為1～1.5 mm，性狀鑒定難度較大，容易引起誤采、誤收、誤用；同時受利益的驅(qū)使，市場上常見青葙子中摻入混偽品或直接用混偽品進行售賣的現(xiàn)象，給藥品種植、臨床用藥和科研等均帶來問題。其常見的混偽品有同科青葙屬植物雞冠花子C.cristataL.、莧菜子AmaranthustricolorL.、刺莧子A.spnosusL.、反枝莧子A.retroflexusL.等[2]。這些混淆品在性狀上與青葙子相似，但功用卻大不相同： 雞冠花子有涼血止血、止帶、止瀉的功效，主要用于治療諸出血癥、帶下、泄瀉、痢疾；莧菜子有清肝明目、通利二便、利尿止血的功效，主要用于治療翳障、視物混暗、二便不利、血尿[3]。由于混偽品在功能主治[4]、藥理作用[5]、化學(xué)成分[6]等方面與青葙子存在顯著差別，如果混用，不僅達(dá)不到原本的療效，還會對用藥者造成其他不可預(yù)測的傷害[7]。同時，種子混淆使用會給中藥種植帶來巨大的經(jīng)濟損失。因此，開發(fā)針對細(xì)小果實及種子類中藥青葙子的簡單、快速、實用的鑒定方法尤為必要，既可以保證臨床用藥的安全有效，又可以維護中藥材生產(chǎn)者的經(jīng)濟利益。

當(dāng)前用于中藥材鑒別的方法主要有傳統(tǒng)鑒定方法(如經(jīng)驗鑒別、顯微鑒別、理化分析鑒別、光譜成像分析鑒別等)和現(xiàn)代分子生物技術(shù)(DNA條形碼、特異性PCR、分子標(biāo)記等)，中藥傳統(tǒng)鑒定方法的應(yīng)用是建立在個體形態(tài)描述和微觀觀測的水平上，對鑒定人員的從業(yè)經(jīng)驗、職業(yè)習(xí)性有較強的依賴，要求鑒定人員具有相當(dāng)深的理論基礎(chǔ)與豐富的實戰(zhàn)經(jīng)驗，需要多年的經(jīng)驗積累，專業(yè)壁壘較高且效率較低，多依靠專業(yè)人士進行人工鑒別。此外，顯微鑒別、理化分析鑒別、光譜成像分析、PCR儀鑒別設(shè)備不便攜帶，導(dǎo)致非專業(yè)購藥群體在購藥時無具可用、無從下手。

隨著信息技術(shù)的飛速發(fā)展和大數(shù)據(jù)時代的到來，人工智能(artificial intelligence, AI)和機器視覺技術(shù)與中藥材檢測與評價工作開始結(jié)合，并已在川貝母、山楂、半夏、西洋參等飲片中得到驗證和應(yīng)用[8-9]。相較于對專業(yè)人員要求高且繁瑣的傳統(tǒng)鑒別方法，人工智能技術(shù)具有操作簡易、識別效率高的優(yōu)點。同時，計算機的自動識別能夠避免人工識別中夾雜的主觀因素，可快速準(zhǔn)確地識別大批量的樣品，結(jié)果準(zhǔn)確快速，客觀可靠。

深度學(xué)習(xí)能夠從數(shù)據(jù)中自動學(xué)習(xí)到有效的特征表示，是人工智能發(fā)展的核心技術(shù)，得益于大數(shù)據(jù)，硬件算力和深層神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的突破性發(fā)展，深度學(xué)習(xí)在計算機視覺、語音識別、自然語言處理等研究領(lǐng)域取得了優(yōu)秀效果。各大AI科技公司先后推出了多個開源深度學(xué)習(xí)框架和一站式深度學(xué)習(xí)開發(fā)平臺。百度飛槳是國內(nèi)最先開源開放、功能完備的深度學(xué)習(xí)框架，基于飛槳開源深度學(xué)習(xí)平臺，包含零門檻AI開發(fā)平臺EasyDL和全功能AI開發(fā)平臺BML。EasyDL主要面向中小企業(yè)，提供零門檻、預(yù)置豐富網(wǎng)絡(luò)和模型、便捷高效的開發(fā)平臺；BML是為大型企業(yè)提供的功能全面、可靈活定制和被深度集成的開發(fā)平臺。由于EasyDL零門檻AI模型訓(xùn)練平臺簡單易用，且在國內(nèi)訪問穩(wěn)定[9]，研究人員可以輕松完成模型創(chuàng)建、數(shù)據(jù)上傳、培訓(xùn)模型和模型發(fā)布的整個過程[10]，僅需少量數(shù)據(jù)就能訓(xùn)練出高精度模型的效果。該平臺目前已上線了滿足從零AI基礎(chǔ)到AI專業(yè)開發(fā)者的不同層次用戶和場景化需要的經(jīng)典版、專業(yè)版以及行業(yè)版等[11]。界面友好、操作簡單的自動化機器學(xué)習(xí)平臺無疑大大降低了人工智能的使用門檻，有利于促進人工智能在中藥鑒定領(lǐng)域的普及。

中藥鑒定與計算機圖像處理技術(shù)的結(jié)合將會是中藥鑒定發(fā)展的新趨勢[12]。但針對性狀甚至顯微鑒定都難以分辨的體積細(xì)小的飲片，如青葙子、葶藶子等細(xì)小果實種子類中藥，目前仍存在尚不明確是否能實現(xiàn)智能鑒別，以及如何取得較好的正確識別率等問題。微性狀鑒別法[13]是中藥鑒別、檢驗方法之一，在體積細(xì)小的藥材品種鑒定上具有優(yōu)勢；由于其簡便、快捷、廉價的優(yōu)點，近年來成為中藥材檢驗研究的熱點。

鑒于上述背景，本研究嘗試?yán)梦⑿誀铊b定結(jié)合AI圖像識別技術(shù)，選取較難區(qū)分的細(xì)小種子類中藥青葙子及其混偽品展開研究，以便為中藥質(zhì)量檢測與評價提供參考，豐富中藥品質(zhì)評價的研究方法與思路。

1 材料

實驗材料包括野外采集的原植物和不同地區(qū)及市場購買的青葙子藥材及其混偽品，實驗藥材均由廣州中醫(yī)藥大學(xué)吳文如副教授鑒定，保存于廣州中醫(yī)藥大學(xué)中藥鑒定學(xué)實驗室的-4℃冰箱，樣品詳細(xì)信息見表1。BX51生物顯微鏡(日本Olympus公司)，配有Photoshop軟件的計算機。

表1 樣品來源表

2 方法與結(jié)果

2.1 微性狀圖片拍攝 隨機取樣3次[14]，每次取10粒，置于載玻片上進行逐一觀察，并于光學(xué)顯微鏡[20(電子目鏡)×4(物鏡)]下同一視野采用不同焦距拍攝5張圖片，使用Photoshop的圖片景深疊加功能將5張不同焦距的圖片合成為1張立體、高清的圖片。10粒樣品逐一拍攝結(jié)束之后，用透明膠粘取樣品，將樣品的另一面朝上放置(藥材的兩面均拍攝)，如圖1所示。按上述方法進行3D拍攝[15]，即一批藥材可獲得3×10×2=60張微性狀圖片。

圖1 藥材正反兩面拍攝示意圖

2.2 圖像數(shù)據(jù)預(yù)處理 所拍攝的圖片均符合要求(長寬像素比控制≤3∶1，最長邊像素≤4096，最短邊像素≥30，單張圖片大小≤4M)，無需裁剪。

對圖像進行多角度旋轉(zhuǎn)： 應(yīng)用多角度旋轉(zhuǎn)方法來減少微性狀圖像中不同方位角度對識別的影響[16]。多角度旋轉(zhuǎn)效果如圖2所示，單張圖像分別旋轉(zhuǎn)90°、180°和270°，共獲得60×4=240張圖片。為提高工作效率，特開發(fā)了一款圖像旋轉(zhuǎn)軟件，將圖片導(dǎo)入該軟件即可得到原圖、旋轉(zhuǎn)90°、180°和270°的圖片。軟件名稱： Pic-rotate；設(shè)計程序： Visual Studio 2019 with C# based on .net framework 4.5；開發(fā)思路： 計算機數(shù)碼圖片是由多個獨立像素塊組成的，稱為位圖。常用的圖片格式均由位圖編碼壓縮而成。程序通過遍歷運行目錄下所有常見的圖片文件后綴名，獲取需要翻轉(zhuǎn)的圖片文件，并輔以適當(dāng)?shù)慕獯a器，將圖片文件解碼回位圖形式。通過對位圖進行逐像素的位置變化，使之完成+90°、+180°和+270°三種變換，并通過編碼器重新編碼為符合訓(xùn)練平臺要求的jpg格式圖片文件；具體用途： 將單張圖片旋轉(zhuǎn)3次獲得4張方向不一的圖片，用于提高圖像識別模型訓(xùn)練的效率。共有5種(青葙子、雞冠花子、莧菜子、皺果莧子、反枝莧子)，即最終獲得5×2×240=2400張微性狀圖片。

2.3 EasyDL平臺的使用

2.3.1 創(chuàng)建模型和數(shù)據(jù)集 進入平臺后，首先選用“ 圖像分類”模型，創(chuàng)建模型和數(shù)據(jù)集，并將所有圖像上傳(圖片格式要求： 目前支持圖片類型為png、jpg、bmp、jpeg，圖片大小限制在4 M以內(nèi)；圖片長寬比在3∶1以內(nèi)，其中最長邊小于4096px，最短邊大于30px)。在數(shù)據(jù)上傳前，需要將所有準(zhǔn)備好的圖片以單個文件夾的形式進行分類(分類上限為1000類，每個分類需要準(zhǔn)備20張以上；如果想要較好的效果，建議每個分類準(zhǔn)備不少于100張圖片；如果不同分類的圖片具有相似性，需要增加更多圖片；一個模型的圖片總量限制10萬張)，并將相關(guān)文件夾壓縮為zip格式。分類的命名需要用數(shù)字、字母、下劃線的格式，同時不能存在空格和中文字符。在數(shù)據(jù)集管理中對圖像進行標(biāo)注。若是導(dǎo)入未標(biāo)注/分類的數(shù)據(jù)，在線進行數(shù)據(jù)標(biāo)注： 進入「標(biāo)注數(shù)據(jù)集」頁面進行在線標(biāo)注，只需在右側(cè)標(biāo)簽欄新建并選定標(biāo)簽即可。在將所有圖片標(biāo)注完成之后，選擇“ 模型中心”下的“ 訓(xùn)練模型”對模型進行訓(xùn)練，EasyDL平臺將70%的數(shù)據(jù)用于訓(xùn)練，剩余30%的模型用于檢驗?zāi)Ｐ托Ч?。約3 h后完成訓(xùn)練。其次，訓(xùn)練模型并根據(jù)平均準(zhǔn)確率(mean average precision, MAP)、精確率、召回率和準(zhǔn)確率檢驗效果；訓(xùn)練完成后，在【我的模型】列表中查看模型效果，以及詳細(xì)的模型評估報告。最后，上線模型獲取應(yīng)用程序接口(application program interface，API)或離線軟件開發(fā)工具包(software development kit，SDK)。

2.3.2 模型測試結(jié)果分析 應(yīng)用類型為云服務(wù)時，模型訓(xùn)練結(jié)果的MAP、精確率、召回率、準(zhǔn)確率見表2。應(yīng)用類型為離線SDK時，模型訓(xùn)練結(jié)果的MAP、精確率、召回率、準(zhǔn)確率如表3所示。MAP是衡量模型效果的指標(biāo)，MAP值越接近于1，模型效果越好。精確率為正確識別的物體數(shù)與識別物體總數(shù)之比，召回率為正確識別的物體數(shù)與真實物體數(shù)之比，準(zhǔn)確率為正確預(yù)測為該類的樣本數(shù)占預(yù)測為該類的總樣本數(shù)的比率[17]。結(jié)果表明，應(yīng)用類型為云服務(wù)或離線SDK時，MAP、精確率、召回率、準(zhǔn)確率均大于90%，且云服務(wù)略優(yōu)于離線SDK。為了評估系統(tǒng)的效果，共計算了3次模型訓(xùn)練結(jié)果的MAP、精確率、召回率和準(zhǔn)確率。結(jié)果見表4。

表3 離線SDK測試結(jié)果

表4 3次模型訓(xùn)練結(jié)果

利用云服務(wù)模型對青葙子藥材微性狀圖片進行識別的結(jié)果如圖3所示，模型準(zhǔn)確度達(dá)95.43%，表明識別結(jié)果準(zhǔn)確可靠。

圖3 云服務(wù)模型對青葙子藥材識別結(jié)果圖

2.3.3 微信小程序設(shè)置與應(yīng)用 手機端微信平臺現(xiàn)已逐步發(fā)展為各行業(yè)媒體內(nèi)容分享發(fā)布的主流平臺，與原生態(tài)APP相比，微信小程序擺脫智能手機內(nèi)存的限制，無需安裝，深受人們青睞。百度平臺推出便捷體驗離線識別，申請發(fā)布模型，即可體驗“ 純離線服務(wù)”，用百度或微信APP掃描平臺所提供的二維碼，直接掃碼即可進入微信小程序界面，便在手機端體驗?zāi)Ｐ托Ч瑢?dǎo)入青葙子藥材微性狀圖片即可進行識別，結(jié)果準(zhǔn)確可靠。

隨機選取5種未被選為模型訓(xùn)練藥材樣本的10幅圖像，共計50副圖像作為檢驗樣本，將待測圖片導(dǎo)入系統(tǒng)識別。50幅藥材圖像的測試結(jié)果如表5所示。從識別結(jié)果可以看出，對于本系統(tǒng)所采集的藥材圖像，識別率達(dá)到了80%～100%；在相同的飲片圖像采集環(huán)境下，該模型能夠準(zhǔn)確識別出圖像中藥材的種類，具有比較穩(wěn)定且比較好的識別效果。

表5 微信小程序?qū)y試藥材圖像識別結(jié)果

實驗結(jié)果表明，系統(tǒng)采用EasyDL平臺，可獲取系統(tǒng)的API和SDK；通過適當(dāng)擴充訓(xùn)練圖像，可以實現(xiàn)系統(tǒng)的進化，進而提高系統(tǒng)的識別效果，具有較強的可開發(fā)性[18]。

3 討論

3.1 深度學(xué)習(xí)開發(fā)平臺的選擇 自2017年開始，國內(nèi)外各大AI科技公司先后推出了一站式深度學(xué)習(xí)開發(fā)平臺，如谷歌Cloud AutoML、百度飛槳EasyDL、華為ModelArts、阿里云PAI和AWS SageMaker等。谷歌Cloud AutoML的定位是通過極少的工作量和機器學(xué)習(xí)專業(yè)知識訓(xùn)練出高質(zhì)量的自定義機器學(xué)習(xí)模型，發(fā)布之初支持定制化圖像分類功能，目前，已經(jīng)支持定制化視覺、自然語言處理和結(jié)構(gòu)化數(shù)據(jù)三大方向，其中，視覺方向支持云端和設(shè)備端的圖像分類和物體檢測，并支持視頻的片段分類；自然語言處理方向支持文本分類、實體識別和情感分析，以及動態(tài)檢測語言和翻譯；結(jié)構(gòu)化數(shù)據(jù)是對表格數(shù)據(jù)的定制訓(xùn)練。華為ModelArts目前支持圖像分類、物體檢測、聲音分類、文本分類和預(yù)測分析等五大定制方向；阿里云PAI是以傳統(tǒng)機器學(xué)習(xí)算法為主的開發(fā)平臺，其優(yōu)勢在于與阿里云的存儲計算資源緊密結(jié)合，具有豐富的傳統(tǒng)機器學(xué)習(xí)工具和算法庫，以及包含多個實踐打磨的行業(yè)解決方案；AWS SageMaker包含數(shù)據(jù)加工的GroundTruth、自動訓(xùn)練的AutoPilot、交互式開發(fā)的Studio、實驗調(diào)優(yōu)的Experiments、算法交易的Marketplace，以及端邊計算的Neo等十多個子產(chǎn)品。提供了面向各層面用戶的一站式服務(wù)和完善的產(chǎn)品矩陣，與AWS云存儲和計算緊密綁定、自動數(shù)據(jù)標(biāo)注、全球范圍的一鍵服務(wù)部署，以及最為完善的產(chǎn)品矩陣。百度飛槳的Easy系列是這些主流平臺中最早發(fā)布和上線可用的一站式深度學(xué)習(xí)定制開發(fā)平臺，基于百度飛槳深度學(xué)習(xí)框架，支持飛槳Master模式的預(yù)訓(xùn)練模型，并采用百度AutoDL技術(shù)實現(xiàn)了只需少量數(shù)據(jù)就能訓(xùn)練出高精度模型的效果，已形成了比較完善的產(chǎn)品矩陣，支持圖像分類、物體檢測、圖像分割、聲音分類、文本分類和視頻分類等六大定制方向。

從功能的完善程度，支持的定制能力數(shù)量，以及對生態(tài)、場景、端和邊緣設(shè)備的支持等方面看，百度飛槳EasyDL、華為ModelArts和AWS SageMaker比較完善。特別是EasyDL和ModelArts均提供了第一方的高精度的預(yù)訓(xùn)練模型[11]。由于百度飛槳深度學(xué)習(xí)框架為平臺提供了更優(yōu)秀的預(yù)訓(xùn)練模型，EasyDL的定制化圖像分類和物體檢測模型效果大多領(lǐng)先于ModelArts。

3.2 微性狀圖像信息的優(yōu)化 細(xì)小果實種子類中藥的準(zhǔn)確鑒定是中藥鑒定重點和難點問題，對操作人員具有較高的專業(yè)素質(zhì)要求。微性狀鑒別法借助儀器觀察中藥材表面(包括斷面)肉眼不易察覺的細(xì)微性狀特征，并采用景深合成技術(shù)得出清晰的圖像，進而基于這些微觀特征對中藥材品種與質(zhì)量情況進行鑒別分析，在細(xì)小果實種子類中藥的鑒定中往往取得較好結(jié)果。

本研究采集了不同產(chǎn)地的青葙子、雞冠花子、莧菜子、刺莧子和反枝莧子樣品各2批，隨機取樣于顯微鏡下觀察拍照，經(jīng)旋轉(zhuǎn)共獲得2400張微性狀圖片。使用EasyDL平臺的“ 圖像分類”模型，創(chuàng)建模型和數(shù)據(jù)集，其模型訓(xùn)練結(jié)果的MAP、精確率、召回率和準(zhǔn)確率良好，識別結(jié)果準(zhǔn)確可靠。此外，應(yīng)用平臺的“ 純離線服務(wù)”，通過直接掃碼即可進入微信小程序界面，識別率為80%～100%，便于后期的推廣應(yīng)用。將微性狀鑒別法與計算機圖像智能識別技術(shù)相結(jié)合，通過深度學(xué)習(xí)算法實現(xiàn)的中藥飲片智能鑒別技術(shù)具有簡潔、快速、精度高、可批量化檢測的優(yōu)點，為中藥品質(zhì)評價提供了新的研究思路。

3.3 展望 大數(shù)據(jù)是信息技術(shù)產(chǎn)業(yè)又一次重要的技術(shù)變革，將為人類社會的發(fā)展帶來不可估量的變化。中藥大數(shù)據(jù)在整合共享、應(yīng)用服務(wù)、挖掘分析、數(shù)據(jù)開放、產(chǎn)業(yè)發(fā)展等方面，具有廣闊的應(yīng)用前景。國內(nèi)的學(xué)者對于中藥信息化云計算的研究不夠深入，還缺乏具體的平臺實現(xiàn)及驗證?；谥兴幋髷?shù)據(jù)，人工智能技術(shù)在中藥鑒定領(lǐng)域的應(yīng)用包括： ①藥材及其混偽品的識別及分類；②顯微特征的識別及計數(shù)，即顯微量化研究；③質(zhì)量評價，如飲片生產(chǎn)線快速自動化質(zhì)量鑒別和等級劃分等。

本實驗研究結(jié)果展示了利用人工智能和機器視覺技術(shù)，基于深度學(xué)習(xí)對正品及其混偽品圖像進行鑒定及分類預(yù)測的可能性，后期如果能建設(shè)專門的中藥AI識別數(shù)據(jù)庫，完善相關(guān)平臺及終端的開發(fā)及應(yīng)用，即可實現(xiàn)中藥飲片的快速識別。本文設(shè)計的青葙子及其混偽品圖像分類系統(tǒng)，是一種不要求使用者專業(yè)技能，真正面向基層的“ 傻瓜式”自動識別系統(tǒng)，能較好地解決研究人員缺乏相關(guān)算法基礎(chǔ)的問題，實現(xiàn)中藥材的快速、無損鑒別。但在某些方面還有改進之處。例如，目前中藥材微性狀特征庫的種類不夠豐富，只能對青葙子及其混偽品進行自動識別；此外識別準(zhǔn)確率有待進一步提升等等。后續(xù)研究中，一方面需要擴大特征庫的數(shù)量，涵蓋更多種類的中藥材，提升識別的準(zhǔn)確率；另一方面，在訓(xùn)練樣本時要擴充不同姿態(tài)、不同背景的圖像集參與模型訓(xùn)練。