郭 強，趙 歡，雷星星，魯 燕，王勝菊，方 威，祖義志，唐小妹，祝然然，陳 秋（.成都中醫(yī)藥大學(xué)臨床醫(yī)學(xué)院，成都 6007；.成都中醫(yī)藥大學(xué)附屬醫(yī)院神經(jīng)內(nèi)科，成都 6007；3.成都中醫(yī)藥大學(xué)附屬醫(yī)院內(nèi)分泌科，成都 6007）

·循證藥學(xué)·

糖脈康制劑聯(lián)合常規(guī)降糖藥治療糖尿病腎臟病的系統(tǒng)評價Δ

郭 強1＊，趙 歡2，雷星星1，魯 燕1，王勝菊1，方 威1，祖義志1，唐小妹1，祝然然1，陳 秋3#（1.成都中醫(yī)藥大學(xué)臨床醫(yī)學(xué)院，成都 610072；2.成都中醫(yī)藥大學(xué)附屬醫(yī)院神經(jīng)內(nèi)科，成都 610072；3.成都中醫(yī)藥大學(xué)附屬醫(yī)院內(nèi)分泌科，成都 610072）

目的：系統(tǒng)評價糖脈康顆粒/片聯(lián)合常規(guī)降糖藥治療糖尿病腎臟?。―KD）的療效，為臨床提供循證參考。方法：計算機檢索Medline、EMBase、Cochrane圖書館、中國生物醫(yī)學(xué)文獻數(shù)據(jù)庫、中國期刊全文數(shù)據(jù)庫、萬方數(shù)據(jù)庫和中文科技期刊數(shù)據(jù)庫，收集糖脈康顆粒/片聯(lián)合常規(guī)降糖藥（試驗組）對比單用常規(guī)降糖藥（對照組）治療DKD的相關(guān)試驗，提取資料并進行質(zhì)量評價后，采用Rev Man 5.3統(tǒng)計軟件進行Meta分析。結(jié)果：共納入9項RCT，合計883例患者。Meta分析結(jié)果顯示，試驗組患者臨床有效率顯著高于對照組[OR＝4.88，95%CI（2.56，9.32），P＜0.001]，血肌酐（Scr）[MD＝－28.48，95%CI（－34.90，－22.06），P＜0.001]和24 h尿蛋白定量[MD＝－100.26，95%CI（－106.00，－94.52），P＜0.001]顯著低于對照組，差異均有統(tǒng)計學(xué)意義。兩組患者血尿素氮（BUN）水平比較差異無統(tǒng)計學(xué)意義[MD＝－0.85，95%CI（－1.36，－0.34），P＝0.001]。結(jié)論：糖脈康顆粒/片聯(lián)合常規(guī)降糖藥治療DKD的療效較好，可降低患者的Scr和24 h尿蛋白定量。

糖尿病腎臟??；糖脈康顆粒；糖脈康片；系統(tǒng)評價；療效

糖尿病是一組以高血糖為特征的代謝性疾病，該病發(fā)病率呈逐漸增高趨勢，預(yù)計到2030年全世界糖尿病患者將達到4.39億[1]。糖尿病腎臟病｛DKD[又稱糖尿病腎?。―N），是中華醫(yī)學(xué)會內(nèi)分泌分會與國際指南一致而采用的術(shù)語][2]｝是糖尿病常見的慢性并發(fā)癥之一，國內(nèi)的患病率較高[3]，該病后期可發(fā)展為終末期腎臟病，給國家、社會及患者家庭帶來嚴(yán)重的經(jīng)濟負擔(dān)。糖脈康顆粒/片是基于中醫(yī)基礎(chǔ)理論制成的中藥復(fù)方制劑，常用于氣陰兩虛兼血瘀證為主證的糖尿病，其在降低糖尿病患者尿微量白蛋白和改善氧化應(yīng)激等方面療效確切[4]。因此，本研究收集了糖脈康顆粒/片聯(lián)合常規(guī)降糖藥對比單用常規(guī)降糖藥治療DKD的相關(guān)試驗，采用Meta分析的方法系統(tǒng)評價了糖脈康顆粒/片聯(lián)合常規(guī)降糖藥治療DKD的療效和安全性，以期為臨床合理用藥及建立相關(guān)診療指南提供循證參考。

1 資料與方法

1.1 納入與排除標(biāo)準(zhǔn)

1.1.1 研究類型 國內(nèi)外公開發(fā)表的隨機對照試驗（RCT），半隨機對照試驗（qRCT），提及隨機而未說明具體隨機方法的臨床對照試驗，無論是否采用盲法或?qū)嵤┓峙潆[藏，語種不限。

1.1.2 研究對象 納入符合中醫(yī)[5]或西醫(yī)DKD的診斷及分期標(biāo)準(zhǔn)[6]的患者，年齡≥18歲，性別、種族、國籍及疾病嚴(yán)重程度不限。排除嚴(yán)重心、肝、腎、腦、血液系統(tǒng)等并發(fā)癥或合并其他嚴(yán)重原發(fā)性疾病、精神病患者，妊娠期、意向妊娠或哺乳期婦女，過敏體質(zhì)者。

1.1.3 干預(yù)措施 所有患者均參照中華醫(yī)學(xué)會糖尿病學(xué)分會制定的《中國糖尿病防治指南》進行治療。試驗組患者給予糖脈康顆粒/片聯(lián)合常規(guī)降糖藥，對照組患者給予常規(guī)降糖藥。兩組患者其他輔助治療措施相同。

1.1.4 結(jié)局指標(biāo) 療效指標(biāo)：①血肌酐（Scr）；②血尿素氮（BUN）；③24 h尿蛋白定量；④臨床有效率（參照《中藥新藥臨床研究指導(dǎo)原則（試行）》[7]中的療效判定標(biāo)準(zhǔn)）。

1.1.5 剔除標(biāo)準(zhǔn) ①無法提取相關(guān)數(shù)據(jù)的文獻；②未進行組間均衡性比較的研究；③文中無明確納入與排除標(biāo)準(zhǔn)或納入與排除標(biāo)準(zhǔn)不全的研究；④動物實驗。

1.2 檢索策略

計算機檢索Cochrane圖書館、EMBase、Medline、中國生物醫(yī)學(xué)文獻數(shù)據(jù)庫（CBM）、中國期刊全文數(shù)據(jù)庫（CJFD）、萬方數(shù)據(jù)庫和中文科技期刊數(shù)據(jù)庫（VIP）（包括學(xué)位論文、會議論文等灰色文獻）。檢索時限均為各數(shù)據(jù)庫建庫起至2015年10月。同時，手工檢索納入研究和綜述的參考文獻、國內(nèi)公開發(fā)表的《中國中西醫(yī)結(jié)合雜志》《中醫(yī)雜志》等10余種中醫(yī)藥雜志。英文檢索詞：“Diabetic kidney disease”“Diabetic nephropathy”“Diabetes mellitus”“Diabetes patient”“Chronic complications”“Diabetes mellitus patient”“DN”“DKD”“DM”“Tang Mai Kang”“Tangmaikang，TMK”“Western medicine”“Granule of traditional Chinese medicine”“Tablet of traditional chinese medicine”“Traditional Chinese medicine granules”；中文檢索詞：“糖尿病腎臟病”“糖尿病腎病”“慢性并發(fā)癥”“糖尿病”“糖脈康”“中藥復(fù)方制劑”“中藥顆?！薄爸兴幤瑒薄拔魉帯?。采用主題詞檢索和自由詞檢索相結(jié)合的檢索方式。

1.3 資料提取與質(zhì)量評價

由兩名研究員獨立閱讀文獻，根據(jù)納入與排除標(biāo)準(zhǔn)篩選文獻、提取數(shù)據(jù)，通過交叉核對、討論或與第三位研究員協(xié)商解決可能的分歧。提取內(nèi)容包括：（1）一般資料：題目、作者姓名、文獻發(fā)表時間和來源；（2）研究特征：研究對象的基線特征、干預(yù)措施、劑量、療程、隨訪時間等；（3）方法學(xué)：隨機、盲法、分配隱藏等；（4）結(jié)局指標(biāo)，資料不完全時通過電子郵箱聯(lián)系作者咨詢文獻未提及的數(shù)據(jù)指標(biāo)。根據(jù)Cochrane系統(tǒng)評價員手冊5.1.8[8]提供的評價標(biāo)準(zhǔn)進行質(zhì)量評價：（1）隨機分配方法；（2）分配方案是否隱藏；（3）是否采用盲法；（4）結(jié)果數(shù)據(jù)的完整性；（5）是否選擇性報道研究結(jié)果；（6）其他偏倚來源。在所有條目中，回答“是”表明存在低偏倚風(fēng)險，回答“否”表明存在高偏倚風(fēng)險，回答“不清楚”表明存在不確定偏倚風(fēng)險。

1.4 統(tǒng)計學(xué)方法

采用RevMan 5.3統(tǒng)計軟件進行Meta分析。首先進行各研究結(jié)果間的異質(zhì)性檢驗（檢驗水準(zhǔn)為α＝0.05），若研究結(jié)果間無統(tǒng)計學(xué)異質(zhì)性（P＞0.1，I2＜50%），采用固定效應(yīng)模型分析；反之，則采用隨機效應(yīng)模型分析，同時根據(jù)異質(zhì)性出現(xiàn)的原因進行亞組分析。潛在的發(fā)表偏倚用倒漏斗圖分析。連續(xù)變量采用標(biāo)準(zhǔn)差（MD）作為測量指標(biāo)，分類變量采用（OR）作為測量指標(biāo)，兩者均以95%置信區(qū)間（CI）表示。若異質(zhì)性過大，則僅進行描述性分析。

2 結(jié)果

2.1 文獻檢索結(jié)果與納入研究基本信息

初檢索獲得文獻872篇，其中Medline17篇、EMBase22篇、Cochrane圖書館16篇、CJFD 260篇、CBM 234篇、萬方數(shù)據(jù)庫105篇、VIP 218篇。通過閱讀題目、摘要，根據(jù)納入與排除標(biāo)準(zhǔn)，最終納入9篇（項）RCT[9-17]，均為中文文獻，合計883例患者。納入研究基本信息見表1。

表1 納入研究基本信息Tab 1 General characteristics of the included studies

2.2 納入研究偏倚風(fēng)險評價結(jié)果

7項研究僅提及“隨機”字樣[9-11，13-14，16-17]，2項研究描述了具體的隨機方法[12，15]；8項研究結(jié)局?jǐn)?shù)據(jù)完整[9-15，17]，1項研究存在病例脫落情況，未描述完整[16]；8項研究結(jié)局指標(biāo)報道完全[9-15，17]，1項研究報道不完全[16]；所有研究均未描述具體分配隱藏方案，是否對研究者和受試者施盲，是否對研究結(jié)局進行盲法評價，亦未描述其他偏倚[9-17]。納入研究偏倚風(fēng)險評價見圖1、圖2。

2.3 Meta分析結(jié)果

2.3.1 Scr 6項研究報道了Scr[11-16]，各研究間無統(tǒng)計學(xué)異質(zhì)性（P＝0.42，I2＝0），采用固定效應(yīng)模型分析，詳見圖3。Meta分析結(jié)果顯示，試驗組患者Scr顯著低于對照組，差異有統(tǒng)計學(xué)意義[MD＝－28.48，95%CI（－34.90，－22.06），P＜0.001]。

2.3.2 BUN 5項研究報道了BUN[12-16]，各研究間有統(tǒng)計學(xué)異質(zhì)性（P＝0.08，I2＝51%），采用隨機效應(yīng)模型分析，詳見圖4。Meta分析結(jié)果顯示，兩組患者BUN比較差異無統(tǒng)計學(xué)意義[MD＝－0.85，95%CI（－1.36，－0.34），P＝0.001]。

圖1 偏倚風(fēng)險條形圖Fig 1 Bar graph of bias risk

圖2 偏倚風(fēng)險總圖Fig 2 Summary of bias risk

圖3 兩組患者Scr的Meta分析森林圖Fig 3 Forest plot of Meta-analysis of Scr in 2 groups

圖4 兩組患者BUN的Meta分析森林圖Fig 4 Forest plot of Meta-analysis of BUN in 2 groups

2.3.3 24 h尿蛋白定量 6項研究報道了24 h尿蛋白定量[9-11，13-15]，各研究間有統(tǒng)計學(xué)異質(zhì)性（P＜0.001，I2＝98%），采用隨機效應(yīng)模型分析，詳見圖5。Meta分析結(jié)果顯示，試驗組患者24尿蛋白定量顯著低于對照組，差異有統(tǒng)計學(xué)意義[MD＝－100.26，95%CI（－106.00，－94.52），P＜0.001]。 2.3.4 臨床有效率 4項研究報道了臨床有效率[12，14-15，17]，各研究間無統(tǒng)計學(xué)異質(zhì)性（P＝0.98，I2＝0），采用固定效應(yīng)模型分析，詳見圖6。Meta分析結(jié)果顯示，試驗組患者臨床有效率顯著高于對照組，差異有統(tǒng)計學(xué)意義[OR＝4.88，95%CI（2.56，9.32），P＜0.001]。

圖5 兩組患者24 h尿蛋白定量的Meta分析森林圖Fig 5 Forest plot of Meta-analysis of 24 h urinary protein excretion in 2 groups

圖6 兩組患者臨床有效率的Meta分析森林圖Fig 6 Forest plot of Meta-analysis of clinical effective rate in 2 groups

2.4 敏感性分析

2.4.1 Scr 6項研究[11-16]結(jié)果顯示，各研究間異質(zhì)性過大，故去除存在明顯異質(zhì)性的2項研究后[11，16]，4項研究[12-15]結(jié)果間無統(tǒng)計學(xué)異質(zhì)性（P＝0.42，I2＝0），采用固定效應(yīng)模型合并效應(yīng)量分析，詳見圖7。Meta分析結(jié)果顯示，糖脈康顆粒聯(lián)合常規(guī)降糖藥較單用常規(guī)降糖藥治療DKD可減少患者的Scr，差異有統(tǒng)計學(xué)意義[MD＝－23.02，95%CI（－34.91，－11.13），P＜0.001]。

圖7 去除異質(zhì)性后兩組患者Scr的Meta分析森林圖Fig 7 Forest plot of Meta-analysis of Scr after removal of heterogeneity in 2 groups

2.4.2 24 h尿蛋白定量 6項研究[9-11，13-15]結(jié)果顯示，各研究間異質(zhì)性過大，故去除存在明顯異質(zhì)性的研究[9，13-14]。3項研究[10-11，15]結(jié)果間無統(tǒng)計學(xué)異質(zhì)性（P＝0.56，I2＝0），采用固定效應(yīng)模型分析，詳見圖8。Meta分析結(jié)果顯示，糖脈康顆粒/片聯(lián)合常規(guī)降糖藥較單用常規(guī)降糖藥治療DKD可減少患者24 h尿蛋白定量[MD＝－23.02，95%CI（－34.91，－11.13），P＜0.001]；3項研究[9，13-14]結(jié)果間無統(tǒng)計學(xué)異質(zhì)性（P＝0.94，I2＝0），采用固定效應(yīng)模型分析。Meta分析結(jié)果顯示，糖脈康顆粒/片聯(lián)合常規(guī)降糖藥較單用常規(guī)降糖藥治療DKD可減少患者的24 h尿蛋白定量[MD＝－123.78，95%CI（－130.35，－117.22），P＜0.001]。

圖8 去除異質(zhì)性后兩組患者24 h尿蛋白定量的Meta分析森林圖Fig 8 Forest plot of Meta-analysis of 24 h urinary protein excretion after removal of heterogeneity in 2 groups

2.5 不良反應(yīng)發(fā)生情況

納入研究均未對不良反應(yīng)事件進行描述，因此尚不能評價糖脈康顆粒/片聯(lián)合常規(guī)降糖藥治療DKD的安全性。

3 討論

DKD的發(fā)病機制較為復(fù)雜，互為影響，相互交織，一直是糖尿病并發(fā)癥中討論的熱點之一。多項研究證實，糖基化終末產(chǎn)物的形成、蛋白激酶C活性增高、細胞因子異常表達及氧化應(yīng)激等[18-20]，均可不同程度導(dǎo)致DKD的發(fā)生。針對DKD多元化的發(fā)病特點，中醫(yī)藥的作用靶點較為廣泛、藥效作用覆蓋全面，聯(lián)合化學(xué)藥物合理應(yīng)用，不失為一種有效的治療方法。

糖脈康顆粒/片均是中藥復(fù)方制劑，主要由黃芪、生地、赤芍、丹參及牛膝等組成，具有養(yǎng)陰清熱、活血化瘀、益氣固腎等功效，常用于治療DKD及其并發(fā)癥（氣陰兩虛兼血瘀證），療效顯著。本次系統(tǒng)評價結(jié)果顯示，糖脈康顆粒/片聯(lián)合常規(guī)降糖藥較單用常規(guī)降糖藥治療DKD可減少患者的Scr、24 h尿蛋白定量；在減少DKD患者BUN方面，與單用常規(guī)降糖相當(dāng)。原因可能與糖脈康顆粒/片藥效的不確定性相關(guān)，需要高質(zhì)量的RCT給予證實。糖脈康顆粒/片聯(lián)合常規(guī)降糖藥治療DKD患者臨床有效率顯著高于單用常規(guī)降糖藥。這表明，其可提高患者療效，但基于中醫(yī)證候積分臨床有效率的統(tǒng)計，是否真正體現(xiàn)了病情的變化及預(yù)后，尚未有文獻進一步闡述。因此，尚不能根據(jù)本研究檢測指標(biāo)的客觀統(tǒng)計，得出確定的結(jié)論，這也為今后進一步完善臨床試驗、辨證分析指標(biāo)開拓了思路。

本研究的局限性：僅2項研究描述了具體的隨機方法[12，15]；9項研究均未描述分配方案隱藏、是否對研究者和受試者施盲、是否對研究結(jié)局進行盲法評價，亦未描述其他偏倚[9-17]；1項研究存在病例脫落情況[16]；1項研究報道不完全[16]。因此，考慮到納入研究的局限性，本文所得結(jié)果有夸大試驗組療效的嫌疑，尚需更多高質(zhì)量研究以增加證據(jù)的強度。

綜上所述，糖脈康制劑聯(lián)合常規(guī)降糖藥治療DKD的療效較好，可降低患者的Scr和24 h尿蛋白定量。

[1] Chen L，Magliano DJ，Zimmet PZ.The worldwide epidemiology of type 2 diabetes mellitus--present and future perspectives[J].Nat Rev Endocrinol，2011，8（4）：228.

[2] 中華醫(yī)學(xué)會內(nèi)分泌學(xué)分會.中國成人糖尿病腎臟病臨床診斷的專家共識[J].中華內(nèi)分泌代謝雜志，2015，31（5）：379.

[3] Zhuo L，Zou G，Li W，et al.Prevalence of diabetic nephropathy complicating non-diabetic renal disease among Chinese patients with type 2 diabetes mellitus[J].Eur J Med Res，2013，18（1）：4.

[4] 遲家敏，付凌晨.糖脈康對2型糖尿病患者尿微白蛋白排泄率作用的臨床研究[J].中國新藥雜志，2002，11（1）：89.

[5] 高彥彬，劉銅華，李平.糖尿病腎病中醫(yī)防治指南[J].中國中醫(yī)藥現(xiàn)代遠程教育，2011，9（4）：151.

[6] Mogensen CE.Early diabetic renal involvement and nephropathy[M].Amsterdam：Elsevier science publishers，1987：306.

[7] 鄭筱萸.中藥新藥臨床研究指導(dǎo)原則：試行[S].北京：中國醫(yī)藥科技出版社，2002：233.

[8] Higgins J，Green S.Cochrane handbook for systematic reviews of interventions Version 5.1.0[EB/OL].（2011-03）[2015-11].http：//www.cochrane.org/.

[9] 郭華，董麗，王端.糖脈康顆粒治療糖尿病腎病的療效觀察[J].當(dāng)代醫(yī)學(xué)，2009，15（34）：150.

[10] 祝群，邵雪景，聶玲玲，等.糖脈康聯(lián)合氯沙坦對早期糖尿病腎病微量白蛋白尿及氧化應(yīng)激的影響[J].中國實用醫(yī)藥，2010，5（34）：3.

[11] 周宇，張慶梅，薛萌.糖脈康顆粒對早期糖尿病腎病患者的血清胱抑素C的影響[J].中國實用醫(yī)藥，2010，5（28）：19.

[12] 康力，張玉梅.糖脈康顆粒聯(lián)合卡托普利片治療糖尿病腎病50例[J].中醫(yī)研究，2011，24（9）：16.

[13] 張玉梅，康力.糖脈康顆粒聯(lián)合卡托普利治療糖尿病腎病的臨床隨機對照試驗[J].中國實驗方劑學(xué)雜志，2011，17（18）：251.

[14] 葉洪輝，張志河，陳向明.糖脈康顆粒聯(lián)合卡托普利治療糖尿病腎病的臨床分析[J].國際醫(yī)藥衛(wèi)生導(dǎo)報，2013，19（22）：3 440.

[15] 馬麗.糖脈康治療糖尿病腎病臨床研究[J].河南中醫(yī)，2014，34（5）：888.

[16] 呂娟.糖脈康對早期糖尿病腎病患者炎癥因子表達的影響[J].實用糖尿病雜志，2014，10（6）：18.

[17] 樓天紅，李暉云，于磊.糖脈康片治療早期糖尿病腎病的臨床療效及對氧化應(yīng)激的影響[J].新中醫(yī)，2014，16（5）：145.

[18] Arora MK，Singh UK.Molecular mechanisms in the pathogenesis of diabetic nephropathy：an update[J].Vascul Pharmacol，2013，58（4）：259.

[19] Tavafi M.Complexity of diabetic nephropathy pathogenesis and design of investigations[J].J Renal Inj Prev，2013，2（2）：59.

[20] Tufro A，Veron D.VEGF and podocytes in diabetic nephropathy[J].Semin Nephrol，2012，32（4）：385.

Tangmaikang Preparations Combined with Conventional Hypoglycemic Agents in the Treatment Diabetic Kidney Disease：ASystematic Review

GUO Qiang1，ZHAO Huan2，LEI Xingxing1，LU Yan1，WANG Shengju1，F(xiàn)ANG Wei1，ZU Yizhi1，TANG Xiaomei1，ZHU Ranran1，CHEN Qiu3（1.School of Clinical Medicine，Chengdu University of TCM，Chengdu 610072，China；2.Dept.of Neurology，Affiliated Hospital of Chengdu University of TCM，Chengdu 610072，China；3.Dept. of Endocrinology，Affiliated Hospital of Chengdu University of TCM，Chengdu 610072，China）

OBJECTIVE：To systematically review the efficacy of Tangmaikang tablet combined with conventional hypolycemic agents in the treatment of diabetic kidney disease，and provide evidence-based reference for clinic.METHODS：Retrieved from Medline，EMBase，Cochrane Library，CBM，CJFD，Wanfang Database and VIP，randomized controlled trials（RCT）about Tangmaikang tablet combined with western medicine（test group）versus western medicine alone（control group）in the treatment of diabetic kidney disease were collected.Meta-analysis was performed by Rev Man software after data extraction and quality evaluation. RESULTS：Totally 9 RCTs were included，involving 883 patients.Results of Meta-analysis showed，the clinical effective rate in test group were significantly higher than control group[OR＝4.88，95%CI（2.56，9.32），P＜0.001]，Scr level[MD＝－28.48，95%CI（－34.90，22.06），P＜0.001]and 24 h urinary protein excretion[MD＝－100.26，95%CI（－106.00，－94.52），P＜0.001]，with statistical significance；there was no significant difference in BUN level in 2 groups[MD＝－0.85，95%CI（－1.36，－0.34），P＝0.001].CONCLUSIONS：Tangmaikang granule/tablet combined with conventional hypoglycemic agents has good efficacy in the treatment of diabetic kidney disease，which can reduce patients'Scr and 24 h urinary protein excretion.

Diabetic kidney disease；Tangmaikang granule；Tangmaikang tablet；Systematic review；Eifficacy

R587.1

A

1001-0408（2016）33-4671-04

2015-12-01

2016-09-28）

（編輯：申琳琳）

國家中醫(yī)藥管理局全國名老中醫(yī)藥專家傳承工作室建設(shè)項目（No.國中醫(yī)藥人教發(fā)〔2014〕20號）；國家中醫(yī)藥管理局中醫(yī)藥標(biāo)準(zhǔn)化項目（No.SATCM-2015-BZ〔204〕）

＊醫(yī)師，博士研究生。研究方向：中西醫(yī)結(jié)合治療內(nèi)分泌疾病。電話：028-87766249。E-mail：guoqiang1987@aliyun.com

#通信作者：教授。研究方向：中西醫(yī)結(jié)合治療內(nèi)分泌系統(tǒng)疾病。電話：028-87766249。E-mail：chenqiu1969@163.com

DOI 10.6039/j.issn.1001-0408.2016.33.22