摘要：在神經(jīng)連接模式和社會(huì)網(wǎng)絡(luò)分析等環(huán)境中，估計(jì)精度矩陣是一個(gè)很重要問(wèn)題. 在高維條件下，基于固定維數(shù)的經(jīng)典方法和結(jié)果不再適用，穩(wěn)定準(zhǔn)確地估計(jì)精度矩陣問(wèn)題變得尤為重要. 為了估計(jì)高維精度矩陣，采用了自適應(yīng)約束l1范數(shù)最小化的精度矩陣估計(jì)方法，給出了精度矩陣在一類(lèi)矩陣范數(shù)損失下的收斂速率，并用集中不等式進(jìn)行詳細(xì)的證明.

關(guān)鍵詞：精度矩陣；集中不等式；收斂速率

中圖分類(lèi)號(hào)：O212"" 文獻(xiàn)標(biāo)志碼：A

Proving Convergence Rateof Precision Matrix with Centralized Inequality

Abstract：In the context of neural connection patterns and social network analysis， estimating precision matrix is an important issue. Under high-dimensional conditions， the classical methods and results based on fixed dimensions are no longer applicable， and the problem of stable and accurate estimation precision matrix becomes particularly important. In order to estimate the high-dimensional precision matrix， this paper adopts the precision matrix estimation method with adaptive constraint l1 norm minimization， and gives the convergence rate of the precision matrix under the norm loss of a class of matrices， and uses concentration inequalities to prove it in detail.

Key words：precision matrix; centralized inequality; convergence rate

0 引言

精度矩陣是協(xié)方差矩陣的逆矩陣. 在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中，精度矩陣用于描述變量之間的相關(guān)性和因果關(guān)系. 近年來(lái)，精度矩陣在社交網(wǎng)絡(luò)[1]、在線(xiàn)營(yíng)銷(xiāo)[2]、醫(yī)療數(shù)據(jù)等領(lǐng)域中應(yīng)用廣泛，學(xué)者們提出了許多估計(jì)精度矩陣的方法. 文獻(xiàn)[3]提出了估計(jì)精度矩陣的懲罰似然方法，對(duì)精度矩陣進(jìn)行了正定的稀疏和收縮估計(jì). 文獻(xiàn)[4]通過(guò)對(duì)樣本協(xié)方差矩陣進(jìn)行條帶化或逐漸減小，證明出估計(jì)量在算子范數(shù)中是一致的，并具有明確的收斂速率. CAI T等[5]在2011年提出了一種估計(jì)稀疏逆協(xié)方差矩陣的約束l1最小化方法，稱(chēng)為CLIME， 并給出了不同范數(shù)下的收斂速率.

其中0≤qlt;1，Mn，p和cn，p都是正值，且隨著n和p的增大而增大，M1是一個(gè)給定的常數(shù).特別的，當(dāng)q=0時(shí)，矩陣[WTHX]Ω是強(qiáng)稀疏的，即矩陣Ω的每一行和每一列上最多有cn，p個(gè)非零元素.

在給定的參數(shù)空間Uqcn，p，Mn，p下，研究了自適應(yīng)約束l1范數(shù)最小化的精度矩陣估計(jì)方法（Adaptive Constrained l1- minimization for Inverse Matrix Estimation），簡(jiǎn)稱(chēng)為ACLIME[6].該估計(jì)量能適應(yīng)單個(gè)條目的可變性，具有良好的性能.

定理1[7]（Bernstein不等式） 設(shè)X1，X2，…，Xn為獨(dú)立零均值的次指數(shù)隨機(jī)變量，則存在絕對(duì)常數(shù)c，使得對(duì)任意的t≥0，有

推論1[7] 設(shè)X1，X2，…，Xn為獨(dú)立零均值的次指數(shù)隨機(jī)變量，則存在絕對(duì)常數(shù)c，使得對(duì)任意的t≥0，有

1 方法

2011年，CAI[5]通過(guò)CLIME方法解決以下優(yōu)化問(wèn)題：

當(dāng)log p=On時(shí)，存在絕對(duì)常數(shù)C，有

與第三步的證明類(lèi)似，分兩種情況進(jìn)行討論.

當(dāng)logp≤（n－1）/［（ln2）2δ2］時(shí)，有

通過(guò)引理1看到，式（1）和（2）中的約束條件自適應(yīng)于單個(gè)條目的可變性，而不是對(duì)所有條目都使用同一個(gè)上界λn. 使用ACLIME方法需要估計(jì)出Σ和Ω的對(duì)角線(xiàn)元素σii和ωjj，其中σii可以通過(guò)樣本方差σ*ii進(jìn)行估計(jì)，但是估計(jì)ωjj是困難的. 故使用ACLIME估計(jì)精度矩陣需要有兩個(gè)步驟.

步驟一 估計(jì)ωjj. 已知σiiωjj≤（σii∨σjj）ωjj和σii∨σjjωjj≥1. 故引理1中不等式的左邊可以松弛為

2 收斂速率

本節(jié)研究ACLIME估計(jì)量的理論性質(zhì)，并在稀疏精度矩陣Uqcn，p，Mn，p上進(jìn)行討論. 在一定概率下，ACLIME估計(jì)量自適應(yīng)達(dá)到了一定的收斂速率.

證明 定義

其中使用了下面的不等式：對(duì)于任意的a，b，c∈R，有

引理4 設(shè)矩陣A是一個(gè)對(duì)稱(chēng)矩陣，那么對(duì)于所有的1≤w≤∞，有

由引理3，能夠得到下式成立的概率大于An，

證明 要討論對(duì)于所有的1≤w≤SymboleB@，矩陣范數(shù)期望的上確界，由引理4可知，相當(dāng)于只需要討論w=1時(shí)的情況. 因?yàn)閺亩ɡ?的證明中可以得到

成立的概率大于An，故

成立的概率大于An. 由引理1可知，矩陣Ω滿(mǎn)足式（3）的概率大于An，通過(guò)與定理2同樣的討論得到

3 結(jié)語(yǔ)

精度矩陣能夠用來(lái)衡量變量之間的相關(guān)性，以及一個(gè)變量對(duì)另一個(gè)變量的預(yù)測(cè)能力. 本文是在高維空間中進(jìn)行討論的，首先研究了估計(jì)精度矩陣的自適應(yīng)約束l1范數(shù)最小化方法."該方法自適應(yīng)于單個(gè)條目的可變性，并且可以通過(guò)逐列的方法進(jìn)行求解. 其次，本文通過(guò)集中不等式證明了ACLIME估計(jì)量在一類(lèi)矩陣范數(shù)損失下的收斂速率.

參考文獻(xiàn)：

[1] 王新棟，于華，江成.社交網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)檢測(cè)的積極效應(yīng)問(wèn)題[J].中國(guó)科學(xué)院大學(xué)學(xué)報(bào)，2019，36（3）：425-432.

[2] FAN J Q，LIAO Y，LIU H.An overview of the estimation of large covariance and precision matrices[J].The Econometrics Journal，2016，19 （1）：1-32.

[3] YUAN M，LIN Y.Model selection and estimation in the Gaussian graphical model[J].Biometrika，2007，94（1）：19-35.

[4] PETER B，ELIZAVETA L.Regularized estimation of large covariance matrices[J].The Annals of Statistics，2008，36（1）：199-227.

[5] CAI T，LIU W D，LUO X.A Constrained l1 Minimization Approach to Sparse Precision Matrix Estimation[J].Journal of the American Statistical Association，2011，106（494）：594-607.

[6] CAI T，LIU W D，ZHOU H.Estimating Sparse Precision Matrix：Optimal Rates of Convergence and Adaptive Estimation[J].The Annals of Statistics，2016，44（2）：455-488.

[7] VERSHYNIN R.High-Dimensional Probability.An Introduction with Applications in Data Science[M].Cambridge：Cambridge University Press，2010.

[8] LIU W D，LUO X.Fast and adaptive sparse precision matrix estimation in high dimensions[J].Journal of Multivariate Analysis，2015，135：153-162.

[9] HUANG X D，LI M M.Confidence intervals for sparse precision matrix estimation via Lasso penalized D-trace loss[J].Communications in Statistics - Theory and Methods，2017，46（24）：12299-12316.[ZK）]

[10] WU Z Y，WANG CH，LIU W D.A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity[J].Annals of the Institute of Statistical Mathematics，2022，75（4）：619-648.

[11] HADDOUCHE A M，F(xiàn)OURDRINIER D.Truncated Estimators for a Precision Matrix[J].Mathematical Methods of Statistics，2024，33（1）：12-25.

[12] DONG W，LIU H Z.Distributed Sparse Precision Matrix Estimation via Alternating Block-Based Gradient Descent [J].Mathematics，2024，12（5）：646.

[13] ZHU M M，JIANG J W，GAO W F.A fast ADMM algorithm for sparse precision matrix estimation using lasso penalized D-trace loss[J].Egyptian Informatics Journal，2024，25：100425.