董巧麗

【摘要】凸優(yōu)化是一門有很多抽象概念性質(zhì)的數(shù)學(xué)理論性極強(qiáng)的課程，也是很多學(xué)校計(jì)算數(shù)學(xué)專業(yè)研究生的學(xué)科專業(yè)課.為使計(jì)算數(shù)學(xué)專業(yè)研究生掌握凸優(yōu)化的基本理論與方法并快速參與科研，筆者結(jié)合近幾年的教學(xué)認(rèn)識(shí)和實(shí)踐，根據(jù)凸優(yōu)化的課程特點(diǎn)從五個(gè)方面給出了提升凸優(yōu)化教學(xué)效果的策略，旨在優(yōu)化凸優(yōu)化課程的教學(xué)內(nèi)容，提升教學(xué)效果.

【關(guān)鍵詞】凸優(yōu)化；教學(xué)效果；極大單調(diào)算子；迭代算法

凸優(yōu)化是指目標(biāo)函數(shù)和約束為凸函數(shù)或凸集合的優(yōu)化問題，它在很多學(xué)科領(lǐng)域有廣泛的應(yīng)用，譬如自動(dòng)控制系統(tǒng)、信號(hào)處理、通訊和網(wǎng)絡(luò)、電子電路設(shè)計(jì)、數(shù)據(jù)分析和建模、統(tǒng)計(jì)學(xué)（最優(yōu)化設(shè)計(jì)）、金融和機(jī)器學(xué)習(xí).許多優(yōu)化問題都可以轉(zhuǎn)化成凸優(yōu)化（凸最小化）問題.凸優(yōu)化問題有三方面的優(yōu)勢(shì)：凸優(yōu)化問題的局部最優(yōu)解就是全局最優(yōu)解；很多非凸問題都可以被等價(jià)轉(zhuǎn)化為凸優(yōu)化問題或者被近似為凸優(yōu)化問題（例如壓縮感知問題）；凸優(yōu)化問題的研究較為成熟，當(dāng)一個(gè)具體問題被歸為一個(gè)凸優(yōu)化問題，基本可以確定該問題是可被求解的，因此凸優(yōu)化問題一直是優(yōu)化領(lǐng)域的研究重點(diǎn).基于一階優(yōu)化條件（即費(fèi)馬引理），易于設(shè)計(jì)求解凸優(yōu)化問題的迭代算法，而利用非線性分析工具可以容易地分析方法的收斂性.

目前，國(guó)內(nèi)外很多高校的計(jì)算數(shù)學(xué)專業(yè)開設(shè)凸優(yōu)化課程，目的是使計(jì)算數(shù)學(xué)專業(yè)的研究生掌握凸優(yōu)化的基本理論、算法構(gòu)造和收斂分析技巧.學(xué)生學(xué)完凸優(yōu)化課程后將了解凸優(yōu)化的重要概念性質(zhì)，掌握構(gòu)造基本迭代算法及分析算法收斂性的技巧，可以無(wú)障礙地閱讀凸優(yōu)化理論與算法方面的論文，了解凸優(yōu)化研究的學(xué)術(shù)前沿動(dòng)態(tài).凸優(yōu)化因?yàn)槠鋬?nèi)容具有抽象性、復(fù)雜性、嚴(yán)密性，難學(xué)也難教，而計(jì)算數(shù)學(xué)專業(yè)的研究生如果沒有學(xué)好凸優(yōu)化，沒有開好頭，后繼參與科研也會(huì)受到很大影響.為了更好地提升凸優(yōu)化的教學(xué)效果，下面筆者將從五個(gè)方面出發(fā)詳細(xì)介紹提升教學(xué)效果的建議.

一、充分利用現(xiàn)代教育技術(shù)，提升教學(xué)效果

在課堂中使用現(xiàn)代教育技術(shù)有利于課堂教學(xué)結(jié)構(gòu)、課堂思維訓(xùn)練、課堂操作形態(tài)等方面教與學(xué)的優(yōu)化.首先，凸分析不僅知識(shí)點(diǎn)繁多而且概念抽象，比如，在講解上方圖、極大單調(diào)算子、共軛函數(shù)以及次微分等抽象概念時(shí)，若教師僅僅是從語(yǔ)言的角度講解，學(xué)生很難理解這些抽象定義，但是若教師利用信息技術(shù)向?qū)W生展示這些概念的幾何直觀圖，學(xué)生就會(huì)很快理解這一抽象概念并深刻記憶.其次，凸分析中許多定義、命題、定理和推論都較為冗長(zhǎng)，譬如教材[9]中的定理18.15有9條結(jié)論，命題26.1有一頁(yè)書的內(nèi)容.若將其謄寫在黑板上，不僅會(huì)浪費(fèi)大量時(shí)間，而且在這個(gè)過(guò)程中學(xué)生會(huì)走神、說(shuō)話，最后在一定程度上影響教學(xué)質(zhì)量.而以信息技術(shù)呈現(xiàn)既方便教師講解，也方便學(xué)生學(xué)習(xí).最后，凸分析中很多重要的知識(shí)，也需要信息技術(shù)結(jié)合板書形式的教學(xué).比如在講解鄰近算子時(shí)，教師將鄰近算子的定義以及相關(guān)結(jié)論通過(guò)信息技術(shù)展示，隨后將重要的分析和推導(dǎo)過(guò)程通過(guò)板書的形式給學(xué)生細(xì)講、慢講，讓學(xué)生真正明白結(jié)論的由來(lái).考慮到凸優(yōu)化課程具有內(nèi)容較多但課時(shí)有限的特點(diǎn)，為達(dá)到開設(shè)此課程的目的，教師需要精選一些內(nèi)容（比如最新論文），通過(guò)線上方式分享給學(xué)生，擴(kuò)展學(xué)生的知識(shí)視野，讓學(xué)生盡可能地了解學(xué)術(shù)前沿動(dòng)態(tài).

二、注重新舊知識(shí)的銜接，培養(yǎng)學(xué)生邏輯思維

凸優(yōu)化的前續(xù)課程是迭代分析，學(xué)生在迭代分析課程學(xué)習(xí)中已掌握了非線性算子的基本概念性質(zhì)、不動(dòng)點(diǎn)問題、迭代算法的分析基礎(chǔ)和一些重要引理，尤其是非擴(kuò)張算子不動(dòng)點(diǎn)問題的Krasnosel？Skii-Mann迭代算法、Halpern迭代算法和粘滯迭代算法等經(jīng)典迭代方法和收斂分析，掌握了一些證明技巧.迭代分析也簡(jiǎn)單介紹了凸優(yōu)化問題、單調(diào)包含問題和線性方程組的迭代算法和收斂結(jié)果.凸優(yōu)化課程首先講解凸函數(shù)、（次）微分算子、共軛函數(shù)、鄰近算子、（極大）單調(diào)算子和預(yù)解式的定義性質(zhì)以及費(fèi)馬引理，然后基于這些概念性質(zhì)說(shuō)明（分裂）單調(diào)包含問題、變分不等式問題、鞍點(diǎn)問題和（結(jié)構(gòu)型或約束）優(yōu)化問題等問題與非擴(kuò)張算子不動(dòng)點(diǎn)問題的關(guān)系，進(jìn)而著重介紹Krasnosel？Skii-Mann迭代算法與鄰近算法、Douglas-Rachford分裂方法、Peaceman-Rachford分裂方法、向前向后分裂算法等算法的等價(jià)性.在進(jìn)行算法的收斂性分析時(shí)和學(xué)生回憶迭代分析課程中學(xué)到的相關(guān)基礎(chǔ)知識(shí)和證明技巧，并說(shuō)明方法之間的區(qū)別，比如講解凸優(yōu)化問題的鄰近算法時(shí)，介紹利用次微分算子和預(yù)解式分析收斂性時(shí)得到的結(jié)果不同，前者更好.這樣不僅可以鞏固學(xué)生的舊知識(shí)，也能進(jìn)一步建立起新舊知識(shí)之間的聯(lián)系，加強(qiáng)學(xué)生對(duì)知識(shí)點(diǎn)的掌握，同時(shí)有利于學(xué)生牢固掌握非線性分析和凸優(yōu)化的基本理論與分析方法，建立完備的知識(shí)體系.

三、豐富課程內(nèi)容，開闊學(xué)生視野

凸優(yōu)化和后續(xù)科研銜接緊密，為了盡快進(jìn)入科研狀態(tài)，計(jì)算數(shù)學(xué)專業(yè)研究生不僅需要掌握凸分析教材的內(nèi)容，而且需要擴(kuò)大專業(yè)知識(shí)面，了解學(xué)術(shù)前沿動(dòng)態(tài).為此，教師不僅要將課程所用教材中的重點(diǎn)知識(shí)點(diǎn)著重講解，還需要將有聯(lián)系的知識(shí)在課堂上展示給學(xué)生.比如在講述可微函數(shù)的凸性與梯度的單調(diào)性之間的關(guān)系時(shí)，教師可為學(xué)生介紹函數(shù)滿足凸性及其梯度Lipschitz連續(xù)條件下的一些等價(jià)結(jié)論，通過(guò)這些結(jié)論，讓學(xué)生更好地體會(huì)不同條件下結(jié)論的差異性.教師可將學(xué)術(shù)前沿動(dòng)態(tài)融入課堂.比如在給學(xué)生講解梯度下降算法、鄰近算法、Douglas-Rachford分裂等算法時(shí)，提及方差縮減的隨機(jī)梯度下降算法、隨機(jī)鄰近交替線性極小化算法、隨機(jī)Douglas-Rachford分裂算法等近十年的熱點(diǎn)算法，說(shuō)明這些算法在解決大規(guī)模問題時(shí)的優(yōu)勢(shì)以及在機(jī)器學(xué)習(xí)中的廣泛應(yīng)用；在講述結(jié)構(gòu)單調(diào)包含問題和結(jié)構(gòu)凸優(yōu)化問題的算子分裂方法時(shí)，介紹向后向前分裂方法、Davis-Yin分裂方法、向前—向后—半向前分裂方法、向前-反射向后分裂算法等方法，說(shuō)明這些算法之間的關(guān)系，讓學(xué)生了解分裂算法的最新進(jìn)展；在講解鄰近算法時(shí)，說(shuō)明增廣拉格朗日方法、原始對(duì)偶混合梯度算法、線性交替方向乘子法和Douglas-Rachford分裂等算法都可以看作鄰近算法，并給出推導(dǎo)，以加深學(xué)生對(duì)這些關(guān)系的印象.最后，為使課程內(nèi)容更豐富，教師可以在班級(jí)微信群里面發(fā)送相關(guān)綜述類論文及學(xué)術(shù)報(bào)告視頻，滿足學(xué)生的求知欲.總結(jié)過(guò)去的教學(xué)經(jīng)驗(yàn)，筆者發(fā)現(xiàn)豐富的課程內(nèi)容可以使學(xué)生更快地進(jìn)入科研狀態(tài)，也可以鼓勵(lì)學(xué)生看清問題本質(zhì)，從源頭上進(jìn)行創(chuàng)新.

四、精心布置思考題，提升學(xué)生科研能力

思維和解題過(guò)程密切相關(guān)，著名數(shù)學(xué)教育家波利亞曾說(shuō)：“掌握數(shù)學(xué)意味著什么呢？這就是說(shuō)善于解題，不僅善于解一些標(biāo)準(zhǔn)的題目，而且善于解一些要求獨(dú)立思考的、思路合理、見解獨(dú)到的和有發(fā)明創(chuàng)造的題目.”在課堂上，教師精選一些思考題對(duì)學(xué)生進(jìn)行訓(xùn)練，可以提高學(xué)生的創(chuàng)造性思維能力.比如，在講解鄰近算法時(shí)，讓學(xué)生思考鄰近算法與Krasnosel？Skii-Mann迭代算法、增廣拉格朗日方法、Chambolle-Pock原始對(duì)偶方法和Douglas-Rachford分裂算法的關(guān)系；講對(duì)偶時(shí)，讓學(xué)生推導(dǎo)結(jié)構(gòu)型線性約束優(yōu)化問題的對(duì)偶問題；講包含問題和優(yōu)化問題的關(guān)系時(shí)，給幾類特殊極小化問題，讓學(xué)生利用費(fèi)馬引理思考對(duì)應(yīng)的包含問題.除了課堂上給學(xué)生布置思考題，教師也可以給學(xué)生留些作業(yè)題，比如證明鞍點(diǎn)問題可以轉(zhuǎn)化為結(jié)構(gòu)包含問題，給出約束優(yōu)化問題對(duì)應(yīng)的鞍點(diǎn)問題，將Douglas-Rachford分裂算法應(yīng)用于（兩個(gè)凸集合交集的）凸可行問題，給出收斂性結(jié)果.這樣就可以通過(guò)設(shè)置類似的開放性思考題，啟發(fā)學(xué)生多角度尋找解決問題的方法，不僅使知識(shí)的應(yīng)用有很大的覆蓋面，而且能夠滿足不同層次學(xué)生的求知需求.學(xué)生在解題的過(guò)程中也逐漸學(xué)會(huì)獨(dú)立思考，運(yùn)用知識(shí)解決問題，同時(shí)提高了數(shù)學(xué)思維能力和獨(dú)立搜索文獻(xiàn)的能力.

五、關(guān)心鼓勵(lì)學(xué)生，幫助學(xué)生樹立學(xué)習(xí)數(shù)學(xué)的信心

凸優(yōu)化課程在研究生二年級(jí)上學(xué)期開課，相對(duì)于其他基礎(chǔ)性學(xué)科，本課程采用英文教材授課，且課程含有大量抽象的數(shù)學(xué)專業(yè)概念和性質(zhì)定理，因此有些學(xué)生對(duì)本課程有一些畏難情緒.對(duì)此，教師需要及時(shí)引導(dǎo)學(xué)生，鼓勵(lì)學(xué)生參與課堂討論，以幫助學(xué)生克服畏難情緒.譬如在課堂講授過(guò)程中啟發(fā)學(xué)生思考，并逐漸地增加知識(shí)難度，逐步提升學(xué)生自信心；也可以留些有實(shí)際應(yīng)用背景的數(shù)值實(shí)驗(yàn)，譬如圖像、信號(hào)處理和機(jī)器學(xué)習(xí)中的實(shí)驗(yàn)，讓學(xué)生了解本課程在解決實(shí)際問題時(shí)的重要作用，以激發(fā)學(xué)生的學(xué)習(xí)積極性和熱情.

教師可以在課堂上講一些數(shù)學(xué)名人的故事，比如拉爾夫·泰瑞爾·洛克菲勒（RalphTyrrell Rockafellar），他的博士論文與Jean-JacquesMoreau的相關(guān)研究一起被認(rèn)為是凸分析的奠基性工作.雖然當(dāng)時(shí)哈佛大學(xué)的老師對(duì)凸性和最優(yōu)化沒有什么興趣且洛克菲勒的導(dǎo)師伯克霍夫既不參與研究，也不熟悉這個(gè)課題，但是洛克菲勒卻在這一領(lǐng)域獲得巨大成就，他對(duì)鄰近梯度算法的發(fā)展做出了重要的貢獻(xiàn).教師可以以拉爾夫·泰瑞爾·洛克菲勒的事跡為例，鼓勵(lì)學(xué)生要善于自己發(fā)現(xiàn)問題、提出問題和解決問題，鼓勵(lì)學(xué)生樹立學(xué)習(xí)和掌握凸優(yōu)化課程內(nèi)容的信心.教師還可以介紹年輕優(yōu)化數(shù)學(xué)家印臥濤，他在算子分裂方法、并行和分布式計(jì)算、分散優(yōu)化、壓縮感知和變分圖像處理領(lǐng)域是世界上最有影響力的研究人員之一.他和學(xué)生提出了著名的Davis-Yin分裂方法，對(duì)結(jié)構(gòu)單調(diào)包含問題采取分而治之的策略，對(duì)算子分裂的發(fā)展做出了突破性貢獻(xiàn).由于這些貢獻(xiàn)，他獲得了NSF CAREER獎(jiǎng)、Sloan獎(jiǎng)、晨興應(yīng)用數(shù)學(xué)金獎(jiǎng)、EgonBalas獎(jiǎng)等，目前在阿里巴巴達(dá)摩院工作，主持創(chuàng)建了決策智能實(shí)驗(yàn)室，致力于將優(yōu)化算法應(yīng)用于解決實(shí)際問題.教師還可以向?qū)W生介紹中國(guó)著名優(yōu)化學(xué)者何炳生，他利用普通的大學(xué)數(shù)學(xué)知識(shí)和一般的優(yōu)化原理，以變分不等式為工具做出的一系列出色的工作，給出原始對(duì)偶問題、線性約束優(yōu)化問題等問題與變分不等式的關(guān)系，從而以變分不等式算法出發(fā)，分析了Chambolle-Pock原始對(duì)偶方法、交替方向乘子法等方法的收斂性及參數(shù)選擇，相關(guān)工作得到了國(guó)際同行的高度評(píng)價(jià).通過(guò)介紹這些名人故事，尤其是華人數(shù)學(xué)家在優(yōu)化領(lǐng)域的突出貢獻(xiàn)，鼓勵(lì)學(xué)生不畏艱難，積極進(jìn)取，在優(yōu)化領(lǐng)域做出國(guó)際領(lǐng)先的原創(chuàng)性工作.

結(jié) 語(yǔ)

凸優(yōu)化是計(jì)算數(shù)學(xué)專業(yè)研究生的重要數(shù)學(xué)基礎(chǔ)課程，但是這門課的概念抽象、性質(zhì)定理繁多，因此學(xué)生學(xué)起來(lái)很困難.為提升凸優(yōu)化課程的教學(xué)效果，筆者從教學(xué)內(nèi)容和教學(xué)方法等方面出發(fā)給出了五點(diǎn)建議，以幫助計(jì)算數(shù)學(xué)專業(yè)的研究生掌握凸優(yōu)化的基本理論、構(gòu)造迭代方法和分析技巧，使學(xué)生了解學(xué)術(shù)前沿動(dòng)態(tài)，也為學(xué)生的后續(xù)科研打下堅(jiān)實(shí)的基礎(chǔ)，提高他們發(fā)現(xiàn)問題、提出問題和解決問題的能力.

【參考文獻(xiàn)】

[1]魏倩，白可，金勇，等.面向研究生的凸優(yōu)化課程教學(xué)設(shè)計(jì)與實(shí)踐[J].軟件導(dǎo)刊，2022，21（7）：236-239.

[2]黃宏博，潘淑文.數(shù)據(jù)智能類專業(yè)最優(yōu)化類課程教學(xué)研究[J].高教學(xué)刊，2020（21）：113-115.

[3]李衍杰.誘導(dǎo)式教學(xué)在優(yōu)化與最優(yōu)控制中的運(yùn)用[J].教育教學(xué)論壇，2018（33）：112-114.

[4]宋雯彥.應(yīng)用經(jīng)濟(jì)學(xué)與人工智能結(jié)合的研究生課程設(shè)計(jì)[J].科技視界，2020（27）：18-19.

[5]何松年，張翠杰.迭代分析基礎(chǔ)[M].北京：科學(xué)出版社，2023.

[6]G·波利亞.怎樣解題.[M].涂泓，馮承天，譯.上海：上?？萍冀逃霭嫔?，2002.

[7]李航.統(tǒng)計(jì)學(xué)習(xí)方法（第2版）[M].北京：清華大學(xué)出版社，2019.

[8]BOYDS，VANDENBERGHEL.Convex Optimization[M].London：CambridgeUniversity Press，2004.

[9]BAUSCHKEHH，COMBETTESPL. ConvexAnalysisandMonotoneOperatorTheoryin HilbertSpaces（2nded）[M].NewYork：Springer-Verlag，2017.

[10]RYUEK，YINW.Large-ScaleConvex Optimization：AlgorithmsandAnalysesviaMonotone Operators[M].London：CambridgeUniversity Press，2022.

[11]SéBASTIENB.ConvexOptimization：AlgorithmsandComplexity[M].Netherlands：Publishers ofNowFoundationsandTrends，2015.

[12]MALITSKYY，TAMMK.AForward-BackwardSplittingMethodforMonotoneInclusions withoutCocoercivity[J].SIAMJournalonOptimization，2020（30）：1451-1472.

[13]BRICE？O-ARIASLM，DAVISD.Forward-Backward-HalfForwardAlgorithmforSolvingMonotone Inclusions[J].SIAMJournalonOptimization，2018（28）：2839-2871.

[14]RYUEK.UniquenessofDRSasthe2 OperatorResolvent-SplittingandImpossibilityof3 OperatorResolvent-Splitting[J].Mathematics Programming，2020（182）：233-273.

[15]DAVISD，YINW.AThree-OperatorSplitting SchemeanditsOptimizationApplications[J].Set-ValuedandVariationalAnalysis，2017（25）：829-858.

[16]HEBS，YUANX.AClassofADMM-Based AlgorithmsforThree-BlockSeparableConvex Programming[J].ComputationalOptimizationand Applications，2018（70）：791-826.

[17]TIBSHIRANIR.RegressionShrinkageand SelectionViatheLasso[J].JournaloftheRoyal StatisticalSociety：SeriesB（Methodological），1996（58）：267-288.

[18]XING-JUCAI，KEGUO，F(xiàn)ANJIANG，etal. TheDevelopmentsofProximalPointAlgorithms[J]. JournaloftheOperationsResearchSocietyofChina，2022（10）：197-239.