楊海亮 香港大學

當前，人工智能（Artificial Intelligence，AI）和大數(shù)據(jù)（Big Data）覆蓋了我們日常生活的方方面面，在保險領域的應用也更加頻繁。本文將以三篇文章作為例子，簡要地介紹人工智能應用于保險和精算領域的基本觀點和主要內容。首先，來談談人工智能的基本概念，并試圖將人工智能應用到解決我們感興趣的問題之中。接下來文章要介紹的三個例子主要是關于人工智能和機器學習（Machine Learning，ML）如何應用于保險和精算領域中。第一個例子和第二個例子側重于方法的改進，第三個例子側重于解決保險實際問題。

一、AI的概念

引用Patrick H.Winston對AI的定義：由約束支持的算法，通過支持針對將思維、感知和行動聯(lián)系在一起的循環(huán)模型的表示形式來公開（Algorithms Enabled by Constraints Exposed by Representations That Support Models Targeted at Thinking Perception Action）。所以，AI真正做的事情是借助計算機程序的思維來解決問題。也有人用一些通俗的解釋去定義AI。例如，有一種簡單的說法認為，AI是一種自己能夠自己讀寫的軟件。我們知道，在傳統(tǒng)計算機科學中，人們必須寫一個程序，而AI可以理解為是計算機自己編寫程序。

其實，很多年前AI的概念就被提出了。但是因為各種各樣的原因，例如計算機處理能力較弱，以及數(shù)據(jù)的可用性等，AI一直沒有發(fā)展起來?，F(xiàn)如今，因為計算機性能的提高和大數(shù)據(jù)時代的推進，AI發(fā)展得很快。AI領域的專家，美國麻省理工大學教授David Cox將AI的發(fā)展分為三個階段：一是狹隘人工智能（Narrow AI），這是筆者研究所涉及的主要內容，也是后文中要重點提到的；二是廣義人工智能（Broad AI），現(xiàn)如今AI正往這個階段發(fā)展；三是通用人工智能（General AI），這是革命性的，是未來的發(fā)展方向。David Cox教授不是統(tǒng)計學家，而是一名計算機科學家。現(xiàn)如今，AI很強大。如果強大的事物為我們所用，那將對我們有很大的幫助；但如果它們與我們對抗，那局面將會變得很糟糕。正如Forbes Tech（2015）提到的“深度學習和機器智能將吃掉整個世界”，這就涉及了通用人工智能。

二、深度學習的概念及方法

（一）深度學習的概念

本文重點要討論的內容就是深度學習（Deep Learning），這是機器學習（Machine Learning，ML）的一個分支。機器學習是AI的一部分，AI是更廣義的概念，機器學習是AI中一個特別的領域。

在百科全書中，機器學習的定義是：機器學習將清晰的東西，也就是數(shù)據(jù)，轉化為數(shù)字并找到模式。這是定義機器學習的一種普遍的方式。Samuel將機器學習定義為賦予計算機學習能力而無需明確編程的研究領域。還有一種通俗的方法定義機器學習：機器學習是軟件2.0，而傳統(tǒng)編程被稱為軟件1.0。機器學習是人工智能的主要驅動因素。比如，下面這個通俗的例子有助于大家更好地理解機器學習。

有一個函數(shù)f(x)，給定f(x)，通過函數(shù)f(x)想要求出y。在傳統(tǒng)計算機技術中，需要對函數(shù)f(x)進行編程，輸入x，經(jīng)過運行程序后輸出y；而在機器學習中，可以將所有的x和y輸入進去，計算機將給出函數(shù)f(x)的表達式。當然，如果要讓計算機準確給出函數(shù)f(x)的表達式，則需要輸入大量的數(shù)據(jù)。除非這個表達式是非常簡單的，否則很難用少量數(shù)據(jù)去得到準確的函數(shù)表達式。這就是需要大數(shù)據(jù)的原因。

（二）機器學習的概念

有好幾種機器學習的方法，當下最流行的是監(jiān)督式學習（Supervised Learning）。下面要介紹的三個例子中的第一個例子，就采用了監(jiān)督式學習。第二個例子試圖提出，即使在深度學習的領域中也有一些非平凡的數(shù)學，有些問題的本質就是數(shù)學問題。第三個例子所采用的方法是無監(jiān)督式學習（Unsupervised Learning）。所謂監(jiān)督式學習是指需要提供數(shù)據(jù)，也就是給定輸入和輸出內容，機器會猜出輸入和輸出之間的關系。無監(jiān)督式學習是指雖然知道x，但是不知道y，機器試圖分析數(shù)據(jù)，找到一些有用的東西或想要的信息。

另一個現(xiàn)在很流行的機器學習方法叫做強化學習（Reinforcement Learning）。也許有些人對強化學習很熟悉。強化學習把學習看作試探評價的過程：智能體（Agent）選擇一個動作（Action）用于環(huán)境；環(huán)境接受該動作后狀態(tài)發(fā)生變化，同時產(chǎn)生一個強化信號（Reward）反饋給智能體；智能體根據(jù)強化信號和環(huán)境的當前狀態(tài)再選擇下一個動作。選擇的原則是使受到獎勵的概率增大，目標是獲得最大的獎勵。這類似在數(shù)學、金融或保險中的成本函數(shù)或者利潤函數(shù)，目標是最大化利潤或最小化成本。實際上，這在某種程度上與求解最優(yōu)化問題非常相似。

還有一些其他的機器學習方法，例如轉換學習（Transform Learning）以及自監(jiān)督學習（Self-Supervised Learning）。自監(jiān)督學習方法是屬于通用人工智能（General AI）方向的。

（三）機器學習的發(fā)展歷程

接下來回顧人工智能和機器學習應用于精算科學的研究進展。最近，有很多關于這個領域的論文投稿給了期刊的精算科學板塊。因為這些研究與保險和精算密切相關。但本文并沒有把所有文章都做一個全面的回顧。Ronald Richman去年在Annual of Actuarial Science上發(fā)表了一篇文章，題為“AI in Actuarial Science——a Review of Recent Advances”。Ronald Richman與Wuthrich的合作非常密切，他們在這方面做了很多工作。這篇文章很有趣，文章的第一部分就是關于AI和ML的介紹。從這篇文章可以看出，ML可以用來解決很多精算科學的問題，例如非壽險定價、IBNR（Incurred But not Reported）和死亡率預測等。

三、機器學習用于最優(yōu)保險策略

第一個例子是筆者和Zhuo Jin及Xiang Cheng合作的一篇文章，于2020年發(fā)表在ASTIN Bulletin，題目叫做“Optimal Insurance Strategies:A Hybrid Deep Learning Markov Chain Approximation Approach”。這篇文章研究的是最優(yōu)保險問題，很多中國精算科學領域的學者在研究該問題。

在過去的幾十年中，廣泛的研究致力于使用分析技術為各種離散時間和連續(xù)時間模型尋找最優(yōu)保險策略。對保險公司來說，由于保險產(chǎn)品的性質，保險公司傾向于積累相對大量的現(xiàn)金或現(xiàn)金等價物，并將盈余投資于金融市場，以支付未來的索賠，避免發(fā)生財務破產(chǎn)。甚至，有時很多政府可能不會允許保險公司破產(chǎn)。為了優(yōu)化現(xiàn)金流管理，保險公司的決策者將管理風險分擔、投資業(yè)績和股利支付方案。因此，如何制定再保險、投資和分紅策略對保險業(yè)至關重要。

因為保險的特殊性，保險公司需要籌集更多的資本。為了增加資本，一條途徑是從資本市場募資（比如上市融資）；另一條途徑就是最大化公司利潤，可以理解為提高公司的價值。在很多文章中，人們傾向于設定簡單的假設，以便經(jīng)過簡單的數(shù)學運算得出結論，從而得到最大化的公司利潤。在本質上，這就是一個控制問題，可以用動態(tài)規(guī)劃（Dynamic Program）原理，將問題簡化為求解HJB方程。當然，動態(tài)規(guī)劃的數(shù)值解是個很大的課題。所以，還有另一種方法去求解最優(yōu)化問題，也就是數(shù)值方法。

這篇文章彌補了現(xiàn)有文獻中的不足，運用機器學習方法建立模型，建立一個更高效、計算速度更快、更準確的方法。這是文章的基本思想。前文分析過，我們要解決的問題實際上是控制問題，可以使用動態(tài)規(guī)劃原理，求解HJB方程。眾所周知，在求解動態(tài)規(guī)劃問題時，如果維度很高，則很難求出解析解。在離散化的過程中，通常要選取劃分點并分成很多小區(qū)間。但是，離散化會提高數(shù)據(jù)的維度。如果本身數(shù)據(jù)的維度較高，則離散化后的維度會更大。例如，本來是100維，離散化分解為x軸和權重軸，維度會變成100的平方。當維度太大時，計算機會提示無法計算，也就是無法求出解析解。

維度通常來源于狀態(tài)變量和控制變量。一般可以用資產(chǎn)作為控制變量，比如投資的股票、保險、股息等。那么，解決高維度問題時應如何求出解析解呢？文章試圖采用深度學習的方法來求解這個問題，使計算速度更快。這個方法叫做“混合深度學習馬爾可夫鏈逼近方法”（簡稱“馬爾可夫鏈逼近法”）。在非常一般的假設下，如假設目標函數(shù)具有凹性，建立深度神經(jīng)網(wǎng)絡，就可以直接逼近最優(yōu)控制和值函數(shù)。

那么，為什么把這種方法稱為“監(jiān)督式學習”呢？因為每次計算時都設定了初始值。這種方法具有一些優(yōu)點，可以提高數(shù)值計算結果的準確性。在傳統(tǒng)的逼近方法中，一般采用分段常數(shù)控制來逼近最優(yōu)控制?？刂撇呗缘木热Q于網(wǎng)格的密集程度。相反，在神經(jīng)網(wǎng)絡方法中，允許控制策略在連續(xù)范圍內取值，這就克服了在具有顯著不同尺度的控制空間中有效選擇精度的困難。此外，馬爾可夫鏈逼近法為確定搜索最優(yōu)控制的合理初始有限范圍提供了一種相當有效的方法，顯著提高了效率和精度，但不會增加太多的計算量。

假設保險公司的盈余服從擴散過程。這個模型很簡單，可以算出保險公司最優(yōu)再保險策略和股息分配策略。

再保險策略?（x）=min{1,5x}表示，如果盈余小就不買再保險，如果盈余大就買再保險。

股息分配策略u（x）=1{x≥0.4283}表示，如果盈余等于或超過0.4283，那么超出盈余的部分全部支付股息，如果盈余小于0.4283則不支付股息。

值函數(shù)

是一個近似形式。

因為有近似形式，就可以比較上述方法所得出的結果與近似值是否相近，以檢驗結果是否正確。圖1中曲線是采用馬爾可夫鏈逼近法的計算結果。其中，橫軸為盈余，縱軸為保險公司的價值，initial是初始值?？梢钥吹剑?jīng)過多次迭代計算，最終的計算結果將收斂于最優(yōu)解（Optimal）。

圖1 值函數(shù)的收斂性

圖2是再保險策略的收斂情況。其中，橫軸為盈余，縱軸為再保險比例?？梢钥闯?，初始值initial是個常數(shù)，盈余小的時候再保險比例低。隨著盈余提高，購買再保險的比重增加。在多次迭代之后，計算結果同樣收斂。

圖2 再保險策略的收斂性

圖3是股息分配策略的收斂情況。其中，橫軸為盈余，縱軸為股息分配。初始值initial也是個常數(shù)。這張圖中的計算結果可以看出，股息的分配是跳躍的，即當保險公司的盈余到達某個數(shù)值之后，會將多出來的盈余全部以股息支付出去。當然，計算結果也是收斂的。

圖3 股息分配策略的收斂性

四、收斂性的證明

第二個例子是來自2021年筆者發(fā)表在Insurance:Mathematics and Economics上的文章，題目為“A Hybrid Deep Learning Method for Optimal Insurance Strategies:Algorithms and Convergence Analysis”。這篇文章跟前一篇文章要解決的問題是一樣的，但這篇文章考慮了收斂問題。在學術研究中，結論是需要采用嚴密的數(shù)學推理去證明的。因為，如果只采用了個例進行證明，是不夠嚴謹?shù)?，可能會被學者們批判，認為只在這個例子中該結論是可行的，但是換在其他情形下就不適用了。所以，一般都需要從數(shù)學上去證明方法的收斂性。

這篇文章使用的方法與前一篇文章相似，在此不再贅述。與之前的研究不同的是，這篇文章在馬爾可夫鏈逼近法確定的有界區(qū)域內，采用了隨機逼近法搜索神經(jīng)網(wǎng)絡的最優(yōu)參數(shù)。隨機逼近是一類迭代方法，通常用于尋根問題或優(yōu)化問題。羅賓斯—蒙羅算法就是一種解決尋根問題的方法，是由赫伯特·羅賓斯和薩頓·蒙羅于1951年提出的，其中的函數(shù)用期望值表示。在構造馬爾可夫鏈逼近的基礎上，選擇適當?shù)牟逯甸g隔，得到分段常數(shù)插值。再利用普羅霍羅夫弱收斂定理，得到了剩余過程的收斂性，并可以證明值函數(shù)的收斂性。在統(tǒng)計文獻中，已經(jīng)有很多關于隨機逼近收斂性的研究，只需要將其應用就可以了。除此之外，文章中還討論了收斂速度等相關問題。

五、檢測欺詐

第三個例子是2021年筆者發(fā)表在Journal of Risk and Insurance上的文章，題目叫做“Insurance Fraud Detection with Unsupervised Deep Learning”。在保險經(jīng)營中，檢測欺詐是一個重要的問題，卻不是一件容易的事情。在保險行業(yè)甚至其他金融行業(yè)，檢測欺詐行為都是一項重要且具有挑戰(zhàn)性的任務。保險業(yè)越來越多地使用現(xiàn)代技術，使用電腦來設置各種項目，用互聯(lián)網(wǎng)的方式開展業(yè)務。這顯然便于業(yè)務的拓展，也更加國際化，尤其是對于大公司而言。在這樣電子化的情況下，由于動態(tài)欺詐行為的復雜性和巨大的運營成本，傳統(tǒng)的審計和檢查使得檢測任務變得不切實際，需要耗費大量人力和財力。

已有一些文章使用機器學習來幫助或處理這個問題，并提出了一種變異重要性方法（Variable Importance Methodology），這個方法不僅可以檢測欺詐，還可以找到重要影響因素，發(fā)現(xiàn)究竟是哪些因素發(fā)揮了作用。文章中所使用的是無監(jiān)督學習方法，主要的原因是考慮到保險業(yè)務的性質，數(shù)據(jù)可能沒有標簽（Label）。這意味著，會不知道哪些保單涉及了欺詐。這里用到的無監(jiān)督學習方法被稱為自動編碼（Autoencoder），包含兩個步驟，一是編碼（Encode），二是解碼（Decode）。編碼是指把數(shù)據(jù)轉換成計算機可以處理的數(shù)據(jù)集，然后計算機用神經(jīng)網(wǎng)絡或者深度學習的方法來處理這些數(shù)據(jù)。計算機會輸出一個值，再通過解碼轉換成能理解的形式。數(shù)學形式是g(f(x))=r(x)。其中，原始數(shù)據(jù)是x，編碼函數(shù)（Encoder Function）是f，解碼函數(shù)（Decoder Function）是g。機器學習的數(shù)據(jù)是f(x)，通過解碼函數(shù)g就可以得到輸出值r(x)。圖4是編碼和解碼過程的示意圖，左半邊是編碼過程，右半邊是解碼過程。

圖4 自動編碼的架構

這篇文章用到了兩個激活函數(shù)，ReLu函數(shù)和tanh函數(shù)。

為什么選這兩個激活函數(shù)呢？了解機器學習的學者都知道，有很多參考資料都會給出相關的建議，建議在什么情形下適合采用什么激活函數(shù)。學者們在進行學術研究時，也應該知道采用哪個激活函數(shù)。tanh激活函數(shù)適用于編碼及解碼層中，而ReLu激活函數(shù)適用于輸出層中。圖4中描繪的自動編碼包括了四個隱藏層（其中包含了輸出層），x表示重構層，表示最終輸出層（第四隱藏層）中的重構輸入。

用于訓練自動編碼的損失函數(shù)是均方誤差方程，其目的是用于基于均方誤差損失的隨機梯度優(yōu)化。

這篇文章還用了變分自動編碼（Variational Autoencoder，VAE）方法。VAE是一種概率模型，通過對編碼器進行正則化，從訓練數(shù)據(jù)中提取關鍵屬性，從而生成有意義的樣本。通?？梢允褂萌齻€具有特定特征的數(shù)據(jù)集對所提出的方法進行測試。這些數(shù)據(jù)集捕捉了真實的保險數(shù)據(jù)，特別是在缺乏訓練輸出標簽的情況下。由于可靠數(shù)據(jù)的可用性有限，該方法具有出色的性能。它可以確定欺詐的關鍵驅動因素，并在進行排名后納入可變重要性。該方法在欺詐檢測方面的效率、可行性和實用性證明，其在未來金融和保險業(yè)中具有廣泛的應用潛力。

如何使用自動編碼（Autoencoder，AE）或變分自動編碼（VAE）進行保險欺詐的分類呢？與AE不同，VAE提供了更廣泛的欺詐分類方法。圖5是AE中重構誤差的分布。其中，橫軸是重構誤差，縱軸是概率；紅色是保險欺詐，綠色是未識別的非欺詐。從圖5中可以看出，高重構概率涉及非欺詐實例，而低重構概率涉及欺詐異常。

圖5 AE重構誤差分布

圖6列舉了在識別保險欺詐過程中的重要變量。其中，縱軸是平均重構誤差，橫軸是各個表示欺詐驅動因素的變量。從中可以看到，輸入變量中的地理位置、婚姻狀況和投保人的受教育程度是欺詐的三個最主要的驅動因素。

圖6 保險欺詐驅動因素的重要性