吳培良,王天成,金鑫龍,閆鵬宇,張云川,陳雯柏,毛秉毅,高國偉

(1.燕山大學 信息科學與工程學院,河北 秦皇島 066004;2.河北省計算機虛擬技術與系統(tǒng)集成重點實驗室,河北 秦皇島 066004;3.上海工業(yè)自動化儀表研究院有限公司,上海 200233;4.北京信息科技大學 自動化學院,北京 100192)

0 引 言

隨著人口老齡化的加劇和用工成本的上漲,家庭服務機器人的市場需求在不斷擴大。在2021年的德國國際機器人聯(lián)合會(International Federation of Robotics)發(fā)表的世界機器人-服務類機器人的報告中指出:全球市場在專業(yè)型服務機器人領域的營業(yè)額已經(jīng)達到67億美元,同比過去的2020年增長率可達到12%;專業(yè)性服務機器人中細分的家居服務機器人的營業(yè)額同比增長可達到16%,累計44億美元[1]。由此可見,家庭服務機器人擁有迅猛的發(fā)展勢頭和巨大的市場前景。

然而,當前服務機器人的智能化程度還不能夠滿足室內(nèi)場景下人機交互的需求,主要原因為當前的環(huán)境信息表示方法無法使機器人產(chǎn)生對家庭環(huán)境的深入認知。目前,常用的環(huán)境信息表示方法有謂詞邏輯表示法[2]、產(chǎn)生式規(guī)則表示法[3]和語義網(wǎng)本體表示法[4]。這些環(huán)境信息表示方法努力增強了對環(huán)境信息的表達,但是對信息記錄的同時,忽略了各信息之間的關系,使得機器人在使用已獲取的信息時存在一定的困難,導致其無法智能化地執(zhí)行服務任務。例如,機器人要執(zhí)行“倒垃圾”任務,那么它不僅需要知道垃圾與垃圾桶的位置信息,還需要根據(jù)它們的功能來判斷它們與任務之間的關聯(lián)。

近年來,知識圖譜的研究受到越來越多的關注。知識圖譜的研究價值集中地體現(xiàn)在它是實現(xiàn)認知智能的基礎?！袄斫狻焙汀敖忉尅笔菣C器認知智能的兩個核心能力,二者均與知識圖譜有著密切關系[5]?！袄斫狻币曌鹘臄?shù)據(jù)(包括文本、圖片、語音、視頻等數(shù)據(jù))到知識圖譜中的實體、概念、屬性之間映射的過程。這一過程的本質(zhì)就是將知識圖譜中的知識與問題或者數(shù)據(jù)相關聯(lián)。有了知識圖譜,機器有望可以重現(xiàn)人類的這種理解與解釋的過程。

當前,研究人員已經(jīng)針對國防、能源、金融等領域展開知識圖譜研究,但針對家庭服務機器人的領域知識圖譜構(gòu)建方面的研究十分稀少。為此,該文提出了一種家庭服務領域知識圖譜的自動化構(gòu)建方法?；谏疃葘W習的神經(jīng)網(wǎng)絡框架實現(xiàn)場景分割,獲取家庭場景中實體的語義信息;基于知識圖譜的共享性與拓展性構(gòu)建知識圖譜,實現(xiàn)機器人的推理功能。通過知識圖譜領域知識與家庭服務場景機器人的場景分割識別邏輯相結(jié)合,完成交叉學科跨領域知識運用,進一步提高家庭服務機器人在感知與認知部分的可靠性與適應性。

1 相關研究

1.1 知識圖譜與環(huán)境信息表達

2012年,知識圖譜(Knowledge Graph)的概念由Google公司正式提出,旨在實現(xiàn)更智能的搜索,并且于2013年后開始在學術和業(yè)界普及,在智能問答[6]、智能推薦[7]、反欺詐[8]等領域中發(fā)揮重要作用。由于其出色的環(huán)境信息表達能力,在其它領域知識圖譜也得到了廣泛應用。在自動駕駛領域,自動駕駛場景的實體及其關系表示通過知識圖譜構(gòu)建,生成的場景語義網(wǎng)絡可用于實體預測的任務,從而提高駕駛過程中對于周邊場景的理解[9];在圖像遙感領域,利用遙感知識圖譜推理與深度數(shù)據(jù)學習的融合,來提升遙感影像的解譯性能[10];在社會交通領域,基于開源數(shù)據(jù)構(gòu)建交通知識圖譜和事理圖譜,利用自然語言處理技術對網(wǎng)絡文本進行分析,從而實現(xiàn)知識圖譜對于網(wǎng)絡交通事件說明的識別[11]。

由此可知,知識圖譜擁有良好的環(huán)境信息表達能力,能夠幫助智能體理解環(huán)境中實體之間的關系。對于家庭服務領域,知識圖譜可以幫助機器人更好地理解用戶、實體、服務任務之間的關系,使得其可以更加準確地完成有關服務任務的邏輯推理。

1.2 室內(nèi)場景識別

一般地,家庭服務機器人通過攝像設備進行信息采集,通過對于場景圖片的處理來獲取場景的物品參數(shù)。如何對場景圖片進行快速有效的信息抽取,是亟需解決的重要環(huán)節(jié)。目前常用的方法主要有基于物品識別實現(xiàn)場景信息匯總以及基于場景分割實現(xiàn)場景物品分模塊識別。其中,基于物品識別實現(xiàn)場景信息匯總可用的方法常為級聯(lián)分類器框架[12]、卷積神經(jīng)網(wǎng)絡[13]以及基于回歸的YOLO(You Only Look Once)算法[14]。基于場景分割實現(xiàn)場景物品分模塊識別則是采用神經(jīng)網(wǎng)絡模型進行深度學習。

在家庭場景中,實體的形態(tài)特征在畫面中因擺設位置不同將會發(fā)生形體抽象變形,并因為物品間覆蓋和放置大小差異,從而使得物品無法被有效地進行多角度特征抽取。通過YOLO物品檢測算法進行物品識別的準確率最高只能達到42.5%。因此,對于家庭場景,信息理解的重心將放在基于場景分割實現(xiàn)場景物品的分模塊識別。Zhou Liguang[15]和Miao Bo[16]等皆采用場景分割的思路來進行場景中實體的識別。

2 家庭服務場景知識圖譜構(gòu)建

由于各個家庭的環(huán)境具有較大差異,所以家庭服務機器人應該現(xiàn)場采集數(shù)據(jù),構(gòu)建家庭服務領域知識圖譜,基于此,設計了如下自動構(gòu)建流程:

(1)獲取服務策略的文本信息,通過詞頻-逆向文件頻率算法(Term Frequency-Inverse Document Frequency,TF-IDF)提取服務策略關鍵字,構(gòu)成服務策略圖譜。

(2)家庭服務機器人現(xiàn)場采集家庭場景圖片,將其輸入到訓練好的場景分割模型(Scene Segmentation Model,SSM)中,得到場景中的實體信息。

(3)將實體信息輸入到場景分類模型(Scene Classification Model,SCM)中,預測當前場景類別,如廚房、臥室、餐廳等。

(4)將SSM模型得到的物品信息和SCM模型得到的場景類別進行信息匯總,得到對應的文本文件。得到家庭實體知識圖譜。

(5)將服務策略圖譜與家庭實體圖譜進行拼接,得到家庭服務知識圖譜。

家庭服務場景系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)框架

2.1 服務策略知識圖譜構(gòu)建

服務策略文本主要來源于WikiHow[17]網(wǎng)站,它是一個開放的互聯(lián)網(wǎng)網(wǎng)站,包括多個與家庭服務任務相關的知識模塊,例如興趣與手藝、家居與園藝、飲食與休閑等,具體服務知識包括如何洗碗、如何做飯等。該網(wǎng)站的信息利用半結(jié)構(gòu)化文本表示,易于提取,故采用該網(wǎng)站的文本數(shù)據(jù)作為服務策略文本。

之后,利用TF-IDF算法[18]對策略文本進行處理,生成服務策略關鍵字。首先,根據(jù)公式(1)計算詞頻(Term Frequency,TF)。

(1)

其中,nij表示該詞出現(xiàn)的次數(shù),分母部分表示文本dj中所有詞匯的數(shù)量,tfij表示文本dj中第i個關鍵詞出現(xiàn)的頻率,這個值越大,代表這個詞出現(xiàn)的頻率越高。

之后,根據(jù)公式(2)計算逆向文件詞頻(Inverse Document Frequency,IDF)。

(2)

其中,|D|是文件總數(shù),|{j:ti∈dj}|表示包含該詞語的文件總數(shù),包含該詞語的文檔越少,idfi值越大,表示該詞語具有良好的類別區(qū)分能力。

最后,如公式(3)所示,將tfij與idfi相乘,即可得到該詞條的權(quán)值Wij,數(shù)值越大,代表該詞匯越關鍵。

Wij=tfij×idfi

(3)

得到服務步驟的關鍵字后,利用自言語言處理工具包[19](Natural Language Toolkit,NLTK)對原文本進行處理,根據(jù)詞性標注判斷該關鍵字是動作還是物品詞條,將其輸入到知識圖譜中,構(gòu)成服務策略知識圖譜。

2.2 場景分割模型(SSM)

在構(gòu)建家庭服務場景知識圖譜時,首先需要利用SSM模型對場景內(nèi)的實體進行分割,并將其識別出來。

2.2.1 ADE20K數(shù)據(jù)集

SSM模型采用ADE20K進行訓練,ADE20K是一個密集注釋的數(shù)據(jù)集,總共有25K張復雜的日常場景的圖像,其中包含日常生活中常見的150種物體類別,平均每個圖像有19.5個實例和10.5個對象類。數(shù)據(jù)集根據(jù)訓練集和檢驗集分成兩大部分,每部分中根據(jù)a-z的相同首字母進行場景分類。

2.2.2 場景編碼器(Encoder):ResNet50

ResNet50為殘差神經(jīng)網(wǎng)絡,50代表該殘差神經(jīng)網(wǎng)絡層數(shù)。為了解決梯度消失與梯度爆炸問題,ResNet提出了兩種映射:一種是恒等映射,另一種殘差映射[20],將兩種映射組合,最后的輸出是y=F(x)+x。其中,恒等映射是指本身,也就是公式中的x,而殘差映射指的是y-x,所以殘差指的就是F(x)部分。殘差網(wǎng)絡的組合單元如圖2所示。

圖2 殘差網(wǎng)絡組合單元(示例)

將輸入數(shù)據(jù)記為x,則中間網(wǎng)絡層對于數(shù)據(jù)的操作可以記為F(x),通過殘差網(wǎng)絡的構(gòu)件輸出結(jié)果為F(x)+x,即將殘留下來的數(shù)據(jù)與原數(shù)據(jù)合并,再進行運算輸出,故該模型稱為殘差神經(jīng)網(wǎng)絡。這時需要考慮對F(x)和x的數(shù)據(jù)格式進行分類討論,如果F(x)的數(shù)據(jù)通道數(shù)與x相同則輸出結(jié)果見式(4)。

y=F(x,{Wi})+x

(4)

其中,F(x,{Wi})指的是中間網(wǎng)絡層對于數(shù)據(jù)使用權(quán)值ωi進行計算,x為原輸入數(shù)據(jù)。y為最終的輸出結(jié)果。另一種情況為F(x)的數(shù)據(jù)通道數(shù)與x不同,則需要將x原數(shù)據(jù)轉(zhuǎn)換成相同的數(shù)據(jù)格式,結(jié)果見式(5)。

y=F(x,{Wi})+Wsx

(5)

其中,Ws為通過權(quán)值的計算將x為原輸入數(shù)據(jù)轉(zhuǎn)化為相同的數(shù)據(jù)通道數(shù)量。y為最終的輸出結(jié)果。

在家庭場景分割的過程中,通過ResNet50將ADE20K數(shù)據(jù)集的圖片轉(zhuǎn)化成物品的區(qū)域預測概率序列,將圖像編碼成高維特征區(qū)塊的物品種類分布,以此來實現(xiàn)家庭服務場景的編碼過程。

2.2.3 場景解碼器(Decoder):PPM

高維特征區(qū)塊物品種類預測序列并不是最終的數(shù)據(jù)結(jié)果,需要對該序列進行反向編碼,即解碼的過程。將高維特征還原成對應的原圖片區(qū)域,并根據(jù)該種類查詢對應色卡進行上色,完成對于識別的物品種類在圖中進行標記。為了實現(xiàn)這一解碼過程,使用場景解碼器:金字塔池化模型(Pyramid Pooling Module,PPM)。

采用1×1、2×2、3×3和6×6四種不同尺寸的卷積核,對ResNet50獲取到的特征圖進行卷積。得到多個尺寸的特征圖,并對這些不同尺寸的特征圖再次進行1×1的卷積操作來減少通道數(shù)。然后采用雙線性插值進行上采樣,以此獲得金字塔模塊前相同尺寸的特征圖,并在通道上進行拼接,將不同層級的特征圖拼接為最終的金字塔池化全局特征。從直覺上來看,這種多尺度的池化確實可以在不同的尺度下保留全局信息,比起普通的單一池化更能保留全局上下文信息。

2.3 場景分類模型(SCM)

家庭場景中實體分布具有一定的規(guī)律,如床大概率出現(xiàn)在臥室、沙發(fā)大概率出現(xiàn)在客廳、廚房中很可能存在廚具等。故而可以根據(jù)SSM模型識別出的實體來對當前所處的場景進行預測分類。

2.3.1 PLACE365數(shù)據(jù)集

PLACE365數(shù)據(jù)集有365個場景類別,用于各類場景識別的比賽和訓練。該家庭服務場景系統(tǒng)所作用的場景為家庭常見環(huán)境,因此選取PLACE365-standard數(shù)據(jù)集中的浴室(bathroom)、臥室(bedroom)、衣帽間(closet)、餐廳(dining room)、書房(home office)、廚房(kitchen)和客廳(living room)共7個數(shù)據(jù)集進行分類測試。

通過訓練好的SSM模型生成家庭功能區(qū)的標簽和功能區(qū)中的前10種像素占比大于0.1%的物品(不足10種補空物品樣本)樣本數(shù)據(jù)集,用于后續(xù)SCM模型進行場景分類的訓練。

2.3.2 場景數(shù)據(jù)預處理與標簽加載

由SSM模型生成的數(shù)據(jù)格式可得,每個檢測出來的物品都是通過字典的形式進行存儲,字典中包含對應物品的中文名、英文名和功能關鍵詞,該文只需要選取物品的英文名作為每條數(shù)據(jù)樣本的屬性即可。

模型的數(shù)據(jù)屬性一般要求是數(shù)字格式,所以需要對物品列表文件進行反向字典生成,即通過物品的英文名將物品的標簽還原,讓每一條場景數(shù)據(jù)都是10個標簽數(shù)字組成的數(shù)字序列(如果檢測物品不足10個,則對應的物品標簽用-1代替)。

在完成對7個場景類別圖片的識別后,將文本文件用于基于梯度提升決策樹(Gradient Boosted Decision Tree,GBDT)算法的SCM。其中,GBDT算法是通過梯度提升的方式不斷地優(yōu)化參數(shù),直到達到局部最優(yōu)解。梯度提升算法每一步優(yōu)化的對象是不同的。第一步是以label值為目標來優(yōu)化參數(shù),第二步優(yōu)化的目標就是第一步的殘差,第三步優(yōu)化的目標是第二步的殘差。以此類推,不斷地對權(quán)重進行調(diào)整,是一種帶權(quán)的決策樹形式。

2.4 模型測試

2.4.1 評價指標

SSM與SCM的性能通過響應速度、準確率(Accuracy)、F1-score和Cohen's Kappa等參數(shù)來進行判定。

其中,F1-score是基于準確率、精確率(Precision)、召回率(Recall)加權(quán)調(diào)和后得到的。以二分類問題為例,最終結(jié)果應當被分為正類或者負類。如果原標簽標記為正類,并且分類結(jié)果為正類,則記為TP(True Positive)。同理,負類標簽與分類結(jié)果一致就可以得到FN(False Negative)。TP和FN都是分類正確的結(jié)果。反之,正類被預測為負類、負類被預測為正類,分別記為TN(True Negative)和FP(False Positive),TN和FP是分類錯誤的結(jié)果。根據(jù)上述得到的四種分類情況,可以得出精確率、準確率、召回率、F1-score的計算方式,具體見式(6)～式(9)。

(6)

(7)

(8)

(9)

除了上述的性能參數(shù)外,再引入 Cohen's Kappa 進一步檢驗模型的分類精度與性能。當標簽數(shù)據(jù)存在樣本失衡的情況時,準確率就無法反映出模型的分類效果。因而需要引入一個基礎準確率(Pe)來均衡這種樣本數(shù)據(jù)失衡的情況?；A準確率計算公式見式(10)。

(10)

其中,k表示第k個類別,nk1和nk2的乘積表示為真實占比與預測占比的乘積。在得出基礎準確率后,就可以得出 Cohen's Kappa的數(shù)值,數(shù)值越大代表分類效果越好,具體如式(11)所示。

(11)

2.4.2 SSM模型測試

通過場景編碼器ResNet50進行場景解析物品的分類,然后場景解碼器PPM充分利用好場景的上下文信息,將場景中的物品解析得更加準確與全面。到此為止,通過場景編碼器和場景解碼器完成場景分割識別物品的功能。訓練模型最終像素準確率為80.13%,總分為61.14,響應速度為2.6 s。與其他訓練模型的結(jié)果對比如表1所示[21]。

表1 SSM模型訓練結(jié)果統(tǒng)計

通過測試結(jié)果可知,SSM模型性能良好,與其它場景分割模型相比,能夠較為準確地獲取場景中的信息,且圖像處理速度快,能夠滿足家庭服務機器人連續(xù)采集并處理場景圖像信息的需求。

2.4.3 SCM模型測試

選取PLACE365數(shù)據(jù)集中7種場景的部分數(shù)據(jù)集作為測試集,通過sklearn的機器學習庫選取多種機器學習算法與GBDT算法進行數(shù)據(jù)的訓練與預測比較,使用Accuracy和Cohen's Kappa系數(shù)來進行各模型的評估。從模型對比可得,GBDT算法能夠在使用10個物品特征的情況下,取得較好的場景分類效果。在SSM的像素識別準確率為80.13%的情況下,將場景分類的準確率維持在79%。因此選擇該模型作為分類模型使用。各模型訓練后,對測試集進行測試的結(jié)果如表2所示[22]。

表2 SCM模型訓練結(jié)果統(tǒng)計表

2.5 家庭服務領域知識圖譜結(jié)構(gòu)設計

通過對家庭服務的場景分析,家庭環(huán)境可以劃分成若干個房間,每個房間中擁有若干個物品,每個物品擁有若干關聯(lián)詞,關聯(lián)詞可以為功能詞匯,也可以是人的需求詞匯?；诖?家庭服務機器人便可以通過查詢知識圖譜來找到服務所需的實體信息。

之后,將構(gòu)建好的策略圖譜與實體圖譜合并,生成家庭服務知識圖譜,結(jié)合三元組的知識,創(chuàng)建家庭服務場景的本體結(jié)構(gòu)。功能區(qū)(Room)和家庭(Home)擁有位于(Located in)的關系;工具物品(Object)和功能區(qū)(Room)擁有從屬(Belong to)的關系;服務任務(Service)和任務步驟(Service Step)擁有方法(Method)的關系;任務步驟(Service Step)和工具物品(Object)擁有動作(Affordance)的關系;功能需求關聯(lián)詞(Function)和工具物品(Object)擁有屬于(Owned to)的關系。所構(gòu)建的知識圖譜結(jié)構(gòu)的三元組表示形式如式(12)至式(16)所示。

(12)

(13)

(14)

(15)

(16)

除了本體結(jié)構(gòu)外,仍需要考慮構(gòu)建成實體后,每個節(jié)點需要的屬性值。一個知識圖譜數(shù)據(jù)庫中,可能存在多個家庭環(huán)境信息,所以Home節(jié)點需要擁有名稱(name)和該家庭的唯一信息標識符(id)。Room與object同理也需要擁有name和id兩個屬性。一種服務任務可能有多種策略方法,所以任務與服務步驟之間用methodi(i=1,2…)來區(qū)別不用策略方法。

以wash clothes服務任務為例,家庭服務知識圖譜片段如圖3所示(工具物品的功能節(jié)點已隱去)。

圖3 家庭服務知識圖譜片段

3 家庭服務領域知識圖譜應用

3.1 實驗與應用

為了模擬驗證所提方法的有效性,從PLACES365數(shù)據(jù)集中選取7張場景圖片當作機器人在家庭中采集的圖像信息,以此來模擬家庭場景,包含的7個常見家庭場景有餐廳、廚房、客廳、書房、臥室、衣帽間和浴室。

通過訓練好的SSM模型與SCM模型,獲取實驗場景圖中的實體、場景與功能的語義信息,構(gòu)建家庭服務領域知識圖譜,所構(gòu)建的知識圖譜共包含337個實體,783條關系。機器人通過搜索知識圖譜,可以獲取家庭環(huán)境中的實體與場景信息,與圖譜的交互結(jié)果如圖4所示。通過結(jié)果可知,所構(gòu)建的知識圖譜能夠幫助機器人對家庭環(huán)境產(chǎn)生深入認知。

圖4 圖譜搜索結(jié)果

3.2 反饋與更新

由于家庭環(huán)境中的實體是復雜多變的,且構(gòu)建圖譜時可能會匹配錯誤,所以需要對家庭服務領域知識圖譜進行實時更新。為了達成這個目的,加入了反饋響應實體關系更新功能,該功能主要通過與用戶間的交互完成家庭知識圖譜數(shù)據(jù)的更新。即在進行查詢后,用戶可以對上一步交互結(jié)果進行反饋,當接收到用戶關于“錯”之類的關鍵詞后,通過用戶的選擇與上一步查詢結(jié)果中反饋的領域詞信息對圖譜進行修改,例如增加或刪除實體的功能信息,以及修改實體的位置信息等,以此來達到更新知識圖譜的效果。反饋更新效果圖如圖5所示。

圖5 反饋更新效果

3.3 服務策略生成

當用戶對機器人發(fā)出任務指令時,機器人可以通過匹配功能需求節(jié)點以及任務節(jié)點,遍歷家庭服務領域知識圖譜,選擇適合當前環(huán)境的服務策略,根據(jù)服務任務的步驟、動作、實體以及實體的位置信息來制定相應的策略。生成的服務策略示例如表3所示。

表3 服務策略示例

現(xiàn)有的家庭服務機器人策略生成方法主要有兩種:一種為基于語義解析器的方法,從用戶指令中獲取動作序列,這種方法不適合多物品操作的復雜任務;另一種為基于強化學習的方法,設置基于先驗知識的獎勵,讓機器人探索生成策略,這種方法沒有考慮到當前的環(huán)境信息,所給出的服務策略可能包含環(huán)境中不存在的物品,導致任務失敗。由于所構(gòu)建的知識圖譜能夠反映出服務任務與實體之間的關系,所以用戶只需下達任務指令,機器人便可以根據(jù)家庭環(huán)境生成服務策略。與現(xiàn)有的幾種策略生成方法對比如表4所示。

表4 服務策略生成方法對比

4 結(jié)束語

為了增強家庭服務機器人的信息獲取能力與知識推理能力,設計了一種自動構(gòu)建家庭服務領域知識圖譜的方法流程。所構(gòu)建的SSM模型及SCM模型能夠快速準確地識別出家庭環(huán)境中的場景及實體,生成相應的文本文檔,將其存儲neo4j圖數(shù)據(jù)庫中,完成家庭服務領域知識圖譜的構(gòu)建。通過對知識圖譜進行查詢,可以得到服務所需的語義信息,進而生成服務策略。除此之外,還可以通過與用戶的問答反饋來實現(xiàn)知識圖譜的自更新。

所提出的方法的創(chuàng)新點如下:

(1)將知識圖譜應用到家庭服務領域,使得家庭服務機器人擁有了一定的推理能力,可以更加準確地獲取服務所需的語義信息。

(2)所提出的家庭服務領域知識圖譜為完全自動化構(gòu)建,只需要機器人在工作區(qū)內(nèi)采集圖像便可以自動生成知識圖譜,不需要人工參與構(gòu)建。

除此之外,在家庭服務領域知識圖譜研究的過程中,仍存在一些不足之處。未來將通過以下幾個方面進行改進:

(1)數(shù)據(jù)集擴充與模型優(yōu)化。當前的ADE20K數(shù)據(jù)集中標注的物品為150種,且對于家庭環(huán)境而言,諸多細小物品并不存在相應的數(shù)據(jù)。因此,使用該數(shù)據(jù)訓練出的模型識別物品類別數(shù)量與此相同,對部分家庭物品無法實現(xiàn)分割與分類。在未來的工作中,可以通過使用場景分割的標注工具,采用相同的數(shù)據(jù)格式對于ADE20K數(shù)據(jù)集的訓練與檢驗樣本進行擴充,以便完成SSM與SCM的優(yōu)化。

(2)改進策略生成算法。目前服務策略是基于模板匹配算法生成,模板較為單一,無法處理多元化的服務指令。下一步可以利用所構(gòu)建的知識圖譜輔助強化學習來生成服務策略,使機器人能夠更好地利用圖譜中的信息,為用戶提供更加宜人化的服務。

(3)改用更加真實的實驗場景,當前采用場景圖像來模擬真實場景,與真實家庭環(huán)境相差甚遠。未來可以采用AI2-THOR等虛擬環(huán)境來模擬機器人的工作環(huán)境,使其具有更強的實用性。

綜上所述,通過系統(tǒng)的研究實現(xiàn),完成家庭服務領域知識圖譜的構(gòu)建、應用與創(chuàng)新。通過當前系統(tǒng)存在的不足提出未來的發(fā)展規(guī)劃,力求在原基礎上不斷地更新與完善,來推進家庭服務機器人對于場景信息的感知與處理,從而推動服務型機器人智能化的發(fā)展。