蔣熹煜 馮俊錕

基于Android的視障人士友好智能閱讀系統(tǒng)

蔣熹煜 馮俊錕

（桂林電子科技大學(xué)計算機與信息安全學(xué)院，廣西 桂林 541004）

市面現(xiàn)有閱讀軟件存在界面復(fù)雜、功能繁瑣的問題，視障人士無法便捷獲取紙質(zhì)文字信息。為幫助視障用戶閱讀，文章基于Android（安卓系統(tǒng)）移動端、云服務(wù)端設(shè)計了一套視障人士閱讀輔助系統(tǒng)，幫助視障人士獲取紙質(zhì)和電子文本信息。系統(tǒng)允許用戶通過手動拍照或手機相冊導(dǎo)入圖片并上傳至云服務(wù)器，利用圖片增強技術(shù)提高圖片清晰度，提取其中的文字信息后，將信息發(fā)送回移動端進行自動播報，此系統(tǒng)提升了視障人士的生活質(zhì)量與知識水平。

視障閱讀輔助系統(tǒng)；神經(jīng)網(wǎng)絡(luò)；安卓系統(tǒng)

引言

視覺障礙人群又稱視障人群，即視覺功能受到一定程度的損傷，并很難或無法恢復(fù)到正常視力的群體[1]。據(jù)報道[2]，截至2022年，我國的視障人數(shù)已經(jīng)達到830萬，我國成為世界上視障人士數(shù)目最多的國家。目前，視障人群的教育和幫扶工作得到了眾人的關(guān)注和重視。隨著視障人群的文化水平不斷提高，其閱讀需求也在增長，因此設(shè)計一套幫助視障用戶閱讀的系統(tǒng)，不僅是一個具有廣闊市場前景的項目，而且對社會也有重要的意義。希望通過此系統(tǒng)，視障用戶可以更加方便地閱讀各種文獻，提升知識水平和生活質(zhì)量。

針對上述背景，本文設(shè)計了一套基于Android（安卓系統(tǒng)）的視障人士友好智能閱讀系統(tǒng)。相比于傳統(tǒng)的閱讀軟件，該系統(tǒng)將深度學(xué)習(xí)視覺圖像處理算法與移動端開發(fā)技術(shù)相結(jié)合，幫助視障用戶獲取紙質(zhì)或者電子文本信息。

1 相關(guān)技術(shù)解析

視障人士友好智能閱讀系統(tǒng)的執(zhí)行步驟如下：圖片數(shù)據(jù)獲取－圖片數(shù)據(jù)上傳－圖片數(shù)據(jù)增強－圖片文字數(shù)據(jù)提?。瓐D片數(shù)據(jù)返回－圖片數(shù)據(jù)展示。系統(tǒng)總體流程如圖1所示。

圖1 系統(tǒng)總體流程圖

1.1 圖片數(shù)據(jù)獲取

圖片數(shù)據(jù)獲取是智能閱讀系統(tǒng)的入口，本地圖片數(shù)據(jù)獲取主要有拍照和從相冊導(dǎo)入兩種方式。

第一種方式是通過Camera2進行拍照。Camera2是Google內(nèi)置在安卓系統(tǒng)中方便開發(fā)者調(diào)用攝像頭設(shè)備的一個類庫，使用Camera2需要在Android5.0以上版本，并且需要在Android6.0以上版本進行動態(tài)權(quán)限的管理。相比于之前的Camera API，Camera2采用了一種全新的架構(gòu)，引入了管道的概念，經(jīng)過多步驟將設(shè)備和攝像頭聯(lián)通，開發(fā)者可以更加靈活地控制攝像頭參數(shù)和進行操作。在使用Camera2進行拍照時，系統(tǒng)向攝像頭發(fā)送Capture請求，攝像頭返回CameraMetadata，這個過程借助Camera2類庫來實現(xiàn)，以此獲得更高的處理性能和更好的圖像質(zhì)量。

第二種方式是通過registerForActivityResult（Android的一個方法）從相冊中導(dǎo)入圖片。registerForActivityResult是Google團隊實現(xiàn)的方法，可以啟動一個活動，并接收返回的結(jié)果。該方法通過多態(tài)的方式傳入不同的參數(shù)，實現(xiàn)運行時的權(quán)限請求、拍照獲取URI（統(tǒng)一資源標(biāo)識符）、選取聯(lián)系人等常見功能，使用更加方便、靈活，可以有效簡化圖片選擇等操作。使用registerForActivityResult可以減少代碼量，簡化開發(fā)流程，提高開發(fā)效率，同時，使用時更加安全和可靠，可以更好地保護用戶的隱私和數(shù)據(jù)安全。

1.2 圖片數(shù)據(jù)上傳

圖片數(shù)據(jù)需要上傳至云服務(wù)器，才能在云端利用算法進行圖片增強。上傳圖片數(shù)據(jù)主要有三種方法，第一種是利用HttpUrlConnection（一種多用途、輕量級的HTTP客戶端），第二種是利用Okhttp（?個默認高效的HTTP客戶端），第三種是利用Retrofit（一個類型安全的客戶端）。

HttpUrlConnection：優(yōu)點是內(nèi)置于Java Software Development Kit中，無需額外依賴；適合簡單的HTTP請求，易于學(xué)習(xí)和使用；可以在低版本的安卓系統(tǒng)中使用。缺點是API（應(yīng)用程序編程接口）作用比較局限，需要構(gòu)建請求和解析響應(yīng)；需要手動處理多線程問題；需要手動發(fā)送請求，以及將對象序列化和反序列化。

Okhttp：優(yōu)點是在HttpUrlConnection基礎(chǔ)上進行了封裝，易于使用；內(nèi)置連接池、緩存、Gzip等功能，有利于提高請求效率；提供了異步請求和響應(yīng)處理的API，支持多線程并發(fā)；支持攔截器機制，可以方便地進行自定義攔截處理。缺點是需要添加額外的依賴，與簡單的請求操作相比稍顯復(fù)雜。

Retrofit：優(yōu)點是對OkHttp進行了封裝，更加易于使用；使用注解定義API請求和響應(yīng)數(shù)據(jù)類型，減少代碼量；支持多種數(shù)據(jù)格式的解析和序列化，如JSON（對象簡譜）、XML（可擴展標(biāo)記語言）等；支持多線程異步請求和響應(yīng)處理；支持攔截器機制，方便進行自定義攔截處理。

由于Retrofit是在Okhttp和HttpUrlConnection基礎(chǔ)上的進一步升級和優(yōu)化，因此系統(tǒng)可利用Retrofit減少代碼量，提高開發(fā)效率，增強代碼可維護性。

1.3 自適應(yīng)圖片數(shù)據(jù)增強去噪

為了提高圖片的清晰度，本文利用自適應(yīng)圖像增強去噪算法[3]，通過中值濾波去除噪聲，利用對數(shù)變換增強圖像背景色彩，并構(gòu)建暗通道先驗（Dark channel prior，DCP）去霧算法進行圖片背景增強處理[4]。

非線性平滑技術(shù)的其中一種是中值濾波算法，這一算法通過設(shè)置滑動窗口，計算該窗口內(nèi)像素點灰度值的中值，并用這一中值替換窗口中心的灰度值。

HE K等[5]提取了大量無霧圖像的特征并對它們進行分析，發(fā)現(xiàn)無霧圖像和大氣散射模型中某些參數(shù)存在先驗關(guān)系，最終提出暗通道先驗去霧算法。將這一算法運用到圖片處理中，可以顯著去除圖片背景噪聲。

1.3.1 中值濾波算法

為了消除孤立的噪聲點，可以使用中值濾波算法。該算法利用二維滑動窗口，用窗口中心周圍各個值的中值，替代窗口中心的像素值，從而使中間的點的像素值接近真實值，達到消除孤立的噪聲點的目的。二維中值濾波公式為：

1.3.2 暗通道去霧算法

將中值濾波后的圖像，輸入暗通道去霧公式中，亮度將會得到提升。處理步驟如下：

首先提取圖中亮度大小為0.1%的像素，在這些像素中尋找具有最高亮度的值，作為值，為全局大氣光值。將的值輸入如下公式，即可得到透射率的預(yù)估值(,)：

1.4 圖片文字數(shù)據(jù)提取

對圖片進行增強后，利用百度AI（人工智能）開放平臺提供的通用文字識別接口[6]，將圖片中的文字信息提取出來。

1.5 圖片數(shù)據(jù)返回

服務(wù)端主要基于Java（一種面向?qū)ο蟮木幊陶Z言）來編寫，使用SpringBoot，并用RestFul風(fēng)格進行接口的編程。服務(wù)端處理客戶端傳來的數(shù)據(jù)后，將數(shù)據(jù)存儲在云服務(wù)器，并且將數(shù)據(jù)傳回客戶端，存儲在客戶端的本地數(shù)據(jù)庫。為提高數(shù)據(jù)加載速度，應(yīng)合理選擇本地數(shù)據(jù)庫。

SQLite是一種嵌入式關(guān)系型數(shù)據(jù)庫，也是Android系統(tǒng)內(nèi)置的數(shù)據(jù)庫。它提供了一個輕量級的解決方案，可以被嵌入到任何應(yīng)用程序中，并且不需要任何獨立的服務(wù)器進程來運行。

LitePal是一個基于Android SQLite ORM的框架。ORM（對象關(guān)系映射）是一種將關(guān)系型數(shù)據(jù)庫的表結(jié)構(gòu)映射到對象模型中的技術(shù)。LitePal可以簡化SQLite數(shù)據(jù)庫的操作，它提供了一些對象模型的概念，如表、字段和模型類，還支持數(shù)據(jù)遷移和事務(wù)處理。

Room是Android官方推薦的SQLite ORM框架，它使用了SQLite的底層基礎(chǔ)結(jié)構(gòu)。同時，也使用注解處理器來生成與SQLite數(shù)據(jù)庫交互的代碼，避免了反射機制的性能損耗，這一特點也方便了開發(fā)者編寫數(shù)據(jù)庫相關(guān)的代碼。

綜上所述，Room的性能優(yōu)化比LitePal更好，所以系統(tǒng)使用Room數(shù)據(jù)庫作為本地數(shù)據(jù)庫。

1.6 圖片數(shù)據(jù)展示

系統(tǒng)啟動后，通過查詢本地數(shù)據(jù)庫的方式獲取數(shù)據(jù)，然后用列表進行展示，列表可以選擇使用ListView或者RecyclerView，以下為兩者的對比。

性能方面，RecyclerView比ListView更加高效。RecyclerView使用了ViewHolder模式和回收機制，更利于重復(fù)使用Item View，減少內(nèi)存消耗和View的創(chuàng)建次數(shù)，從而提高列表的滑動性能和響應(yīng)速度。

靈活性方面，RecyclerView比ListView更加靈活。RecyclerView支持多種不同的布局方式，包括線性布局、網(wǎng)格布局和瀑布流布局等，還可以自定義Item Decoration來實現(xiàn)各種效果。而ListView只支持線性布局，并不能實現(xiàn)復(fù)雜的效果。

可擴展性方面，RecyclerView比ListView更強。RecyclerView能方便地擴展各種Item View類型，以適應(yīng)不同的數(shù)據(jù)展示需求，還可以通過自定義LayoutManager來實現(xiàn)各種布局方式。而ListView則比較受限制，只能通過Adapter中的getItemViewType方法來實現(xiàn)多種Item View類型。

因為RecyclerView相對而言性能更優(yōu)，靈活性更高，可拓展性更強，所以系統(tǒng)選擇RecyclerView列表展示數(shù)據(jù)。

2 系統(tǒng)總體設(shè)計

系統(tǒng)基于Kotlin編寫移動端代碼，與Java相比，其語法更加簡潔，擁有極好的空指針處理機制，并且能無縫銜接Java代碼。系統(tǒng)選擇使用MVVM[7]架構(gòu)，使程序具備更好的可讀性、可維護性、可測試性、可重用性，這些優(yōu)點可以提高應(yīng)用程序的質(zhì)量和開發(fā)效率。

系統(tǒng)包含點播閱讀模塊、圖片文字提取模塊、圖片導(dǎo)入模塊、文章搜索模塊，目的是為視障用戶提供更好的閱讀幫助。系統(tǒng)各模塊如圖2所示。

圖2 視障閱讀輔助系統(tǒng)總體框架

圖片導(dǎo)入模塊的主要功能：視障用戶通過手機拍攝相片，或相冊導(dǎo)入圖片的方式，將包含文字信息的圖片數(shù)據(jù)導(dǎo)入應(yīng)用中。

點播閱讀模塊的主要功能：視障用戶點擊要獲取的文字信息后，系統(tǒng)語音播報出界面的文字信息。

文章搜索模塊的主要功能：視障用戶通過盲人鍵盤輸入或語音輸入等方式，輸入自己感興趣的內(nèi)容關(guān)鍵詞，然后系統(tǒng)搜索相應(yīng)的文章并返回相關(guān)文本數(shù)據(jù)進行展示和播報。

圖片文字提取模塊是閱讀輔助系統(tǒng)的核心部分，主要功能是讀取系統(tǒng)中的圖像并提取圖像中的文字，最后將結(jié)果存入本地數(shù)據(jù)庫和位于云端的數(shù)據(jù)庫。

3 系統(tǒng)功能模塊實現(xiàn)

3.1 系統(tǒng)界面設(shè)計

系統(tǒng)界面利用Google提供的Jetpack Compose庫來編寫，Jetpack Compose是一個Android UI工具包，主要優(yōu)勢在于使用簡單，具有聲明性編程和響應(yīng)式編程風(fēng)格，可以幫助開發(fā)人員更快速地構(gòu)建高質(zhì)量的用戶界面。使用此工具包構(gòu)建的界面，與Material Design3中的ViewPager2和BottomNavigationView等控件結(jié)合后，可以使Android應(yīng)用程序更加現(xiàn)代化和易于使用。

3.2 圖片導(dǎo)入模塊

圖片導(dǎo)入模塊的實現(xiàn)方式如下：首先引入網(wǎng)絡(luò)請求模塊Retrofit、相機處理模塊Camara2、圖片處理模塊Glide的依賴庫。然后通過Camera2模塊實現(xiàn)相機拍攝圖片功能，利用registerForActivityResult方法實現(xiàn)相冊獲取圖片功能。隨后用Glide進行圖片處理，將圖片轉(zhuǎn)換為Bitmap對象。最后通過Retrofit進行網(wǎng)絡(luò)請求，將數(shù)據(jù)上傳至云端服務(wù)器數(shù)據(jù)庫。

3.3 點播閱讀模塊

TalkBack是安卓系統(tǒng)內(nèi)置的一種用戶輔助功能，可協(xié)助視障用戶使用安卓設(shè)備，包括協(xié)助使用文章閱讀功能，協(xié)助使用搜索功能。打開TalkBack后，用戶通過規(guī)定操作打開系統(tǒng)應(yīng)用，點擊文章列表上的一篇文章后，系統(tǒng)便會語音播報被點擊文章的全部內(nèi)容。另外用戶也可以通過搜索的方式，獲取數(shù)據(jù)庫中的指定文章內(nèi)容并進行播報。

3.4 文章搜索模塊

客戶端獲取服務(wù)端傳回的文字信息后，將文字信息封裝成實體類對象，調(diào)用Room API將實體類保存到數(shù)據(jù)庫。

文章搜索模塊的實現(xiàn)方式有兩種，一種是對圖片文字信息提取的結(jié)果進行查詢，另一種是調(diào)用API獲取網(wǎng)上開放文章數(shù)據(jù)。第二種方式的步驟如下：首先，創(chuàng)建Retrofit API接口，定義獲取文章信息的方法，使用Retrofit實現(xiàn)網(wǎng)絡(luò)請求；其次，獲取文章信息并將其保存到Room數(shù)據(jù)庫中，使用Room實現(xiàn)數(shù)據(jù)庫操作，以及根據(jù)關(guān)鍵詞查詢文章的目的；再次，在ViewModel中編寫獲取文章信息的邏輯，即從數(shù)據(jù)庫中查詢數(shù)據(jù)，若無數(shù)據(jù)則通過API接口獲取數(shù)據(jù)并保存到數(shù)據(jù)庫中；最后，在UI界面中利用LiveData和ViewModel進行數(shù)據(jù)的綁定和更新。文章查詢流程圖如圖3所示。

圖3 文章查詢流程圖

3.5 圖片文字提取模塊

圖片文字提取模塊能提取導(dǎo)入客戶端中的圖片的文字信息，并進行展示。其信息處理過程如下：首先通過手機拍照，或者相冊導(dǎo)入圖片數(shù)據(jù)，客戶端通過網(wǎng)絡(luò)請求將圖片數(shù)據(jù)上傳至服務(wù)端，服務(wù)端對圖像進行預(yù)處理，利用中值濾波去除噪聲，利用對數(shù)變換增強圖像背景色彩，構(gòu)建暗通道先驗去霧算法將圖片背景增強；其次利用ResNet[8]神經(jīng)網(wǎng)絡(luò)進行圖片特征提取，再經(jīng)過特征轉(zhuǎn)化，將圖片特征轉(zhuǎn)換為適合文本分類的向量形式；最后將轉(zhuǎn)換后的結(jié)果輸入卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN[9]中進行分類。客戶端通過網(wǎng)絡(luò)請求，獲得數(shù)據(jù)后進行輸出。同時，服務(wù)端將識別記錄保存在云服務(wù)器中。圖片文字提取流程如圖4所示。

圖4 圖片文字提取流程

4 測試

系統(tǒng)測試采用黑盒測試的方法，首先用戶隨機拍攝一張照片，或從相冊隨機導(dǎo)入一張圖片后，系統(tǒng)通過相關(guān)的算法進行圖像增強，然后提取圖片中的文字信息，最后存儲到數(shù)據(jù)庫中，并進行展示。結(jié)果顯示，系統(tǒng)能準(zhǔn)確地將圖像進行增強并得到預(yù)期結(jié)果。

5 結(jié)束語

系統(tǒng)將服務(wù)端、移動端和神經(jīng)網(wǎng)絡(luò)視覺圖像處理算法相結(jié)合來開發(fā)視障人群閱讀輔助系統(tǒng)。服務(wù)端對圖片數(shù)據(jù)進行增強和文字信息提取，并對提取出來的信息進行儲存，以此來為客戶端提供數(shù)據(jù)?？蛻舳死肕VVM框架、Kotlin語言、Retrofit開源框架，提高代碼可維護性，解決傳統(tǒng)安卓移動端代碼耦合度高、可維護性差的問題，提高了系統(tǒng)運行速度。系統(tǒng)最主要的特點是利用深度學(xué)習(xí)視覺圖像處理技術(shù)為視障用戶閱讀提供智能化幫助。

[1] 邱秀鑫，安玉婷. 我國圖書館視障讀者服務(wù)研究綜述[J].圖書館理論與實踐，2017(7): 12-18.

[2] 洪恒飛，周立超，江耘. 實時生成海量數(shù)字盲文，AI幫視障人士無障礙閱讀[J]. 東西南北，2022(15): 42.

[3] 楊秀璋，武帥，宋籍文，等. 一種自適應(yīng)圖像增強和AlexNet的水書古文字識別算法[J]. 信息技術(shù)與信息化，2023(1): 212-216.

[4] 周昊，趙靜波，宣美艷，等. 基于暗通道先驗的全局去霧算法[J]. 黑河學(xué)院學(xué)報，2023，14(3): 186-188.

[5] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[6] 通用文字識別（高精度版）[EB/OL]. (2022-11-17)[2023-05-07]. https://cloud.baidu.com/doc/OCR/s/1k3h7y3db.

[7] 徐玉祥，李愛蓮. 基于MVVM架構(gòu)的基礎(chǔ)組件的研究與設(shè)計[J]. 電腦編程技巧與維護，2023(1): 18-21.

[8] 黃海新，陶文博. 一種基于ResNet模型及重排序策略的行人重識別算法[J]. 通信與信息技術(shù)，2023(2): 25-27.

[9] 謝恩澤，吳政，倪劼. 基于Faster-RCNN的古籍圖像文字檢測研究[J]. 新世紀(jì)圖書館，2022(11): 61-66.

Friendly Intelligent Reading System for Visually Impaired People Based on Android

The existing reading software on the market has problems with complex interface and cumbersome functions, making it difficult for visually impaired people to easily access paper text information. To assist visually impaired users in reading, this article designs a set of reading assistance systems for visually impaired individuals based on Android mobile and cloud servers, helping them access paper and electronic text information. The system allows users to import pictures through manual photography or mobile phone album and upload them to the cloud server. The image enhancement technology is used to improve the clarity of the pictures. The text information is extracted and then sent back to the mobile terminal for automatic broadcasting. This system improves the quality of life and knowledge level of visually impaired individuals.

visual impairment readingassistance system; neural network; Android

TP27

A

1008-1151(2023)11-0013-05

2023-07-18

桂林電子科技大學(xué)2021年校級教育教學(xué)改革一般項目（JGB202107）；桂林電子科技大學(xué)2022年課程思政示范課（面向?qū)ο蟪绦蛟O(shè)計）；大學(xué)生創(chuàng)新創(chuàng)業(yè)計劃項目（S202210595167）。

蔣熹煜（2003－），男，桂林電子科技大學(xué)計算機與信息安全學(xué)院學(xué)生，研究方向為移動互聯(lián)網(wǎng)技術(shù)、人工智能。