吳 勇1,2,羅騰元1,王美珍3
(1.福建師范大學(xué)地理科學(xué)學(xué)院,福州 350007;2.福建省陸地災(zāi)害監(jiān)測評估工程技術(shù)研究中心,福州 350007;3.南京師范大學(xué)虛擬地理環(huán)境教育部重點實驗室,南京 210046)
隨著空間信息技術(shù)快速發(fā)展,地理信息系統(tǒng)(Geography Information System,GIS)表達發(fā)生了巨大的變化并出現(xiàn)了許多新型表達形式,從二維電子地圖到虛擬地理環(huán)境,再到以圖像/視頻為主的地理增強現(xiàn)實及地理超媒體表達[1],圖像/視頻以其客觀形象、生動直觀的特性已逐漸成為地理表達中一種重要的數(shù)據(jù)源。然而,隨著GIS應(yīng)用領(lǐng)域不斷擴展,如在數(shù)字城管、環(huán)境監(jiān)查、智能快遞、野外調(diào)查等行業(yè)應(yīng)用中,對圖像的需求不再局限于其可視化表達,更希望其能同時集成地理位置、內(nèi)容描述等更為豐富的信息[2]。同時,以平板電腦、智能手機為代表的智能移動終端呈現(xiàn)出爆炸式的增長,與普通相機相比,其拍攝圖像的分辨率、效果已相差不大,并具有以下優(yōu)勢:(1)集成了豐富的傳感器,如GPS、電子羅盤等,除了能獲取地理位置外,還能獲取方位信息,圖像能夠獲取更為豐富的參數(shù)信息;(2)具有操作系統(tǒng)并支持編程接口,能夠方便定制更為靈活的應(yīng)用程序。
基于此,本文構(gòu)建可定位圖像表達模型,將圖像內(nèi)容、地理位置、圖像描述等信息進行綜合集成,并基于Android平臺實現(xiàn)可定位圖像的實時采集;在此基礎(chǔ)上根據(jù)可定位圖像的位置特征,構(gòu)建圖像空間索引機制。
圖1 可定位圖像表達模型
圖像信息指被拍攝對象實體的實景信息;圖像元數(shù)據(jù)包括圖像分辨率、焦距、采集時間、曝光度等照片元數(shù)據(jù),用于描述圖像的基本信息,同時亦可利用參數(shù)信息推斷出圖像隱含的語義信息,如從焦距計算出圖像視野范圍,從曝光度推斷出拍攝地點處于室內(nèi)或者室外;圖像屬性信息可通過文本信息、特征信息以及音頻信息等進行描述,文本信息指場景、事件或地點的文字描述,特征信息包括圖像的顏色、紋理、形狀等內(nèi)容特征,音頻信息則可記錄用戶對實體或事件的語音描述;圖像空間信息主要包括GPS位置信息與方位信息,GPS位置信息用于描述圖像的拍攝位置,而方位信息則能在拍攝位置的基礎(chǔ)上通過朝向更準(zhǔn)確地描述圖像場景。通過可定位圖像表達模型可詳細描述圖像呈現(xiàn)的內(nèi)容、拍攝時間、拍攝地點等信息,為應(yīng)用提供更為豐富的信息。
數(shù)字圖像與地理位置等參數(shù)集成主要基于XML文件[3]、Shapefile 文件[4]以及EXIF(Exchangeable Image File)[5]格式3種方式進行組織。前2種方式本質(zhì)上都是采用中間文件將圖像與地理信息等屬性參數(shù)進行關(guān)系映射實現(xiàn)外部關(guān)聯(lián)[6],信息的分離存儲導(dǎo)致其管理繁瑣,安全性、通用性、擴展性都較差。
EXIF格式是由日本電子工業(yè)發(fā)展協(xié)會(Japan Electronic Industry Development Association,JEIDA)制訂,并專門為數(shù)碼相機使用的圖像文件格式而制定的標(biāo)準(zhǔn)規(guī)格,可以記錄數(shù)碼圖像的屬性信息和拍攝數(shù)據(jù)[7]。EXIF格式數(shù)據(jù)存儲與JPEG格式是完全相同的,本質(zhì)上就是在JPEG格式頭部插入圖像的信息,圖像結(jié)構(gòu)起始于圖像開始標(biāo)志,終于圖像結(jié)束標(biāo)志,包含應(yīng)用標(biāo)記段、圖像壓縮編碼參數(shù)段以及圖像內(nèi)容數(shù)據(jù)段3個部分,如圖2所示。
圖2 EXIF圖像格式結(jié)構(gòu)
應(yīng)用標(biāo)記段中記錄的圖像參數(shù)信息采用標(biāo)簽圖像文件格式(Tagged Image File Format,TIFF)進行存儲,APP0用于使用JFIF(JPEG文件交換格式/JPEG File Interchange Format)格式存儲圖像時的配置信息數(shù)據(jù)與縮略圖,APP1標(biāo)記段則是EXIF格式用于避免JFIF存儲格式?jīng)_突而使用的標(biāo)記段,主要包含EXIF IFD,GPS IFD,Interoperability IFD 3個部分的圖像描述信息。EXIF IFD不僅存儲了數(shù)碼相機數(shù)據(jù)(數(shù)碼相機生產(chǎn)商、型號等)、攝影參數(shù)(快門速度、光圈數(shù)、焦距等)、日期和時間信息,還可以通過UserComment和Related SoundFile標(biāo)簽記錄用戶對圖像的文字描述信息及音頻描述信息;GPS IFD可記錄地理坐標(biāo)信息,包括經(jīng)緯度坐標(biāo)、GPS方位、速度等參數(shù);Interoperability IFD則用于存儲圖像互操作參數(shù);此外,EXIF格式還對APPN標(biāo)記段進行了預(yù)留,用戶可根據(jù)具體需求進行擴展。相對于前2種方式,EXIF方式可將地理信息等屬性直接嵌入圖像,實現(xiàn)相關(guān)描述參數(shù)與圖像的高度整合,而且擴展性和通用性較好,非常適合于可定位圖像的表達。
采用三星N7100手機設(shè)備為采集終端,以帶有Android開發(fā)包插件(Android Development Toolkit,ADT))的Eclipse集成環(huán)境為開發(fā)平臺,通過Android SDK(Software Development Kit)分別調(diào)用相機模塊、電子羅盤模塊、GPS定位模塊以及百度地圖SDK實現(xiàn)各種相關(guān)信息的獲取,并采用EXIF格式進行集成存儲,實現(xiàn)可定位圖像的實時采集。具體步驟如圖3所示。
(1)創(chuàng)建請求圖像Intent,同時將Intent的類型設(shè)置為MediaStore.ACTION_IMAGE_CAPTURE模式,利用start ActivityForResult()方法啟動攝像頭進行圖像采集,再通過onActivityResult()方法接收攝像頭返回的intent圖像數(shù)據(jù)。
(2)采用getSystemService()方法返回系統(tǒng)設(shè)備管理Sen sorManager,并使用registerListener()方法在設(shè)備管理服務(wù)中注冊電子羅盤監(jiān)聽器,然后通過OnSensorChanged()事件獲得拍攝時的方位信息。
(3)通過getSystemService()方法調(diào)用位置服務(wù)Location Manager實例,并通過調(diào)用實例中g(shù)etLastKnownLocation()方法判斷是否能獲取GPS信息。如果接收到GPS信息,則提取拍攝時刻的經(jīng)緯度值,經(jīng)緯度值有正負之分,正數(shù)則代表當(dāng)前位置處于東半球/北半球,否則為西半球/南半球;如果當(dāng)時無法獲取GPS信息,用戶則可通過在地圖上手動標(biāo)識圖像的當(dāng)前點位。
對比探究2和探究3不難發(fā)現(xiàn),兩次實驗唯一不同的是,探究2的饅頭是用錫紙包裹的,而探究3的饅頭沒有用錫紙包裹,從而得出造成微波爐不能正常工作的是錫紙??墒?,錫紙為什么能造成微波爐里出現(xiàn)火花呢?
(4)地圖初始化并創(chuàng)建引擎管理類mapManager,接著使用LocationClient類創(chuàng)建位置監(jiān)聽器并進行相關(guān)參數(shù)的初始化,然后通過getAddrStr()從接收到的位置信息中提取當(dāng)前位置的地址描述。
(5)通過調(diào)用ExifInterface接口中的setAttribute()方法對上述參數(shù)嵌入圖像中,并在SDCard上進行圖像保存。
圖3 可定位圖像采集流程
為了驗證可定位圖像采集方法的有效性及正確性,將上述實時采集的可定位圖像通過ExifInterface類中g(shù)et Attribute()方法對圖像中存儲的經(jīng)緯度、方位、地址等信息進行提取,并將獲取的位置信息在百度地圖上自動進行標(biāo)注,通過地圖標(biāo)注與實地對比發(fā)現(xiàn),拍攝位置由于GPS單點定位精度影響存在3 m~5 m的漂移外,方位角完全正確,可滿足采集需求,可定位圖像采集界面如圖4所示。圖4(a)的圖像采集界面中扇形圓心指示了當(dāng)前圖像的拍攝位置,扇形朝向代表了拍攝方向及視野范圍;同時用戶可通過點擊扇形標(biāo)注,獲取拍攝圖像、經(jīng)緯度值、方位值、時間以及相應(yīng)的地址描述,如圖4(b)圖像屬性界面所示。
圖4 可定位圖像采集終端界面
與普通圖像相比,可定位圖像不僅具有圖像特征,還具有位置特征及方位特征。而目前圖像檢索方式主要基于關(guān)鍵字索引,或者基于顏色、紋理、形狀等內(nèi)容特征索引。在基于位置特征圖像組織方面,文獻[8]利用時間和位置屬性對圖像集自動聚類,并以“國家-州-市”行政區(qū)劃層次等級進行組織;文獻[9]利用“人物-事件-地點-語義信息”的方式對圖像進行分類組織;文獻[10]則提出了地理參考的圖像場景層次模型,但是上述研究側(cè)重于將位置信息作為一種特征要素用于圖像聚類方面,文獻[11]在微軟的WWMX項目中雖以地理坐標(biāo)進行圖像索引,但是未考慮圖像方位特征。
可定位圖像實質(zhì)上可認(rèn)為是具有點狀空間特征的圖像,因此,可通過空間索引方式進行圖像組織。在空間索引應(yīng)用方面,通常采用網(wǎng)格、四叉樹以及R樹3類空間索引結(jié)構(gòu),不同的索引方式對同一類型空間要素的索引效率差別甚大,而每種空間要素也對應(yīng)著其相應(yīng)最優(yōu)的索引方法,即對點目標(biāo)采用規(guī)則網(wǎng)格索引,對線、面目標(biāo)采用改進的四叉樹索引[12]。可見,可定位圖像的位置特征采用規(guī)則網(wǎng)格索引比較合適。
規(guī)則網(wǎng)格空間索引的基本思想是將空間數(shù)據(jù)區(qū)域按照一定固定大小的正交網(wǎng)格進行劃分,對劃分后的網(wǎng)格按照相應(yīng)的網(wǎng)格劃分原則進行定位,并將相交或者包含于網(wǎng)格內(nèi)的空間要素存儲在該網(wǎng)格中[13]。用戶則可通過計算查詢區(qū)域所在網(wǎng)格,快速檢索到網(wǎng)格中的空間要素。網(wǎng)格劃分遵循以下原則:
其中,[(minx,minY),(maxX,maxY)]為數(shù)據(jù)的坐標(biāo)范圍;m,n分別為指定橫軸、縱軸方向分割的網(wǎng)格數(shù);△w,△h則分別代表網(wǎng)格索引中橫軸、縱軸方向的每一個網(wǎng)格大小。
按照行從左至右、列從下至上的格網(wǎng)排列方式,計算每個格網(wǎng)的邊界坐標(biāo)公式為:
其中,Gridleft,Gridbottom,Gridright,Gridtop分別代表網(wǎng)格的左下角、右上角的經(jīng)緯度坐標(biāo);i,j分別為橫軸、縱軸網(wǎng)格編號,且1≤i 在方位特征索引方面,采用方向劃分方法對方位值進行聚類索引,將其分成8個方向:北向(0°~22.5°,337.5°~360°)、東北向(22.5°~67.5°)、東向(67.5°~112.5°)、東南向(112.5°~157.5°)、 南向(157.5°~202.5°)、西南向(202.5°~247.5°)、西向(247.5°~292.5°)、西北向(292.5°~337.5°)。 針對可定位圖像位置特征索引,通過構(gòu)建空間分區(qū)、圖像索引以及圖像信息3張數(shù)據(jù)表對其進行組織與管理。數(shù)據(jù)表間通過網(wǎng)格編號、圖像ID號2個關(guān)鍵字進行關(guān)聯(lián),以維護表間的相互關(guān)系,表結(jié)構(gòu)如圖5所示。空間分區(qū)表用于描述可定位圖像的空間分區(qū)信息,其將檢索區(qū)域從邏輯上分割為許多更小、更易于管理的單元,主要記錄格網(wǎng)編號、格網(wǎng)左下角及右上角的橫坐標(biāo)、縱坐標(biāo)信息。圖像索引表包括圖像ID、圖像名稱、所屬網(wǎng)格編號以及圖像路徑字段,其描述了可定位圖像在各個網(wǎng)格單元的分布狀況。通過建立網(wǎng)格編號排序索引,能快速定位圖像所屬網(wǎng)格,并返回查詢區(qū)域內(nèi)的圖像。圖像信息表記錄了可定位圖像的基礎(chǔ)參數(shù)信息,包括圖像分辨率、拍攝焦距、曝光度、采集時間、采集地點、經(jīng)緯度坐標(biāo)、方位值以及方位分類等字段,通過此表用戶可查看圖像的屬性,同時可根據(jù)位置參數(shù)進行地圖定位。 圖5 基于規(guī)則網(wǎng)格可定位圖像的索引結(jié)構(gòu) 在此基礎(chǔ)上,通過Visual Studio 2010平臺實現(xiàn)可定位圖像管理平臺,提供空間查詢、時間查詢及地址查詢3種圖像檢索方式,界面如圖6所示。 圖6 可定位圖像檢索界面 對于空間檢索操作,用戶可以指定拍攝方位以及在百度地圖上設(shè)置檢索區(qū)域(圖中矩形區(qū)域)進行圖像查詢,系統(tǒng)返回滿足要求的圖像并以縮略圖形式在地圖下方區(qū)域進行呈現(xiàn),用戶可以通過點擊縮略圖查看圖像及參數(shù)信息,同時在地圖上以扇形標(biāo)注顯示該圖像的拍攝位置與方位。 以福州主城區(qū)為例,按照2種不同網(wǎng)格大小對市區(qū)范圍進行劃分:1 km×1 km網(wǎng)格劃分660個索引單位,5 km×5 km網(wǎng)格劃分為30個索引單元。在此基礎(chǔ)上,將市區(qū)內(nèi)采集到的968幅可定位圖像索引入庫;由于實拍圖像數(shù)據(jù)集數(shù)量有限,為了更好地對索引方法效率進行對比分析,實驗同時模擬并建立了10000張可定位圖像數(shù)據(jù)集。針對上述2份數(shù)據(jù)集,基于IBM T420微機平臺(CPU Intel(R)Core(TM)i5-2410M雙核處理器,主頻2.3 GHz,可用內(nèi)存3 GB),采用網(wǎng)格索引與無索引方式,同時考慮檢索區(qū)域的大小對圖像數(shù)據(jù)集進行圖像檢索,并從檢索結(jié)果、檢索效率方面進行對比,比較結(jié)果如表1所示。 表1 網(wǎng)格索引與無索引方式檢索效率對比 從檢索結(jié)果上,基于網(wǎng)格索引與無索引方式檢索結(jié)果是一致的,因此,基于位置的圖像檢索能提供一種精確的目標(biāo)檢索;從檢索效率上,無論檢索區(qū)域還是數(shù)據(jù)集大小,總體上5 km網(wǎng)格索引方式最優(yōu),1 km網(wǎng)格索引方式次之,無索引方式最末。對于基于無索引的檢索方式,由于檢索需遍歷所有記錄,因此檢索時間大致是一致的,而基于網(wǎng)格的索引方式,對于較小的檢索區(qū)域,由于采用位置索引方式大大減少了記錄遍歷次數(shù),檢索效率大幅提升;對于較大的檢索區(qū)域,例如對于小數(shù)據(jù)集(968幅),檢索區(qū)域為61 km2,相當(dāng)于區(qū)域索引范圍的1/10面積大小,采用1 km網(wǎng)格索引方式與無索引方式的檢索效率相當(dāng),索引并沒有達到提升檢索效率的目的,究其原因有以下2點:(1)數(shù)據(jù)集圖像樣本太少,索引不能體現(xiàn)其優(yōu)勢,(2)由于檢索范圍較大,而網(wǎng)格索引劃分太細,使得檢索過程中對于網(wǎng)格相交判斷耗時較長,從而影響了檢索效率;其次基于不同大小的網(wǎng)格索引,其檢索效率不同,網(wǎng)格的劃分需考慮區(qū)域范圍、應(yīng)用目的等多方面的因素尋求最優(yōu)的網(wǎng)格劃分方案。綜上所述,可定位圖像采用網(wǎng)格索引方式是可行的,適合大小的網(wǎng)格索引能大幅提升圖像的檢索效率。 本文提出了集圖像內(nèi)容、圖像元數(shù)據(jù)、位置特征以及描述信息于一體的可定位圖像表達模型。在此基礎(chǔ)上,通過Android平臺實現(xiàn)圖像信息、方位信息、定位信息以及地址描述等要素的實時獲取,并以EXIF圖像格式對上述獲取的參數(shù)進行組織存儲形成可定位圖像;針對可定位圖像具有位置特征以及方位特征的特性,采用規(guī)則網(wǎng)格對其位置特征構(gòu)建空間索引,同時按方向?qū)Ψ轿惶卣鬟M行聚類索引,并對福州市區(qū)范圍內(nèi)采集的可定位圖像進行檢索實驗,實驗結(jié)果證明基于位置的圖像空間索引方法是可行的,能快速檢索到圖像。可定位圖像不僅豐富了GIS對地理對象的表達及數(shù)據(jù)采集方式,同時也為數(shù)字城管、環(huán)境監(jiān)查、智能快遞、野外考察等行業(yè)提供了應(yīng)用參考價值。此外,音頻作為一種重要的描述信息尚未集成到可定位圖像中,將在下一步工作中進行完善。 [1]韓志剛,孔云峰,秦耀辰.地理表達研究進展[J].地理科學(xué)進展,2011,30(2):141-146. [2]劉向峰,孟志軍,陳竟平.作物病蟲害信息采集與遠程診斷系統(tǒng)設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計,2011,32(7):2361-2363,2408. [3]宋宏權(quán),劉學(xué)軍,閭國年,等.基于視頻的地理場景增強表達研究[J].地理與地理信息科學(xué),2012,28(5):6-9. [4]Liu Qiang,Yoo J J,Choi K H,et al.A Scalable Video GIS System for GPS-guided Vehicles[C]//Proc. of IEEE International Conference on Acoustics,Speech,and Signal Processing.[S.l.]:IEEE Press,2004:941-944. [5]武文波,劉向鋒.GIS中數(shù)字圖像與地理位置的整合方法與應(yīng)用[J].微計算機信息,2011,27(4):235-237. [6]李文闖,章永平,潘瑜春.移動地理信息系統(tǒng)中多源異構(gòu)數(shù)據(jù)融合模型[J].計算機應(yīng)用,2012,32(9):2672-2674,2678. [7]Japan Electronics and Information Technology Industries Association.JEITA CP-3451-2002 Exchangeable Image File Format for Digital Still Cameras:Exif Version 2.2[S].2002. [8]Naaman M,Song Y J,Paepcke A,et al.Automatic Organization for Digital Photographs with Geographic Coordinates[C]//Proc.of the Joint ACM/IEEE Conference on Digital libraries.New York,USA:IEEE Press,2004:53-62. [9]Yekkala A K,Volleberg G T G,Saha S.Automatic Organization of Digital Photographs[C]//Proc.of International Conference on Consumer Electronics.Las Vegas,USA:[s.n.],2007:1-2. [10]Epshtein B,Ofek E,Wexler Y,et al.Hierarchical Photo Organization Using Geo-relevance[C]//Proc.of the15th International Symposium on Advances in Geographic Information Systems.New York,USA:[s.n.],2007:1-7. [11]Toyama K,Logan R,Roseway A.Geographic Location Tags on Digital Images[C]//Proc.of the 11th ACM International Conference on Multimedia.New York,USA:[s.n.],2003:156-166. [12]馬亞明,徐 楊,張江水.空間索引與多尺度表達的一體化模型研究[J].武漢大學(xué)學(xué)報信息科學(xué)版,2008,33(12):1237-1241. [13]孟妮娜,周校東.固定格網(wǎng)劃分的空間索引的實現(xiàn)技術(shù)[J].北京測繪,2003,(1):7-11.3.2 基于位置的圖像檢索實現(xiàn)
4 實驗分析
5 結(jié)束語