于濤

（遼寧冶金職業(yè)技術(shù)學(xué)院，遼寧 本溪117000）

海量數(shù)據(jù)處理系統(tǒng)框架屬于逆向工程軟件的基礎(chǔ)部分，該框架主要包括數(shù)據(jù)采集、模型修補等相關(guān)方面。然而，該項技術(shù)在使用過程中，海量數(shù)據(jù)處理系統(tǒng)框架存在諸多問題，尤其是三維網(wǎng)格數(shù)據(jù)存儲環(huán)節(jié)較為薄弱，無法滿足人們工作使用需求。為此，如何加大海量數(shù)據(jù)的儲存與顯示功能是人們迫切解決的主要問題。

1 面向?qū)ο蠹夹g(shù)

海量數(shù)據(jù)與面向?qū)ο蠹夹g(shù)優(yōu)化結(jié)合以后，可以將海量三角網(wǎng)絡(luò)格模型視作整體對象，然后將較為抽象的邏輯數(shù)據(jù)，依照其封裝原理進(jìn)行操作，這樣就可以借助面向?qū)ο蟪绦蛟O(shè)計語言操作海量網(wǎng)格數(shù)據(jù)。當(dāng)前，網(wǎng)格數(shù)據(jù)對象基本分為兩個部分，一個部分是內(nèi)部狀態(tài)，另一個部分是對網(wǎng)格數(shù)據(jù)操作方法以及外部影響。其中面向?qū)ο笤O(shè)計程序主要是將網(wǎng)格數(shù)據(jù)作為最基本元素，通過代碼操作數(shù)據(jù)使其可以有效描述內(nèi)部狀態(tài)，該程序以數(shù)據(jù)為核心，利用代碼處理技術(shù)設(shè)計程序數(shù)據(jù)，從而將代碼操作與數(shù)據(jù)中的函數(shù)優(yōu)化結(jié)合，避免該程序受外界函數(shù)干擾，致使數(shù)據(jù)發(fā)生改變。由于各種設(shè)計方法具有良好的繼承性、封裝性與多態(tài)性，可以有效繼承網(wǎng)格數(shù)據(jù)，大量消除多余代碼，并在原有基礎(chǔ)上對現(xiàn)有代碼進(jìn)行擴充，這樣海量數(shù)據(jù)處理系統(tǒng)框架模塊在構(gòu)建時，不需要從頭開始進(jìn)行重新構(gòu)建，減少軟件重新開發(fā)的時間，提高更新速度。設(shè)計人員在設(shè)計時應(yīng)以數(shù)據(jù)為中心，應(yīng)對原有系統(tǒng)模型框架進(jìn)行更多的細(xì)節(jié)處理，借助面向?qū)ο笙到y(tǒng)使其從小到大進(jìn)行升級，通過內(nèi)部傳遞技術(shù)與外部連接技術(shù)相結(jié)合的方法，促使海量數(shù)據(jù)處理系統(tǒng)再次開發(fā)，使其可以有效控制更為復(fù)雜的軟件程序。

2 網(wǎng)格區(qū)域劃分技術(shù)

技術(shù)人員在處理海量數(shù)據(jù)過程中，一般會對上百萬個三角面片進(jìn)行有效處理，然而計算機內(nèi)存數(shù)量有限，不能把許多數(shù)據(jù)全部存入的內(nèi)存系統(tǒng)當(dāng)中。針對這種情況，技術(shù)人員在處理網(wǎng)格數(shù)據(jù)時，需要對計算機中的某塊數(shù)據(jù)信息進(jìn)行有效處理。這就需要技術(shù)人員將海量網(wǎng)格數(shù)據(jù)中的某段區(qū)域數(shù)據(jù)信息進(jìn)行檢索，然后將檢索出來的數(shù)據(jù)信息，在網(wǎng)格數(shù)據(jù)中進(jìn)行壓縮。倘若技術(shù)人員需要某部分?jǐn)?shù)據(jù)時，應(yīng)將所有壓縮的數(shù)據(jù)信息進(jìn)行解壓縮。這樣就需要在網(wǎng)格數(shù)據(jù)處理過程中，對上百萬個三角面片海量數(shù)據(jù)予以壓縮處理，該種處理方法需要耗費較長的時間，而且還會耗費較大的人力物力，致使技術(shù)人員無法進(jìn)行等待操作，沒有任何處理意義。而海量網(wǎng)格區(qū)域劃分方法，則是將海量網(wǎng)格中的數(shù)據(jù)信息進(jìn)行有效處理，通過化整為零的形式，將不好處理的數(shù)據(jù)信息劃分成獨立的區(qū)域，以便各類數(shù)據(jù)信息可以有效進(jìn)行處理，即便計算機內(nèi)存數(shù)據(jù)線有所限制，不能將計算機內(nèi)存中儲存的全部數(shù)據(jù)信息進(jìn)行直接讀取，但是可以在小區(qū)域內(nèi)進(jìn)行數(shù)據(jù)分讀，這樣不但減少數(shù)據(jù)內(nèi)存占用量，還能縮短數(shù)據(jù)檢索時間。技術(shù)人員只需要明確所用小部分?jǐn)?shù)據(jù)信息的所在區(qū)域，然后對該區(qū)域進(jìn)行數(shù)據(jù)檢索，在檢索到所要數(shù)據(jù)信息后，將所要的數(shù)據(jù)信息壓縮后，然后再對該區(qū)域的數(shù)據(jù)信息予以壓縮，這樣該部分?jǐn)?shù)據(jù)信息在使用時，只需將其提取解壓縮就可以讀取出具信息。

3 數(shù)據(jù)壓縮技術(shù)

海量網(wǎng)格數(shù)據(jù)屬于極為龐大的，有上百萬個三角面片組成的三角網(wǎng)格模型，該模型所占計算機空間通常為上百兆，如此龐大的海量網(wǎng)格數(shù)據(jù)不利于數(shù)據(jù)信息儲存與傳輸。針對這種情況，技術(shù)人員會對海量網(wǎng)絡(luò)數(shù)據(jù)予以壓縮處理，從而減少海量數(shù)據(jù)儲存占有空間，也就是說數(shù)據(jù)壓縮技術(shù)是減少海量數(shù)據(jù)存儲空間。當(dāng)前，三角網(wǎng)格信息主要分為三個部分：拓?fù)湫畔?、幾何信息以及屬性信息。其中拓?fù)湫畔⒅饕菓?yīng)用于描述三角網(wǎng)格中三角片面與頂格之間的相互聯(lián)系；幾何信息是標(biāo)明三角網(wǎng)格中各頂點的坐標(biāo)位置；而屬性信息則是指三角網(wǎng)格中的其他信息，如法向量，頂點顏色等。

4 內(nèi)存訪問技術(shù)

由于海量數(shù)據(jù)處理系統(tǒng)中需要處理的數(shù)據(jù)信息較為龐大，而電腦內(nèi)存量有限，不能對海量數(shù)據(jù)進(jìn)行全部儲存。針對這種情況，倘若某時刻內(nèi)存中儲存的數(shù)據(jù)信息只有若干小塊，而其他的數(shù)據(jù)信息則會以文件形式儲存在計算機硬盤當(dāng)中，不利于數(shù)據(jù)快速查找。這時技術(shù)人員可以采用數(shù)據(jù)塊淘汰策略，也就是說技術(shù)人員在訪問某塊所需要的數(shù)據(jù)信息時，應(yīng)該先在計算機內(nèi)存中進(jìn)行查找，倘若計算機內(nèi)存中存在所需要的小塊數(shù)據(jù)信息，技術(shù)人員就可以直接對該項數(shù)據(jù)信息訪問。倘若在計算機內(nèi)存中找不到所需要的小塊數(shù)據(jù)信息，技術(shù)人員應(yīng)在計算機硬盤中將所需要的數(shù)據(jù)內(nèi)容重新調(diào)入到內(nèi)存當(dāng)中，但計算機內(nèi)存已滿無法再輸入任何數(shù)據(jù)信息，技術(shù)人員可以將內(nèi)存中不經(jīng)常使用的小塊數(shù)據(jù)移動至計算機硬盤當(dāng)中進(jìn)行保存。

技術(shù)人員在同時訪問多個小塊數(shù)據(jù)文件時，就會需要對許多小塊數(shù)據(jù)進(jìn)行同時讀寫文件，然而計算機系統(tǒng)文件資源管理有限，只能同時打開幾百個文件，不能上千個小塊壓縮數(shù)據(jù)文件進(jìn)行同時打開訪問。由于文件訪問數(shù)量有限，而技術(shù)人員所需要用的文件資源數(shù)量已經(jīng)消耗殆盡，仍舊沒有找到所要用的文件內(nèi)容，這時技術(shù)人員應(yīng)將已經(jīng)打開的文件關(guān)閉，然后再去尋找所要用的文件并進(jìn)行打開。為了更加準(zhǔn)確的對所選擇的文件進(jìn)行淘汰，技術(shù)人員應(yīng)在電腦數(shù)據(jù)程序中設(shè)置一個淘汰策略，該種淘汰策略與內(nèi)存淘汰策略較為相近，就是將不經(jīng)常使用的文件進(jìn)行淘汰。然而這種打開關(guān)閉、打開關(guān)閉的選擇方法速度較慢，只適用于文件淘汰計算方法，對于劃分區(qū)域網(wǎng)格數(shù)據(jù)塊并不實用，會在網(wǎng)絡(luò)運行中消耗大量的時間。這就需要技術(shù)人員在數(shù)據(jù)算法上盡可能減少同時訪問多個文件的情況，將文件淘汰方法轉(zhuǎn)變成緩沖技術(shù)使用內(nèi)存法，該種方法可以在讀取文件時一次性對某塊區(qū)域內(nèi)的數(shù)據(jù)進(jìn)行讀取緩沖，然后在緩沖區(qū)域內(nèi)尋找所要讀取的數(shù)據(jù)文件。而在編寫文件時，技術(shù)人員只需要將數(shù)據(jù)代碼編寫到緩沖區(qū)域內(nèi)，待緩沖區(qū)域?qū)憹M后，再將剩下的編程代碼寫到數(shù)據(jù)文件里，這樣就能減少數(shù)據(jù)文件讀取信息的時間，同時也減少文件開辟的時間，大大提高技術(shù)人員工作效率。

5 多線編程技術(shù)

在以往傳統(tǒng)數(shù)據(jù)操作過程中，數(shù)據(jù)系統(tǒng)進(jìn)行資源分配的單位被稱作進(jìn)程，其系統(tǒng)資源分配大多采用單線進(jìn)程，也就是指在某個時刻只能對某一個系統(tǒng)資源分配進(jìn)行流程控制。由于單線程進(jìn)程計算模式不適用于海量數(shù)據(jù)讀寫、壓縮等相關(guān)操作，針對這種情況windows xp 系統(tǒng)將傳統(tǒng)單線進(jìn)程模式轉(zhuǎn)變成支持多線程進(jìn)程模式。倘若多線程進(jìn)程模式在網(wǎng)格區(qū)域劃分過程中予以有效應(yīng)用，就能行原本大網(wǎng)格中依照實際需求劃分成若干個網(wǎng)格小區(qū)域，以便windows xp 系統(tǒng)在操作過程中能夠?qū)崿F(xiàn)多線程技術(shù)，還能對不同的小區(qū)域數(shù)據(jù)予以同時操作，有效完成數(shù)據(jù)代碼的編寫與壓縮等相關(guān)任務(wù)。當(dāng)前海量數(shù)據(jù)處理系統(tǒng)最大的特點就是計算機容量較大，技術(shù)人員需要花費較長的時間進(jìn)行數(shù)據(jù)操作，為了減少技術(shù)人員較長時間的操作等待，可以采用多線程編程技術(shù)，并對海量數(shù)據(jù)工作臺的后臺予以有效相關(guān)處理，以便前臺縣城能夠更加快速靈敏的反應(yīng)操作人員指令需求。

6 快速顯示技術(shù)

海量數(shù)據(jù)信息處理系統(tǒng)中的三維數(shù)據(jù)顯示屬于三維化可視必要環(huán)節(jié)，不論是處理三維數(shù)據(jù)，還是在三維數(shù)據(jù)處理過程中對其進(jìn)行再處理，都需要將數(shù)據(jù)處理程序展示給用戶觀察，只有在交互過程中才能繼續(xù)有效實施。通常海量三角網(wǎng)格模型是由上百萬個三角片面組成，面對如此龐大的三角片面，即便一個簡單的平移計算機屏幕模型或者是旋轉(zhuǎn)計算機屏幕模型等相關(guān)操作，都需要間隔數(shù)10 秒的等待時間。針對這種情況，技術(shù)人員可以將顯示列表技術(shù)與數(shù)據(jù)分塊技術(shù)相結(jié)合，以此優(yōu)化數(shù)據(jù)程序運行功能。技術(shù)人員在調(diào)試顯示列表過程中，應(yīng)將其函數(shù)術(shù)語一一羅列在執(zhí)行表當(dāng)中，然后采用顯示列表方式對其進(jìn)行數(shù)據(jù)繪圖，可以有效提升繪圖時間。倘若技術(shù)人員將顯示列表轉(zhuǎn)變成適合圖形應(yīng)用的硬件格式，則在原有基礎(chǔ)上提供其繪圖性能，繼而提高技術(shù)人員日常辦公效率，縮短繪圖辦公時間。

7 結(jié)論

由于海量數(shù)據(jù)襲擊較為龐大，計算機內(nèi)存較為有限，致使設(shè)計人員在日常設(shè)計應(yīng)用中需要浪費較大的時間與精力，通過面向?qū)ο蠹夹g(shù)、網(wǎng)格區(qū)域劃分技術(shù)、數(shù)據(jù)壓縮技術(shù)、內(nèi)存訪問技術(shù)、多線編程技術(shù)以及快速顯示技術(shù)，能夠改變以往計算機內(nèi)存較小無法對大量數(shù)據(jù)模型進(jìn)行處理的困局，促使海量數(shù)據(jù)信息處理框架能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境需求。