謝 偉，張 蕾，蘭 天，胡 漣，邱子涵

(北京精密機(jī)電控制設(shè)備研究所，北京 100076)

伺服測試數(shù)據(jù)格式轉(zhuǎn)換算法研究

謝 偉，張 蕾，蘭 天，胡 漣，邱子涵

(北京精密機(jī)電控制設(shè)備研究所，北京 100076)

測試數(shù)據(jù)及其格式轉(zhuǎn)換是計(jì)算機(jī)測控領(lǐng)域的一項(xiàng)重要研究內(nèi)容，對于伺服測試尤其如此；伺服種類繁多，不同種類測試數(shù)據(jù)差別很大，需要格式轉(zhuǎn)換；某種類伺服測試軟件采用測試與數(shù)據(jù)處理分開的框架結(jié)構(gòu)，數(shù)據(jù)處理采用已成熟應(yīng)用的數(shù)據(jù)平臺，測試子系統(tǒng)全新設(shè)計(jì)；兩者底層數(shù)據(jù)格式不同，測試子系統(tǒng)設(shè)計(jì)了數(shù)據(jù)轉(zhuǎn)換模塊進(jìn)行格式轉(zhuǎn)換；但現(xiàn)有數(shù)據(jù)格式轉(zhuǎn)換效率較低，不能滿足該種類快速判讀以確定伺服產(chǎn)品狀態(tài)的需求；對伺服測試軟件生成的原始數(shù)據(jù)格式、待轉(zhuǎn)換的物理量數(shù)據(jù)格式、數(shù)據(jù)格式轉(zhuǎn)換邏輯進(jìn)行了研究，提出了優(yōu)化代碼內(nèi)存使用效率的方法，設(shè)計(jì)了新的轉(zhuǎn)換算法，使轉(zhuǎn)換效率有了質(zhì)的提高；并設(shè)計(jì)了全新可視化的數(shù)據(jù)格式轉(zhuǎn)換工具在其它種類中推廣應(yīng)用；由于該方法具有普遍性，對類似問題具有借鑒意義。

伺服測試數(shù)據(jù)；數(shù)據(jù)格式轉(zhuǎn)換算法；內(nèi)存使用；轉(zhuǎn)換效率

0 引言

伺服機(jī)構(gòu)系統(tǒng)是火箭控制系統(tǒng)的執(zhí)行機(jī)構(gòu),是火箭控制回路的重要環(huán)節(jié)。伺服機(jī)構(gòu)的性能直接關(guān)系到火箭的控制穩(wěn)定性,因此伺服機(jī)構(gòu)的測試非常重要[1]。在伺服測試中軟件設(shè)計(jì)是測試設(shè)備研制的一項(xiàng)關(guān)鍵內(nèi)容；目前所知，軟件系統(tǒng)一般采用測試、數(shù)據(jù)處理分開的框架結(jié)構(gòu)[2]。為了提高實(shí)時性和存儲效率，測試軟件一般采用二進(jìn)制形式存儲測試原始數(shù)據(jù)；數(shù)據(jù)處理軟件要輸出用戶可讀形式的文本數(shù)據(jù)；另外不同種類測試數(shù)據(jù)要求也差別很大，因此數(shù)據(jù)格式轉(zhuǎn)換不可避免[3]。

本文以某種類伺服測試軟件為背景論述了測試原始數(shù)據(jù)轉(zhuǎn)換成物理量格式所遇到的問題，分析原因、研究大數(shù)據(jù)量情況下內(nèi)存操作的優(yōu)化方法、提出新的數(shù)據(jù)轉(zhuǎn)換算法。

1 概述

出于數(shù)據(jù)存儲實(shí)時性要求以及存儲數(shù)據(jù)文件不能過大等條件的限制，伺服測試軟件在測試過程中生成的原始數(shù)據(jù)文件采用二進(jìn)制格式，后綴為.da。該格式的文件為內(nèi)存數(shù)據(jù)結(jié)構(gòu)硬拷貝形式，未經(jīng)格式轉(zhuǎn)換就直接將內(nèi)存數(shù)據(jù)映射到數(shù)據(jù)文件上進(jìn)行存儲，具有物理空間占用低的優(yōu)點(diǎn)。在減少數(shù)據(jù)存儲空間的同時，極大縮短數(shù)據(jù)存儲時間，提高了測試效率。但是該類型的數(shù)據(jù)文件只能通過開發(fā)專門的數(shù)據(jù)格式轉(zhuǎn)換軟件，將數(shù)據(jù)轉(zhuǎn)換為文本格式(物理量數(shù)據(jù)格式是其一種，直接表示通道具有物理意義的數(shù)據(jù)內(nèi)容)后，才能用文本編輯器等其他常用數(shù)據(jù)分析和查看工具查看和分析。

在日常使用過程中軟件操作人員，如伺服總體人員和調(diào)試記錄人員，卻經(jīng)常需要將原始數(shù)據(jù)文件.da轉(zhuǎn)換為.txt格式的文本文件[4]進(jìn)行數(shù)據(jù)查看和數(shù)據(jù)分析。

目前使用的.da到.txt格式的數(shù)據(jù)格式轉(zhuǎn)換工具有兩種：一種為伺服測試軟件本身附帶的功能，通過軟件界面對轉(zhuǎn)換文件逐個操作；一種為控制臺形式操作，需要使用者使用操作系統(tǒng)的命令行操作，輸入相關(guān)轉(zhuǎn)換命令完成數(shù)據(jù)格式轉(zhuǎn)換，操作不方便。另外，關(guān)鍵問題是目前的轉(zhuǎn)換算法執(zhí)行效率很低，特別是在進(jìn)行大數(shù)據(jù)量轉(zhuǎn)換時，需要花費(fèi)數(shù)個小時時間才能完成，轉(zhuǎn)換效率非常低。這不僅增加了數(shù)據(jù)使用人員的操作負(fù)擔(dān)、影響他們進(jìn)行快速的數(shù)據(jù)比對分析，也降低工作效率，影響了伺服異常情況下進(jìn)行原因分析和定位工作的正常開展。

2 現(xiàn)有數(shù)據(jù)轉(zhuǎn)換過程分析

以某種類伺服測試軟件為基礎(chǔ)，對現(xiàn)有數(shù)據(jù)處理的數(shù)據(jù)格式轉(zhuǎn)換過程進(jìn)行梳理，分析了其邏輯過程及實(shí)現(xiàn)手段，重點(diǎn)考察了其內(nèi)存操作情況。現(xiàn)有算法的數(shù)據(jù)轉(zhuǎn)換過程分為以下幾個基本步驟，其內(nèi)存利用情況如圖1所示。

圖1 現(xiàn)有數(shù)據(jù)轉(zhuǎn)換過程內(nèi)存利用情況

1)讀取二進(jìn)制文件到內(nèi)存；

2)開辟一塊大內(nèi)存P；

3)逐個轉(zhuǎn)換每個二進(jìn)制數(shù)據(jù)為字符串類型；

4)將每個轉(zhuǎn)換過的字符串追加到P的有效字符串尾；

5)如果P大小不足以容納新加入的字符串，開辟更大快內(nèi)存P1，將P內(nèi)數(shù)據(jù)拷貝過去的同時，將新加入的字符串追加到P1的有效字符串尾；

6)若還有數(shù)據(jù)未轉(zhuǎn)換，繼續(xù)對P1判斷；如果P1大小不足以容納新加入的字符串，開辟更大快內(nèi)存P2，將P1內(nèi)數(shù)據(jù)拷貝過去的同時，將新加入的字符串追加到P2的有效字符串尾；

7)如此循環(huán)執(zhí)行。轉(zhuǎn)換完畢后，存儲Pn數(shù)據(jù)到文本文件，流程結(jié)束。

3 數(shù)據(jù)格式轉(zhuǎn)換影響因素分析

在數(shù)據(jù)格式轉(zhuǎn)換過程中，CPU除了執(zhí)行每個數(shù)據(jù)的物理量轉(zhuǎn)換公式(簡單的線性公式或者復(fù)雜的多項(xiàng)式)外，主要就是內(nèi)存和數(shù)據(jù)轉(zhuǎn)字符串操作[5]。具體說，由.da格式的數(shù)據(jù)轉(zhuǎn)換為.txt格式的數(shù)據(jù)，進(jìn)行的主要操作為將大量float類型數(shù)據(jù)轉(zhuǎn)換為一個字符串型長數(shù)據(jù)，其間要進(jìn)行大量字符串合并操作。通過深入分析數(shù)據(jù)格式轉(zhuǎn)換過程，得出主要影響轉(zhuǎn)換效率的3個因素：

1)轉(zhuǎn)換算法所用的循環(huán)方式；

2)轉(zhuǎn)換時所用的字符串操作函數(shù)；

3)轉(zhuǎn)換的數(shù)據(jù)量。

以下就3個因素逐一進(jìn)行影響域分析。

3.1 轉(zhuǎn)換算法所用的循環(huán)方式

現(xiàn)有轉(zhuǎn)換算法用到了通道數(shù)和總數(shù)據(jù)量兩層循環(huán)來遍歷所有待轉(zhuǎn)換點(diǎn)，其中通道數(shù)是外循環(huán)，總數(shù)據(jù)量是內(nèi)循環(huán)，通過將內(nèi)外循環(huán)順序顛倒，進(jìn)行實(shí)測，發(fā)現(xiàn)對轉(zhuǎn)換時間基本沒有影響，故其為影響的次要因素。

3.2 轉(zhuǎn)換時所用的字符串操作函數(shù)

在Windows平臺下基于C++的非嵌入式軟件開發(fā)一般采用Visual C++系列或C++ Builder平臺?，F(xiàn)有轉(zhuǎn)換算法用到了MFC類庫的CString類進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換和字符串合并，具體用到的操作函數(shù)為數(shù)據(jù)格式轉(zhuǎn)換函數(shù)Format()和字符串合并函數(shù)operate+=()。通過在3.1的兩層循環(huán)中插入計(jì)時函數(shù)來實(shí)時監(jiān)測轉(zhuǎn)換時間，發(fā)現(xiàn)：隨著待合并數(shù)據(jù)量的不斷增加，數(shù)據(jù)格式轉(zhuǎn)換函數(shù)Format()在進(jìn)行一個新字符串轉(zhuǎn)換時所用時間基本不變，而字符串合并函數(shù)operate+=()在進(jìn)行一個新字符串合并時所需時間越來越長。即，算法起始時合并一個字符串和過程中合并一個字符串所用時間并不相等，而是呈現(xiàn)出時間不斷增長趨勢。故operate+=()應(yīng)為影響的主要因素。C++ Builder平臺下VCL類庫的TString類也有類似問題。

3.3 轉(zhuǎn)換的數(shù)據(jù)量大小

通過在3.1的兩層循環(huán)中插入計(jì)時函數(shù)實(shí)時監(jiān)測轉(zhuǎn)換時間，發(fā)現(xiàn)：隨著待合并數(shù)據(jù)量不斷增加，合并一個新字符串所需時間越來越長。即，算法起始時合并一個字符串和過程中合并一個字符串所用時間并不相等，而是呈現(xiàn)出了不斷增長的趨勢。通過對比發(fā)現(xiàn)：(下述數(shù)據(jù)基于某種類伺服測試軟件的測試工況取得)轉(zhuǎn)換52個通道每通道4 000點(diǎn)所用時間為44秒，而轉(zhuǎn)換52個通道每通道16 000點(diǎn)所用時間為6分鐘，轉(zhuǎn)換52個通道每通道100 000點(diǎn)所用的時間為5小時。隨著轉(zhuǎn)換數(shù)據(jù)量增加，轉(zhuǎn)換時間并沒有呈現(xiàn)線性增長，而是呈現(xiàn)指數(shù)級更快增長。圖2為轉(zhuǎn)換時間與數(shù)據(jù)量關(guān)系對照圖。

圖2 轉(zhuǎn)換時間與數(shù)據(jù)量關(guān)系對照

可以看出，待轉(zhuǎn)換數(shù)據(jù)量也為影響的主要因素。但是由于在實(shí)際應(yīng)用中待轉(zhuǎn)換數(shù)據(jù)量為必須完成的任務(wù)，不可更改，該因素予以去除。只能從前面兩個因素來進(jìn)行考慮。即應(yīng)該設(shè)計(jì)出和數(shù)據(jù)量大小成線性關(guān)系的新轉(zhuǎn)換算法。

4 新轉(zhuǎn)換算法設(shè)計(jì)

4.1 算法分析與改進(jìn)

通過分析上述影響因素發(fā)現(xiàn)，影響轉(zhuǎn)換效率的主要因素為CString類的operate+=()函數(shù)，進(jìn)一步分析該函數(shù)發(fā)現(xiàn)，由于該函數(shù)為CString類的成員函數(shù)，該函數(shù)在合并一個新的字符串時所進(jìn)行的操作異常復(fù)雜，主要包括以下幾步：

1)判斷新字符串是否為空，以及新串長度；

2)如不為空，則根據(jù)新串長度來計(jì)算自身空間是否足夠容納新串，如果可以則直接追加到自身串尾；

3)如果自身空間不足，則需要根據(jù)自身算法新建一個新內(nèi)存空間，該空間大小除了能夠容納原有字符串和新字符串長度之和外，還應(yīng)該有一定余量，以便于再次合并新串時，不需要反復(fù)新建內(nèi)存空間，然后將原有字符串拷貝過去，再將新字符串追加到串尾。

分析以上步驟不難發(fā)現(xiàn)：隨著待合并數(shù)據(jù)不斷追加，需要不斷開辟新的內(nèi)存空間，進(jìn)行原有字符串和新字符串的拷貝操作；而且這些操作隨著數(shù)據(jù)的增加越來越頻繁，最終導(dǎo)致轉(zhuǎn)換時間非線性指數(shù)級增長。

基于主要影響因素分析，設(shè)計(jì)了新字符串合并方法，保證轉(zhuǎn)換時間的線性增長。主要改進(jìn)為：拋開CString類，通過直接內(nèi)存操作方式，一次性開辟足夠大內(nèi)存空間，進(jìn)行拷貝、轉(zhuǎn)換和存儲字符串?dāng)?shù)據(jù)。

具體實(shí)現(xiàn)為：

1)預(yù)先開辟一塊足夠大內(nèi)存空間P，該空間大于全部待轉(zhuǎn)換字符串長度之和，足夠容納所有待轉(zhuǎn)換數(shù)據(jù)量。由于通道數(shù)和每通道個數(shù)已知，只需再確定每個待轉(zhuǎn)換字符串的最大長度；

2)設(shè)置一個動態(tài)指針p，該指針始終指向P中有效字符串尾部，初始時指向P起始位置。當(dāng)需要合并一個新字符串時，只需在p的位置進(jìn)行新字符串合并操作即可。合并完成后，p后移新字符串長度的位置。以此循環(huán)執(zhí)行，即可完成所有新字符串合并操作；

3)所有數(shù)據(jù)合并完成后，重新計(jì)算P中有效字符串總長度，即為轉(zhuǎn)換完成的字符串總長度，將該部分內(nèi)容存儲為.txt格式的文本文件。

圖3 新算法數(shù)據(jù)轉(zhuǎn)換過程

該方法通過預(yù)先分配足夠大內(nèi)存空間P，每次操作都針對同一塊內(nèi)存區(qū)域，避免了反復(fù)開辟、刪除、拷貝內(nèi)存數(shù)據(jù)帶來的時間開銷，保證了轉(zhuǎn)換時間線性增長。同時，通過直接操作內(nèi)存，在最短時間內(nèi)完成一個新字符串的拷貝工作。

4.2 改進(jìn)效果驗(yàn)證

通過實(shí)際操作驗(yàn)證，采用新的轉(zhuǎn)換算法，轉(zhuǎn)換52個通道每通道4 000點(diǎn)所用時間為0.1秒，而轉(zhuǎn)換52個通道每通道16 000點(diǎn)所用時間也為0.4秒，轉(zhuǎn)換52個通道每通道100 000點(diǎn)所用的時間為2.5秒。轉(zhuǎn)換時間大大減少，用時甚至可以忽略不計(jì)，再也不是快速獲取.txt文本數(shù)據(jù)的制約因素。隨著轉(zhuǎn)換數(shù)據(jù)量的增加，轉(zhuǎn)換時間表現(xiàn)出了線性增長的趨勢，轉(zhuǎn)換進(jìn)度變?yōu)榫€性可控。下圖4為優(yōu)化后的轉(zhuǎn)換時間與數(shù)據(jù)量關(guān)系對照圖，轉(zhuǎn)換效率提高260 000倍，特別是在轉(zhuǎn)換超大數(shù)據(jù)量方面，極大縮短了轉(zhuǎn)換時間。優(yōu)化前后數(shù)據(jù)轉(zhuǎn)換時間對比如下圖5所示。

4.3 改進(jìn)措施固化

除進(jìn)行源代碼級的算法改進(jìn)，同時設(shè)計(jì)了人機(jī)交互界面[6]工具協(xié)助使用者進(jìn)行格式轉(zhuǎn)換操作。該界面能夠幫助使用者選擇待轉(zhuǎn)換數(shù)據(jù)，并實(shí)時顯示轉(zhuǎn)換進(jìn)度，避免使用命令行轉(zhuǎn)換形式帶來的不便和操作失誤；同時增加操作的便利性，轉(zhuǎn)換狀態(tài)實(shí)時顯示以方便用戶查看，不再是未知的等待過程。

圖4 優(yōu)化后的轉(zhuǎn)換時間與數(shù)據(jù)量關(guān)系對照

圖5 優(yōu)化前后數(shù)據(jù)轉(zhuǎn)換用時對比

5 結(jié)論

在伺服測試數(shù)據(jù)格式轉(zhuǎn)換中某種類伺服測試軟件遇到了大數(shù)據(jù)量時轉(zhuǎn)換效率低下的問題，通過對數(shù)據(jù)格式轉(zhuǎn)換過程分析，設(shè)計(jì)了新的轉(zhuǎn)換算法，優(yōu)化了算法內(nèi)存使用方式，提高了轉(zhuǎn)換效率。該成果已成功應(yīng)用于某種類伺服系統(tǒng)單元測試儀、總體人員客戶端及試驗(yàn)室數(shù)據(jù)分析客戶端；在其它種類伺服測試中，如CZ-5、CZ-7運(yùn)載種類也得到廣泛應(yīng)用。通過開發(fā)界面化的轉(zhuǎn)換工具，將數(shù)據(jù)轉(zhuǎn)換工作進(jìn)行了前移，直接布署到數(shù)據(jù)客戶端，為使用者提供便捷、高效的數(shù)據(jù)轉(zhuǎn)換服務(wù)，提高了生產(chǎn)效率。隨著應(yīng)用的深入，提出了大批量數(shù)據(jù)批處理需求，這是以后需要完善的地方。

[1] 張志成，張合新．基于PXI總線的導(dǎo)彈伺服機(jī)構(gòu)測試系統(tǒng)[J]．計(jì)算機(jī)測量與控制，2006，14(12)：1657-1659.

[2] 謝偉等．伺服機(jī)構(gòu)測試軟件系統(tǒng)的發(fā)展及新技術(shù)的應(yīng)用[J]．流體傳動與控制，2008(5)：61-65.

[3] 蘇利娜等．電子測量儀器自動記錄數(shù)據(jù)格式轉(zhuǎn)換程序設(shè)計(jì)[J]．測繪科學(xué)，2011，36(4)：186-190.

[4] 張可迪等．一種嵌入式操作系統(tǒng)運(yùn)行時驗(yàn)證方法[J]．計(jì)算機(jī)工程與科學(xué)，2014，36(5)：900-905.

[5] 權(quán)建軍,等．嵌入式系統(tǒng)中數(shù)據(jù)與字符串的轉(zhuǎn)換及應(yīng)用[J]．單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2012(4)：71-72.

[6] 魏瑞華等．紫外火焰探測器測試系統(tǒng)人機(jī)交互界面的設(shè)計(jì)[J]．西安工程大學(xué)學(xué)報(bào)，2013，27(1)：65-68.

Research on Servo Test Data Format Conversion Algorithm

Xie Wei, Zhang Lei, Lan Tian, Hu Lian, Qiu Zihan

(Beijing Research Institute of Precise Mechanical and Electronic Control Equipment, Beijing 100076,China)

Test Data and its data format conversion are an important aspect of computer test and control area, also to servo test area. There are so many servo types and so many test data intertype differences that the data format conversion is needed. Some servo test software selects the test and data processing separate frame structure, data processing subsystem uses the mature application data platform, test subsystem is redesigned. The two subsystems have different low data formats, the test subsystem has a special data format conversion module. But now it has low efficiency on data format conversion, and can’t satisfy servo type needs for quickly justifying data to confirm servo products status. Research on the original data type, the final physical data format, and the data conversion logic, propose a new method on optimizing code memory usage efficiency, design a new conversion algorithm, thus has greatly improved the efficiency of converting works. And a new visual data format conversion tool has been designed and used in other servo types. The method has the common meaning ,so analogous problems can be solved like it.

servo test data; data format conversion algorithm; memory usage; conversion efficiency

2016-01-09；

2016-02-23。

新一代運(yùn)載火箭項(xiàng)目(C0100181001)。

謝 偉(1974-)，男，山東濟(jì)寧人，碩士研究生，高級工程師，伺服地面軟件總設(shè)計(jì)師助理，主要從事航天伺服測試軟件方向的研究。

1671-4598(2016)07-0244-03

10.16526/j.cnki.11-4762/tp.2016.07.066

TP391 文獻(xiàn)標(biāo)識碼：A