梅 盈,劉東浩,王 鋒,3,鄧 輝,戴 偉,3,季凱帆
(1.昆明理工大學云南省計算機技術(shù)應用重點實驗室,云南 昆明 650500;2.中國科學院國家天文臺,北京 100012;3.中國科學院云南天文臺,云南 昆明 650011)
中國頻譜射電日像儀FITS-IDI文件格式研究
梅 盈1,劉東浩2,王 鋒1,3,鄧 輝1,戴 偉1,3,季凱帆1
(1.昆明理工大學云南省計算機技術(shù)應用重點實驗室,云南 昆明 650500;2.中國科學院國家天文臺,北京 100012;3.中國科學院云南天文臺,云南 昆明 650011)
我國新一代中國頻譜射電日像儀(Chinese Spectral Radio Heliograph,CSRH)原始觀測數(shù)據(jù)采用自定義格式,在進行后續(xù)處理與共享使用時必須轉(zhuǎn)換相應的格式。在分析FITS-IDI(FITS Interferometry Data Interchange)格式的基礎上,結(jié)合CSRH的實際觀測模式與數(shù)據(jù)產(chǎn)出方式,定義與設計了符合項目情況的FITS-IDI格式及字段,并對FITS-IDI文件中若干字段的值如何獲取、計算進行了深入討論。根據(jù)定義生成的FITS-IDI文件已成功導入CASA軟件,并可以進行后續(xù)處理。經(jīng)過對CASA測量集文件的核實,證明了數(shù)據(jù)生成的正確性。本研究有效地推進了CSRH的建設工作,也對其他射電干涉陣數(shù)據(jù)存儲有一定的參考價值。
中國頻譜射電日像儀;FITS-IDI;數(shù)據(jù)存儲
CN53-1189/P ISSN1672-7673
中國頻譜射電日像儀是同時以高時間、高空間和高頻率分辨率對太陽進行射電頻譜成像的設備,將在厘米—分米波段首次對日冕進行層析觀測,探測日冕大氣,研究太陽活動的動力學性質(zhì)。中國太陽射電日像儀分為低頻陣(CSRH-I)與高頻陣(CSRH-II)兩部分。CSRH-I數(shù)據(jù)接收機每3 ms產(chǎn)生一個0.1 MBytes格式自定義的裸數(shù)據(jù)文件。為便于數(shù)據(jù)歸檔以及共享交流,將原始數(shù)據(jù)轉(zhuǎn)換為標準格式是必要的。在前期,項目組嘗試UVFITS格式[1],但該格式并非FITS標準格式,很多軟件無法打開。本文在前期工作的基礎上[1-2],進一步討論了利用FITS-IDI文件的可行性。FITS-IDI文件可將射電干涉測量數(shù)據(jù)及其校準數(shù)據(jù)存儲為一系列FITS二進制表。FITS-IDI格式符合FITS文件標準[3-4],一般用于VLBI的數(shù)據(jù)存儲,如我國上海天文臺VLBI觀測中采用了FITS-IDI格式。但針對射電干涉陣的數(shù)據(jù)如何用FITS-IDI格式存儲,國內(nèi)外的資料均較少,特別是生成的文件導入CASA(http://casa.nrao.edu)后如何確保數(shù)據(jù)的正確性具有一定的難度。雖然國家天文臺在FITS-IDI文檔[4]中進行了一些說明,但缺少具體的例子,部分數(shù)據(jù)的定義與計算沒有具體的說明,給中國太陽射電日像儀數(shù)據(jù)存儲工作帶來了較大的困難。
為了保障中國太陽射電日像儀的建設與今后的數(shù)據(jù)共享,本文在詳細分析FITS-IDI文件格式的基礎上,重點討論了針對中國太陽射電日像儀的實際情況設計的字段,并詳細介紹了FITS-IDI文件中部分關鍵數(shù)據(jù)的獲取和計算方法。本文最終合成的FITS-IDI文件可完整地導入CASA軟件,供中國太陽射電日像儀后續(xù)數(shù)據(jù)處理工作參考,并對其他射電干涉陣進行FITS-IDI格式存儲有較好的參考價值。
太陽射電日像儀,采用的數(shù)字接收機輸出格式為自定義格式,通過逐幀的方式向外進行數(shù)據(jù)發(fā)送,每一幀包括系統(tǒng)參數(shù)和相關處理結(jié)果。以CSRH-I低頻陣為例,每3 ms生成一幀數(shù)據(jù),每幀數(shù)據(jù)由幀頭和數(shù)據(jù)組成,總數(shù)據(jù)量為0.1 Mbytes。一次完整的觀測包括8幀,分別是(左旋、右旋)×(0.4~0.8 GHz,0.8~1.2 GHz,1.2~1.6 GHz,1.6~2.0 GHz),每幀里面包括1個波段,16個通道。
為滿足FITS-IDI的存盤要求,考慮到上述格式,可以將一次觀測數(shù)據(jù)認為是4個波段(Band)×2個極化(Polarization)×16個通道(Channel,每個通道25 MHz)。但在FITS-IDI存儲中,如果將4個波段的全部數(shù)據(jù)一次存儲到一個UV_DATA表中是不現(xiàn)實的,這是因為4個波段、不同極化的數(shù)據(jù)來自于不同的時間,簡單的合并會導致各個采樣時間的錯亂。為保證數(shù)據(jù)的準確性,在FITS-IDI文件生成時,一次保存一個波段、一個極化和16個通道的數(shù)據(jù)是最合理的,也利于后續(xù)導入CASA中進行處理。
表1 主HDU表中的強制關鍵字Table 1 Mandatory keywords in the primary HDU
參考AIPS對干涉儀觀測數(shù)據(jù)的保存格式[5],F(xiàn)ITS-IDI文件包含兩部分:主HDU(Header Data Unit)和二進制表(binary tables)。其中主HDU不存儲任何數(shù)據(jù)信息,主要數(shù)據(jù)存儲在二進制表中。首先指明FITS-IDI文件主HDU和二進制表頭中必須包含的關鍵字,如表1和表2。
表2 FITS-IDI文件表頭中的強制關鍵字Table 2 Mandatory keywords in a FITS-IDI table header
2.1 主HDU
與標準FITS的HDU一樣,F(xiàn)ITS-IDI文件的主HDU不存儲數(shù)據(jù)信息。CSRH的主HDU包含表1和表2中所有關鍵字。由于主HDU中不存儲任何數(shù)據(jù),NAXIS=0,PCOUNT=GCOUNT=0。在FITSIDI文件主HDU的強制關鍵字中,必須將EXTEND、GROUPS的值置為T。
2.2 二進制表
要確保太陽射電日像儀的數(shù)據(jù)保存后可以導入CASA或其他常用射電軟件中,所生成的FITS-IDI文件就需要保存幾個重要的二進制表。CSRH是一個干涉陣,不像單天線射電望遠鏡一樣需要進行掃描,觀測時可以直接成像[6],因此,CSRH必須的5個二進制表如表3。對CASA源程序的分析表明,這5個表的數(shù)據(jù)可以正常導入CASA。
上述每個表中包含頭和數(shù)據(jù),頭表及數(shù)據(jù)表中包含一系列關鍵字。在這些關鍵字中,除了標準的FITS關鍵字以外,其他均采用自定義參數(shù)的方式描述定義。在下述各表中說明在太陽射電日像儀中需要定義的字段及其相應的計算方法。
2.2.1 天線(ANTENNA)表
太陽射電日像儀低頻陣(CSRH-I)中,設有40根天線,編號為0-39,天線名為IA0-IA13、IB1-IB13、IC1-IC13。天線的相關信息存放在FITS-IDI文件的ANTENNA表中。在天線表表頭中,除了表1和表2中的關鍵字外,另需加上表4中的兩個關鍵字,其中EXTNAME=‘ANTENNA’,TABREV=1。由于天線位置固定,天線的信息與時間變化無關,設置字段TIME=TIME_INTERVAL=0。天線表的字段中存儲天線的名稱、編號及其相應的極化信息即可,具體信息如表5。
表3 CSRH FITS-IDI文件必須的二進制表Table 3 Binary tables required in a CSRH FITS-IDI file
表4 CSRH天線表頭中需填入的信息Table 4 Mandatory keywords in a CSRH ANTENNA table header
表5 CSRH天線表的字段及其值Table 5 Mandatory columns and their set values in a CSRH ANTENNA table
2.2.2 ARRAY_GEOMETRY表
太陽射電日像儀的每一根天線都有其相應的坐標值,應對其具體位置進行存儲。在ARRAY_GEOMETRY表中存放了天線坐標信息及時間系統(tǒng)信息,其表頭中除包含表1和表2的信息外,需加上表6中的關鍵字。在ARRAY_GEOMETRY表頭中,EXTNAME=“ARRAY_GEOMETRY”,TABREV=1,其中尤為關鍵的是ARRAYX、ARRAYY、ARRAYZ值的設置。太陽射電日像儀天線的位置坐標是通過全球定位系統(tǒng)與激光測距方法獲得的WGS84坐標系下的相對位置,在FITS-IDI文件中應當轉(zhuǎn)換到ITRF坐標。
表6 CSRH ARRAY_GEOMETRY表頭中的強制關鍵字及其值Table 6 Mandatory keywords and their set values in a CSRH ARRAY_GEOMETRY table header
太陽射電日像儀天線坐標的具體信息(經(jīng)過坐標轉(zhuǎn)換后的值)存放在ARRAY_GEOMETRY表中的STABXYZ字段。需要注意的是,F(xiàn)ITS-IDI中存儲的是天線位置的偏移,在太陽射電日像儀中,存儲為相對于0號天線的偏移值。ARRAY_GEOMETRY表中的字段及部分值如表7。
表7 CSRH ARRAY_GEOMETRY表中的字段Table 7 Mandatory columns in a CSRH ARRAY_GEOMETRY table
2.2.3 頻率(FREQUENCY)表
頻率表用來存放頻率設置的相關信息,在一個完整的FITS-IDI文件中頻率表最多設置一個。如果在UV_DATA表中設置了“FREQID”這個隨機參數(shù),則FITS-IDI文件中必須有頻率表。頻率表表頭中的關鍵字包含表1、表2的內(nèi)容即可,其中EXTNAME=‘FREQUENCY’,TABREV=1。
如前所述,一次完整采樣過程會保存為8個FITS-IDI文件。因此在寫入數(shù)據(jù)時,固定FREQID為1,而通過改變頭中的REF_FREQ數(shù)據(jù)來標記頻率信息。在CSRH中,將FREQUENCY表的字段定義如表8。
2.2.4 源(SOURCE)表
源表主要用于存儲觀測目標的相關信息,如名稱、赤經(jīng)、赤緯、參考系、流量等?,F(xiàn)階段太陽射電日像儀觀測目標為太陽,即SOURCE=“sun”。源表頭中的關鍵字同表1、表2列出的關鍵字一致,其中EXTNAME=“SOURCE”。源表中的字段定義如表9,暫時無需存儲的信息設置為0。
表8 CSRH頻率表中的字段及其值Table 8 Mandatory columns and their set values in a CSRH FREQUENCY table
表9 CSRH源表中定義的字段及其值Table 9 Mandatory columns and their set values in a CSRH SOURCE table
2.2.5 UV_DATA表
FITS-IDI文件的主要內(nèi)容是可見度數(shù)據(jù),也就是觀測產(chǎn)出的裸數(shù)據(jù)文件的主要內(nèi)容。如前所述,CSRH中每3 ms生成一個數(shù)據(jù)幀,并在裸數(shù)據(jù)中存有該幀數(shù)據(jù)獲得的精確時間。為不丟失時間的精確性,將每一幀數(shù)據(jù)存放于一個UV_DATA表中,精確時間存放在TIME字段。CSRH的UV_DATA表頭中存儲的信息除表1和表2之外,還包含了表10的關鍵字。
表10 CSRH UV_DATA表頭中的關鍵字Table 10 Mandatory keywords in a CSRH UV_DATA table header
分析CSRH的裸數(shù)據(jù)文件,其天線的相關信息是觀測到的主要數(shù)據(jù),這些數(shù)據(jù)以復數(shù)的形式存放。因此,應存放相應的數(shù)據(jù)信息,如數(shù)據(jù)的類型、極化信息、頻率等。在UV_DATA表頭中,設置了6個常規(guī)軸,詳細存儲信息如表11,UV_DATA中的字段定義如表12。
表11 CSRH UV_DATA表頭的常規(guī)軸及其值Table 11 Keywords and their values for commonly used data-frame axes in a CSRH UV_DATA table header
表12 CSRH UV_DATA表內(nèi)容中的定義的字段Table 12 Definitions of keywords in a CSRH UV_DATA table
3.1 UV_DATA表中的UU、VV、WW的計算
3.1.1 基線及基線矢量的計算
太陽射電日像儀中定義:
3.1.2 UVW的值
UVW的計算需要根據(jù)觀測目標的時角和赤緯,并結(jié)合各天線的IRTF坐標進行計算。
由計算公式看出,UVW的值根據(jù)基線矢量、時角(H)和赤緯(d)計算得來,因此,在UV_DATA中共需存儲780組數(shù)據(jù)。
3.2 UV_DATA表中的可見度數(shù)據(jù)FLUX
CSRH每3 ms接收的一幀數(shù)據(jù)中,包含的主要信息如下:
(1)幀接收的精確日期和時間(時間精確到納秒)
(2)極化信息(同一幀數(shù)據(jù)在同一個極化方向)
(3)頻段信息(同一幀數(shù)據(jù)在同一個頻率段)
(4)天線間的互相關值(包含16通道)
(5)天線的自相關值(天線0-39在16個通道的自相關)
為把當前接收的信息精確存儲到FITS-IDI文件中,將讀出的精確時間寫到UV_DATA表的TIME字段(而不是存儲接收時間的中間時刻),日期寫到DATA字段。與上文分析的UV_DATA表的行數(shù)(780)相符合,F(xiàn)LUX列中存儲天線的互相關值。由于裸數(shù)據(jù)中相關值以復數(shù)表示,在FLUX中的每一行需存儲兩個相關天線在16個通道的互相關值(16個復數(shù)的實部和虛部,為32E)。
經(jīng)過上述分析與計算,最后生成的FITS-IDI文件的格式如圖1,其中每個表的列數(shù)為字段個數(shù),行數(shù)上文已具體分析,每個表均以文件接收精確時間命名。為進一步確認生成的數(shù)據(jù)文件是否符合標準,項目中使用CASA對生成的FITS-IDI文件進行導入,并轉(zhuǎn)換為MS格式。若成功生成MS文件,則可以驗證生成的FITS-IDI文件格式正確。具體驗證過程如下:
importfitsidi(fitsidifile=‘example.fits’,vis=‘example.ms’),其中fitsidifile為導入的FITS-IDI文件,vis為生成的MS文件。
經(jīng)驗證,生成的FITS-IDI文件可以成功導入CASA并轉(zhuǎn)換為MS文件,驗證了所生成的文件格式的正確性。
圖1 CSRH最終生成的FITS-IDI文件(fv打開)Fig.1 An fv display of a FITS-IDI header(listing binary tables)generated by the CSRH
雖然FITS-IDI是一個較為成熟的FITS文件格式,但在底層將原始觀測文件寫入FITS-IDI文件并不是一件容易的工作。本文是太陽射電日像儀數(shù)據(jù)預處理系統(tǒng)中的重要工作,詳細分析了FITS-IDI文件中各個關鍵表表頭關鍵字和表中字段的值。最終生成的FITS-IDI文件可以正常導入CASA軟件進行后續(xù)處理,證明了本文研究的正確性。本文除了可以滿足太陽射電日像儀項目應用以外,也可以為其他射電望遠鏡合成FITS文件提供參考。
[1] 高姣姣,王鋒,戴偉,等.面向射電日像儀的隨機組結(jié)構(gòu)剖析與文件設計[J].天文研究與技術(shù)——國家天文臺臺刊,2013,10(4):365-371.
Gao Jiaojiao,Wang Feng,Dai Wei,et al.An analysis of the random-group data format and a design of the data file structure for a solar radio heliograph[J].Astronomical Research&Technology——Publications of National Astronomical Observatories of China,2013,10(4):365-371.
[2] Yan Y,Zhang J,Wang W,et al.The Chinese spectral radioheliograph—CSRH[J].Earth,Moon,and Planets,2009,104(1-4):97-100.
[3] Hanisch R J,F(xiàn)arris A,Greisen E W,et al.Definition of the flexible image transport system (FITS)[J].Astronomy and Astrophysics,2001,376:359-380.
[4] Greisen E W,Harten R H.An extension of FITS for groups of small arrays of data[J].Astronomy and Astrophysics Supplement Series,1981,44:371-374.
[5] Greisen E W.The FITS Interferometry Data Interchange Convention—Revised[EB/OL].2011. www.aoc.nrao.edu/~egreisen/AIPSMEM114.PS.
[6] Thompson A R,Moran J M,Swenson Jr G W.Interferometry and synthesis in radio astronomy [M].2nd ed.Germany:Wiley-VCH Verlag GmbH&Co.KGaA,1994.
A Study of the FITS-IDI Format for the Chinese Spectral Radio Heliograph
Mei Ying1,Liu Donghao2,Wang Feng1,3,Deng Hui1,Dai Wei1,3,Ji Kaifan1
(1.Key Laboratory of Applications of Computer Technologies of the Yunnan Province,University of Science and Technology of Kunming,Kunming 650500,China,Email:meiying@cnlab.net;2.National Astronomical Observatories,Chinese Academy of Sciences,Beijing 100012,China;3.Yunnan Observatories,Chinese Academy of Sciences,Kunming 650011,China)
Raw data observed with the Chinese Spectral Radio Heliograph(CSRH)will be recorded in a self-defined format.For convenient distribution and use it is necessary to convert CSRH data files to be of other standard formats such as the FITS-IDI.After an in-depth analysis of the FITS-IDI data format,we present a proposal of mandatory and optional FITS-IDI fields for the CSRH.We also discuss calculation equations of values of several data fields,including the UU,VV,and WW.A FITS-IDI data file converted from a raw-data file has been input into the CASA software package,successfully resulting in a CASA file of integrated Measurement Sets(MS).The generating and subsequent processing of the CASA file demonstrate the correctness of the proposed CSRH FITS-IDI format.Our study could effectively advance the CSRH project and provide useful references for further research of data storage for other astronomical instruments.
Chinese Spectral Radio Heliograph;FITS-IDI;Data storage
TP274.2
A
1672-7673(2014)04-0388-08
2013-12-26;
2014-01-20
梅 盈,女,碩士.研究方向:計算機應用.Email:meiying@cnlab.net
王 鋒,教授,研究方向:天文技術(shù)與方法.Email:wangfeng@cnlab.net