文│花景新 山東城市建設職業(yè)學院研究員、博士生薄煜明 南京理工大學研究員，博士生導師陳志敏 南京理工大學博士生

如何提高房地產(chǎn)信息系統(tǒng)效率

文│花景新 山東城市建設職業(yè)學院研究員、博士生薄煜明 南京理工大學研究員，博士生導師陳志敏 南京理工大學博士生

房地產(chǎn)市場信息數(shù)據(jù)庫是由省級節(jié)點和地市級節(jié)點組成的分布式結構。

地市房地產(chǎn)市場信息前置數(shù)據(jù)庫主要為信息查詢服務，同時也作為房地產(chǎn)市場信息數(shù)據(jù)倉庫所需指標數(shù)據(jù)的數(shù)據(jù)來源；省級房地產(chǎn)市場信息數(shù)據(jù)庫主要是為監(jiān)管監(jiān)測以及數(shù)據(jù)倉庫服務的，它需要監(jiān)管監(jiān)測地市分支節(jié)點數(shù)據(jù)質(zhì)量和服務質(zhì)量；還要依據(jù)變化的決策分析需求動態(tài)地從地市房地產(chǎn)市場信息前置數(shù)據(jù)庫中采集決策分析所需的指標加載入數(shù)據(jù)倉庫，用以提供數(shù)據(jù)增值服務。

集中部署方式系統(tǒng)建設節(jié)省了各級之間的整合的工作，節(jié)省了建設時間，同時有利于數(shù)據(jù)統(tǒng)一，各節(jié)點的數(shù)據(jù)保持了較高的一致性，但是集中式部署加大了中心建設的難度，并且安全防范難度大，運行風險較大。分布式部署保持了各節(jié)點的業(yè)務獨立性，同時安全性較高，并且節(jié)省了中心的建設資金投入，但是分布式部署數(shù)據(jù)標準、格式等差距較大，很難滿足各種統(tǒng)計分析的需要。

針對以上問題，建議首先將分散在各市縣的房地產(chǎn)市場信息集合起來，形成全省房地產(chǎn)市場信息數(shù)據(jù)庫和數(shù)據(jù)倉庫。通過采用分布式云存儲技術來分布存儲方法，集中管理分散在市縣的業(yè)務數(shù)據(jù)資源，建立了全省房地產(chǎn)市場信息數(shù)據(jù)倉庫。從業(yè)務上，解決了地域分散、業(yè)務分理、行政分管帶來的實施障礙；技術上，解決了海量數(shù)據(jù)處理、負載均衡和數(shù)據(jù)快速膨脹引起的擴展性問題。在維護各市縣房產(chǎn)業(yè)務辦理部門的自主權力的同時，實現(xiàn)了數(shù)據(jù)的整合。

兩類信息系統(tǒng)部署方式

省級房地產(chǎn)市場信息數(shù)據(jù)庫和地市級房地產(chǎn)市場信息前置數(shù)據(jù)庫統(tǒng)一的數(shù)據(jù)采集規(guī)范為：存量數(shù)據(jù)因為數(shù)據(jù)量比較大，通過網(wǎng)絡傳輸效率低，為保證數(shù)據(jù)采集的速度，存量數(shù)據(jù)可一次性生成到前置庫中；非存量數(shù)據(jù)采集系統(tǒng)將采用周期性增量采集的方式進行采集。采集周期：為滿足數(shù)據(jù)實時性要求，采集系統(tǒng)對非存量數(shù)據(jù)的采集周期暫定為每半分鐘一次。增量數(shù)據(jù)的判斷：采集系統(tǒng)只采集已經(jīng)辦結的業(yè)務數(shù)據(jù)，判斷是否是增量數(shù)據(jù)缺省將按照業(yè)務辦結的時間來判斷（將判斷是否增量的時間稱為“時間戳”）；并且要求辦理數(shù)據(jù)不能再更改。

包括兩類信息系統(tǒng)部署方式：大集中式部署和分散式部署。

大集中式部署即全省建立統(tǒng)一的業(yè)務系統(tǒng)、統(tǒng)一的業(yè)務數(shù)據(jù)庫，各節(jié)點（指各基本業(yè)務辦理單位，如市、縣的房產(chǎn)登記管理部門）通過網(wǎng)絡直接中心系統(tǒng)。

首先，該部署方式系統(tǒng)建設周期短。統(tǒng)一建立一個系統(tǒng)，供各節(jié)點集中辦理業(yè)務，省去了各級節(jié)點之間的整合的工作，節(jié)省了時間，提高了效率，大大縮短了建設周期；其次，采用集中式部署有利于數(shù)據(jù)統(tǒng)一。數(shù)據(jù)集中存儲和管理，數(shù)據(jù)標準和存儲方法一致，使各節(jié)點的數(shù)據(jù)保持了高度統(tǒng)一性，并且可以節(jié)約各節(jié)點的建設資金。在各節(jié)點還沒有建立自己的系統(tǒng)的情況下，把建設投資絕大部分放在了統(tǒng)一的中心，減少了各節(jié)點的系統(tǒng)建設資金的投入，同時能夠充分滿足各種數(shù)據(jù)使用的要求。數(shù)據(jù)集中在中心數(shù)據(jù)庫，方便滿足各種統(tǒng)計分析的要求，即使出現(xiàn)了新的統(tǒng)計分析要求時，也能方便地提供數(shù)據(jù)支持。

但是，信息大集中式部署加大了中心建設的難度。由于系統(tǒng)和數(shù)據(jù)統(tǒng)一到一個中心，增加了中心的負載，對中心的硬件、軟件、網(wǎng)絡建設都提出了很高的要求，同時，也加大了中心的技術維護難度和工作量，對技術人員的數(shù)量和技術水平提出了更高要求。因此，這一方式不適用業(yè)務量較大的地區(qū)；其次，該部署方式不利于保護已有的投資。

目前，全國大部分市、縣都已經(jīng)建立了自己的系統(tǒng)，投入大量的資金，具備了很好的基礎。特別是發(fā)達及中等發(fā)達地區(qū)的市、縣的系統(tǒng)建設已達到了很高的水平。在這種情況下再搞一刀切，浪費了各市、縣的已有投資，再投巨資建立一個大中心，勢必造成資金浪費，并且難以適應各節(jié)點的不同業(yè)務需求。各地方的房產(chǎn)業(yè)務的實際情況、機構設置情況差別較大，并且越是經(jīng)濟發(fā)達、政策完善的地區(qū)情況越復雜，很難用一套系統(tǒng)適應各種不同的情況。同時，集中式部署安全防范難度加大。眾多的節(jié)點用戶同時通過網(wǎng)絡使用一個平臺、一個數(shù)據(jù)庫，增加了數(shù)據(jù)、系統(tǒng)、網(wǎng)絡損毀和故障的風險，對整個系統(tǒng)的安全防護要求很高。

第二種是分散式部署。即將房地產(chǎn)市場各業(yè)務系統(tǒng)數(shù)據(jù)分散在節(jié)點（指各基本業(yè)務辦理單位，如市、縣的房產(chǎn)登記管理部門），業(yè)務數(shù)據(jù)也分散在各節(jié)點，個人住房信息查詢也由節(jié)點自行提供。節(jié)點只報送報表給上級部門，以滿足上級部門統(tǒng)計分析需求。

目前絕大多數(shù)省（自治區(qū)）均采用這一方式。分散式部署充分體現(xiàn)了各節(jié)點的業(yè)務獨立性。由于各節(jié)點的系統(tǒng)是獨立的，可以通過定向改進使系統(tǒng)更加符合本地的情況，充分滿足個性化需求。其安全性較高。

系統(tǒng)的應用和數(shù)據(jù)庫是在內(nèi)網(wǎng)中的，與互聯(lián)網(wǎng)隔離，減少了安全危害，提高了系統(tǒng)的整體安全性，充分發(fā)揮了地方已有投資的作用。各節(jié)點的系統(tǒng)是獨立的，承載了絕大多數(shù)據(jù)的業(yè)務量，充分發(fā)揮了它的作用，是整個系統(tǒng)的重要組成部分；同時，分散式部署節(jié)省了中心的建設資金投入。由于中心系統(tǒng)的功能單一，只是滿足報表分析統(tǒng)計等簡單需要，所以對軟件、硬件及網(wǎng)絡要求很低，建設投資也很低。

但是，分散式部署不利于數(shù)據(jù)統(tǒng)一。各節(jié)點的系統(tǒng)是在不同條件下建立的，軟件類型、數(shù)據(jù)庫種類及關鍵技術等千差萬別，數(shù)據(jù)標準和存儲方法各異，使各節(jié)點上的數(shù)據(jù)統(tǒng)一性較差；各節(jié)點都要建立自己的系統(tǒng)，水平不一，條件懸殊，特別是歷史原因造成的數(shù)據(jù)標準不統(tǒng)一的實際情況下，必然會給全省數(shù)據(jù)共享、數(shù)據(jù)整合帶來阻力，也不便于管理和服務水平的提升，由此造成數(shù)據(jù)整合困難、管理困難，服務水平難以提升；同時，數(shù)據(jù)分散在各節(jié)點，標準不統(tǒng)一，關鍵技術不盡相同，各節(jié)點只是提供相對固定的報表，很難滿足各種統(tǒng)計分析的需要，特別是不能適應不斷變化的數(shù)據(jù)使用要求。

需改進存儲技術

在研究分析了以上兩種系統(tǒng)部署方法的優(yōu)缺點之后，根據(jù)實際情況，各市、縣系統(tǒng)建設的基礎很好，全部設區(qū)城市和90%以上的縣（市、區(qū)）都建立了自己的系統(tǒng)，有6個設區(qū)城市列入國家房地產(chǎn)市場信息系統(tǒng)建設重點城市，有4個城市被評為全國優(yōu)秀?？紤]到大集中式部署沒有必要，而分散式部署的固有缺點又難以克服，所以我們結合了“大集中”和“分散式”的優(yōu)缺點，采用“分布式存儲，集中管理”的部署方式，即數(shù)據(jù)分布式存儲，由省級平臺統(tǒng)一管理，建成一個物理分散、邏輯統(tǒng)一的虛擬全省房地產(chǎn)市場信息網(wǎng)。這樣既維護了各市縣房產(chǎn)業(yè)務辦理部門的自主權力，又實現(xiàn)了數(shù)據(jù)的整合。其主要特點有以下幾方面：

第一，能夠充分保護各節(jié)點已有投資，同時大幅降低中心建設的投資。業(yè)務管理系統(tǒng)及業(yè)務數(shù)據(jù)庫仍分散放在各業(yè)務節(jié)點，并保持獨立性。在不影響各節(jié)點原有業(yè)務系統(tǒng)運行的前提下，實現(xiàn)業(yè)務明細數(shù)據(jù)虛擬整合，滿足全省統(tǒng)一查詢要求；實現(xiàn)指標性數(shù)據(jù)實質(zhì)整合，滿足全省數(shù)據(jù)決策分析及預警預報要求。在充分利用了各節(jié)點原有的投資，并不大幅度增加中心節(jié)點投資的情況下，實現(xiàn)了全省聯(lián)網(wǎng)和數(shù)據(jù)整合。

第二，業(yè)務上能夠保持各節(jié)點的獨立性，管理上能夠滿足省級監(jiān)管和決策需求。不干涉各節(jié)點的管理系統(tǒng)及數(shù)據(jù)庫，使其仍保持現(xiàn)狀，避免了地方上的抵觸和防范心理，使聯(lián)網(wǎng)工作能夠開展的更加順利。部分指標數(shù)據(jù)集中到全省數(shù)據(jù)倉庫中，完全能夠滿足各種數(shù)據(jù)使用的要求。

第三，可有效地分散系統(tǒng)負載，充分發(fā)揮各節(jié)點基礎設施資源和人力資源優(yōu)勢。

所以，我們創(chuàng)新式地采用了“分布式結構化云存儲技術”來建立全省房地產(chǎn)市場信息數(shù)據(jù)庫，并建立了基于云計算技術的省級房地產(chǎn)市場信息管理平臺來管理這些分布部署的數(shù)據(jù)庫，很好地解決了海量數(shù)據(jù)處理、負載均衡和數(shù)據(jù)快速膨脹引起的擴展性問題。

在結構化數(shù)據(jù)管理領域，人們已經(jīng)習慣了采用關系型數(shù)據(jù)庫來建設信息系統(tǒng)，很少去評估數(shù)據(jù)庫的適用性，忽略了“圍繞數(shù)據(jù)的用途來決定數(shù)據(jù)的結構”這一基本原則。關系型數(shù)據(jù)庫也確實在結構化數(shù)據(jù)管理信息系統(tǒng)的建設中起到了重要的作用，其自身也得以高速發(fā)展。但在數(shù)據(jù)量快速膨脹的形勢下，關系數(shù)據(jù)庫處理數(shù)據(jù)的實時性不能得到有效地保證。

針對以上問題，我們采用分布式結構化云存儲技術（NOSQL），即非關系型數(shù)據(jù)庫技術，它是相對于關系型數(shù)據(jù)庫提出的。NOSQL在數(shù)據(jù)存儲方面具備龐大的水平擴展性（指能夠連接多個軟硬件的特性，這樣可以將多個服務器從邏輯上看成一個實體），可以處理超大量的數(shù)據(jù)。目前Google的BigTable和Amazon的Dynamo使用的就是NoSQL型數(shù)據(jù)庫。

NOSQL主要是為解決High performance -對數(shù)據(jù)庫高并發(fā)讀寫的需求； Huge Storage -對海量數(shù)據(jù)的高效率存儲和訪問的需求；High Scalability&&High Availability-對數(shù)據(jù)庫的高可擴展性和高可用性的需求而設計的。這也是本項目應用所面臨的問題。

研究發(fā)現(xiàn)，非關系型數(shù)據(jù)庫具有以下優(yōu)勢：

第一，事務管理要求不高。關系型數(shù)據(jù)庫注重事務管理，在事務一致性管理方面建立了嚴格的管理體系，但事務也是導致數(shù)據(jù)庫實現(xiàn)復雜化、性能下降最主要的根源。事務管理對于業(yè)務管理系統(tǒng)是必須的，而房地產(chǎn)市場信息數(shù)據(jù)庫只要保證對單條記錄的更新是原子的即可。這樣可以避免為了支持事務所要考慮的串行化、事務的回滾、死鎖檢測等復雜問題的出現(xiàn)。

第二，不需要復雜的SQL查詢，特別是多表關聯(lián)查詢。房地產(chǎn)市場信息數(shù)據(jù)庫主要是為Web查詢和分析決策服務的，任何大數(shù)據(jù)量的Web系統(tǒng)，都非常忌諱多個大表的關聯(lián)查詢以及復雜的數(shù)據(jù)分析類型的復雜SQL報表查詢。不論從查詢還是分析決策的角度，適當?shù)娜哂喽际潜匾模貏e是地市房地產(chǎn)市場信息前置庫，更多的只是單表的主鍵查詢以及單表的簡單條件分頁查詢。

第三，對數(shù)據(jù)庫的寫實時性和讀實時性要求不高。對關系數(shù)據(jù)庫來說，插入一條數(shù)據(jù)之后立刻查詢便可讀出來這條數(shù)據(jù)，但是對于房地產(chǎn)市場信息數(shù)據(jù)庫應用來說，并不要求這么高的實時性。

第四，可以提高數(shù)據(jù)庫的橫向擴展能力。對于房地產(chǎn)市場來說，數(shù)據(jù)量是與日俱增的，而關系型數(shù)據(jù)庫橫向擴展是很難的，沒有辦法簡單地通過添加更多的硬件和服務節(jié)點來擴展性能和負載能力，往往需要停機維護和數(shù)據(jù)遷移，而NOSQL則可以在不間斷服務的情況下輕松擴展，并且可以運行在便宜的PC服務器集群上。

房地產(chǎn)市場信息是個TB級的數(shù)據(jù)庫，每年還在以百G的速度迅速膨脹，關系數(shù)據(jù)庫SQL在數(shù)萬條記錄的表中檢索尚可正常工作，但當數(shù)據(jù)量繼續(xù)增大時，效率便會明顯降低。NOSQL不支持完全的關系數(shù)據(jù)模型，而是為客戶提供簡單的數(shù)據(jù)模型，讓客戶來動態(tài)控制數(shù)據(jù)的分布和格式，這樣能大幅度地提高訪問速度。

第五，擁有處理TB級甚至PB級海量數(shù)據(jù)的能力。房地產(chǎn)市場信息是個TB級的數(shù)據(jù)庫，每年還在以百G的速度迅速膨脹，關系數(shù)據(jù)庫SQL在數(shù)萬條記錄的表中檢索尚可正常工作，但當數(shù)據(jù)量繼續(xù)增大時，效率便會明顯降低。NOSQL不支持完全的關系數(shù)據(jù)模型，而是為客戶提供簡單的數(shù)據(jù)模型，讓客戶來動態(tài)控制數(shù)據(jù)的分布和格式，這樣能大幅度地提高訪問速度。

我們通過分析大集中式部署和分散式部署的缺點，通過對房地產(chǎn)信息數(shù)據(jù)庫的建庫過程、業(yè)務特征和使用需求的全面分析，并提出了改進分布式結構化云存儲技術（NOSQL），該技術使得房地產(chǎn)信息系統(tǒng)在充分利用了各節(jié)點原有的投資，并不大幅度增加中心節(jié)點投資的情況下，實現(xiàn)了全省聯(lián)網(wǎng)和數(shù)據(jù)整合，解決了海量數(shù)據(jù)處理、負載均衡和數(shù)據(jù)快速膨脹等典型問題。