王國威

摘要：對于警務(wù)通信網(wǎng)絡(luò)來講，大數(shù)據(jù)的數(shù)據(jù)類型多樣，形成具有多種屬性的數(shù)據(jù)流。眾所周知，基于批處理方式的數(shù)據(jù)源分類盡管可以提升查詢速度但仍無法滿足實時查詢的需求。為此在數(shù)據(jù)挖掘建模過程中通常引入特征選取機制以減輕其負荷。而本文將要重點敘述加速算法為什么能提升智能電網(wǎng)大數(shù)據(jù)挖掘的效率。

關(guān)鍵詞：大數(shù)據(jù)；智能；算法

中圖分類號：TN929 文獻標識碼：A 文章編號：1007-9416（2018）08-0109-01

1 大數(shù)據(jù)面臨的挑戰(zhàn)

在以前的開發(fā)中，大數(shù)據(jù)帶來的沖擊來遠遠超過I T界的其他的產(chǎn)品，它通過特有的算法和分析把大量的數(shù)據(jù)進行整合和分類再顯示出來，放在幾年前可能還帶不來這么大的風(fēng)浪，而在全球化的今天，數(shù)據(jù)同質(zhì)化，數(shù)據(jù)大量化，都讓這個技術(shù)的產(chǎn)生顯得如此的有意義而且緊迫，之前大數(shù)據(jù)之所以不能發(fā)揮其重要原因就是因為數(shù)據(jù)基數(shù)小，隨著使用互聯(lián)網(wǎng)的人數(shù)的增加，現(xiàn)代技術(shù)的提升，硬件產(chǎn)品價格的下降，人民生活水平也在不斷提高于是這個問題也得到了一定的解決，現(xiàn)在有越來越多的人使用上了電子設(shè)備，而大數(shù)據(jù)又迎來了新的挑戰(zhàn)，面對如此大量的數(shù)據(jù)，如何提高數(shù)據(jù)的查詢速度就成了現(xiàn)在急需解決的問題，還有就是格式的問題，因為這些數(shù)據(jù)的來源并不是有事先的規(guī)定，數(shù)據(jù)來源范圍廣，也正是因為數(shù)據(jù)來源不一，也就造成了數(shù)據(jù)的存儲的困難。而這些問題現(xiàn)在都嚴重限制著大數(shù)據(jù)產(chǎn)業(yè)的進一步發(fā)展，而基于傳統(tǒng)的數(shù)據(jù)查詢算法已經(jīng)不能夠滿足現(xiàn)在的需求，這就需要一種新的算法，而算法的問題并不是說解決就能解決的，受限于于當(dāng)前的硬件條件，普通算法上已經(jīng)不能夠進行新的突破了，傳統(tǒng)的查詢機制需要實現(xiàn)全局數(shù)據(jù)的載入，然后將全局數(shù)據(jù)依照一些分類規(guī)則進行切割，再分類回退。而每一次運算都要重新的建模和運算，而問題的解決總會有一些新的方法，隨著人工智能的進一步發(fā)展，現(xiàn)在也就有了智能加速算法，根據(jù)不同類型的數(shù)據(jù)然后分配不同的計算資源，這也是當(dāng)前問題的一大解決方案。

2 智能加速算法

因為數(shù)據(jù)的來源不同，而數(shù)據(jù)在計算上的分配不公平是當(dāng)前發(fā)展的一項最要問題，以為只用能算法就能把數(shù)據(jù)分流處理，而數(shù)據(jù)流方法就不會受制于數(shù)據(jù)量過大或者數(shù)據(jù)采集速度過快，就如一個水缸一樣，有進水口就有出水口，而如果進水口的進水量大于出水口的出水量就會造成擁堵，但如果基于原來的多個不同的進水口在出水的時候 采取不同排量的出水口分不同段出水就可以解決這樣的擁堵現(xiàn)象，而自動調(diào)節(jié)的關(guān)節(jié)就是智能加速，新載入的數(shù)據(jù)會觸發(fā)模型的自我更新而無需重新載入已經(jīng)載入的數(shù)據(jù)完成這一更新過程，這種方式理論上就可以處理無限多的數(shù)據(jù)，基于這個技術(shù)現(xiàn)在的大數(shù)據(jù)就實現(xiàn)了大量分析數(shù)據(jù)，更大能力的滿足現(xiàn)在的運算情況。

在現(xiàn)在的智能加速算法中，存在一個關(guān)鍵的選擇部件，這個部件就是分類器，分類器不光在智能加速上有作用，在人工智能方面也有很大的作用，它起到預(yù)測決策的作用，而在監(jiān)管的預(yù)測機制中，分類器者通常用于預(yù)測數(shù)據(jù)的屬性和歷史數(shù)據(jù)的分析，根據(jù)歷史數(shù)據(jù)來進行整體的預(yù)測，通過這些預(yù)算就能在不獲取新的數(shù)據(jù)的前提下提前準備相應(yīng)的運算，分類器對于獲取和查詢也有著很大的作用，這方面已經(jīng)有了一定的研究和驗證。

在以前的軟件發(fā)展上，面臨著許多的計算速度問題，當(dāng)時一部分原因是當(dāng)時硬件的限制，cpu速度慢，另一方面是算法上的問題，而當(dāng)時硬件的技術(shù)跟不上軟件的更新，所以以前更多的優(yōu)化算法上的問題，現(xiàn)在硬件技術(shù)得到了大幅度的提升，普通算法上不能再提升了，但關(guān)鍵的技術(shù)總是在關(guān)鍵的時候出現(xiàn)，智能加速技術(shù)算不上是新的技術(shù)，這個技術(shù)的產(chǎn)生原因不是針對于大數(shù)據(jù)的分析，而是人工智能技術(shù)的衍生，在人工智能技術(shù)的發(fā)展階段，人們局限于讓計算構(gòu)建網(wǎng)絡(luò)神經(jīng)，這一方面的主要研究方向就是分類器的研究，隨著A l技術(shù)給生活帶來的諸多好處也就讓人工智能技術(shù)得到了空前的發(fā)展，伴隨著大數(shù)據(jù)的發(fā)展，分類器的使用范圍也得到了相應(yīng)的擴展，所以大數(shù)據(jù)的發(fā)展和智能是的發(fā)展是相互推動的的，大數(shù)據(jù)的分析也給了人工智能帶來了更多的數(shù)據(jù)流，豐富了人工智能的網(wǎng)絡(luò)神經(jīng)，通過分類器能夠預(yù)測這兩個行業(yè)在未來的發(fā)展一定是相伴的。

從傳統(tǒng)的算法中也能夠看到分類器的產(chǎn)生是必然的，例如傳統(tǒng)的算法中的決策樹是根據(jù)不同分支上的數(shù)據(jù)的先后來決定運算的節(jié)點，這種算法是一種比較低級的算法，時代的發(fā)展一定會摒棄這樣的陳舊算法，更高級的算法就是形成選擇，而選擇在陳舊的方法中是隨機選擇，在高級的方法中應(yīng)該是自主選擇最優(yōu)選擇，即通過“算法選擇算法”。

3 結(jié)語

本文提出了新的算法，給大數(shù)據(jù)的發(fā)展提供了新的發(fā)展動力，這種查詢加速算法更像是一種學(xué)習(xí)，不斷的處理數(shù)據(jù)不斷的學(xué)習(xí)不斷的鞏固現(xiàn)在的能力，讓數(shù)據(jù)流實現(xiàn)精確的查找。而在2011年，還在中科院軟件所做助理研究員的張先軼，就已經(jīng)開始做OpenBLAS。這個當(dāng)時在X86平臺、龍芯、ARM平臺上的優(yōu)化庫，因為機器學(xué)習(xí)的普及、人工智能的火爆，已經(jīng)成為了目前市面上軟件加速主流的選擇，當(dāng)前CPU在設(shè)計上就已經(jīng)考慮到了智能加速，而大數(shù)據(jù)作為未來的發(fā)展方向，借助了智能算法一定能夠發(fā)揮更大的作用。

參考文獻

[1]付華崢，陳翀，向勇，劉春.分布式大數(shù)據(jù)采集關(guān)鍵技術(shù)研究與實現(xiàn)[J].廣東通信技術(shù)，2015，（10）：7-10.

[2]鄧仲華，劉偉偉，陸穎雋.基于云計算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究[J].情報理論與實踐，2015，（07）：103-108.

[3]張文燚，項連志，王小芳.支持高效查詢檢索的大數(shù)據(jù)資源描述模型[J].哈爾濱工程大學(xué)學(xué)報，2014，（05）：594-601.

[4]吳雪琴，舒曉苓.基于云計算的大數(shù)據(jù)信息檢索技術(shù)研究[J].電腦知識與技術(shù)，2014，（10）：2388-2390.

[5]李春江.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘課程教學(xué)探索[J].黑龍江教育（理論與實踐），2016，（04）：54-55.

[6]葉立武，吳倩，王瑋，王東.數(shù)據(jù)挖掘方法在保險領(lǐng)域的應(yīng)用前景[J].保險職業(yè)學(xué)院學(xué)報，2018，（02）：01.