李美會

（湖南環(huán)境生物職業(yè)技術學院，湖南 衡陽 421005）

0 引言

創(chuàng)新創(chuàng)業(yè)數(shù)據(jù)屬于低頻金融數(shù)據(jù)，創(chuàng)新創(chuàng)業(yè)數(shù)據(jù)冗雜且多元化，在企業(yè)金融量化管理中需要對創(chuàng)業(yè)金融數(shù)據(jù)進行挖掘和特征分析，并結合相關算法對其數(shù)據(jù)采集庫進行建設，有利于區(qū)分其數(shù)據(jù)信息、分門別類、優(yōu)化創(chuàng)新創(chuàng)業(yè)板塊，通過關鍵詞搜索等能夠快速進行查找，尤其是在提升創(chuàng)業(yè)基金融信息調(diào)度和管理方面具有重要意義。

1 創(chuàng)新創(chuàng)業(yè)案例數(shù)據(jù)數(shù)據(jù)采集庫分析

1.1 創(chuàng)新創(chuàng)業(yè)案例大數(shù)據(jù)處理優(yōu)勢

創(chuàng)新創(chuàng)業(yè)案例數(shù)據(jù)處理主要采用大數(shù)據(jù)技術，并結合數(shù)據(jù)抓取、采集與分析，從相關數(shù)據(jù)網(wǎng)（青年創(chuàng)業(yè)網(wǎng)等）獲取相關數(shù)據(jù)信息，通過該信息可進行相關判斷，為創(chuàng)業(yè)者提供優(yōu)質(zhì)數(shù)據(jù)和信息。

傳統(tǒng)創(chuàng)新創(chuàng)業(yè)在數(shù)據(jù)挖掘時往往采用的是隨機采樣法，調(diào)查結果雖然具有普遍性，但是與真實市場出入較大。采用大數(shù)據(jù)處理時，對其建立起的數(shù)據(jù)庫和采集的全方位的數(shù)據(jù)，更加注重數(shù)據(jù)庫之間的相關性分析，從海量數(shù)據(jù)當中利用關聯(lián)規(guī)則和特征提取算法等對創(chuàng)業(yè)信息進行分類，有助于提高創(chuàng)業(yè)者對創(chuàng)業(yè)板塊的分析能力。

1.2 系統(tǒng)的數(shù)據(jù)采集庫的處理框架

系統(tǒng)的整體框架結構如圖1 所示。系統(tǒng)的數(shù)據(jù)采集庫的處理框架主要分為數(shù)據(jù)采集和存儲，結合圖1 內(nèi)容，在數(shù)據(jù)采集和儲存當中，需要對平臺采集數(shù)據(jù)、創(chuàng)新創(chuàng)業(yè)數(shù)學數(shù)據(jù)等進行數(shù)據(jù)集合，為創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺提供數(shù)據(jù)源，并對數(shù)據(jù)進行分析，建立有效數(shù)據(jù)庫，即通過數(shù)據(jù)挖掘、數(shù)據(jù)篩選等內(nèi)容達到數(shù)據(jù)可視化。

圖1 系統(tǒng)的數(shù)據(jù)采集庫的處理框架

1.3 創(chuàng)新創(chuàng)業(yè)案例數(shù)據(jù)數(shù)據(jù)采集庫相關算法論述

1.3.1 Apriori 算法

關聯(lián)規(guī)則定義如下：假設I={i1，i2，i3，…，im}，其中I是項的集合，給定一個交易數(shù)據(jù)庫；im為第m 項數(shù)據(jù)。D={t1，t2，t3，…，tm}，其中每個事務t是I的非空子集，即t∈I，每個交易都與一個唯一的標識符TID 對應。

概率P（X∩Y）：關聯(lián)規(guī)則在D中的支持度（support）是D中事務包括X∩Y的百分比；置信度（confidence）是包括X∩Y的百分比。

P（Y|X）為條件概率，表示在X條件下Y的概率，置信度即可靠度，可判斷其關聯(lián)特征。

關聯(lián)規(guī)則可對數(shù)據(jù)進行挖掘：1）頻繁項集查詢。2）由頻繁項集產(chǎn)生強關聯(lián)規(guī)則。

Apriori 為逐層搜索的迭代方法，k項集用于探索（k+1）項集。結合數(shù)據(jù)處理，通過項集查詢，達到集合，計為L1、L2，可概括為2 項集的集合，L2用于尋找L3，直至達到k項集。

Apriori 算法可提高頻繁項集的效率，根據(jù)頻繁出現(xiàn)情況進行分析，其所有非空子集必須是頻繁的，判斷閾值min_sup與項集I是否滿足。如果I滿足閾值，則I為頻繁，即P（I）＜min_sup。項集（即I'A）不可能比I頻繁。兩者皆不頻繁，即P（I'A）＜min_sup。

1.3.2 決策樹算法

決策樹（Decision Tree）[1]為分析預測模型。結合決策樹需求，能夠根據(jù)算法采用自上而下的遞歸方式，并結合屬性進行判斷，通過決策了解其特征屬性，進而進行數(shù)據(jù)挖掘，形成數(shù)據(jù)分支，這樣能夠解決分類問題，達成預測，并實現(xiàn)分類[2]。

一個簡單的決策樹實例如圖2 所示。該決策樹將整個樣本空間分為2 類，是或否。如果一個樣本的奧特盧克屬性取值為晴朗且濕度屬性為正常，則該樣本為是；如果一個樣本的奧特盧克地區(qū)屬性取值為下雨且有風屬性為強，則該樣本為否。

圖2 決策樹算法

1.3.3 特征選擇算法

特征選擇（Feature Selection）是結合事物本身共有或相關特征對應用領域的一個描述。特征選擇可從N個原始特征中選擇一個最小子集，包括M（M≤N），使包括M個特征的子集中不同類別的概率分布值接近于N個原始特征。如果FN是原始特征集而FM為選出的特征子集，則可能的類別C條件概率P接近，其中fM和fN為相應的特征矢量FM和FN的值矢量。

總的來說，特征選擇算法可對數(shù)據(jù)描述進行簡化，使數(shù)據(jù)收集任務化繁為簡，進而可解決問題，提高數(shù)據(jù)集的質(zhì)量。當數(shù)據(jù)集特征數(shù)很大，需要對其進行降溫。CFS（Correlationbased Feature Subset）算法[3]，即基于相關性的特征選擇算法。對連續(xù)變量，CFS 方法用特征子集的得分（Merits）來衡量其關聯(lián)度，如公式（1）所示。

式中：k為子集的變量數(shù)[4]為特征子集中所有自變量和目標變量之間相關性的均值為特征子集中自變量兩兩之間相關性的均值。

而對連續(xù)-離散型變量，則需要把連續(xù)變量進行離散化處理。如果離散化以后的變量分別為X和Y，則計算公式如公式（2）、公式（3）所示。

式中：p（y）為y的概率；p（y|x）為在X條件下Y的概率；H（Y）為Y信息熵；H（Y|X）為在X條件下Y的信息熵。

再計算信息增益（gain），即先驗信息熵和后驗信息熵的差值，如公式（4）所示。

然后計算變量之間的均勻不確定度，如公式（5）所示。

如果不確定度越大，則相關性越小。評估每個特征子集中各個變量之間的相關性，能夠根據(jù)特征進行數(shù)據(jù)分類，更有利于數(shù)據(jù)的處理。

2 創(chuàng)新創(chuàng)業(yè)案例數(shù)據(jù)數(shù)據(jù)采集庫的建設與分析

2.1 外部庫調(diào)用

結合外部庫調(diào)用，利用pandas itertools 和自帶的time 進行數(shù)據(jù)處理，結合青年創(chuàng)業(yè)網(wǎng)等數(shù)據(jù)，輸入“import pandas as pd”進行數(shù)據(jù)導入，import itertools as it #子集生成，并進行處理，完成數(shù)據(jù)集。

2.2 數(shù)據(jù)導入

全函數(shù)編寫，由“if __name__ == '__main__'：#”導入數(shù)據(jù)，data = data.applymap（lambda x： str（x）.strip（）） # 刪除導入時可能存在的空格值，例如“教育”成了“ 教育”。最終的數(shù)據(jù)導入在代碼最后，根據(jù)數(shù)據(jù)導入設定支持度和置信度。

2.3 數(shù)據(jù)處理

輸出所有Goodlist，事實上也就是備選頻繁1項集，這個函數(shù)不太重要，后續(xù)調(diào)用也完全可以替代為別的方式，編寫的目的是便利邏輯過程的一種方式而已。

2.3.1 項集重組

因為Apriori 是通過滿足支持度閾值的頻繁k項集得到備選頻繁k+1 項集合，所以這一個函數(shù)的目的便是進行項集重組和升階化的過程。這個不是放在最前面的邏輯，而是預先編寫，是為了后面直接調(diào)用的準備工作。可以發(fā)現(xiàn)也都是for 循環(huán)，連while 等都不帶。由于導入數(shù)據(jù)選擇的是列表格式，因此后續(xù)工作也都利用list 來完成，那么list 就需要一直for 循環(huán)調(diào)用，不像dict中直接for item in dict 等方便清晰。

#在關聯(lián)分析中，頻繁k項集得到備選頻繁k+1 項集合，能夠保證數(shù)據(jù)信息分類準確。

2.3.2 支持度掃描與輸出

這里就回歸了邏輯線條，該文提供2 種方法，一種是輸出counts，一種是輸出rates，即支持頻數(shù)和支持度的2種衡量辦法，僅供挑選，2 個函數(shù)沒什么區(qū)別。本find_rule 函數(shù)用的是counts 函數(shù)，如果要換，記得調(diào)整為rates。

#輸出每個k-項頻繁集的候選集的比率。#輸出每個k-項頻繁集的候選集的個數(shù)，上有比率寫法，兩者無本質(zhì)區(qū)別，都可以使用。

def sup_counts（df，data）：#輸出每個1-項頻繁集的候選集的次數(shù)。

2.3.3 根據(jù)最小支持度閾值進行減枝葉

Apriori 算法的核心就是通過剪枝來減少掃描難度的。因為非頻繁項集的超級也一定不頻繁。

#得到滿足最小支持度閾值的關聯(lián)規(guī)則（find——rule of min-sup-rate item）。

if dt[j][-1] ＞= min_suprate*n： ##減枝過程。

2.3.4 對每個頻繁項集進行子集拆分計算confi 和rule挖掘

這個函數(shù)也是一個中間函數(shù)和預備工作。前提是頻繁項集，如果不是的話，數(shù)量可能會非常多，很難挖掘和通過Good_list 清單來生成所有的1/2/3/.../k項備選頻繁集，即Apriori 算法的核心。

def Ksubset_get（df）： #獲得非空子集。

2.4 數(shù)據(jù)采集庫建設結果分析

結合Find_rule，選擇list 進行數(shù)據(jù)處理，結合事物總數(shù)獲得關聯(lián)規(guī)則的重組，得到置信度，了解數(shù)據(jù)處理情況。決策樹算法能夠讀取數(shù)據(jù)集合，構建類似于如圖3 所示的決策樹。決策樹可厘清數(shù)據(jù)中所蘊含的知識信息，本數(shù)據(jù)采集庫建設時，該文對其創(chuàng)業(yè)種類進行了劃分，因此決策樹可以對數(shù)據(jù)集合進行劃分和機器學習。例如對食品生產(chǎn)行業(yè)屬性進行劃分時，根據(jù)形態(tài)，可劃分為休閑零食屬性和飲料行業(yè)，在進行更細的劃分，確定創(chuàng)業(yè)類型。

圖3 決策樹

輸出結果，結果統(tǒng)計表見表1。根據(jù)表1，結合決策樹分析，并通過編程可以看到，輸入支持度和置信度0.3，0.3，整個程序confi 值可以輸出，其結果大于0.7，說明相關度高，數(shù)量建設具有可靠性。例如食品生產(chǎn)行業(yè)和飲品飲料相關度高，說明可以根據(jù)相關度進行種類分析，進而對創(chuàng)業(yè)種類進行劃分，了解目前創(chuàng)業(yè)情況，為創(chuàng)業(yè)發(fā)展做準備。另外整個程序的運行速度還是比較快的，加入更多的good 和tid 之后，可以保持較快的輸出速度。數(shù)值為0.00099945068359375，能夠有效進行數(shù)據(jù)庫建設。

表1 結果統(tǒng)計表

3 結語

創(chuàng)新創(chuàng)業(yè)數(shù)據(jù)可反映創(chuàng)業(yè)開展的狀況，該文結合Apriori 算法、決策樹算法以及特征選擇算法，實現(xiàn)了企業(yè)創(chuàng)業(yè)期金融數(shù)據(jù)的采集。并對其支持度和置信度進行設置，數(shù)值為0.3 和0.3，其置信度數(shù)值均超過0.7，置信度強，說明數(shù)據(jù)庫建設具有可靠性。創(chuàng)業(yè)者可對創(chuàng)新創(chuàng)業(yè)數(shù)據(jù)進行數(shù)據(jù)挖掘和分析，并對這些量化數(shù)據(jù)進行研究，進而提高創(chuàng)業(yè)成功率。