如何收集大數據

如何收集大數據
現在談論大數據已經沒有新意了，形形色色的產品、平台和公司都貼滿大數據標籤，但大數據卻並沒有掀起預期颶風，甚至還被冠以“偽命題”污名。
本末倒置，數據採集才是大數據產業的基石。都在説大數據應用、大數據價值挖掘，卻不想，沒有數據何來應用、價值一説。就好比不開採石油，一味想得到汽油。當然，石油開採並不容易，各行各業包括政府部門的信息化建設都是封閉式進行，海量數據被封在不同軟件系統，數據源多種多樣，數據量大、更新快。

操作方法

（01）一、軟件接口方式各個軟件廠商提供數據接口，實現數據採集匯聚。實現過程：· 協調多方軟件廠商工程師到場，瞭解所有系統業務流程以及數據庫相關的表結構設計等，細節推敲，確定可行性方案；· 編碼· 測試、調試階段· 交付使用接口對接方式的數據可靠性與價值較高，一般不存在數據重複的情況；數據通過接口實時傳輸，滿足數據實時性的要求。接口對接方式的缺點是接口開發費用高；協調各個軟件廠商，協調難度大、投入人力大；擴展性不高，如：由於業務需要各軟件系統開發出新的業務模塊，其和大數據平台之間的數據接口也需做相應修改和變動，甚至要推翻以前的所有數據接口編碼，工作量大、耗時長。

（02）二、開放數據庫方式實現數據的採集匯聚，開放數據庫是最直接的一種方式。兩個系統分別有各自的數據庫，同類型的數據庫之間是比較方便的：1. 如果兩個數據庫在同一個服務器上，只要用户名設置的沒有問題，就可以直接相互訪問，需要在from後將其數據庫名稱及表的架構所有者帶上即可。select * from e12. 如果兩個系統的數據庫不在一個服務器上，建議採用鏈接服務器的形式處理，或者使用openset和opendatasource的方式，這個需要對數據庫的訪問進行外圍服務器的配置。而不同類型的數據庫之間的連接就比較麻煩，需要做很多設置才能生效，這裏不做詳細説明。開放數據庫方式可以直接從目標數據庫中獲取需要的數據，準確性高，實時性也能得到保證，是最直接、便捷的一種方式。但開放數據庫方式也需要協調各個軟件廠商開放數據庫，難度大；一個平台如果同時連接多個軟件廠商的數據庫，並實時獲取數據，這對平台性能也是巨大挑戰。不過，出於安全性考慮，軟件廠商一般不會開放自己的數據庫。

（03）三、基於底層數據交換的數據直接採集方式通過獲取軟件系統的底層數據交換、軟件客户端和數據庫之間的網絡流量包，基於底層IO請求與網絡分析等技術，採集目標軟件產生的所有數據，將數據轉換與重新結構化，輸出到新的數據庫，供軟件系統調用。技術特點如下：1. 無需原軟件廠商配合；2. 實時數據採集，數據端到端的響應速度達秒級；3. 兼容性強，可採集匯聚Windows平台各種軟件系統數據；4. 輸出結構化數據，作為數據挖掘、大數據分析應用的基礎；5. 自動建立數據間關聯，實施週期短、簡單高效；6. 支持自動導入歷史數據，通過I/O人工智能自動將數據寫入目標軟件；7. 配置簡單、實施週期短。基於底層數據交換的數據直接採集方式，擺脱對軟件廠商的依賴，不需要軟件廠商配合，不僅需要投入大量的時間、精力與資金，不用擔心繫統開發團隊解體、源代碼丟失等原因導致系統數據採集成死局。直接從各式各樣的軟件系統中開採數據，源源不斷獲取精準、實時的數據，自動建立數據關聯，輸出利用率極高的結構化數據，讓不同系統的數據源有序、安全、可控的聯動流通，提供決策支持、提高運營效率、產生經濟價值。

方法/步驟2

（01）1、公開信息及整理比如統計局的數據、公司自己發佈的年報、其他市場機構的研究報告、或者根據公開的零散信息整理;

（02）2、購買的數據庫市場上有很多產品化的數據庫，比如Bloomberg、OneSource、Wind等等，這個一般是以公司的名義買入口，不光諮詢公司還有很多高等院校及研究機構也買了;

（03）3、自己的數據庫自己維護的數據庫有，但是比較少，一是專業的數據公司差不多能想到的都做了，二是自己做數據庫其實是一件很麻煩的事情。在有些數據是外界無法得到的情況下有可能自己維護一個小型的數據庫;

（04）4、諮詢行業專家當然是有償的，這個在項目中應該蠻常見的。有些行業專家會專門收集和銷售數據，想要的基本能買到。

（05）5、發問卷有時候為了單獨的項目也會收集很特別的數據，如果外界實在沒有但是項目上沒有不行就只有自己做了，比如自己發發問卷之類的，但是這類數據需求要控制工作量，因為除非數據本身是交付內容之一，要不然不能為了箇中間件花費太多時間和精力;

（06）6、客户有些數據就是來源於客户，甚至是諮詢公司的產品。舉個例子，比如HR諮詢公司的行業工資數據、四大的一些數據庫等等，這些數據的採集需要比較強的專業性或者時間積累，很大一部分是通過調查客户的HR收集來的數據進行統計的。