工程師說 | 智能物聯(lián)網的數據科學和集成

作者：Suad Jusuf

Senior Manager

數據的完整性及其規(guī)范

數據可以指單獨的事實，或者統(tǒng)計后的數據，還可以是各種信息的匯總，通常以數字表示。數據管理的重要性始于計算機科學本身的誕生。數據處理最初的重點是轉換，存儲，然后傳輸。然而，近年來，隨著手機、智能傳感器、聯(lián)網汽車和我們周圍許多其他數字設備的興起，出現了前所未有的信息大爆炸。

不斷增長的海量數據，需要人們采取合適的方式來管理它，通過減少數據冗余，保證準確和及時的獲取，來確保數據的質量。為分析而訪問和存儲大量信息，人們已經有很多年的經驗了。但大數據的概念在21世紀初獲得了新的發(fā)展動力，它基于三個要素：數量、速度和多樣性。對大數據進行分析以獲得更好的洞察力來指導決策，是大數據的真正意義。這意味著收集的數據只有在最終用于解決問題并進而實現新的收入流和財務增長時才具有意義。這就是“數據科學”領域發(fā)揮關鍵作用的地方，因為它采用現代工具和技術來發(fā)現數據背后隱藏的有價值的信息，并據此做出成功的商業(yè)決策。

什么是數據科學

數據科學是一個術語，指的是使用各種科學手段、算法和步驟從不斷增長的海量數據中提取背后含義的綜合方法。使用軟件科學識別出原始數據背后的規(guī)律和含義。這些有價值的見解有助于支持業(yè)務決策，分析解決業(yè)務困境，并將其轉化為可行的解決方案。

企業(yè)如何依賴數據科學？

傳統(tǒng)的商業(yè)數據分析（BI）工具不是為處理大量非結構化數據而構建的。數據科學利用更先進的工具來幫助分析、分類和篩選來自多個相關領域的大量數據，可在處理非結構化數據方面發(fā)揮重要作用。例如，在營銷領域，基本的人口統(tǒng)計因素，如客戶年齡、性別、地點和購買行為，有助于制定具有針對性的活動。這些活動，因為它們通過客戶的瀏覽和購買歷史來評估客戶對商品的傾向，因此更能達到精準營銷的目的。同樣，在銀行業(yè)務中，監(jiān)控異常的客戶交易可以幫助識別金融欺詐行為。在醫(yī)療保健行業(yè)，仔細檢查和評估患者的病歷可以揭示患病的可能性等等。

通過預測性維護，機器中的智能傳感器收集數據，幫助工廠減少停機時間及相關的收入損失。預測和提前處理潛在的可能造成停產的問題，工廠就可以一直保持最高效率運行。

數據挖掘和KDD

“數據挖掘”通常與KDD（Knowledge Discovery in Database，數據庫中的知識發(fā)現）互換使用。如今，幾乎每個行業(yè)都越來越受數據所驅動。但是，只有當你分析數據并找出它背后的價值時，數據才有意義。

大多數行業(yè)積累了海量數據，但在缺乏展示數據趨勢的圖形、圖表和相關分析機制的情況下，純數據本身沒有多大意義。從現在數據積累的速度和規(guī)模上看，使用傳統(tǒng)數據管理機制很難應對這樣的挑戰(zhàn)。因此，從經濟和科學的角度來看，利用數據科學提升我們的分析能力，以便我們能夠更好地處理我們的大數據，變得非常有必要。

下圖顯示了管理數據的各種工具之間的關系。

模式識別

模式識別通過識別數據模式來研究數據內涵。根據數據的類型和配置，可以使用不同的模式識別方法。模式按照描述性模式識別進行分類。對目標進行特征識別，并將這些特征與已知模式進行比較以判斷它們是否匹配，或者存在差異。

統(tǒng)計學

在解決復雜且需要方法論的問題方面，統(tǒng)計學發(fā)揮著重要作用。這在有很多不確定性因素背景下需要做出高風險決定時尤其如此。統(tǒng)計學可以為分析師提供有把握的答案。

分析

分析是指檢查數據，解決問題、獲得洞察力并識別趨勢的過程和行為。這是通過使用各種工具、技術和體系來完成的，根據所執(zhí)行的分析類型而有所不同，主要有以下四種類型：

機器學習

機器學習是人工智能的一個分支，它依賴模型來執(zhí)行自主任務。它依賴統(tǒng)計學和算法，根據歷史數據幫助用戶做出預測或決策。數據科學家使用機器學習和人工智能等技術來管理公司的數據。這使公司能夠對即將發(fā)生的事情進行精確分析，從而對企業(yè)的未來產生積極的影響。

數據科學流程

CRISP-DM代表“數據挖掘的跨行業(yè)標準流程”，提供一個總覽模型，描述數據科學的生命周期，幫助規(guī)劃、組織和實施數據科學項目。它由以下步驟組成：

當辯證性思維遇到機器學習算法時，數據科學可以幫助獲得對業(yè)務更佳的見解，提高工作效率，并提供業(yè)務決策的預判。最終目標是使公司能夠從數據科學中受益，做出積極決策，以提供更多創(chuàng)新的產品和服務。