肯睿Cloudera通過實(shí)時(shí)分析賦能企業(yè)網(wǎng)絡(luò)安全團(tuán)隊(duì)

Cloudera美國(guó)首席技術(shù)官 Carolyn Duby

如今，網(wǎng)絡(luò)安全團(tuán)隊(duì)在保護(hù)企業(yè)安全時(shí)正面臨一系列空前的挑戰(zhàn)。身份盜竊資源中心（Identity Theft Resource Center，ITRC）的《年度數(shù)據(jù)泄露報(bào)告》顯示，2023年共發(fā)生了2365起網(wǎng)絡(luò)攻擊，受害者超過3億人，數(shù)據(jù)泄露事件數(shù)量自2021年以來(lái)增加了72%。根據(jù)《2024年上半年數(shù)據(jù)泄露風(fēng)險(xiǎn)態(tài)勢(shì)報(bào)告》統(tǒng)計(jì)，中國(guó)2024年上半年全網(wǎng)監(jiān)測(cè)并分析驗(yàn)證有效的數(shù)據(jù)泄露事件超1萬(wàn)6千起。

持續(xù)不斷且日益復(fù)雜的網(wǎng)絡(luò)攻擊讓許多專業(yè)人員感到力不從心。應(yīng)對(duì)這種現(xiàn)狀，網(wǎng)絡(luò)安全團(tuán)隊(duì)必須采用AI和自動(dòng)化技術(shù)，以更主動(dòng)、高效的方式抵御入侵。

然而，成功應(yīng)對(duì)這些威脅面臨一個(gè)根本性難題：數(shù)據(jù)。本文介紹了網(wǎng)絡(luò)安全團(tuán)隊(duì)在使用數(shù)據(jù)、分析和AI開展工作時(shí)所面臨的問題，Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)如何解決這些問題，以及該架構(gòu)對(duì)于應(yīng)對(duì)現(xiàn)代網(wǎng)絡(luò)安全環(huán)境的復(fù)雜性有何關(guān)鍵作用。

Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)助力企業(yè)解決網(wǎng)絡(luò)數(shù)據(jù)帶來(lái)的挑戰(zhàn)

對(duì)于網(wǎng)絡(luò)安全團(tuán)隊(duì)來(lái)說，數(shù)據(jù)既是最大的財(cái)富，也是最大的挑戰(zhàn)。所以，網(wǎng)絡(luò)安全團(tuán)隊(duì)面對(duì)的問題不僅在于數(shù)據(jù)量龐大，更在于如何有效地管理與解讀。當(dāng)前，網(wǎng)絡(luò)安全團(tuán)隊(duì)面臨的難題包括：

• 數(shù)據(jù)過載：網(wǎng)絡(luò)安全工具會(huì)產(chǎn)生大量日志數(shù)據(jù)，包括域名服務(wù)（DNS）記錄、防火墻日志等。雖然這些數(shù)據(jù)對(duì)于調(diào)查和威脅狩獵（Threat Hunting）至關(guān)重要，但現(xiàn)有系統(tǒng)往往難以高效管理這些數(shù)據(jù)。錄入數(shù)據(jù)的速度往往過慢并且可能成本過高，從而導(dǎo)致響應(yīng)延遲和錯(cuò)失良機(jī)。
• 工具泛濫：一個(gè)企業(yè)部署的網(wǎng)絡(luò)防御工具平均達(dá)到40多種。雖然每種工具都有自己的用途，但分析人員往往要同時(shí)使用多個(gè)界面，導(dǎo)致他們的調(diào)查工作變得分散。由于需要在不同工具之間手動(dòng)切換，工作速度會(huì)有所減慢，這也導(dǎo)致分析人員只能依靠最原始的方法追蹤他們的發(fā)現(xiàn)。
• 非結(jié)構(gòu)化數(shù)據(jù)無(wú)法用于分析：即便網(wǎng)絡(luò)安全團(tuán)隊(duì)最終收集到日志數(shù)據(jù)，其格式也通常無(wú)法直接用于分析。網(wǎng)絡(luò)日志通常是非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)，因此很難從中提煉出有價(jià)值的洞察。最終可能會(huì)導(dǎo)致分析人員為了規(guī)范、解析和準(zhǔn)備用于調(diào)查的數(shù)據(jù)，浪費(fèi)大量寶貴時(shí)間和資源。

Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)提供了解決這些難題的辦法。通過結(jié)合數(shù)據(jù)湖存儲(chǔ)的靈活性和擴(kuò)展能力與數(shù)據(jù)倉(cāng)庫(kù)的功能，開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)統(tǒng)一并簡(jiǎn)化了網(wǎng)絡(luò)日志數(shù)據(jù)的管理。通過打破數(shù)據(jù)孤島，Cloudera實(shí)現(xiàn)了多源日志數(shù)據(jù)的整合，幫助網(wǎng)絡(luò)安全團(tuán)隊(duì)進(jìn)行利用實(shí)時(shí)分析快速響應(yīng)威脅。Cloudera的解決方案如下：

• 統(tǒng)一系統(tǒng)：Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)將所有關(guān)鍵日志數(shù)據(jù)整合到一個(gè)系統(tǒng)中。通過使用專為海量數(shù)據(jù)進(jìn)行高性能分析而設(shè)計(jì)的開放表格Apache Iceberg，網(wǎng)絡(luò)安全團(tuán)隊(duì)能夠訪問所有數(shù)據(jù)并以更快的速度和更高的效率展開調(diào)查。無(wú)論他們查詢的數(shù)據(jù)是現(xiàn)在的還是過去的，系統(tǒng)都能根據(jù)需求擴(kuò)大或縮小規(guī)模。
• 針對(duì)分析進(jìn)行優(yōu)化：Iceberg表專為實(shí)現(xiàn)更快速、高效的分析而設(shè)計(jì)。憑借靈活的模式和分區(qū)，Iceberg表可將數(shù)據(jù)處理規(guī)模擴(kuò)展到PB級(jí)，同時(shí)通過壓縮日志節(jié)省存儲(chǔ)成本。該方法以元數(shù)據(jù)為依據(jù)，能夠進(jìn)行快速查詢規(guī)劃，幫助網(wǎng)絡(luò)安全團(tuán)隊(duì)在需要快速得到答案時(shí)加快獲取過程。
• 數(shù)據(jù)安全和治理：Cloudera共享數(shù)據(jù)體驗(yàn)（Shared Data Experience, SDX）將安全和治理內(nèi)置到每個(gè)步驟中。網(wǎng)絡(luò)日志通常包含有關(guān)用戶、網(wǎng)絡(luò)和調(diào)查的敏感數(shù)據(jù)，因此在確保授權(quán)團(tuán)隊(duì)能夠安全訪問和共享這些信息的同時(shí)，必須對(duì)這些信息予以保護(hù)。
• 實(shí)時(shí)洞察數(shù)據(jù)傳輸管道：開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)為分析提供了基礎(chǔ)，而Cloudera的數(shù)據(jù)管道功能將原始、非結(jié)構(gòu)化的網(wǎng)絡(luò)日志轉(zhuǎn)化為經(jīng)過優(yōu)化的Iceberg表。通過使用Cloudera Data Flow和Cloudera Stream Processing，團(tuán)隊(duì)可以實(shí)時(shí)過濾、解析、規(guī)范和擴(kuò)充日志數(shù)據(jù)，確保網(wǎng)絡(luò)安全團(tuán)隊(duì)擁有用于高級(jí)分析的潔凈、結(jié)構(gòu)化數(shù)據(jù)。
• 無(wú)縫集成：Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)與多種工具集成，從而讓調(diào)查人員、網(wǎng)絡(luò)安全分析師和數(shù)據(jù)科學(xué)家能夠使用他們常用的工具開展工作。無(wú)論是Cloudera Data Visualization中的拖放界面，還是先進(jìn)的異常檢測(cè)機(jī)器學(xué)習(xí)模型都為數(shù)據(jù)管理帶來(lái)了更多可能。此外，憑借Iceberg的互通性和開放標(biāo)準(zhǔn)，客戶可以為每項(xiàng)工作選擇合適的工具。

通過Iceberg實(shí)現(xiàn)實(shí)時(shí)威脅檢測(cè)

網(wǎng)絡(luò)日志數(shù)據(jù)的體量龐大且持續(xù)變化。在一部分舊系統(tǒng)中，查詢規(guī)劃和實(shí)際執(zhí)行所花費(fèi)的時(shí)間可能一樣長(zhǎng)。Iceberg通過存儲(chǔ)所有表元數(shù)據(jù)（包括分區(qū)和文件位置）提高查詢規(guī)劃的效率，進(jìn)而便利查詢引擎的使用。即使面對(duì)龐大且動(dòng)態(tài)變化的表，系統(tǒng)仍能保持可管理性，幫助網(wǎng)絡(luò)安全團(tuán)隊(duì)執(zhí)行實(shí)時(shí)威脅檢測(cè)，同時(shí)不被低效的查詢規(guī)劃流程拖累，實(shí)現(xiàn)更快速、高效的威脅檢測(cè)和調(diào)查工作流程。

此外，用于檢測(cè)和應(yīng)對(duì)威脅的系統(tǒng)和流程也需要跟隨威脅演變。通過Iceberg，團(tuán)隊(duì)無(wú)需重寫表就能即時(shí)修改模式、分區(qū)和擴(kuò)充流程。使用Iceberg快照進(jìn)行版本控制即可輕松重現(xiàn)表的先前狀態(tài)，因此，網(wǎng)絡(luò)安全團(tuán)隊(duì)無(wú)需管理和維護(hù)多個(gè)數(shù)據(jù)副本，即可隨時(shí)訪問歷史上下文。

未來(lái)趨勢(shì)：AI驅(qū)動(dòng)的網(wǎng)絡(luò)防御 在AI驅(qū)動(dòng)網(wǎng)絡(luò)安全的未來(lái)趨勢(shì)下，Cloudera幫助網(wǎng)絡(luò)安全團(tuán)隊(duì)提前做好相應(yīng)準(zhǔn)備。通過SQL AI Assistant等內(nèi)置生成式AI工具，分析師可以快速編寫SQL查詢以提煉出所需答案。從自動(dòng)執(zhí)行例行任務(wù)到構(gòu)建用于事件摘要的聊天機(jī)器人，Cloudera的AI功能在提高網(wǎng)絡(luò)防御效率的同時(shí)，保證了數(shù)據(jù)的安全可控。

通過在可擴(kuò)展、安全和分析就緒的環(huán)境中整合網(wǎng)絡(luò)數(shù)據(jù)，Cloudera開放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)讓網(wǎng)絡(luò)安全團(tuán)隊(duì)在應(yīng)對(duì)網(wǎng)絡(luò)威脅時(shí)處于領(lǐng)先地位。憑借與眾多工具和執(zhí)行引擎的無(wú)縫集成、靈活且經(jīng)濟(jì)的存儲(chǔ)以及內(nèi)置的AI功能，Cloudera助力網(wǎng)絡(luò)安全團(tuán)隊(duì)通過實(shí)時(shí)和預(yù)測(cè)性洞察緊跟網(wǎng)絡(luò)威脅的步伐，為企業(yè)保駕護(hù)航。