利用觀測(cè)云打造企業(yè)級(jí)的統(tǒng)一日志中心

前言

在數(shù)字化轉(zhuǎn)型時(shí)代，現(xiàn)代的大規(guī)模應(yīng)用程序每天可以生成數(shù)以?xún)|計(jì)的日志數(shù)據(jù)。它是企業(yè)運(yùn)營(yíng)和管理中的寶貴資產(chǎn)，記錄了系統(tǒng)、應(yīng)用和設(shè)備的各種活動(dòng)和事件。通過(guò)分析日志數(shù)據(jù)，企業(yè)可以深入了解業(yè)務(wù)運(yùn)行情況、識(shí)別潛在問(wèn)題和優(yōu)化機(jī)會(huì)，提升系統(tǒng)穩(wěn)定性、安全性和性能表現(xiàn)。因此，企業(yè)構(gòu)建“統(tǒng)一日志中心”的必要性是顯而易見(jiàn)的，它可以集中管理和分析各類(lèi)日志數(shù)據(jù)，實(shí)現(xiàn)全面監(jiān)控、快速響應(yīng)和深度分析，幫助企業(yè)實(shí)現(xiàn)故障排除、安全審計(jì)、性能優(yōu)化等目標(biāo)，提高運(yùn)營(yíng)效率、降低風(fēng)險(xiǎn)，并為業(yè)務(wù)發(fā)展提供有力支持。

觀測(cè)云秉承“統(tǒng)一采集、統(tǒng)一處理、統(tǒng)一分析”的理念，構(gòu)建了一套高效的觀測(cè)數(shù)據(jù)分析平臺(tái)。本文從日志采集、處理、存儲(chǔ)、分析的各個(gè)過(guò)程，分別觀測(cè)云如何幫助企業(yè)又快又好地建設(shè)統(tǒng)一日志中心。

觀測(cè)云日志采集能力

在采集方面，觀測(cè)云的統(tǒng)一數(shù)據(jù)采集器DataKit擁有豐富的采集模板和強(qiáng)大的集成擴(kuò)展能力，能夠使用采集磁盤(pán)文件、容器stdout、接收遠(yuǎn)程推送日志、sidecar方式采集日志等多種方式，以適應(yīng)企業(yè)異構(gòu)的IT環(huán)境和多元的日志采集需求。

觀測(cè)云對(duì)不同日志的處理方式

DataKit內(nèi)置了操作系統(tǒng)日志、容器日志、MySQL & Nginx等常用數(shù)據(jù)庫(kù)和中間件的采集器，能同時(shí)采集監(jiān)控對(duì)象屬性、指標(biāo)數(shù)據(jù)（Metric）、日志數(shù)據(jù)（Log），用統(tǒng)一采集的理念最大程度上減少部署在監(jiān)控對(duì)象上的agent數(shù)量。

DataKit采集器的運(yùn)行管理十分方便，在K8S環(huán)境中，DataKit會(huì)以DaemonSet方式運(yùn)行，確保在每個(gè)節(jié)點(diǎn)上都會(huì)運(yùn)行一個(gè)日志采集器 Pod，從而實(shí)現(xiàn)對(duì)整個(gè)集群的日志數(shù)據(jù)全面覆蓋。無(wú)論集群中有多少個(gè)節(jié)點(diǎn)，都能保證每個(gè)節(jié)點(diǎn)的日志都被實(shí)時(shí)采集。觀測(cè)云還提供了DCA（DataKit Client Agent），它是一個(gè)用于批量管理DataKit的工具。通過(guò)DCA，用戶(hù)可以更加方便地對(duì)DataKit狀態(tài)、日志解析模板、黑名單等配置進(jìn)行批量操作和維護(hù)，從而提高數(shù)據(jù)采集的效率和準(zhǔn)確性。

對(duì)于已經(jīng)使用開(kāi)源agent采集日志的企業(yè)來(lái)說(shuō)，通常傾向于將原有agent采集的日志轉(zhuǎn)發(fā)給新建設(shè)的統(tǒng)一日志中心。觀測(cè)云可使用Fluentd、Logstash、Kafka、API等方式來(lái)接收已采集的日志，充分保留企業(yè)過(guò)往的技術(shù)投入并減少替換成本。

觀測(cè)云日志處理能力

在日志處理過(guò)程中，觀測(cè)云內(nèi)置了十余種常用數(shù)據(jù)庫(kù)&中間件的官方日志解析模板，包括Kafka、Elasticsearch、MySQL、Nginx、Redis、Tomcat、MongoDB等，方便用戶(hù)直接使用。另外還提供了數(shù)十個(gè)腳本函數(shù)，讓用戶(hù)可以按照不同的日志處理場(chǎng)景進(jìn)行快速引用，實(shí)時(shí)進(jìn)行調(diào)試。

例如，很多企業(yè)希望在日志采集時(shí)對(duì)日志中的敏感信息進(jìn)行脫敏，則可以使用觀測(cè)云Pipeline中的脫敏函數(shù)對(duì)指定字段范圍做數(shù)據(jù)脫敏，即可在采集側(cè)完成脫敏處理，避免了敏感信息在互聯(lián)網(wǎng)傳輸帶來(lái)的合規(guī)性問(wèn)題。

再如，很多企業(yè)也提到了希望能配置采集端黑名單，以減少寶貴的帶寬資源，降低中心化處理的性能開(kāi)銷(xiāo)。在觀測(cè)云上，您可以通過(guò)drop函數(shù)（丟棄整條日志或某個(gè)字段）、sample函數(shù)（對(duì)日志進(jìn)行采樣），或者是配置日志黑名單來(lái)達(dá)到上述目的。

對(duì)于模板不能適配的日志格式，觀測(cè)云也提供了多種方式讓用戶(hù)能輕松完成日志解析。首先是在Pipeline解析過(guò)程中提供了“一鍵獲取樣本”并實(shí)時(shí)調(diào)試的能力，讓用戶(hù)可以實(shí)時(shí)查看Pipeline對(duì)日志的處理是否滿(mǎn)足需求。同時(shí)為了降低編寫(xiě)Pipeline的難度，觀測(cè)云還提供了交互式的命令行工具，幫助用戶(hù)快速選擇適合某個(gè)字段的函數(shù)。

交互式命令行工具，降低日志解析難度

此外，Pipeline還支持通過(guò)openAPI進(jìn)行導(dǎo)出、導(dǎo)入，以便在集團(tuán)性組織在創(chuàng)建工作空間時(shí)直接引用，快速將已經(jīng)調(diào)整好的Pipeline分發(fā)給不同業(yè)務(wù)系統(tǒng)，提升業(yè)務(wù)團(tuán)隊(duì)的使用體驗(yàn)。

值得一提的是，對(duì)于在日志采集中經(jīng)常遇到的多行日志采集問(wèn)題，觀測(cè)云提供了自動(dòng)多行模式、自定義多行模式的方式。自動(dòng)多行模式會(huì)根據(jù)特定的起始標(biāo)記、結(jié)束標(biāo)記、正則表達(dá)式等來(lái)進(jìn)行多行日志的識(shí)別，降低用戶(hù)的使用負(fù)擔(dān)。

觀測(cè)云日志存儲(chǔ)能力

觀測(cè)云在面向全球用戶(hù)提供SaaS服務(wù)的過(guò)程中，需要實(shí)施處理并存儲(chǔ)海量的日志，如何在成本與用戶(hù)體驗(yàn)間保持平衡，觀測(cè)云付出巨大努力。在過(guò)去使用elasticsearch/opensearch方案時(shí)，我們發(fā)現(xiàn)該方案存在寫(xiě)入占用資源多、對(duì)無(wú)模式表支持較差、聚合查詢(xún)性能差等問(wèn)題。因此觀測(cè)云在經(jīng)過(guò)嚴(yán)謹(jǐn)?shù)恼{(diào)研、開(kāi)發(fā)、測(cè)試之后推出了全新架構(gòu)的GuanceDB。

GuanceDB滿(mǎn)足了觀測(cè)云對(duì) Schema Free 的要求，解決了數(shù)據(jù) Schema 頻繁變化痛點(diǎn)；提高了數(shù)據(jù)寫(xiě)入的性能，保證了數(shù)據(jù)寫(xiě)入的時(shí)效性和查詢(xún)的實(shí)時(shí)性；提升了全文檢索的性能并降低查詢(xún)的資源開(kāi)銷(xiāo)...... 總而言之，觀測(cè)云最終實(shí)現(xiàn)：僅使用 Elasticsearch 的 1/3 成本、獲得 2～4 倍的性能提升，整體性?xún)r(jià)比提升了近 10 倍！

為了滿(mǎn)足企業(yè)對(duì)日志的長(zhǎng)期保存需求(通常出于日志審計(jì)的考慮)，同時(shí)又要兼顧存儲(chǔ)成本，觀測(cè)云提供了“數(shù)據(jù)轉(zhuǎn)發(fā)”功能，便于觀測(cè)云提供日志等數(shù)據(jù)保存到觀測(cè)云的對(duì)象存儲(chǔ)及轉(zhuǎn)發(fā)到外部存儲(chǔ)的功能，您可以自由選擇存儲(chǔ)對(duì)象，靈活管理數(shù)據(jù)轉(zhuǎn)發(fā)數(shù)據(jù)。在數(shù)據(jù)轉(zhuǎn)發(fā)頁(yè)面，您可以通過(guò)設(shè)置查詢(xún)時(shí)間和數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則快速查詢(xún)存儲(chǔ)數(shù)據(jù)（包含觀測(cè)云備份日志、AWS S3、華為云 OBS、阿里云 OSS 和 Kafka 消息隊(duì)列），還可以在無(wú)需額外處理的情況下，直接在觀測(cè)云上查看歷史備份日志和 SLS Query Logstore 數(shù)據(jù)。

觀測(cè)云日志分析能力

DQL（Debug Query Language）是觀測(cè)云開(kāi)發(fā)的數(shù)據(jù)查詢(xún)語(yǔ)言。DQL支持在觀測(cè)云工作空間或者終端設(shè)備進(jìn)行數(shù)據(jù)查詢(xún)，允許用戶(hù)檢索和分析存儲(chǔ)在觀測(cè)云中的各種數(shù)據(jù)，包括日志、指標(biāo)、鏈路追蹤等。

得益于DQL統(tǒng)一查詢(xún)語(yǔ)言和統(tǒng)一風(fēng)格的“查看器”，用戶(hù)在觀測(cè)云上無(wú)論是分析日志、鏈路、RUM（用戶(hù)體驗(yàn)數(shù)據(jù)）時(shí)都有一致性的體驗(yàn)，同樣的簡(jiǎn)單易用、同樣的秒級(jí)查詢(xún)體驗(yàn)。

常用搜索歷史模板、快捷篩選、字段補(bǔ)全等功能，在觀測(cè)云上都一應(yīng)俱全?？紤]到團(tuán)隊(duì)在排查故障、分析異常過(guò)程中經(jīng)常會(huì)有數(shù)據(jù)共享的需求，觀測(cè)云設(shè)計(jì)了貼心的“快照分享”，團(tuán)隊(duì)成員可以創(chuàng)建自定義時(shí)間段即時(shí)拷貝的數(shù)據(jù)副本，并生成指定查看權(quán)限的快捷訪問(wèn)鏈接。團(tuán)隊(duì)可以通過(guò)一個(gè)瀏覽器鏈接分享日志數(shù)據(jù)，并且可以保留分享者在日志上做過(guò)的時(shí)間篩選、條件篩選，該快照也并非是單一的靜態(tài)數(shù)據(jù)，而是可以交互的日志分析界面，大大降低了團(tuán)隊(duì)間使用截圖、發(fā)送原始日志的溝通成本。出于對(duì)數(shù)據(jù)安全性的考慮，分享者可以對(duì)快照設(shè)置字段脫敏、添加水印、設(shè)置有效時(shí)間、鏈接加密、訪問(wèn)IP白名單等多種特性，在信息高效傳遞的同時(shí)充分保證數(shù)據(jù)的安全性，便于團(tuán)隊(duì)間、外部企業(yè)進(jìn)行協(xié)作。

對(duì)于很多企業(yè)來(lái)說(shuō)，特別擔(dān)心采集的日志中存在敏感數(shù)據(jù)，但在日志的采集、存儲(chǔ)、分析過(guò)程中極其難以發(fā)現(xiàn)。為了解決這個(gè)問(wèn)題，觀測(cè)云開(kāi)發(fā)了“敏感數(shù)據(jù)掃描”功能，內(nèi)置了近百個(gè)敏感數(shù)據(jù)規(guī)則庫(kù)，并允許用戶(hù)自定義新建敏感數(shù)據(jù)規(guī)則，通過(guò)引用這些規(guī)則來(lái)對(duì)存儲(chǔ)在觀測(cè)云中的日志數(shù)據(jù)進(jìn)行主動(dòng)掃描，一旦發(fā)現(xiàn)敏感字段即可進(jìn)行加密，確保數(shù)據(jù)合規(guī)性。

此外，觀測(cè)云還支持通過(guò)“數(shù)據(jù)訪問(wèn)”功能為不同角色配置對(duì)應(yīng)的日志數(shù)據(jù)訪問(wèn)查詢(xún)范圍，以實(shí)現(xiàn)數(shù)據(jù)查詢(xún)范圍的精細(xì)化管理。例如負(fù)責(zé)不同業(yè)務(wù)系統(tǒng)的團(tuán)隊(duì)、同一團(tuán)隊(duì)中根據(jù)角色區(qū)分不同的日志權(quán)限，都可以靈活進(jìn)行配置。

在“日志智能檢測(cè)”功能中，觀測(cè)云運(yùn)用智能檢測(cè)算法，監(jiān)控工作空間內(nèi)采集器產(chǎn)生的日志數(shù)據(jù)。智能識(shí)別日志數(shù)量的突增 / 突降、錯(cuò)誤日志的突增的異常數(shù)據(jù)，及時(shí)發(fā)現(xiàn)不符合預(yù)期的異常狀態(tài)，及時(shí)提醒團(tuán)隊(duì)關(guān)注業(yè)務(wù)是否有異常表現(xiàn)。

日志突增的智能檢測(cè)

總結(jié)

當(dāng)企業(yè)考慮構(gòu)建統(tǒng)一日志中心時(shí)，通常需要考慮功能需求、可擴(kuò)展性、安全性、兼容性、性能和效率、成本效益與用戶(hù)體驗(yàn)。相信經(jīng)過(guò)上面的介紹，您對(duì)觀測(cè)云的日志分析能力擁有了比較全面的認(rèn)識(shí)。觀測(cè)云一直致力于為用戶(hù)提供更好、更優(yōu)的可觀測(cè)能力，相信是企業(yè)構(gòu)建統(tǒng)一日志中心、統(tǒng)一可觀測(cè)平臺(tái)的理想選擇。