淺談大數(shù)據(jù)下的企業(yè)安全管理平臺隨著信息技術(shù)的快速發(fā)展和廣泛應(yīng)用，物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等新技術(shù)的出現(xiàn)，催生互聯(lián)網(wǎng)新產(chǎn)品和新模式不斷涌現(xiàn)。

以金融行業(yè)為例，網(wǎng)上銀行、網(wǎng)上交易、互聯(lián)網(wǎng)金融等新技術(shù)的產(chǎn)生，給人們帶來了極大便利的同時，也帶來了諸多安全問題。

一、簡介當前計算機網(wǎng)絡(luò)與信息安全領(lǐng)域，正面臨著一場全新的挑戰(zhàn)。

一方面，伴隨大數(shù)據(jù)和云計算時代的到來，安全問題正在變成一個大數(shù)據(jù)問題，企業(yè)和組織的網(wǎng)絡(luò)及信息系統(tǒng)每天都在產(chǎn)生大量的安全數(shù)據(jù)，并且產(chǎn)生的速度越來越快。

另一方面，國家、企業(yè)和組織所面對的網(wǎng)絡(luò)空間安全形勢嚴峻，需要應(yīng)對的攻擊和威脅變得日益復(fù)雜，這些威脅具有隱蔽性強、潛伏期長、持續(xù)性強的特點。

面對這些新挑戰(zhàn)，傳統(tǒng)的企業(yè)安全管理平臺局限性顯露無遺，主要體現(xiàn)在以下幾個方面：1. 海量數(shù)據(jù)的處理企業(yè)安全管理平臺管理涉及企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等，每天會產(chǎn)生大量的安全事件和運行日志等安全數(shù)據(jù)，其數(shù)據(jù)量可能非常巨大。

面對海量的安全數(shù)據(jù)，安全管理人員很難從中發(fā)現(xiàn)有價值的信息;另一方面，面對海量數(shù)據(jù)時，傳統(tǒng)的企業(yè)安全管理平臺技術(shù)架構(gòu)在數(shù)據(jù)采集、存儲、分析處理和展現(xiàn)方面也遭遇不同瓶頸。

2. 多源異構(gòu)數(shù)據(jù)采集企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等均可能涉及不同種類不同廠家，由于各設(shè)備的產(chǎn)品差異性，企業(yè)安全管理平臺面對的安全數(shù)據(jù)在結(jié)構(gòu)和格式上均不統(tǒng)一，給數(shù)據(jù)分析帶來困難。

這一問題造成企業(yè)安全管理平臺數(shù)據(jù)采集效率降低，從而導(dǎo)致性能上遇到瓶頸。

3. 安全數(shù)據(jù)分散和孤立企業(yè)網(wǎng)絡(luò)中的各種安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等會分散在網(wǎng)絡(luò)的不同位置，如果各個數(shù)據(jù)之間缺乏有效的關(guān)聯(lián)，則會導(dǎo)致安全信息的孤立，形成信息孤島，無法對大量數(shù)據(jù)進行整體性的分析。

目前網(wǎng)絡(luò)中的攻擊行為一般都是分段式的攻擊方式，每個步驟都可能由不同的安全設(shè)備監(jiān)測發(fā)現(xiàn)并存在于不同日志當中，如果僅對單獨設(shè)備安全日志進行分析則難以發(fā)現(xiàn)完整攻擊行為。

為了提高安全數(shù)據(jù)分析的準確性，就需要通過基于大數(shù)據(jù)的事件關(guān)聯(lián)分析，找出多條報警之間的相關(guān)性，從中發(fā)現(xiàn)潛在的威脅行為或攻擊行為。

4. 缺乏深度挖掘手段當前網(wǎng)絡(luò)環(huán)境中新型攻擊手段層出不窮，與傳統(tǒng)攻擊手段不同，新型攻擊手段更加隱蔽，用傳統(tǒng)檢測方法更加難以發(fā)現(xiàn)，比如APT攻擊。

面對新型攻擊手段的長期性、隱蔽性和高級性，傳統(tǒng)的基于實時分析的監(jiān)控技術(shù)已經(jīng)不再適應(yīng)，為了防止新型攻擊手段造成的危害，有必要對歷史安全數(shù)據(jù)進行深層的離線挖掘，從大量的歷史數(shù)據(jù)之中發(fā)現(xiàn)新型攻擊行為的端倪，從而防患于未然。

以上問題，可以用一句話來總結(jié)，即海量、多源異構(gòu)、分散獨立的安全數(shù)據(jù)，給傳統(tǒng)的企業(yè)安全管理平臺帶來了分析、存儲、檢索上的諸多難題。

由此看來，新一代企業(yè)安全管理平臺應(yīng)該以大數(shù)據(jù)平臺架構(gòu)為支撐，支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化，將過去分散的安全信息進行集成與關(guān)聯(lián)，獨立的分析方法和工具進行整合形成交互，從而實現(xiàn)智能化的安全分析與決策，將機器學習、數(shù)據(jù)挖據(jù)等技術(shù)應(yīng)用于安全分析，并且要更快更好地的進行安全決策。

大數(shù)據(jù)的發(fā)展給企業(yè)安全管理平臺帶來了新的挑戰(zhàn)，但是其催生出的大數(shù)據(jù)技術(shù)也給企業(yè)安全管理平臺帶來機遇和全新的活力。

二、何為大數(shù)據(jù)?大數(shù)據(jù)的通俗定義為“用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合”，廣義定義為“一個綜合性概念，它包括因具備4V(海量/多樣/快速/價值，Volume/Variety/Velocity/Value)特征而難以進行管理的數(shù)據(jù)，對這些數(shù)據(jù)進行存儲、處理、分析的技術(shù)，以及能夠通過分析這些數(shù)據(jù)獲得實用意義和觀點的人才和組織。

”大數(shù)據(jù)具有四個重要特征(即4V特點)：Volume(海量)、Variety(多樣)、Velocity(快速)、Value(價值)。

Volume指的是數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具進行有效處理和分析，所以有必要變更傳統(tǒng)的數(shù)據(jù)處理和分析方法。

Variety指的是數(shù)據(jù)來源廣、形式多樣，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，非結(jié)構(gòu)數(shù)據(jù)的增長速度比結(jié)構(gòu)化數(shù)據(jù)的增長速度更快，并且具有十分可觀的利用價值，對其進行分析可以揭露出以前很難或無法確定的重要信息。

Velocity是指相對于傳統(tǒng)數(shù)據(jù)處理系統(tǒng)而言，大數(shù)據(jù)分析系統(tǒng)對實時性的要求更高，需要在很短的時間內(nèi)完成計算，否則得出的結(jié)果將是過時的、無效的。

Value是指大數(shù)據(jù)是有價值的，但在海量數(shù)據(jù)當中，真正有價值有意義的只是很少一部分。

三、大數(shù)據(jù)在信息安全上的應(yīng)用大數(shù)據(jù)在信息安全上的應(yīng)用主要表現(xiàn)為，數(shù)據(jù)的爆炸性增長給目前的信息安全技術(shù)帶來了挑戰(zhàn)，傳統(tǒng)的信息安全技術(shù)在面對超大數(shù)據(jù)量時已經(jīng)不再適宜，需要基于大數(shù)據(jù)環(huán)境的特點開發(fā)新一代安全技術(shù)。

目前流行的安全實踐主要是依賴于邊界防御，依賴于需要預(yù)定網(wǎng)絡(luò)威脅知識的靜態(tài)安全控制措施。

但是這種安全實踐在應(yīng)對目前極度延伸的、基于云的、移動性極強的商業(yè)世界來說，已經(jīng)不太適宜了。

基于這個背景，業(yè)界開始將信息安全的研究重點轉(zhuǎn)向智能驅(qū)動的信息安全模型，這是一種能夠感知風險的、基于上下文背景的、靈活的、能幫助企業(yè)抵御未知高級網(wǎng)絡(luò)威脅的模型。

而這種由大數(shù)據(jù)分析工具支持的、智能驅(qū)動的信息安全方法可以融合動態(tài)的風險評估、巨量安全數(shù)據(jù)的分析、自適應(yīng)的控制措施以及有關(guān)網(wǎng)絡(luò)威脅和攻擊技術(shù)的信息共享。

其次，大數(shù)據(jù)理念可以被利用到信息安全技術(shù)中來，比如通過大數(shù)據(jù)分析可以對海量的網(wǎng)絡(luò)安全數(shù)據(jù)進行快速有效的關(guān)聯(lián)分析，從中找出與網(wǎng)絡(luò)安全相關(guān)的信息。

可以預(yù)測，將大數(shù)據(jù)集成至安全實踐，將會極大地增強對IT環(huán)境的可視性，提高鑒別正常活動和可疑活動的能力，從而幫助確保IT系統(tǒng)的可信性，并大大提高安全事件響應(yīng)能力。

四、大數(shù)據(jù)安全分析大數(shù)據(jù)安全分析，顧名思義，就是指利用大數(shù)據(jù)技術(shù)來進行安全分析。

借助大數(shù)據(jù)安全分析技術(shù)，能夠更好地解決海量安全數(shù)據(jù)的采集、存儲的問題，借助基于大數(shù)據(jù)分析技術(shù)的機器學習和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網(wǎng)絡(luò)安全的態(tài)勢，更加主動、彈性地去應(yīng)對新型復(fù)雜的威脅和未知多變的風險。

在網(wǎng)絡(luò)安全領(lǐng)域，大數(shù)據(jù)安全分析是企業(yè)安全管理平臺安全事件分析的核心技術(shù)，而大數(shù)據(jù)安全分析對安全數(shù)據(jù)處理效果主要依賴于分析方法。

但當應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域的時候，還必須考慮到安全數(shù)據(jù)自身的特點和安全分析的目標，這樣大數(shù)據(jù)安全分析的應(yīng)用才更有價值。

五、大數(shù)據(jù)分析在企業(yè)安全管理平臺上的應(yīng)用目前應(yīng)用于大數(shù)據(jù)分析的主流技術(shù)架構(gòu)是Hadoop，業(yè)界在進行大數(shù)據(jù)分析時越來越重視它的作用。

Hadoop的HDFS技術(shù)和HBase技術(shù)與大數(shù)據(jù)的超大容量存儲需求正好匹配，Hadoop的MapReduce技術(shù)也能滿足大數(shù)據(jù)的快速實時分析需求。

基于前面介紹過的傳統(tǒng)企業(yè)安全管理平臺面對的挑戰(zhàn)和局限性問題，可以把Hadoop技術(shù)應(yīng)用在企業(yè)安全管理平臺中，發(fā)展成為新一代的企業(yè)安全管理平臺，實現(xiàn)支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化功能。

使用Hadoop架構(gòu)的新一代企業(yè)安全管理平臺具有以下特點：

可擴展性：支持動態(tài)增加和刪除系統(tǒng)節(jié)點，集群搭建方式靈活可控。

高效性：以分布式文件系統(tǒng)進行存儲數(shù)據(jù)，支持海量數(shù)據(jù)的快速讀/寫、查詢操作;采用分布式計算進行數(shù)據(jù)分析與業(yè)務(wù)操作，各業(yè)務(wù)節(jié)點獨立計算互不干，節(jié)點數(shù)量越多運算速度越快。

可靠性：系統(tǒng)自動容災(zāi)(HA);采用主-從機制(Master-Slave)進行集群搭建，系統(tǒng)內(nèi)節(jié)點間數(shù)據(jù)互相實時備份，當節(jié)點宕機時直接切換至備份節(jié)點，運算單元宕機時直接切換至備份運算節(jié)點。

低成本：對系統(tǒng)中各節(jié)點設(shè)備硬件要求不高，而且Java技術(shù)開發(fā)可跨平臺，相關(guān)技術(shù)是開源的。

總之，與傳統(tǒng)架構(gòu)的企業(yè)安全管理平臺相比，采用Hadoop的下一代企業(yè)安全管理平臺能大大提升數(shù)據(jù)分析的運算速度，降低運算代價，提高數(shù)據(jù)安全性，為用戶靈活提供各種分析引擎與分析手段。

六、總結(jié)綜上所述，可以看出借助大數(shù)據(jù)分析框架及大數(shù)據(jù)安全分析技術(shù)，能夠很好地解決傳統(tǒng)企業(yè)安全管理平臺的安全數(shù)據(jù)采集、分析、存儲、檢索問題。

從長遠來看，未來的企業(yè)安全管理平臺還應(yīng)通過對基于大數(shù)據(jù)分析技術(shù)的機器學習、數(shù)據(jù)挖據(jù)算法、可視化分析及智能化分析等新技術(shù)的研究，完善企業(yè)安全管理平臺功能，使其能夠更加智能地分析網(wǎng)絡(luò)安全態(tài)勢，從而更加主動、彈性地去應(yīng)對新型復(fù)雜的威脅和未知多變的風險。

但是，不論企業(yè)安全管理平臺的技術(shù)如何發(fā)展，如何與大數(shù)據(jù)結(jié)合，企業(yè)安全管理平臺所要解決的客戶根本性問題，以及與客戶業(yè)務(wù)融合的趨勢依然未變。

對大數(shù)據(jù)的應(yīng)用依然要服務(wù)于解決客戶的實際安全管理問題這個根本目標。