隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，大數(shù)據(jù)已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的。大數(shù)據(jù)本身意味著非常多需要使用標(biāo)準(zhǔn)存儲(chǔ)技術(shù)來(lái)處理的數(shù)據(jù)。大數(shù)據(jù)可能由TB級(jí)(或者甚至PB級(jí))信息組成，既包括結(jié)構(gòu)化數(shù)據(jù)(數(shù)據(jù)庫(kù)、日志、SQL等)以及非結(jié)構(gòu)化數(shù)據(jù)(社交媒體帖子、傳感器、多媒體數(shù)據(jù))。此外，大部分這些數(shù)據(jù)缺乏索引或者其他組織結(jié)構(gòu)，可能由很多不同文件類(lèi)型組成。從目前技術(shù)發(fā)展的情況來(lái)看，大數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展正面臨著以下幾個(gè)難題：

   1、容量問(wèn)題

   這里所說(shuō)的“大容量”通常可達(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過(guò)增加模塊或磁盤(pán)柜來(lái)增加容量，甚至不需要停機(jī)。

   “大數(shù)據(jù)”應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個(gè)難題，處理不當(dāng)?shù)脑挄?huì)影響到系統(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對(duì)象的存儲(chǔ)架構(gòu)就不存在這個(gè)問(wèn)題，它可以在一個(gè)系統(tǒng)中管理十億級(jí)別的文件數(shù)量，而且還不會(huì)像傳統(tǒng)存儲(chǔ)一樣遭遇元數(shù)據(jù)管理的困擾。基于對(duì)象的存儲(chǔ)系統(tǒng)還具有廣域擴(kuò)展能力，可以在多個(gè)不同的地點(diǎn)部署并組成一個(gè)跨區(qū)域的大型存儲(chǔ)基礎(chǔ)架構(gòu)。

   2、延遲問(wèn)題

   “大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問(wèn)題。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡(jiǎn)單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴(kuò)展存儲(chǔ)系統(tǒng)等等都在蓬勃發(fā)展。

   3、并發(fā)訪問(wèn)

   一旦企業(yè)認(rèn)識(shí)到大數(shù)據(jù)分析應(yīng)用的潛在價(jià)值，他們就會(huì)將更多的數(shù)據(jù)集納入系統(tǒng)進(jìn)行比較，同時(shí)讓更多的人分享并使用這些數(shù)據(jù)。為了創(chuàng)造更多的商業(yè)價(jià)值，企業(yè)往往會(huì)綜合分析那些來(lái)自不同平臺(tái)下的多種數(shù)據(jù)對(duì)象。包括全局文件系統(tǒng)在內(nèi)的存儲(chǔ)基礎(chǔ)設(shè)施就能夠幫助用戶解決數(shù)據(jù)訪問(wèn)的問(wèn)題，全局文件系統(tǒng)允許多個(gè)主機(jī)上的多個(gè)用戶并發(fā)訪問(wèn)文件數(shù)據(jù)，而這些數(shù)據(jù)則可能存儲(chǔ)在多個(gè)地點(diǎn)的多種不同類(lèi)型的存儲(chǔ)設(shè)備上。

   4、安全問(wèn)題

   某些特殊行業(yè)的應(yīng)用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對(duì)于IT管理者來(lái)說(shuō)這些并沒(méi)有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類(lèi)數(shù)據(jù)相互參考，而在過(guò)去并不會(huì)有這種數(shù)據(jù)混合訪問(wèn)的情況，因此大數(shù)據(jù)應(yīng)用也催生出一些新的、需要考慮的安全性問(wèn)題。

   5、成本問(wèn)題

   成本問(wèn)題“大”，也可能意味著代價(jià)不菲。而對(duì)于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來(lái)說(shuō)，成本控制是關(guān)鍵的問(wèn)題。想控制成本，就意味著我們要讓每一臺(tái)設(shè)備都實(shí)現(xiàn)更高的“效率”，同時(shí)還要減少那些昂貴的部件。

   對(duì)成本控制影響最大的因素是那些商業(yè)化的硬件設(shè)備。因此，很多初次進(jìn)入這一領(lǐng)域的用戶以及那些應(yīng)用規(guī)模最大的用戶都會(huì)定制他們自己的“硬件平臺(tái)”而不是用現(xiàn)成的商業(yè)產(chǎn)品，這一舉措可以用來(lái)平衡他們?cè)跇I(yè)務(wù)擴(kuò)展過(guò)程中的成本控制戰(zhàn)略。為了適應(yīng)這一需求，現(xiàn)在越來(lái)越多的存儲(chǔ)產(chǎn)品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現(xiàn)成的硬件設(shè)備上。此外，很多存儲(chǔ)軟件公司還在銷(xiāo)售以軟件產(chǎn)品為核心的軟硬一體化裝置，或者與硬件廠商結(jié)盟，推出合作型產(chǎn)品。

   6、數(shù)據(jù)的積累

   許多大數(shù)據(jù)應(yīng)用都會(huì)涉及到法規(guī)遵從問(wèn)題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全，而財(cái)務(wù)信息通常要保存7年。而有些使用大數(shù)據(jù)存儲(chǔ)的用戶卻希望數(shù)據(jù)能夠保存更長(zhǎng)的時(shí)間，因?yàn)槿魏螖?shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時(shí)間段進(jìn)行的。要實(shí)現(xiàn)長(zhǎng)期的數(shù)據(jù)保存，就要求存儲(chǔ)廠商開(kāi)發(fā)出能夠持續(xù)進(jìn)行數(shù)據(jù)一致性檢測(cè)的功能以及其他保證長(zhǎng)期高可用的特性。同時(shí)還要實(shí)現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。

   7、數(shù)據(jù)的靈活性

   大數(shù)據(jù)存儲(chǔ)系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過(guò)仔細(xì)設(shè)計(jì)，才能保證存儲(chǔ)系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，已經(jīng)沒(méi)有必要再做數(shù)據(jù)遷移了，因?yàn)閿?shù)據(jù)會(huì)同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施一旦開(kāi)始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類(lèi)型和數(shù)據(jù)場(chǎng)景。

   存儲(chǔ)介質(zhì)正在改變，云計(jì)算倍受青睞

   存儲(chǔ)之于安防的地位，其已經(jīng)不僅是一個(gè)設(shè)備而已，而是已經(jīng)升華到了一個(gè)解決方案平臺(tái)的地步。作為圖像數(shù)據(jù)和報(bào)警事件記錄的載體，存儲(chǔ)的重要性是不言而喻的。

   安防監(jiān)控應(yīng)用對(duì)存儲(chǔ)的需求是什么?首先，海量存儲(chǔ)的需求。其次，性能的要求。第三，價(jià)格的敏感度。第四，集中管理的要求。第五，網(wǎng)絡(luò)化要求。安防監(jiān)控技術(shù)發(fā)展到今天經(jīng)歷了三個(gè)階段，即：模擬化、數(shù)字化、網(wǎng)絡(luò)化。與之相適應(yīng)，監(jiān)控?cái)?shù)據(jù)存儲(chǔ)也經(jīng)歷了多個(gè)階段，即：VCR模擬數(shù)據(jù)存儲(chǔ)、DVR數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)，到現(xiàn)在的集中網(wǎng)絡(luò)存儲(chǔ)，以及發(fā)展到云存儲(chǔ)階段，正是在一步步迎合這種市場(chǎng)需求。在未來(lái)，安防監(jiān)控隨著高清化，網(wǎng)絡(luò)化，智能化的不斷發(fā)展，將對(duì)現(xiàn)有存儲(chǔ)方案帶來(lái)不斷挑戰(zhàn)，包括容量、帶寬的擴(kuò)展問(wèn)題和管理問(wèn)題。那么，基于大數(shù)據(jù)戰(zhàn)略的海量存儲(chǔ)系統(tǒng)--云存儲(chǔ)就倍受青睞了。

   基于大數(shù)據(jù)戰(zhàn)略的安防存儲(chǔ)優(yōu)勢(shì)明顯

   當(dāng)前社會(huì)對(duì)于數(shù)據(jù)的依賴是前所未有的，數(shù)據(jù)已變成與硬資產(chǎn)和人同等重要的重要資料。如何存好、保護(hù)好、使用好這些海量的大數(shù)據(jù)，是安防行業(yè)面臨的重要問(wèn)題之一。那么基于大數(shù)據(jù)戰(zhàn)略的安防存儲(chǔ)其優(yōu)勢(shì)何在?

   目前的存儲(chǔ)市場(chǎng)上，原有的視頻監(jiān)控方案容量、帶寬難以擴(kuò)展。客戶往往需要采購(gòu)更多更高端的設(shè)備來(lái)擴(kuò)充容量，提高性能，隨之帶來(lái)的是成本的急劇增長(zhǎng)以及系統(tǒng)復(fù)雜性的激增。同時(shí)，傳統(tǒng)的存儲(chǔ)模式很難在完全沒(méi)有業(yè)務(wù)停頓的情況下進(jìn)行升級(jí)，擴(kuò)容會(huì)對(duì)業(yè)務(wù)帶來(lái)巨大影響。其次，傳統(tǒng)的視頻監(jiān)控方案難于管理。由于視頻監(jiān)控系統(tǒng)一般規(guī)模較大，分布特征明顯，大多獨(dú)立管理，這樣就把整個(gè)系統(tǒng)分割成了多個(gè)管理孤島，相互之間通信困難，難以協(xié)調(diào)工作，以提高整體性能。除此之外，綠色、安全等也是傳統(tǒng)視頻監(jiān)控方案所面臨的突出問(wèn)題。

   基于大數(shù)據(jù)戰(zhàn)略的云存儲(chǔ)技術(shù)與生俱來(lái)的高擴(kuò)展、易管理、高安全等特性為傳統(tǒng)存儲(chǔ)面臨的問(wèn)題帶來(lái)了解決的契機(jī)。利用云存儲(chǔ)，用戶可以方便的進(jìn)行容量、帶寬擴(kuò)展，而不必停止業(yè)務(wù)，或改變系統(tǒng)架構(gòu)。同時(shí)，云存儲(chǔ)還具有高安全、低成本、綠色節(jié)能等特點(diǎn)。基于云存儲(chǔ)的視頻監(jiān)控解決方案是客戶應(yīng)對(duì)挑戰(zhàn)很好的選擇。王宇說(shuō)，進(jìn)入二十一世紀(jì)，云存儲(chǔ)作為一種新的存儲(chǔ)架構(gòu)，已逐步走入應(yīng)用階段，云存儲(chǔ)不僅輕松突破了SAN的性能瓶頸，而且可以實(shí)現(xiàn)性能與容量的線性擴(kuò)展，這對(duì)于擁有大量數(shù)據(jù)的安防監(jiān)控用戶來(lái)說(shuō)是一個(gè)新選擇。

   以英特爾推出的Hadoop分布式文件系統(tǒng)(HDFS)為例，其提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。目前已經(jīng)在各種大型在線服務(wù)和大型存儲(chǔ)系統(tǒng)中得到廣泛應(yīng)用，已經(jīng)成為海量數(shù)據(jù)存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)。

   隨著信息系統(tǒng)的快速發(fā)展，海量的信息需要可靠存儲(chǔ)的同時(shí)，還能被大量的使用者快速地訪問(wèn)。傳統(tǒng)的存儲(chǔ)方案已經(jīng)從構(gòu)架上越來(lái)越難以適應(yīng)近幾年來(lái)的信息系統(tǒng)業(yè)務(wù)的飛速發(fā)展，成為了業(yè)務(wù)發(fā)展的瓶頸和障礙。HDFS通過(guò)一個(gè)高效的分布式算法，將數(shù)據(jù)的訪問(wèn)和存儲(chǔ)分布在大量服務(wù)器之中，在可靠地多備份存儲(chǔ)的同時(shí)還能將訪問(wèn)分布在集群中的各個(gè)服務(wù)器之上，是傳統(tǒng)存儲(chǔ)構(gòu)架的一個(gè)顛覆性的發(fā)展。最重要的是，其可以滿足以下特性：可自我修復(fù)的分布式文件存儲(chǔ)系統(tǒng)，高可擴(kuò)展性，無(wú)需停機(jī)動(dòng)態(tài)擴(kuò)容，高可靠性，數(shù)據(jù)自動(dòng)檢測(cè)和復(fù)制，高吞吐量訪問(wèn)，消除訪問(wèn)瓶頸，使用低成本存儲(chǔ)和服務(wù)器構(gòu)建。