數(shù)據(jù)湖

　　簡(jiǎn)介

　　數(shù)據(jù)湖或hub的概念最初是由大數(shù)據(jù)廠商提出的，表面上看，數(shù)據(jù)都是承載在基于可向外擴(kuò)展的HDFS廉價(jià)存儲(chǔ)硬件之上的。但數(shù)據(jù)量越大，越需要各種不同種類(lèi)的存儲(chǔ)。最終，所有的企業(yè)數(shù)據(jù)都可以被認(rèn)為是大數(shù)據(jù)，但并不是所有的企業(yè)數(shù)據(jù)都是適合存放在廉價(jià)的HDFS集群之上的。

　　價(jià)值

　　數(shù)據(jù)湖的一部分價(jià)值是把不同種類(lèi)的數(shù)據(jù)匯聚到一起，另一部分價(jià)值是不需要預(yù)定義的模型就能進(jìn)行數(shù)據(jù)分析?，F(xiàn)在的大數(shù)據(jù)架構(gòu)是可擴(kuò)展的，并且可以為用戶提供越來(lái)越多的實(shí)時(shí)分析。在商業(yè)智能（BI）和數(shù)據(jù)倉(cāng)庫(kù)還沒(méi)有被淘汰的今天，大數(shù)據(jù)分析和大數(shù)據(jù)湖正在向更多類(lèi)型的實(shí)時(shí)智能服務(wù)發(fā)展，這些實(shí)時(shí)的智能服務(wù)可以支持實(shí)時(shí)的決策制定。

　　隱憂

　　數(shù)據(jù)湖架構(gòu)面向多數(shù)據(jù)源的信息存儲(chǔ)，包括物聯(lián)網(wǎng)在內(nèi)。大數(shù)據(jù)分析或歸檔可通過(guò)訪問(wèn)數(shù)據(jù)湖處理或交付數(shù)據(jù)子集給請(qǐng)求用戶。但數(shù)據(jù)湖架構(gòu)可不僅僅是一個(gè)巨大的磁盤(pán)而已。

　　數(shù)據(jù)湖的數(shù)據(jù)持久性和安全卻是需要優(yōu)先考慮的因素。很多選擇都能交付一個(gè)合理的成本，但并非所有都能滿足數(shù)據(jù)湖的長(zhǎng)期存儲(chǔ)需求。挑戰(zhàn)就在于數(shù)據(jù)湖中很多數(shù)據(jù)永遠(yuǎn)不會(huì)刪除。這種數(shù)據(jù)的價(jià)值在于它要那來(lái)分析以及和年復(fù)一年的數(shù)據(jù)進(jìn)行比對(duì)，這將抵消其容量成本。

　　在數(shù)據(jù)湖架構(gòu)中，信息安全作為另一項(xiàng)挑戰(zhàn)往往被人忽視。相比于其它，這種類(lèi)型的存儲(chǔ)安全要更加重要。數(shù)據(jù)湖架構(gòu)從定義上看是將所有的雞蛋放在一個(gè)籃子中。而如果其中一個(gè)存儲(chǔ)庫(kù)的安全被破壞，那么未知方將可能訪問(wèn)所有數(shù)據(jù)。很多數(shù)據(jù)都以已于讀取的格式存儲(chǔ)，像是JPEG、PDF文件——如果你的數(shù)據(jù)湖架構(gòu)不夠安全，那么信息損失很容易。