新手必備的大數(shù)據(jù)知識(shí)介紹

 一、大數(shù)據(jù)是什么?

 大數(shù)據(jù)，big data，《大數(shù)據(jù)》一書對(duì)大數(shù)據(jù)這么定義，大數(shù)據(jù)是指不能用隨機(jī)分析法(抽樣調(diào)查)這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。

 這句話至少傳遞兩種信息：

 1、大數(shù)據(jù)是海量的數(shù)據(jù)

 2、大數(shù)據(jù)處理無捷徑，對(duì)分析處理技術(shù)提出了更高的要求

 二、大數(shù)據(jù)的處理流程

 1、底層是數(shù)以千億計(jì)的數(shù)據(jù)源，數(shù)據(jù)源可以是SCM(供應(yīng)鏈數(shù)據(jù))，4PL(物流數(shù)據(jù))，CRM(客戶數(shù)據(jù))，網(wǎng)站日志以及其他的數(shù)據(jù)

 2、第二層是數(shù)據(jù)加工層，數(shù)據(jù)工程師對(duì)數(shù)據(jù)源按照標(biāo)準(zhǔn)的統(tǒng)計(jì)口徑和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)化、裝載(整個(gè)過程簡(jiǎn)稱ELT)

 3、第三層是數(shù)據(jù)倉(cāng)庫(kù)，加工后的數(shù)據(jù)流入數(shù)據(jù)倉(cāng)庫(kù)，進(jìn)行整合和存儲(chǔ)，形成一個(gè)又一個(gè)數(shù)據(jù)集市。

 數(shù)據(jù)集市，指分類存儲(chǔ)數(shù)據(jù)的集合，即按照不同部門或用戶的需求存儲(chǔ)數(shù)據(jù)。

 4、第四層是BI(商業(yè)智能)，按照業(yè)務(wù)需求，對(duì)數(shù)據(jù)進(jìn)行分析建模、挖掘、運(yùn)算，輸出統(tǒng)一的數(shù)據(jù)分析平臺(tái)

 5、第五層是數(shù)據(jù)訪問層，對(duì)不同的需求方開放不同的數(shù)據(jù)角色和權(quán)限，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

 大數(shù)據(jù)的量級(jí)，決定了大數(shù)據(jù)處理及應(yīng)用的難度，需要利用特定的技術(shù)工具去處理大數(shù)據(jù)。

 三、大數(shù)據(jù)處理技術(shù)

 以最常使用的Hadoop為例：

 Hadoop是Apache公司開發(fā)的一個(gè)開源框架,它允許在整個(gè)集群使用簡(jiǎn)單編程模型計(jì)算機(jī)的分布式環(huán)境存儲(chǔ)并處理大數(shù)據(jù)。

 集群是指，2臺(tái)或2臺(tái)以上服務(wù)器構(gòu)建節(jié)點(diǎn)，提供數(shù)據(jù)服務(wù)。單臺(tái)服務(wù)器，無法處理海量的大數(shù)據(jù)。服務(wù)器越多，集群的威力越大。

 Hadoop類似于一個(gè)數(shù)據(jù)生態(tài)圈，不同的模塊各司其職。

 Hadoop的LOGO是一只靈活的大象。關(guān)于LOGO的來源，網(wǎng)上眾說紛紜，有人說，是因?yàn)榇笙笙笳鼾嬋淮笪铮复髷?shù)據(jù)，Hadoop讓大數(shù)據(jù)變得靈活。而官方蓋章，LOGO來源于創(chuàng)始人Doug Cutting的孩子曾為一個(gè)大象玩具取名hadoop。

 Hadoop的核心是HDFS,YARN和Map Reduce，下面和大家講一講，幾個(gè)主要模塊的含義和功能。

 1、HDFS(分布式文件存儲(chǔ)系統(tǒng))

 數(shù)據(jù)以塊的形式，分布在集群的不同節(jié)點(diǎn)。在使用HDFS時(shí)，無需關(guān)心數(shù)據(jù)是存儲(chǔ)在哪個(gè)節(jié)點(diǎn)上、或者是從哪個(gè)節(jié)點(diǎn)從獲取的，只需像使用本地文件系統(tǒng)一樣管理和存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)。

 2、Map Reduce(分布式計(jì)算框架)

 分布式計(jì)算框架將復(fù)雜的數(shù)據(jù)集分發(fā)給不同的節(jié)點(diǎn)去操作，每個(gè)節(jié)點(diǎn)會(huì)周期性的返回它所完成的工作和最新的狀態(tài)。

 計(jì)算機(jī)要對(duì)輸入的單詞進(jìn)行計(jì)數(shù)：

 如果采用集中式計(jì)算方式，我們要先算出一個(gè)單詞如Deer出現(xiàn)了多少次，再算另一個(gè)單詞出現(xiàn)了多少次，直到所有單詞統(tǒng)計(jì)完畢，將浪費(fèi)大量的時(shí)間和資源。

 如果采用分布式計(jì)算方式，計(jì)算將變得高效。我們將數(shù)據(jù)隨機(jī)分配給三個(gè)節(jié)點(diǎn)，由節(jié)點(diǎn)去分別統(tǒng)計(jì)各自處理的數(shù)據(jù)中單詞出現(xiàn)的次數(shù)，再將相同的單詞進(jìn)行聚合，輸出最后的結(jié)果。

 3、YARN(資源調(diào)度器)

 相當(dāng)于電腦的任務(wù)管理器，對(duì)資源進(jìn)行管理和調(diào)度。

 4、HBASE(分布式數(shù)據(jù)庫(kù))

 HBase是非關(guān)系型數(shù)據(jù)庫(kù)(Nosql)，在某些業(yè)務(wù)場(chǎng)景下，數(shù)據(jù)存儲(chǔ)查詢?cè)贖base的使用效率更高。

 關(guān)于關(guān)系型數(shù)據(jù)庫(kù)和菲關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別，會(huì)在以后的文章進(jìn)行詳述。

 5、HIVE(數(shù)據(jù)倉(cāng)庫(kù))

 HIVE是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以用SQL的語(yǔ)言轉(zhuǎn)化成Map Reduce任務(wù)對(duì)hdfs數(shù)據(jù)的查詢分析。HIVE的好處在于，使用者無需寫Map Reduce任務(wù)，只需要掌握SQL即可完成查詢分析工作。

 6、Spark(大數(shù)據(jù)計(jì)算引擎)

 Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎

 7、Mahout(機(jī)器學(xué)習(xí)挖掘庫(kù))

 Mahout是一個(gè)可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘庫(kù)

 8、Sqoop

 Sqoop可以將關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中