發布信息

安裝部署Flume的步驟

作者:菁英職教網      2022-06-12 20:50:01     604   

安裝部署Flume的步驟并不復雜,讀者可以閱讀下面的操作流程來快速部署Flume。本節給大家演示兩種部署方式:單點部署和高可用部署。

1.單點部署

提示:下面演示的是在某一臺服務器(節點)上,部署Flume并啟動進程服務。由于進程服務是在一臺服務器(節點)上運行,當該進程服務被人為停止或者因服務器宕機導致Flume進程服務停止,從而使Flume進程服務不可用時,導致數據傳輸不能正常進行,這樣的現象被稱為單點。

(1)下載:在Flume官方網站上獲取Flume版本下載地址,然后在nna節點上使用Linux命令下載軟件安裝包。操作命令如下:



提示:如果操作的集群不能連接網絡,可以先在本地機器上下載Flume軟件安裝包,再上傳到nna節點/data/soft/new/目錄下。

(2)解壓:將/data/soft/new/目錄下的Flume軟件安裝包進行解壓,并重命名。操作命令如下:



(3)配置環境變量:在/etc/profile文件下配置Flume的環境變量。操作命令如下:



完成環境變量配置后,使用source命令使配置的環境變量立即生效。操作命令如下:


(4)編輯Flume配置文件:在$FLUME_HOME/conf/flume-conf.properties文件中配置數據源采集路徑、數據臨時存儲路徑、數據發送路徑及類型等內容。操作內容見代碼1。

代碼1 單點Flume配置文件



(5)指定JAVA_HOME:在Flume的環境變量腳本($FLUME_HOME/conf/flume-env.sh)中,指定JAVA_HOME變量所對應的JDK路徑。操作命令如下:



(6)啟動:完成上述配置后,開始啟動Flume服務用于收集數據。操作命令如下:



啟動命令中,agent1表示配置文件中的Agent的名稱,和flume-conf.properties文件中agent1保持一致。啟動Flume服務后,在/data/flume/logdfs/目錄下模擬放置一些數據文件讓Flume Agent進行采集,若本地數據文件采集完成后,文件名會重新命名,以“.COMPLETED”后綴結尾。最后,可以到Hadoop分布式文件系統(HDFS)的/data/flume/logdfs/路徑下查看采集的數據,如圖1所示。



圖1 Flume采集

2.高可用部署

在單點部署Flume時,如果部署的節點發生故障會導致整個采集不可用,而高可用部署正好能解決這一問題,能夠確保在一個服務節點宕機,整個Flume采集服務依然可用。高可用部署Flume架構如圖2所示。



圖2 高可用部署Flume架構圖

(1)角色分配:本書搭建高可用Flume集群使用了3個Agent(用于客戶端采集)、2個Collector(用于提供服務)來進行部署。分布詳情如表1所示。

表1 高可用Flume集群角色分布



提示:Flume帶有故障自動轉移(Failover)機制,可以自動切換和恢復服務,所以這里配置兩個Collector用于對外提供服務。

(2)添加配置文件:在單點部署的基礎上添加兩個配置文件即可滿足高可用性,這兩個配置文件分別是flume-client.properties和flume-server.properties。具體內容見代碼2和代碼3所示。

代碼2 flume-client.properties文件


代碼3 flume-server.properties文件

然后再使用scp同步命令,將nna節點上配置好的flume同步到nns節點作為Collector2(上傳傳備份服務),同時也同步到dn1、dn2、dn3上分別作為3個Agent(代理)客戶端。操作命令如下:



一本一本久久a久久精品综合不卡