雲掣科技 -
開源大數據集羣部署(二十一)Spark on yarn 部署
作者:櫰木
1 spark on yarn安裝(每個節點)
cd /root/bigdata/
tar -xzvf spark-3.3.1-bin-hadoop3.tgz -C /opt/
ln -s /opt/spark-3.3.1-bin-hadoop3 /opt/spark
chown -R spark:spark /opt/spark-3.3.1-bin-hadoop3
2 配置環境變量及
大數據
,
集羣
雲掣科技 -
開源大數據集羣部署(二十)Trino部署
作者:櫰木
1 解壓trino的包到opt目錄
cd /root/bigdata
tar -xzvf trino-server-389.tar.gz -C /opt/
ln -s /opt/trino-server-389 /opt/trino
2 創建trino用户,並配置專屬jdk11
useradd trino
su – trino
chown -R trino:hadoop /opt/tr
大數據
,
雲原生
,
集羣
雲掣科技 -
開源大數據集羣部署(十九)Hbase部署
作者:櫰木
1 HBASE 安裝部署
hbase組件
部署主機
HMaster
hd1.dtstack.com,hd2.dtstack.com
HRegionServer
hd3.dtstack.com,hd2.dtstack.com,hd1.dtstack.com
2 創建hbase Kerberos主體
大數據
,
雲原生
,
集羣
雲掣科技 -
開源大數據集羣部署(八)Ranger編譯部署
作者:櫰木
在hd1.dtstack.com主機root權限下操作。
1、 編譯ranger
ranger二進制包編譯過程在本次過程中不做詳細説明。簡單説明如下:
在pom.xml中更改對應hadoop集羣組件版本。
ranger2編譯前提條件是python3和mvn已安裝完成。
編譯命令:
mvn clean compile package install -Pranger-jd
部署
,
大數據
,
集羣
雲掣科技 -
開源大數據集羣部署(六)Keytab文件生成
作者:櫰木
Keytab文件用於在不輸入密碼的情況下對主體(用户或服務)進行身份驗證。以下是創建Kerberos身份驗證的步驟。
1、創建keytab文件
除了使用明文密碼登錄之外,Kerberos還可以使用keytab密碼文件登陸,現在為testcuser創建它的keytab文件
ipa-getkeytab -s ipa.hdp.hadoop -p testcuser@HDP.HADOOP
大數據
,
開源
,
集羣
雲掣科技 -
開源大數據集羣部署(三)集羣mysql數據庫部署
開源大數據集羣部署(一)集羣實施規劃
開源大數據集羣部署(二)集羣基礎環境實施準備
作者:櫰木
本文將介紹mysql部署,其中在hd1.dtstack.com主機root權限下安裝配置
1 解壓文件
解壓名為mysql-8.0.31-linux-glibc2.12-x86_64.tar.xz的壓縮包,其內容解壓到/opt/目錄下。然後通過符號鏈接將目錄/opt/mysql-8.0.31
大數據
,
MySQL
,
數據庫
,
集羣
雲掣科技 -
MySQL運維實戰(1.2)安裝部署:使用二進制安裝部署
作者:俊達
引言
上一篇我們使用了RPM進行安裝部署,這是一種安裝快速、簡化部署和管理過程、與操作系統提供的包管理工具緊密集成的部署方法。此外,當你需要更高的靈活性和自定義性,並且願意承擔一些額外的手動配置和管理工作,那麼二進制安裝是一個值得考慮選擇。
以下是二進制安裝的一些優勢:
處理單機多實例:在某些情況下,希望在一台計算機上開啓多個不同的服務器 ,運行多個MySQL服務進程,同時保
MySQL
,
運維
,
二進制