Stories

Detail Return Return

輕鬆上手 qData 數據中台開源版:Docker Compose 助你10分鐘跑起來 - Stories Detail

説在前面

誰適合看這份指南?

  • 初次接觸 qData,希望快速體驗功能的小夥伴
  • 不想折騰複雜環境配置和前端打包的人
  • 想用“一鍵啓動”省事體驗完整平台的用户

我們已經為你準備好“開箱即用”的完整部署包,包括:

  • 前端靜態資源(打包好的 dist 文件夾)
  • DolphinScheduler 調度器(無需額外安裝)
  • Hadoop 全家桶(HDFS + YARN)
  • Flink 1.12 與 Spark 3.3.0(已解壓)
  • 預設 .env 環境變量文件
  • 完整目錄結構與鏡像包(無需手動下載)

不需要手動安裝一堆依賴、不用構建前端、不用複雜配置。只需解壓並運行腳本,整個大數據平台和 qData 就能跑起來!
零基礎也能輕鬆搞定!10分鐘體驗 qData!


第 1 步:安裝 Docker 和 Docker Compose

qData 通過 Docker 容器運行,必須先安裝 Docker 和 Docker Compose

  • 推薦版本:

    • Docker:≥ 19.03
    • Docker Compose:≥ 1.28

🖥️ Windows / macOS

直接下載安裝 Docker Desktop。
安裝完成後,Docker Compose 已自動包含,無需額外安裝。

🐧 Linux(Ubuntu 18.04+)

部署包中已附帶離線安裝包和安裝腳本,可直接運行:

# 進入 Docker 安裝包目錄
cd ~/qData/docker-install

# 安裝 Docker 組件
sudo dpkg -i containerd.io_1.6.9-1_amd64.deb docker-ce_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-ce-cli_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-compose-plugin_2.6.0~ubuntu-focal_amd64.deb

# 將當前用户加入 docker 用户組(免 sudo 可選)
sudo usermod -aG docker $USER
newgrp docker

# 驗證安裝
sudo docker -v
# 輸出示例:Docker version 24.0.7, build afdd5

安裝 Docker Compose:

# 賦予執行權限並移動到系統路徑
sudo chmod +x docker-compose
sudo mv docker-compose /usr/local/bin/docker-compose

# 驗證安裝
sudo docker-compose -v
# 輸出示例:Docker Compose version v2.20.2

第 2 步:部署包下載地址

🔗 百度網盤:https://pan.baidu.com/s/1QI0rWL8i9G-qYJFHTh19zA

🔑 提取碼:提取碼進QQ羣 814145903(羣一)、236734346(羣二)

下載後請解壓部署包:如~/qData

第 3 步:導入 qData 鏡像

解壓部署包後進入 images 文件夾,執行以下命令加載鏡像並檢查是否導入成功:

cd ~/qData(部署包根目錄)/images

# 導入大數據相關鏡像
sudo docker load -i bigdata-images.tar

# 導入 qData 主鏡像(x.x.x 為版本號)
sudo docker load -i qdata-x.x.x.tar

# 查看本地鏡像列表,確認鏡像已導入
sudo docker images

預期輸出中應能看到類似:

REPOSITORY                             TAG                       IMAGE ID       CREATED         SIZE
qiantong/qdata-quality                 1.0.5                     0e3b87492cd8   4 hours ago     734MB
qiantong/qdata                         1.0.5                     59cf25909087   4 hours ago     760MB
apache/dolphinscheduler-tools          latest                    19eddd1bef1d   4 days ago      402MB
apache/dolphinscheduler-worker         latest                    fa746d141ae2   4 days ago      618MB
apache/dolphinscheduler-master         latest                    1f2294402261   5 days ago      573MB
apache/dolphinscheduler-alert-server   latest                    a8f4934125fb   5 days ago      423MB
apache/dolphinscheduler-api            latest                    c3f6757463c7   5 days ago      621MB
eclipse-temurin                        8-jdk                     139cd3f3ddf9   4 weeks ago     274MB
dm8                                    dm8_20250506_x86_rh7_64   54dae26a70ed   8 weeks ago     1.99GB
redis                                  6-alpine                  b7f611844a19   8 weeks ago     30.2MB
rabbitmq                               3.12-management           c48161165ad4   11 months ago   247MB
mongo                                  4.4                       d896c071ac69   18 months ago   427MB
bitnami/zookeeper                      3.7.1                     3ab0e8f032ab   23 months ago   510MB
apache/hadoop                          3.3.6                     3d418cee563e   2 years ago     1.66GB
bitnami/postgresql                     15.2.0                    52e3f8496daf   2 years ago     273MB
nginx                                  1.24.0                    6c0218f16876   2 years ago     142MB
bitnami/spark                          3                         15018b527afc   3 years ago     2.54GB
如果未看到鏡像,請檢查 .tar 文件路徑和文件是否正確。

第 4 步:啓動 qData

部署包內部有一個 docker.zip 壓縮包,先解壓。
解壓完成進入到 ~/qData/docker 路徑下(裏面會有很多 .yml 文件)。

4.1 初始化數據庫(首次運行必做)

sudo docker-compose --profile schema up -d

⚠️ 注意:entrypoint.sh文件權限問題
首次執行命令 sudo docker-compose --profile schema up -d 如果報錯權限、Win換行符問題。可依次執行以下命令:

# 給腳本加權限並修復換行
cd ~/qData(部署包解壓位置)
sudo chmod -R 755 docker
sudo chown -R $USER:$USER ./docker

sed -i 's/\r$//' ./database/dm8/entrypoint.sh

# 驗證權限
ls -l ./database/dm8/entrypoint.sh
# 應為:-rwxr-xr-x

# 再次運行
sudo docker-compose --profile schema up -d

4.2 啓動 qData 和所有依賴

sudo docker-compose --profile all up -d

⚠️ 注意:端口占用問題
運行 sudo docker-compose --profile all up -d 時如果提示端口被佔用:

  • 根據報錯提示,關閉服務器上佔用對應端口的進程;
  • 或者修改部署包中的 *.yaml 配置,將除 80 端口外的其他端口映射註釋或刪除(不影響容器內部運行)。

4.3 其他常用命令

查看所有服務運行狀態:

sudo docker-compose --profile all ps

暫停 qData 所有服務(數據不丟):

sudo docker-compose --profile all stop

重啓所有服務:

sudo docker-compose --profile all restart

完全關閉並刪除數據(恢復默認環境):

sudo docker-compose --profile all down
sudo docker-compose --profile schema down
⚠️ down 會清空數據,如果想保留數據,只用 stop 即可。

部署完成!🎉

部署完成後可通過以下地址訪問:

  • 🌐 qData 數據中台
    http://<服務器IP>:80
    賬號:admin
    密碼:qData123
  • 📅 調度器 DolphinScheduler
    http://<服務器IP>:12345/dolphinscheduler/ui/home
    賬號:admin
    密碼:dolphinscheduler123
  • Spark 後台
    http://<服務器IP>:8080/

🔑 <服務器IP> 替換成你的服務器公網或內網 IP。

💡 小技巧

  • 建議首次啓動後稍等 1-2 分鐘,讓所有容器初始化完畢。
  • 可以通過 docker ps 查看容器狀態。
  • 如果訪問不了,檢查服務器防火牆是否開放 80 端口。
user avatar ververica Avatar ahahan Avatar aipaobudezuoyeben Avatar bytebase Avatar nianqingyouweidenangua Avatar wuliaodechaye Avatar tuhooo Avatar sectrend Avatar xiongshihubao Avatar wangjingyu_5f58472234cff Avatar dadehouzi Avatar aloudata Avatar
Favorites 15 users favorite the story!
Favorites

Add a new Comments

Some HTML is okay.