摘要:
• 使用Flink StandaIone模式運行FIink SQL Demo
• Flink 安裝包需要與 StreamPark 服務同在一台服務器
實時開發平台基於開源項目StreamPark建設
實時開發平台 StreamPark 提供了一系列快捷 API 和 Connector,開箱即用,作業狀態自動追蹤,快速完成作業的開發和管理。同時支持 Flink & Spark,無縫支持流式處理和批處理,連接互通,創造無限可能。
StreamPark 是一個流處理應用程序開發管理框架,旨在輕鬆構建和管理流處理應用程序,提供使用Flink 和 Spark 編寫流處理應用的開發框架和一站式實時計算平台,核心能力包括不限於應用開發、部署、管理、運維、實時數倉等。
StreamPark 為流處理作業提供全生命週期支持,從開發到部署,集眾多功能於一身,是一站式流處理平台。
- StreamPark開源項目:https://github.com/apache/streampark
- StreamPark文檔:https://streampark.apache.org/docs/get-started/quick-start
1、FIink安裝
1.1安裝
- Flink 版本:1.18.1
- 官網下載地址:https://archive.apache.org/dist/flink/flink-1.18.1/
1.2 解壓
- 上傳服務器並解壓
- 配置系統環境變量
- 添加以下內容
- 使配置生效
1.3 配置
- 進入conf目錄
- 修改flink-conf.yaml 配置文件
- 修改以下內容
- 保存並提出
1.4 啓動
- 進入bin目錄
- 執行以下命令啓動
2、Streampark
2.1 配置Flink版本
- 安裝路徑為服務器Flink的絕對路徑
- 添加完成
2.2 配置集羣
- 進入集羣管理頁面,點擊 “添加”
- 配置集羣信息,點擊 “提交”
- 配置完成
2.3 配置作業
- 進入作業管理,點擊 “添加”
- 配置作業信息
- FIink SQL
- 下滑到最下方,點擊提交
2.4 發佈作業
- 點擊下圖所示按鈕
- 發佈中
- 發佈成功
2.5 啓動作業
- 點擊下圖所示按鈕,啓動作業
- 點擊應用
- 啓動中
- 啓動完成
- 等待執行完成,可以訪問 flink ui 查看執行情況 http://8g007:8081
- 8g007 為 flink安裝所在服務器域名或ip,8081 為flink默認訪問端口
2.6 完成作業