博客 / 詳情

返回

使用helm將複雜應用打包並部署到k8s集羣中

前言

Helm是K8S集羣下面的一個包管理器，通過其工程師可將應用打包成一個整體，而用户可使用helm安裝打包後的應用，其功能類似於apt-get之於ubuntu系統、yum/dnf之於redhat系統。本文作者將講述如何通過helm打包應用，以及如何使用其部署應用，但讀者須先了解K8S基礎知識，如Deployment、Satefulset、Service、Configmap、Secret、PV/PVC等，否則可先移步“邁入Docker、Kubernetes容器世界的大門”這裏。

常規部署應用

本節使用清單文件部署一測試用例，其含兩個服務hello、greeter，hello依賴於greeter，調用關係如下所示：

<http get> --------> (hello) --------> (greeter)

執行如下命令clone倉庫1，而後將示例部署於demo命名空間中。

git clone https://github.com/zylpsrs/helm-example.git
cd helm-example
kubectl create namespace demo
kubectl -n demo apply -f k8s

為簡單考慮，本文示例僅使用deployment、ingress、service這些技術部署且內容很簡單，k8s目錄如下所示：

$ tree k8s/
k8s/
├── deploy-greeter.yaml             # 部署greeter
├── deploy-hello.yaml               # 部署hello
├── ing-hello.yaml                  # 為hello服務創建ingress，故集羣需部署有ingress控制器
├── svc-greeter.yaml                # 為greeter創建服務
└── svc-hello.yaml                  # 為hello創建服務

如下所示，本節在demo命名空間中部署有如下對象：

$ kubectl -n demo get deploy,svc,ingress,pod
NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/greeter   1/1     1            1           20h
deployment.apps/hello     1/1     1            1           20h

NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
service/greeter   ClusterIP   10.100.44.79    <none>        9080/TCP   20h
service/hello     ClusterIP   10.106.116.73   <none>        9080/TCP   20h

NAME                       CLASS    HOSTS              ADDRESS         PORTS   AGE
ingress.extensions/hello   <none>   hello.app.zyl.io   192.168.120.6   80      20h

NAME                           READY   STATUS    RESTARTS   AGE
pod/greeter-7cbd47b5bd-6vtxk   1/1     Running   1          20h
pod/hello-6f8f75f799-z8kgj     1/1     Running   1          20h

若集羣安裝有ingress controller，則可通過ingress地址訪問hello服務，否則在計算節點上通過其service地址訪問，如下所示，我們調用hello服務時傳遞helloTo=<value>參數，其返回Hello, <value>!字符串。

$ curl http://hello.app.zyl.io/?helloTo=Ingress
Hello, Ingress!

$ curl http://10.106.116.73:9080/?helloTo=Service
Hello, Service!

上面通過清單文件部署了測試用例，瞭解了此測試用例功能，那麼，本文接着將使用helm打包兩應用，並使用其部署到集羣中。為了後續helm部署測試，執行如下命令刪除部署的應用。

kubectl delete -f k8s

使用Helm打包

首先，執行如下命令安裝helm，這裏選擇v3版本：

wget -O helm.tgz https://get.helm.sh/helm-v3.2.3-linux-amd64.tar.gz
tar pxz helm.tgz -C /usr/local/bin/ --strip-components=1
chmod 755 /usr/local/bin/helm

執行如下命令分別將hello、greeter打包2，其將生成兩個目錄。

helm create hello
helm create greeter

注意：helm將以模板填充目錄，故可參照模板按需調整。我們在values.yaml文件中定義變量，於模板文件中通過{{ <var> }}引用變量，而_helpers.tpl文件可定義一些模板，其支持條件判斷等語法。

$ tree hello
hello
├── charts                       # 此chart依賴於哪些chart，則至於此目錄下
├── Chart.yaml                   # 此文件含Chart元數據信息，如名稱、版本，若無特別需要可保持默認
├── templates                    # 模板，此目錄含部署清單文件，按需增減清單文件
│   ├── deployment.yaml
│   ├── _helpers.tpl             # 此文件中可定義一些模板，可通過include或template引用
│   ├── hpa.yaml
│   ├── ingress.yaml
│   ├── NOTES.txt
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── tests
│       └── test-connection.yaml
└── values.yaml                  # 變量配置文件，此文件定義變量以.Values開始

可選。以greeter為例配置圖表的Chart.yaml文件，於其中添加元數據信息，其可通過.Chart.<var>被引用。

# greeter dir：
$ cat > Chart.yaml <<'EOF'
# 這幾個字段模板中默認包含
apiVersion: v2
name: greeter
description: Receive messages from http and return welcome message
type: application
version: 0.1.0
appVersion: 1.0.0
# 可添加一些維護者等信息
maintainers:
- email: zylpsrs@sina.cn
  name: Yanlin. Zhou
sources:
- https://github.com/zylpsrs/helm-example.git
keywords:
- helm
- deployment
#home: https://github.com/zylpsrs/helm-example
#icon:
EOF

配置values.yaml文件於其中添加自定義變量信息，對於模板生成的默認信息我們按需增減。注意：為儘量少調整模板配置，對於我們不使用的配置最好不要刪除。

  • greeter配置如下，部署一個replicat，鏡像名為greeter:latest，service端口為9080，其使用ClusterIP方式：
# greeter dir:
$ vi values.yaml
replicaCount: 1

image:
  repository: registry.cn-hangzhou.aliyuncs.com/zylpsrs/example/greeter
  pullPolicy: IfNotPresent
  tag: latest

service:
  type: ClusterIP
  port: 9080
EOF
  • hello配置與greeter類似，我們調整了默認ingress配置（雖然未啓用），因其依賴於greeter，我們於其中添加greeter信息，這裏我們設置了一些變量以覆蓋greeter默認的配置，如設置replicas為2。
# hello dir：
$ vi values.yaml
replicaCount: 1

image:
  repository: registry.cn-hangzhou.aliyuncs.com/zylpsrs/example/hello
  pullPolicy: IfNotPresent
  tag: latest

service:
  type: ClusterIP
  port: 9080

ingress:
  enabled: false
  hosts:
    - host: hello.app.zyl.io
      paths: [/]
      
greeter:
  enabled: true
  replicaCount: 2
  service:
    port: 9080

templates/service.yaml為service配置文件，對於兩應用我們無需修改保持默認即可，其配置通過引用values.yaml的變量與_helpers.tpl中的模板來完善，如下所示：

# templates/service.yaml
apiVersion: v1
kind: Service
metadata:
  name: {{ include "greeter.fullname" . }}                # 引用自_helpers.tpl文件
  labels:
    {{- include "greeter.labels" . | nindent 4 }}         # 引用自_helpers.tpl文件
spec:
  type: {{ .Values.service.type }}         # 此處引用values.yaml中得service.type
  ports:
    - port: {{ .Values.service.port }}     # 此處引用values.yaml中得service.port
      targetPort: http
      protocol: TCP
      name: http
  selector:
    {{- include "greeter.selectorLabels" . | nindent 4 }} # 引用自_helpers.tpl文件

service配置雖無需修改，但其名稱引用自_helpers.tpl中的模板名則需知曉，對於默認生成的greeter.fullname模板其定義有些複雜，但其值一般等於.Release.Name-.Chart.Name，如若安裝chart時指定其Release名為test，則greeter.fullname為test-greeter。

# templates/_helpers.tpl
...
{{- define "greeter.fullname" -}}
{{- if .Values.fullnameOverride }}
{{- .Values.fullnameOverride | trunc 63 | trimSuffix "-" }}
{{- else }}
{{- $name := default .Chart.Name .Values.nameOverride }}
{{- if contains $name .Release.Name }}
{{- .Release.Name | trunc 63 | trimSuffix "-" }}
{{- else }}
{{- printf "%s-%s" .Release.Name $name | trunc 63 | trimSuffix "-" }}
{{- end }}
{{- end }}
{{- end }}
...

參考k8s/deploy-hello.yaml部署清單文件，其通過環境變量GREETER=http://greeter:9080設置greeter地址，如若通過helm安裝greeter，其服務名稱引用模板greeter.fullname的值為.Release.Name-greeter，那麼於hello圖表中，我們為greeter服務在_helpers.tpl中定一個模板名稱，其值等於.Release.Name-greeter。

# templates/_helpers.tpl
{{- define "hello.greeter.fullname" -}}
{{- $name := default "greeter" .Values.greeter.nameOverride -}}
{{- printf "%s-%s" .Release.Name $name | trunc 63 | trimSuffix "-" -}}
{{- end -}}

兩應用採用deployment無狀態部署，此處我們調整templates/deployment.yaml文件：

  • 兩應用均監聽在9080端口，故調整容器端口為9080：
# 調整如下配置的容器端口：
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
# 容器端口調整為9080：
          ports:
            - name: http
              containerPort: 9080
              protocol: TCP
  • 為求簡單，我們不配置存活與就緒探針，刪除livenessProbe與readinessProbe項。
# 刪除如下項：
          livenessProbe:
            httpGet:
              path: /
              port: http
          readinessProbe:
            httpGet:
              path: /
              port: http
  • hello依賴於greeter，在hello部署清單中設置環境變量GREETER：若hello部署清單中啓用了greeter服務，則服務名稱引用至模板名hello.greeter.fullname，否則為greeter。
# 添加環境變量信息：
          env:
            - name: GREETER
            {{- if .Values.greeter.enabled }}
              value: 'http://{{ template "hello.greeter.fullname" . }}:9080'
            {{- else }}
              value: 'http://greeter:9080'
            {{- end }}

templates/ingress.yaml為ingress配置文件，在圖表中可設置ingress.enabled=true啓用ingress，對於此文件保持默認無需修改，而若圖表不想提供ingress配置功能，可將此文件刪除。

當通過helm部署圖表時，其渲染templates/NOTES.txt文件以打印備註信息，一般我們無需修改此文件，但對於本例，我們將容器端口80調整為9080。

最後，將如下依賴關係添加hello圖表的requirements.yaml或Chart.yaml（推薦）文件中，這樣當通過chart安裝hello時，其將自動安裝greeter應用，同時，我們還需要將greeter目錄拷貝到hello/charts目錄。

# hello dir:
$ cat >> Chart.yaml <<EOF
# 依賴關係
dependencies:
- name: greeter
  # 版本，如下匹配0.開頭的所有版本
  version: 0.x.x
  # helm倉庫地址，如同image鏡像，helm也可推送到倉庫，此倉庫我們後續再配置
  repository: http://chartmuseum.app.zyl.io
  # 通過此條件判斷是否依賴於此應用
  condition: greerer.enabled
  # 可為此應用添加一些標籤
  tags:
    - http
EOF

$ cp -a ../greeter charts/
$ helm dep list                                 # 檢查依賴關係，顯示正常
NAME    VERSION REPOSITORY                      STATUS  
greeter 0.x.x   http://chartmuseum.app.zyl.io   unpacked

至此，我們已為hello、greeter分別部署了圖表，而hello依賴於greeter，故在Chart.yaml文件中為其配置了依賴關係，其中指定的倉庫名稱後續我們再配置。

使用Helm部署

我們使用helm部署hello圖表，其將自動部署其依賴的greeter應用，在hello圖表目錄下，執行如下命令創建一個名為test的實例：

$ helm -n demo install test .
NAME: test
LAST DEPLOYED: Thu Jun 18 15:51:13 2020
NAMESPACE: demo
STATUS: deployed
REVISION: 1
NOTES:
1. Get the application URL by running these commands:
  export POD_NAME=$(kubectl get pods --namespace demo -l "app.kubernetes.io/name=hello,app.kubernetes.io/instance=test" -o jsonpath="{.items[0].metadata.name}")
  echo "Visit http://127.0.0.1:8080 to use your application"
  kubectl --namespace demo port-forward $POD_NAME 8080:9080

我們可執行helm list查看當前命名空間中通過helm部署的實例：

$ helm list -n demo
NAME    NAMESPACE       ... STATUS          CHART           APP VERSION
test    demo            ... deployed        hello-0.1.0     1.0.0

如下所示，安裝hello圖表時也安裝了greeter應用，因為在hello圖表的values.yaml文件中配置greeter.replicaCount=2，故此處greeter部署了2個pod。

$ kubectl -n demo get svc,ingress,deploy,pod
NAME                   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
service/test-greeter   ClusterIP   10.99.226.226    <none>        9080/TCP   11m
service/test-hello     ClusterIP   10.105.187.216   <none>        9080/TCP   11m

NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/test-greeter   2/2     2            2           11m
deployment.apps/test-hello     1/1     1            1           11m

NAME                                READY   STATUS    RESTARTS   AGE
pod/test-greeter-695ffd859d-pwc7s   1/1     Running   0          11m
pod/test-greeter-695ffd859d-r2gcw   1/1     Running   0          11m
pod/test-hello-779565bb5d-rdwbh     1/1     Running   0          11m

$ curl http://10.105.187.216:9080/?helloTo=Helm
Hello, Helm!

如同image鏡像，我們也可將helm圖表推送到倉庫中以利於分發與部署，下面我們則搭建一個私有helm倉庫並將chart推送到倉庫中，而後使用此倉庫獲取chart並部署應用，但在此前，執行如下命令將當前部署的實例刪除。

$ helm -n demo uninstall test
release "test" uninstalled

搭建Helm倉庫

參考Helm官方文檔The Chart Repository Guide可知有很多方式來搭建helm倉庫，本文安裝chartmuseum作為helm倉庫，但是，如若已部署有harbor鏡像倉庫，則其已支持helm倉庫，故無需重新為helm單獨部署倉庫了。

下面使用helm將chartmuseum安裝於獨立的命令空間中，首先添加倉庫3：

$ helm repo add stable https://kubernetes-charts.storage.googleapis.com

為保證推送到倉庫的charts持久化，我們需為chartmuseum提供一個持久化存儲卷，如若讀者參考此文章”使用kubeadm搭建一單節點k8s測試集羣“部署測試k8s集羣，則我們集羣上將有一個nfs類型的默認持久化存儲。

$ oc get storageclass
NAME            PROVISIONER                            RECLAIMPOLICY   VOLUMEBINDINGMODE ...
nfs (default)   cluster.local/nfs-server-provisioner   Delete          Immediate         ...

注意：若容器若使用nfs卷，則集羣節點需安裝nfs客户端，否則將無法掛載nfs。

$ yum -y install nfs-utils

執行如下命令將chartmuseum部署到單獨的命名空間helm-repo中，為簡單考慮，這裏不為倉庫配置任何驗證：任何人均可獲取與上傳chart包，若集羣配置有ingress controler，則可為倉庫配置ingress，此處主機名稱配置為chartmuseum.app.zyl.io。

$ kubectl create namespace helm-repo
$ cat > /tmp/values.yaml <<'EOF'
env:
  open:
    STORAGE: local
    # 默認禁用API操作，此處必須關閉，否則我們沒法通過API管理chart
    DISABLE_API: false
    # 允許上傳相同版本的chart
    ALLOW_OVERWRITE: true

persistence:
  enabled: true
  accessMode: ReadWriteOnce
  size: 8Gi

ingress:
  enabled: true
  hosts:
    - name: chartmuseum.app.zyl.io
      path: /
      tls: false
EOF
$ helm -n helm-repo install -f values.yaml mychart stable/chartmuseum

待pod啓動成功後，參考文檔我們以其API接口上傳一個測試chart到倉庫，如下所示：

$ helm create mychart
$ helm package mychart
Successfully packaged chart and saved it to: /tmp/mychart-0.1.0.tgz

# upload：
$ curl --data-binary "@mychart-0.1.0.tgz" http://chartmuseum.app.zyl.io/api/charts
{"saved":true}

# list all charts：
$ curl http://chartmuseum.app.zyl.io/api/charts
{"mychart":[{"name":"mychart","version":"0.1.0",...]}

使用curl工具顯示通過API管理倉庫不友好，我們可安裝[helm-push]()插件，而後執行helm push將上文創建的圖表上傳到倉庫，如下所示：

$ helm plugin install https://github.com/chartmuseum/helm-push.git
$ helm repo add mychart http://chartmuseum.app.zyl.io
$ cd hello && helm push . mychart
$ cd .. && helm push greeter mychart
# or
$ helm push greeter http://chartmuseum.app.zyl.io

# list all charts：
$ helm repo update              # 先同步倉庫信息
$ helm search repo mychart
NAME            CHART VERSION   APP VERSION     DESCRIPTION 
mychart/mychart 0.1.0           1.16.0          A Helm chart for Kubernetes
mychart/greeter 0.1.0           1.0.0           Receive messages from http and return ...
mychart/hello   0.1.0           1.0.0           Receive messages from http and return ...

從遠程倉庫部署

現在我們部署了helm倉庫，已將chart上傳到倉庫中，並且通過helm repo add將倉庫添加到了本地helm倉庫中，那麼本節我們就用此倉庫安裝圖表。如下所示，我們希望為hello應用部署ingress，故通過參數--set key=value或-f file覆蓋默認配置。

$ cat > /tmp/values.yaml <<EOF
ingress:
  enabled: true
  hosts:
    - host: hello.app.zyl.io
      paths: [/]
EOF
$ helm -n demo install -f /tmp/values.yaml test mychart/hello

如下所示，此時demo命名空間中部署有ingress對象，我們通過其訪問應用：

$ oc get ing,pod
NAME                            CLASS    HOSTS              ADDRESS         PORTS   AGE
ingress.extensions/test-hello   <none>   hello.app.zyl.io   192.168.120.6   80      78s

NAME                                READY   STATUS    RESTARTS   AGE
pod/test-greeter-695ffd859d-5mkvk   1/1     Running   0          78s
pod/test-greeter-695ffd859d-hqqtc   1/1     Running   0          78s
pod/test-hello-779565bb5d-2z9jv     1/1     Running   0          78s

$  curl http://hello.app.zyl.io/?helloTo=helmRepo
Hello, helmRepo!

結束語

通過本文我們學習瞭如何通過helm打包複雜的應用，雖然示例並不複雜，但其具備此能力，然而helm適合無狀態應用，其具備第一天安裝應用的能力，但第二天應用維護操作（如升級/備份）比較無能為力，鑑於此，作者將在後面講解operator技術來處理此複雜應用。

  1. repo: 讀者可從此倉庫上獲取本文所有代碼 ↩
  2. chart: 包在helm中表示為chart ↩
  3. crepo: helm項目地址在https://github.com/helm/chart... ↩
容器 , kubernetes , openshift , Docker
user avatar kehan 頭像 danielhu 頭像 gongzhengyang 頭像 developerworks 頭像 glumes 頭像 hhhan 頭像 east4ming 頭像 2018 頭像
8 位用戶收藏了這個故事！

發佈 評論

Some HTML is okay.