Antony 筆記：技術原理與實務經驗 – Rancher / RKE2

RKE2 & Rancher Prime Installation

Tue, 31 Mar 2026 04:15:32 +0800

Preface

本篇文章會主要會介紹，如何安裝 Rancher Kubernetes Engine 2 或 K3S，並在 Kubernetes 之中部署 Rancher Prime

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Install RKE2 v1.34.4

一、安裝前環境檢查

請確保你的環境符合要求
- RKE2 Requirements
- 如果你的主機上安裝並啟用了 NetworkManager，確保它被配置為忽略 CNI 管理的接口。
對於 1.21 及以上版本的 RKE2，如果主機核心支持 AppArmor，那麼在安裝 RKE2 之前還必須有 AppArmor 工具（通常通過 apparmor-parser 軟件包獲得）。
RKE2 的安裝過程必須以 root 用戶或通過 sudo 運行。

Hardware

Linux/Windows

RAM: 4GB Minimum (we recommend at least 8GB)
CPU: 2 Minimum (we recommend at least 4CPU)
Disks: SSD

RKE2 Hardware

二、Server Node Installation

1. Config RKE2 Basic Parameters

1-1. 下載 RKE2 的安裝腳本，並賦予執行權限

在 Server node 的機器上執行以下命令

curl -sfL https://get.rke2.io --output install.sh && chmod +x install.sh

RKE2 提供了一個安裝腳本，在 systemd 的系統上將其作為一個服務來安裝。

1-2. 編輯 Server Node 設定檔

advertise-address, node-ip 和 tls-san 的 IP 需要依據不同的環境來設定。

# 定義 K8s 要跑在哪張網卡上(以下指令預設會去找 default gateway 的網卡)
NIC="$(ip route show default | cut -d' ' -f5)"
IP=$(ip -4 -o addr show ${NIC} | awk '{print $4}' | cut -d/ -f1)
# 定義節點名稱
NODE_NAME="$(hostname -f 2>/dev/null)"
NODE_NAME="${NODE_NAME:-$(hostname)}"

sudo mkdir -p /etc/rancher/rke2/ && \
cat <<EOF | sudo tee /etc/rancher/rke2/config.yaml
write-kubeconfig-mode: "0644"
debug: false
# =============================================
# 每台節點不同的設定
# =============================================
# 本機對外廣播的 IP（其他節點透過此 IP 連線）
advertise-address: "${IP}"
# 本機 IP
node-ip: "${IP}"
# 節點名稱（每台不同）
node-name: "${NODE_NAME}"
# TLS 憑證允許的 SAN（第一台 server 需完整設定）
tls-san:
- "${NODE_NAME}"
- "${IP}"
- "127.0.0.1"
# 第二台以後需加入此行，指向第一台 server（第一台不需要）
# server: "https://<第一台IP>:9345"
# =============================================
# 所有 Server Node 必須相同的設定
# =============================================
# 叢集加入金鑰
token: "hehe"
# 各元件時區設定
etcd-extra-env:
- "TZ=Asia/Taipei"
kube-apiserver-extra-env:
- "TZ=Asia/Taipei"
kube-controller-manager-extra-env:
- "TZ=Asia/Taipei"
kube-scheduler-extra-env:
- "TZ=Asia/Taipei"
cloud-controller-manager-extra-env:
- "TZ=Asia/Taipei"
# kubelet 參數
kubelet-arg:
- "container-log-max-files=5" # 最多保留 5 個 log 檔
- "container-log-max-size=10Mi" # 每個 log 檔最大 10Mi
- "config=/etc/kubernetes/kubeletconfig.yml"
- "eviction-hard=memory.available<1000Mi,imagefs.available<5%,nodefs.available<5%" # 資源不足時驅逐 Pod 的閾值
# 停用內建 cloud controller
disable-cloud-controller: true
# 停用 kube-proxy，改由 Cilium 接管
disable-kube-proxy: true
# 停用不需要的內建元件
disable:
- rke2-canal # 停用預設 CNI Canal
- rke2-kube-proxy # 停用內建 kube-proxy
# 使用 Cilium 作為 CNI
cni:
- "cilium"
# 啟用 CIS security profile
#profile: "cis"
# API Server 額外參數
#kube-apiserver-arg:
# - "service-account-extend-token-expiration=false"
EOF

1-3. 編輯 cilium 設定檔

sudo mkdir -p /var/lib/rancher/rke2/server/manifests && \
cat <<EOF | sudo tee /var/lib/rancher/rke2/server/manifests/rke2-cilium-config.yaml
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-cilium
namespace: kube-system
spec:
valuesContent: |-
operator:
replicas: 1
podAnnotations:
container.apparmor.security.beta.kubernetes.io/cilium-agent: "unconfined"
container.apparmor.security.beta.kubernetes.io/clean-cilium-state: "unconfined"
container.apparmor.security.beta.kubernetes.io/mount-cgroup: "unconfined"
container.apparmor.security.beta.kubernetes.io/apply-sysctl-overwrites: "unconfined"
devices: "$NIC"
nodePort:
directRoutingDevice: "$NIC"
autoDirectNodeRoutes: true
hubble:
enabled: false
relay:
enabled: false
ui:
enabled: false
frontend:
server:
ipv6:
enabled: false
service:
type: NodePort
enableLBIPAM: false
ipv4NativeRoutingCIDR: 10.42.0.0/16
k8sServiceHost: 127.0.0.1
k8sServicePort: 6443
kubeProxyReplacement: true
routingMode: native
l2announcements:
enabled: true
EOF

1-4. 編輯 kubelet 設定檔

sudo mkdir -p /etc/kubernetes && \
cat <<EOF | sudo tee /etc/kubernetes/kubeletconfig.yml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
systemReserved:
memory: "1Gi"
kubeReserved:
memory: "2Gi"
EOF

evictionHard：
- 用途：設定強制驅逐的值，當系統資源（如記憶體）低於此設定值時，kubelet 會立即終止部分 Pod，以釋放資源，確保系統穩定運行。
- 預設值: 預設打開，Memory 是 100MiB, Ephemeral-Storage 是 10% (開源的 K8s), rke2 預設值是 imagefs 和 nodefs = 5%
- 範例：memory.available: "500Mi" 表示當可用記憶體少於 500MiB 時，kubelet 會觸發驅逐機制。
evictionMinimumReclaim：
- 用途：設定在驅逐 Pod 時，kubelet 希望至少回收的資源量。這有助於避免頻繁的驅逐操作，確保每次驅逐能有效釋放足夠的資源。
- 範例：memory.available: "10Mi" 表示每次驅逐操作至少要回收 10MiB 的記憶體。
systemReserved：
- 用途：為系統背景程序（如 sshd、networking 等非 Kubernetes 組件）預留資源，確保這些系統服務在資源緊張時仍能正常運行。
- 範例：memory: "1Gi" 表示為系統服務預留 1GiB 的記憶體。
kubeReserved：
- 用途：為 Kubernetes 系統的背景程序（如 kubelet、container runtime 時等）預留資源，確保這些組件在資源緊張時的穩定性。
- 範例：memory: "2Gi" 表示為 Kubernetes 系統的背景程序預留 2GiB 的記憶體。

2. Install RKE2 with v1.34.4 version

2-1. 執行以下安裝命令

sudo INSTALL_RKE2_CHANNEL=v1.34.4+rke2r1 ./install.sh

INSTALL_RKE2_CHANNEL

指定要下載 RKE2 URL 的 Channel，預設是 latest

[INFO] finding release for channel v1.34.4+rke2r1
[INFO] using v1.34.4+rke2r1 as release
[INFO] downloading checksums at https://github.com/rancher/rke2/releases/download/v1.34.4%2Brke2r1/sha256sum-amd64.txt
[INFO] downloading tarball at https://github.com/rancher/rke2/releases/download/v1.34.4%2Brke2r1/rke2.linux-amd64.tar.gz
[INFO] verifying tarball
[INFO] unpacking tarball file to /usr/local

3. enable rke2 and setup kubeconfig

3-1. 將 rke2-server 的服務設為開機自動啟動，並立即啟動服務

sudo systemctl enable rke2-server --now

以上命令執行後的螢幕輸出

Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → /etc/systemd/system/rke2-server.service.

3-2. Setup kubeconfig and crictl

{
# 1. 建立目錄並設定 Kubeconfig
mkdir -p $HOME/.kube && \
sudo cp /etc/rancher/rke2/rke2.yaml $HOME/.kube/config && \
sudo chown $(id -u):$(id -g) $HOME/.kube/config && \
# 2. 搬移執行檔
sudo cp /var/lib/rancher/rke2/bin/* /usr/local/bin/ && \
# 3. 寫入 crictl 設定 (使用 printf 保持單行邏輯)
printf "runtime-endpoint: unix:///run/k3s/containerd/containerd.sock\nimage-endpoint: unix:///run/k3s/containerd/containerd.sock\ntimeout: 10\n" | sudo tee /etc/crictl.yaml > /dev/null && \
# 4. 設定 Bash Alias 與補全
printf "\nsource <(kubectl completion bash)\nalias k=kubectl\ncomplete -o default -F __start_kubectl k\n" >> ~/.bashrc && \
# 5. 立即生效
source ~/.bashrc
}

4. check pod status

kubectl get po -A

螢幕輸出 :

NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system cilium-j7jf2 1/1 Running 0 2m12s
kube-system cilium-operator-6fb6d5b896-jj2nx 1/1 Running 0 2m12s
kube-system etcd-rms-1.kubeantony.com 1/1 Running 0 2m31s
kube-system helm-install-rke2-cilium-qhdsl 0/1 Completed 0 2m24s
kube-system helm-install-rke2-coredns-hwsqp 0/1 Completed 0 2m24s
kube-system helm-install-rke2-ingress-nginx-bxt7n 0/1 Completed 0 2m24s
kube-system helm-install-rke2-metrics-server-qln6s 0/1 Completed 0 2m24s
kube-system helm-install-rke2-runtimeclasses-5kj6v 0/1 Completed 0 2m23s
kube-system helm-install-rke2-snapshot-controller-crd-vsbjv 0/1 Completed 0 2m23s
kube-system helm-install-rke2-snapshot-controller-z9kfv 0/1 Completed 1 2m23s
kube-system kube-apiserver-rms-1.kubeantony.com 1/1 Running 0 2m31s
kube-system kube-controller-manager-rms-1.kubeantony.com 1/1 Running 0 2m31s
kube-system kube-scheduler-rms-1.kubeantony.com 1/1 Running 0 2m31s
kube-system rke2-coredns-rke2-coredns-77f54456d4-kqbtc 1/1 Running 0 2m12s
kube-system rke2-coredns-rke2-coredns-autoscaler-6c58bf4677-wj7gp 1/1 Running 0 2m12s
kube-system rke2-ingress-nginx-controller-bhf7h 1/1 Running 0 62s
kube-system rke2-metrics-server-69f4f95bf7-tb6rc 1/1 Running 0 76s
kube-system rke2-snapshot-controller-bc4c494bf-cqj7t 1/1 Running 0 76s

三、Join Additional Server Nodes

1. Config RKE2 Basic Parameters

1-1. 下載 RKE2 的安裝腳本，並賦予執行權限

以下命令請在 Additional Server node 上執行

curl -sfL https://get.rke2.io --output install.sh && chmod +x install.sh

RKE2 提供了一個安裝腳本，在 systemd 的系統上將其作為一個服務來安裝。

1-2. 編輯 RKE2 Additional Server Node 設定檔

# 定義 K8s 要跑在哪張網卡上(以下指令預設會去找 default gateway 的網卡)
NIC="$(ip route show default | cut -d' ' -f5)"
IP=$(ip -4 -o addr show ${NIC} | awk '{print $4}' | cut -d/ -f1)
# 定義節點名稱
NODE_NAME="$(hostname -f 2>/dev/null)"
NODE_NAME="${NODE_NAME:-$(hostname)}"
# 定義第一台 Control-plane node 的 ip
ServerIP="192.168.11.161"

sudo mkdir -p /etc/rancher/rke2/ && \
cat <<EOF | sudo tee /etc/rancher/rke2/config.yaml
write-kubeconfig-mode: "0644"
debug: false
# =============================================
# 每台節點不同的設定
# =============================================
# 本機對外廣播的 IP（其他節點透過此 IP 連線）
advertise-address: "${IP}"
# 本機 IP
node-ip: "${IP}"
# 節點名稱（每台不同）
node-name: "${NODE_NAME}"
# TLS 憑證允許的 SAN（第一台 server 需完整設定）
tls-san:
- "${NODE_NAME}"
- "${IP}"
- "127.0.0.1"
# 第二台以後需加入此行，指向第一台 server（第一台不需要）
server: "https://${ServerIP}:9345"
# =============================================
# 所有 Server Node 必須相同的設定
# =============================================
# 叢集加入金鑰
token: "hehe"
# 各元件時區設定
etcd-extra-env:
- "TZ=Asia/Taipei"
kube-apiserver-extra-env:
- "TZ=Asia/Taipei"
kube-controller-manager-extra-env:
- "TZ=Asia/Taipei"
kube-scheduler-extra-env:
- "TZ=Asia/Taipei"
cloud-controller-manager-extra-env:
- "TZ=Asia/Taipei"
# kubelet 參數
kubelet-arg:
- "container-log-max-files=5" # 最多保留 5 個 log 檔
- "container-log-max-size=10Mi" # 每個 log 檔最大 10Mi
- "config=/etc/kubernetes/kubeletconfig.yml"
- "eviction-hard=memory.available<1000Mi,imagefs.available<5%,nodefs.available<5%" # 資源不足時驅逐 Pod 的閾值
# 停用內建 cloud controller
disable-cloud-controller: true
# 停用 kube-proxy，改由 Cilium 接管
disable-kube-proxy: true
# 停用不需要的內建元件
disable:
- rke2-canal # 停用預設 CNI Canal
- rke2-kube-proxy # 停用內建 kube-proxy
# 使用 Cilium 作為 CNI
cni:
- "cilium"
# 啟用 CIS security profile
#profile: "cis"
# API Server 額外參數
#kube-apiserver-arg:
# - "service-account-extend-token-expiration=false"
EOF

Note: 要指定第一台 RKE2 Server node 的 IP

1-3. 編輯 kubelet 設定檔

sudo mkdir -p /etc/kubernetes && \
cat <<EOF | sudo tee /etc/kubernetes/kubeletconfig.yml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
systemReserved:
memory: "1Gi"
kubeReserved:
memory: "2Gi"
EOF

2. Install RKE2 with v1.34.4 veersion

2-1. 執行以下安裝命令

sudo INSTALL_RKE2_CHANNEL=v1.34.4+rke2r1 ./install.sh

INSTALL_RKE2_CHANNEL

指定要下載 RKE2 URL 的 Channel，預設是 latest

[WARN] /usr/local is read-only or a mount point; installing to /opt/rke2
[INFO] finding release for channel v1.23.9+rke2r1
[INFO] using v1.23.9+rke2r1 as release
[INFO] downloading checksums at https://github.com/rancher/rke2/releases/download/v1.23.9+rke2r1/sha256sum-amd64.txt
[INFO] downloading tarball at https://github.com/rancher/rke2/releases/download/v1.23.9+rke2r1/rke2.linux-amd64.tar.gz
[INFO] verifying tarball
[INFO] unpacking tarball file to /opt/rke2
[INFO] updating tarball contents to reflect install path
[INFO] moving systemd units to /etc/systemd/system
[INFO] install complete; you may want to run: export PATH=$PATH:/opt/rke2/bin

3. enable rke2 and setup kubeconfig

3-1. 將 rke2-server 的服務設為開機自動啟動，並立即啟動服務

sudo systemctl enable rke2-server --now

以上命令執行後的螢幕輸出

Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → /etc/systemd/system/rke2-server.service.

4. check pod status

kubectl get po -A

螢幕輸出 :

NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system cilium-79sx5 1/1 Running 0 2m35s
kube-system cilium-j7jf2 1/1 Running 0 19m
kube-system cilium-operator-6fb6d5b896-jj2nx 1/1 Running 0 19m
kube-system etcd-rms-1.kubeantony.com 1/1 Running 0 19m
kube-system etcd-rms-2.kubeantony.com 1/1 Running 0 2m35s
kube-system helm-install-rke2-cilium-qhdsl 0/1 Completed 0 19m
kube-system helm-install-rke2-coredns-hwsqp 0/1 Completed 0 19m
kube-system helm-install-rke2-ingress-nginx-bxt7n 0/1 Completed 0 19m
kube-system helm-install-rke2-metrics-server-qln6s 0/1 Completed 0 19m
kube-system helm-install-rke2-runtimeclasses-5kj6v 0/1 Completed 0 19m
kube-system helm-install-rke2-snapshot-controller-crd-vsbjv 0/1 Completed 0 19m
kube-system helm-install-rke2-snapshot-controller-z9kfv 0/1 Completed 1 19m
kube-system kube-apiserver-rms-1.kubeantony.com 1/1 Running 0 19m
kube-system kube-apiserver-rms-2.kubeantony.com 1/1 Running 0 2m35s
kube-system kube-controller-manager-rms-1.kubeantony.com 1/1 Running 0 19m
kube-system kube-controller-manager-rms-2.kubeantony.com 1/1 Running 0 2m34s
kube-system kube-scheduler-rms-1.kubeantony.com 1/1 Running 0 19m
kube-system kube-scheduler-rms-2.kubeantony.com 1/1 Running 0 2m34s
kube-system rke2-coredns-rke2-coredns-77f54456d4-4n5k5 1/1 Running 0 82s
kube-system rke2-coredns-rke2-coredns-77f54456d4-kqbtc 1/1 Running 0 19m
kube-system rke2-coredns-rke2-coredns-autoscaler-6c58bf4677-wj7gp 1/1 Running 0 19m
kube-system rke2-ingress-nginx-controller-bhf7h 1/1 Running 0 18m
kube-system rke2-ingress-nginx-controller-vhmtb 1/1 Running 0 85s
kube-system rke2-metrics-server-69f4f95bf7-tb6rc 1/1 Running 0 18m
kube-system rke2-snapshot-controller-bc4c494bf-cqj7t 1/1 Running 0 18m

四、Join Agent Nodes

1. Config RKE2 Basic Parameters

1-1. 下載 RKE2 的安裝腳本，並賦予執行權限

以下命令請在 agent node 上執行

~> curl -sfL https://get.rke2.io --output install.sh && chmod +x install.sh

RKE2 提供了一個安裝腳本，在 systemd 的系統上將其作為一個服務來安裝。

1-2. 編輯 RKE2 Additional Server Node 設定檔

# 定義 K8s 要跑在哪張網卡上
$ NIC='eth1'
$ IP=$(ip -4 -o addr show ${NIC} | awk '{print $4}' | cut -d/ -f1)
# 定義 API Server 的 IP 位址
$ ServerIP='192.168.11.35'
# 定義節點名稱
$ NODE_NAME='w1'

~> sudo mkdir -p /etc/rancher/rke2/ && \
cat <<EOF | sudo tee /etc/rancher/rke2/config.yaml
server: https://${ServerIP}:9345
write-kubeconfig-mode: "0644"
debug: False
node-ip: "${IP}"
node-name:
- "${NODE_NAME}"
token: "hehe"
etcd-extra-env: TZ=Asia/Taipei
kube-apiserver-extra-env: TZ=Asia/Taipei
kube-controller-manager-extra-env: TZ=Asia/Taipei
kube-proxy-extra-env: TZ=Asia/Taipei
kube-scheduler-extra-env: TZ=Asia/Taipei
cloud-controller-manager-extra-env: TZ=Asia/Taipei
kubelet-arg:
- container-log-max-files=5
- container-log-max-size=10Mi
- "--config=/etc/kubernetes/kubeletconfig.yml"
- "--eviction-hard=memory.available<1000Mi,imagefs.available<5%,nodefs.available<5%"
#selinux: false
EOF

Note: 要指定第一台 RKE2 Server node 的 IP

1-3. 編輯 kubelet 設定檔

~> sudo mkdir -p /etc/kubernetes && \
cat <<EOF | sudo tee /etc/kubernetes/kubeletconfig.yml
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
systemReserved:
memory: "1Gi"
kubeReserved:
memory: "2Gi"
EOF

2. Install RKE2 with 1.31.2 veersion

2-1. 執行以下安裝命令

~> sudo INSTALL_RKE2_TYPE="agent" INSTALL_RKE2_CHANNEL=v1.31.2+rke2r1 ./install.sh

INSTALL_RKE2_CHANNEL

指定要下載 RKE2 URL 的 Channel，預設是 latest

[INFO] finding release for channel v1.34.4+rke2r1
[INFO] using v1.34.4+rke2r1 as release
[INFO] downloading checksums at https://github.com/rancher/rke2/releases/download/v1.34.4%2Brke2r1/sha256sum-amd64.txt
[INFO] downloading tarball at https://github.com/rancher/rke2/releases/download/v1.34.4%2Brke2r1/rke2.linux-amd64.tar.gz
[INFO] verifying tarball
[INFO] unpacking tarball file to /usr/local

3. enable rke2

3-1. 將 rke2-agent 的服務設為開機自動啟動，並立即啟動服務

~> sudo systemctl enable rke2-agent --now

以上命令執行後的螢幕輸出

Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → /etc/systemd/system/rke2-server.service.

4. check pod status

以下命令在第一台 RKE2 Server 執行

~> kubectl get nodes,po -A

螢幕輸出 :

NAME STATUS ROLES AGE VERSION
node/m1 Ready control-plane,etcd,master 4h32m v1.31.1+rke2r1
node/m2 Ready control-plane,etcd,master 18m v1.31.1+rke2r1
node/m3 Ready control-plane,etcd,master 12m v1.31.1+rke2r1
node/w1 Ready <none> 84s v1.31.1+rke2r1
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system pod/cilium-2w97z 1/1 Running 0 84s
kube-system pod/cilium-b744m 1/1 Running 0 12m
kube-system pod/cilium-operator-84b8ff5b6c-stfdw 1/1 Running 4 (162m ago) 4h25m
kube-system pod/cilium-p45b4 1/1 Running 1 (162m ago) 4h
kube-system pod/cilium-qvqps 1/1 Running 0 18m
kube-system pod/etcd-m1 1/1 Running 1 4h32m
kube-system pod/etcd-m2 1/1 Running 0 18m
kube-system pod/etcd-m3 1/1 Running 0 11m
kube-system pod/helm-install-rke2-cilium-z7qsz 0/1 Completed 0 4h25m
kube-system pod/helm-install-rke2-coredns-9cg6t 0/1 Completed 0 4h32m
kube-system pod/helm-install-rke2-ingress-nginx-fscw4 0/1 Completed 0 4h32m
kube-system pod/helm-install-rke2-metrics-server-gw8qc 0/1 Completed 0 4h32m
kube-system pod/helm-install-rke2-multus-j8h9d 0/1 Completed 0 4h32m
kube-system pod/helm-install-rke2-snapshot-controller-crd-h58vl 0/1 Completed 0 4h32m
kube-system pod/helm-install-rke2-snapshot-controller-v6lwh 0/1 Completed 1 4h32m
kube-system pod/helm-install-rke2-snapshot-validation-webhook-gz77q 0/1 Completed 0 4h32m
kube-system pod/kube-apiserver-m1 1/1 Running 2 3h41m
kube-system pod/kube-apiserver-m2 1/1 Running 0 18m
kube-system pod/kube-apiserver-m3 1/1 Running 0 12m
kube-system pod/kube-controller-manager-m1 1/1 Running 10 (162m ago) 4h32m
kube-system pod/kube-controller-manager-m2 1/1 Running 0 18m
kube-system pod/kube-controller-manager-m3 1/1 Running 0 12m
kube-system pod/kube-scheduler-m1 1/1 Running 2 (162m ago) 4h32m
kube-system pod/kube-scheduler-m2 1/1 Running 0 18m
kube-system pod/kube-scheduler-m3 1/1 Running 0 12m
kube-system pod/rke2-coredns-rke2-coredns-79f8cbfcf7-9rh2l 1/1 Running 0 18m
kube-system pod/rke2-coredns-rke2-coredns-79f8cbfcf7-bwvtc 1/1 Running 0 161m
kube-system pod/rke2-coredns-rke2-coredns-autoscaler-7cf7db4bdc-t8ff7 1/1 Running 1 (162m ago) 4h
kube-system pod/rke2-ingress-nginx-controller-4hns2 1/1 Running 0 48s
kube-system pod/rke2-ingress-nginx-controller-7c5bp 1/1 Running 0 11m
kube-system pod/rke2-ingress-nginx-controller-8qrjf 1/1 Running 0 18m
kube-system pod/rke2-ingress-nginx-controller-rwpdf 1/1 Running 1 (162m ago) 3h40m
kube-system pod/rke2-metrics-server-6d887864c-vdkgn 0/1 Completed 0 4h25m
kube-system pod/rke2-metrics-server-6d887864c-vdt5s 1/1 Running 1 (162m ago) 4h
kube-system pod/rke2-multus-6vcp7 1/1 Running 3 (50s ago) 84s
kube-system pod/rke2-multus-bxdkm 1/1 Running 2 (11m ago) 12m
kube-system pod/rke2-multus-hfqc6 1/1 Running 1 (162m ago) 4h
kube-system pod/rke2-multus-t7vln 1/1 Running 2 (18m ago) 18m
kube-system pod/rke2-snapshot-controller-658d97fccc-7gkrv 1/1 Running 7 (162m ago) 4h25m
kube-system pod/rke2-snapshot-validation-webhook-784bcc6c8-xfq68 1/1 Running 1 (162m ago) 4h25m

Install K3S v1.26.9

安裝命令

$ curl -sfL https://get.k3s.io/ | INSTALL_K3S_VERSION=v1.26.9+k3s1 K3S_KUBECONFIG_MODE="644" sh -

設定 kubeconfig

$ mkdir -p $HOME/.kube && sudo cp /etc/rancher/k3s/k3s.yaml $HOME/.kube/config && sudo chown $(id -u):$(id -g) $HOME/.kube/config && sudo chmod 600 $HOME/.kube/config

Helm Install Rancher Prime v2.13.2

1. Add the Helm Chart Repository

1.1 Install helm3

在第一台 Master Node 上執行以下命令

下載 helm 壓縮檔

wget https://get.helm.sh/helm-v3.8.2-linux-amd64.tar.gz

螢幕輸出

--2022-09-21 09:06:57-- https://get.helm.sh/helm-v3.8.2-linux-amd64.tar.gz
Resolving get.helm.sh (get.helm.sh)... 152.199.39.108, 2606:2800:247:1cb7:261b:1f9c:2074:3c
Connecting to get.helm.sh (get.helm.sh)|152.199.39.108|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 13633605 (13M) [application/x-tar]
Saving to: ‘helm-v3.8.2-linux-amd64.tar.gz’
helm-v3.8.2-linux-amd64.tar.gz 100%[=============================================================>] 13.00M 5.95MB/s in 2.2s
2022-09-21 09:07:00 (5.95 MB/s) - ‘helm-v3.8.2-linux-amd64.tar.gz’ saved [13633605/13633605]

解壓縮 helm 壓縮檔

tar zxvf helm-v3.8.2-linux-amd64.tar.gz

螢幕輸出

linux-amd64/
linux-amd64/helm
linux-amd64/LICENSE
linux-amd64/README.md

將 helm 執行檔拷貝至 PATH 環境變數中的 /usr/local/bin/ 目錄下

sudo cp linux-amd64/helm /usr/local/bin/

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

1.2 Add the Helm Chart Repository

Prime: Recommended for production environments

helm repo add rancher-prime https://charts.rancher.com/server-charts/prime

helm repo add rancher-latest https://releases.rancher.com/server-charts/latest

helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

2. Create a Namespace for Rancher

This should always be cattle-system

kubectl create ns cattle-system

3. Choose your SSL Configuration

mkdir ssl;cd ssl

下載產生自簽憑證腳本，並賦予執行權限

wget https://raw.githubusercontent.com/cooloo9871/openssl/master/mk && \
chmod +x mk

執行腳本產生自簽憑證

./mk create rancher.example.com 192.168.11.60

第一個參數放 rancher 的 Domain Name 第二個參數放 LB 的 IP (HA Rancher)，或是 rancher 本身的 IP

螢幕輸出

Generating RSA private key, 4096 bit long modulus (2 primes)
.........................................................................................................................................................................................................................++++
....................................................................................................................................................................................................................................................++++
e is 65537 (0x010001)
Generating RSA private key, 4096 bit long modulus (2 primes)
..........................................................++++
..++++
e is 65537 (0x010001)
Signature ok
subject=CN = example
Getting CA Private Key

檢查是否符合預期

ls -l
total 32
-rw------- 1 rancher users 3326 Feb 13 13:58 ca-key.pem
-rw-r--r-- 1 rancher users 2009 Feb 13 13:58 ca.pem
-rw-r--r-- 1 rancher users 41 Feb 13 13:58 ca.srl
-rw-r--r-- 1 rancher users 1582 Feb 13 13:58 cert.csr
-rw------- 1 rancher users 3243 Feb 13 13:58 cert-key.pem
-rw-r--r-- 1 rancher users 1874 Feb 13 13:58 cert.pem
-rw-r--r-- 1 rancher users 86 Feb 13 13:58 extfile.cnf
-rwxr-xr-x 1 rancher users 1166 Feb 13 13:57 mk

Create the certificate secret resource

將伺服器憑證和任何中間證書串聯到一個名為 tls.crt 的檔案中，並在一個名為 tls.key 的檔案中提供相應的證書密鑰。

kubectl -n cattle-system create secret tls tls-rancher-ingress \
--cert=cert.pem \
--key=cert-key.pem
kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem=./cert.pem
kubectl -n cattle-system get secret
NAME TYPE DATA AGE
default-token-h9lwm kubernetes.io/service-account-token 3 2m15s
tls-ca Opaque 1 13s
tls-rancher-ingress kubernetes.io/tls 2 52s

把 ca.pem 複製到 rancher 託管的每座 Downstream cluster 中的每台 Node 上

之後使用 Rancher 註冊就不需要再勾選 insecure 了

scp ca.pem rancher@<client>:~
# ssh 到 client 上
sudo cp ca.pem /etc/pki/trust/anchors/
sudo cp ca.pem /usr/share/pki/trust/anchors/
sudo update-ca-certificates

Install from the cert-manager release manifest

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.20.0/cert-manager.yaml

Check cert-manager pod status

kubectl -n cert-manager get pods

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
cert-manager-7b8b89f89d-9tsmq 1/1 Running 0 43s
cert-manager-cainjector-7f9fdd5dd5-mqspq 1/1 Running 0 43s
cert-manager-webhook-769f6b94cb-vmwm2 1/1 Running 0 43s

4. Install Rancher Prime with Helm and Your Chosen Certificate Option

建立 Rancher Prime 並且使用自簽憑證

helm install rancher rancher-prime/rancher \
--namespace cattle-system \
--version=2.13.2 \
--set bootstrapPassword=rancheradmin \
--set hostname=rancher.example.com \
--set replicas=3 \
--set ingress.tls.source=secret \
--set privateCA=true
--set global.cattle.psp.enabled=false

建立 Rancher Prime 並且使用 Cert-manager 產生憑證

helm install rancher rancher-prime/rancher \
--namespace cattle-system \
--set hostname=ha-rancher.kubeantony.com \
--set bootstrapPassword=rancheradmin \
--set global.cattle.psp.enabled=false \
--set replicas=3 \
--version 2.13.2

5. Verify that the Rancher Server is Successfully Deployed

kubectl -n cattle-system get po

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
helm-operation-cnlsx 0/2 Completed 0 14m
helm-operation-hfpdh 0/2 Completed 0 15m
helm-operation-llz2m 0/2 Completed 0 15m
helm-operation-pcq4s 0/2 Completed 0 16m
helm-operation-tw5hw 0/2 Completed 0 15m
rancher-647cdd469b-7ctmw 1/1 Running 0 20m
rancher-647cdd469b-l5q7w 1/1 Running 1 (17m ago) 20m
rancher-647cdd469b-mb4rc 1/1 Running 1 (17m ago) 20m
rancher-webhook-fb6768c79-fk9jl 1/1 Running 0 15m

檢查名稱解析

~> curl -k -H "host: rancher.example.com" https://192.168.11.50/dashboard/

匯出 cert-manager 簽的憑證

~> curl -k -s -fL rancher.example.com/v3/settings/cacerts | jq -r .value

將憑證匯入瀏覽器

在 client 的瀏覽器把 ca.pem import 進去 (此方法為自簽憑證時使用)

就可以使用 https 登入 rancher

Rancher 生成 RKE2 之前的必要設定

節點必須能夠透過 DNS 解析 Rancher 的 FQDN，不要透過 /etc/hosts 解析，否則 Rancher 的 Agent ( cattle-cluster-agent ) 會在建立的時候無法存取到 Rancher。
如果想透過 /etc/hosts 去解析 Rancher FQDN 對應的 IP Address 的話，請依照以下步驟設定

編輯 Patch file Yaml 檔

$ cat <<EOF > patch-file-hostalias.yaml
spec:
template:
spec:
hostAliases:
- ip: "192.168.0.11"
hostnames:
- "antony-rancher.example.com"
EOF

hostAliases 輸入 Rancher 所在的主機 IP Address hostnames 輸入 Racher 的 FDQN

Patch cattle-cluster-agent 這個 Deployment

$ kubectl -n cattle-system patch deployment cattle-cluster-agent --patch-file patch-file-hostalias.yaml

檢視 Pods 運作狀態

$ kubectl -n cattle-system get pods -l app=cattle-cluster-agent

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
cattle-cluster-agent-6c54877576-hmtgq 1/1 Running 0 22m
cattle-cluster-agent-6c54877576-zt6mb 1/1 Running 0 22m

請注意，這個方法永遠不要在 Production 環境使用，只能在測試環境使用，因為如果 DownStream Cluster 有被更新，Patch 的設定有可能會被覆蓋

Rancher 生成 RKE2 之後的必要設定

在每一台 Control Plane Node 的設定

{
# 1. 建立目錄並設定 Kubeconfig
mkdir -p $HOME/.kube && \
sudo cp /etc/rancher/rke2/rke2.yaml $HOME/.kube/config && \
sudo chown $(id -u):$(id -g) $HOME/.kube/config && \
# 2. 搬移執行檔
sudo cp /var/lib/rancher/rke2/bin/* /usr/local/bin/ && \
sudo cp /opt/rke2/bin/* /usr/local/bin/ ; \
# 3. 寫入 crictl 設定 (使用 printf 保持單行邏輯)
printf "runtime-endpoint: unix:///run/k3s/containerd/containerd.sock\nimage-endpoint: unix:///run/k3s/containerd/containerd.sock\ntimeout: 10\n" | sudo tee /etc/crictl.yaml > /dev/null && \
# 4. 設定 Bash Alias 與補全
printf "\nsource <(kubectl completion bash)\nalias k=kubectl\ncomplete -o default -F __start_kubectl k\n" >> ~/.bashrc && \
# 5. 立即生效
source ~/.bashrc
}

在每一台 Worker Node 要做的設定

~> sudo cp /opt/rke2/bin/* /usr/local/bin/ && \
sudo cp /var/lib/rancher/rke2/bin/* /usr/local/bin/
# Setup crictl config
~> cat <<EOF | sudo tee /etc/crictl.yaml
runtime-endpoint: unix:///run/k3s/containerd/containerd.sock
image-endpoint: unix:///run/k3s/containerd/containerd.sock
timeout: 10
EOF

Helm upgrade Rancher

Update your local helm repo cache

$ helm repo update

Export the current values to a file:

$ helm get values rancher -n cattle-system -o yaml > values.yaml

Helm 查詢 Rancher 的版本，命令如下 :

$ helm -n cattle-system repo ls
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
$ helm search repo rancher-prime --versions
NAME CHART VERSION APP VERSION DESCRIPTION
rancher-prime/rancher 2.8.2 v2.8.2 Install Rancher Server to manage Kubernetes clu...
...

Upgrade Rancher Version

$ helm upgrade rancher rancher-<CHART_REPO>/rancher \
--namespace cattle-system \
-f values.yaml \
--version=2.8.2

RKE2 設定私有 Image Registry

可以透過 Rancher 設定或是手動更改 Containerd 的設定檔，Rancher 做的設定會直接套用到整個叢集的每一台 Node 上，手動設定會需要一台一台 Node 去做設定。

Rancher 設定

更改叢集設定檔

輸入 Image Registry 資訊

Registry Hostname: 10.43.0.11:5000
Mirror Endpoints: http://10.43.0.11:5000

Registry Hostname: 10.43.0.11:5000
TLS Secret: None
Authentication: Create a HTTP Basic Auth Secret
Username: docker
Password: xxx
Skip TLS Verifications

儲存並套用設定至整個叢集

手動設定

注意資訊 :

如果只改一台 Node，那麼就只有該節點能夠到設定的 Image Registry 下載或上傳 Images。
config.toml.tmpl 這個檔案如果被刪掉，那麼假設 RKE2 是被 Rancher 管理的，設定的內容，會被 Rancher 同步回來。反之，如果沒被刪掉，那麼在 Rancher 設定的值將永遠無法被套用，直到 config.toml.tmpl 這個檔案被刪除。

複製一份 Cotainerd 的設定檔

$ sudo cp /var/lib/rancher/rke2/agent/etc/containerd/config.toml /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl

重要: 檔名一定要是 config.toml.tmpl

修改 config.toml.tmpl 檔案內容

$ sudo nano /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl

新增以下內容 :

[plugins."io.containerd.grpc.v1.cri".registry.configs."HARBOR_FQDN".auth]
username = "xxx"
password = "xxx"
[plugins."io.containerd.grpc.v1.cri".registry.configs."HARBOR_FQDN".tls]
insecure_skip_verify = true

如果 Image Registry 是 HTTP，那麼必須再額外新增以下內容

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."{FQDN or IP Address}:Port"]
endpoint = ["http://{FQDN or IP Address}:Port"]

重啟 RKE2 服務

$ sudo systemctl restart rke2-server.service

如果是 RKE2 worker 節點要重啟的服務是 rke2-agent.service

刪除 config.toml.tmpl 檔案 (不一定要做)

$ sudo rm /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl

重要 ! 如果 RKE2 由 Rancher 管理，那麼只要這個檔案存在，在 Rancher 設定的 Image Registry 資訊，都會被這個檔案覆蓋，所以要自行決定是否刪除。

Enable Rrancher Audit log

PreRequest

Note: Rancher 要可以收到 Audit log ，它所在的 K8S 也要先啟動 Audit log

1. RKE2 啟動 Audit log

Step 1: Update the RKE2 Configuration File

$ echo "audit-policy-file: /etc/rancher/rke2/audit-policy.yaml" | sudo tee -a /etc/rancher/rke2/config.yaml

Step 2: Create an Audit Policy File

$ cat <<EOF | sudo tee /etc/rancher/rke2/audit-policy.yaml
apiVersion: audit.k8s.io/v1
kind: Policy
metadata:
creationTimestamp: null
rules:
- level: Metadata
EOF

Step 3: Restart RKE2 Server

$ sudo systemctl restart rke2-server

Step 4: Monitor Audit Log

$ sudo tail -f /var/lib/rancher/rke2/server/logs/audit.log

2. Enable Rrancher Audit log

Step 1: Export the current values to a file:

$ helm get values rancher -n cattle-system -o yaml > values.yaml

Step 2: 新增 Audit log 設定

$ cat <<EOF | sudo tee -a values.yaml
auditLog:
destination: sidecar
hostPath: /var/log/rancher/audit/
level: 3
maxAge: 3
maxBackup: 1
maxSize: 100
EOF

Step 3: 更新 Rancher 啟動 Audit log

$ helm upgrade rancher rancher-prime/rancher \
--namespace cattle-system \
-f values.yaml

設定 RKE2 Cluster Pod 總量限制

點選 “Cluster Management” -> 在要設定的叢集旁邊點選 “Edit Config”

在 Cluster Configuration 的左側選單中點選 “Advanced”，並在 Additional Kubelet Args 區塊下點選 “Add Argument”

輸入以下設定值，並點選右下角 “Save” 套用設定

max-pods=250

max-pods means Number of Pods that can run on this kubelet.

從 Rancher 設定的話，會把以上新增的設定套用到 K8S Cluster 的每個節點上。

回到 “Home”

我的 Cluster 有 3 台 Node，所以 250 x 3 = 750
可以參考我做的測試測試 K8S Pod 數量超過 110 會發生甚麼事?

Trouble shooting

在 Join Master Node 的時候，不小心設定到同一個 node name ，然後 etcd 咬住原來 node 的名稱怎麼辦

錯誤訊息

ETCD join failed: duplicate node name found, please use a unique name for this node

解決辦法

先進去 etcd 的 pod 中

kubectl -n kube-system exec -it etcd-staging-kube-master-1.fqdn.com -- bash

列出 etcd 的成員

etcdctl --cert /var/lib/rancher/rke2/server/tls/etcd/server-client.crt --key /var/lib/rancher/rke2/server/tls/etcd/server-client.key --endpoints https://127.0.0.1:2379 --cacert /var/lib/rancher/rke2/server/tls/etcd/server-ca.crt member list

螢幕輸出

121f9e856446fcc4, started, rsm2-f826f76c, https://192.168.11.62:2380, https://192.168.11.62:2379, false
67f4840cc79f9560, started, rsm1-168e267e, https://192.168.11.61:2380, https://192.168.11.61:2379, false
6b20c6a3411cab14, started, rsm3-2126c18e, https://192.168.11.63:2380, https://192.168.11.63:2379, false

刪除重複的 etcd 成員

etcdctl --cert /var/lib/rancher/rke2/server/tls/etcd/server-client.crt --key /var/lib/rancher/rke2/server/tls/etcd/server-client.key --endpoints https://127.0.0.1:2379 --cacert /var/lib/rancher/rke2/server/tls/etcd/server-ca.crt member remove 6b20c6a3411cab14

螢幕輸出

Member 6b20c6a3411cab14 removed from cluster 9ea915bf6adaa894

手動更新 Cert-manager 做給 Rancher 用的憑證

Rancher 透過 Cert-manager 做出來的憑證，有效期限預設為 90 天，在第 60 天的時候會嘗試自動更換憑證。

SSH 連線至可以執行 kubectl 管理 UpStream Cluster ( Rancher 所在的 Kubernetes Cluster ) 的機器
下載 Cert-manager 管理工具

$ curl -fsSL -o cmctl.tar.gz https://github.com/cert-manager/cert-manager/releases/latest/download/cmctl-linux-amd64.tar.gz && tar xzf cmctl.tar.gz && sudo mv cmctl /usr/local/bin

檢查 Rancher 當前使用憑證的有效日期

$ echo | openssl s_client -connect `kubectl -n cattle-system get ing --no-headers -o custom-columns=HOSTS:.spec.rules[*].host`:443 2>/dev/null | openssl x509 -noout -dates

螢幕輸出如下 :

notBefore=Feb 19 05:31:37 2024 GMT
notAfter=May 19 05:31:37 2024 GMT

手動 Renew Rancher 憑證

4.1. 檢查 Rancher 在 Kubernetes 中使用的憑證名稱

$ kubectl -n cattle-system get certificate

螢幕輸出 :

NAME READY SECRET AGE
tls-rancher-ingress True tls-rancher-ingress 2d21h

4.2. 手動 Renew 憑證

$ cmctl -n cattle-system renew tls-rancher-ingress

螢幕輸出 :

Manually triggered issuance of Certificate cattle-system/tls-rancher-ingress

4.3. 檢查建立憑證的 Request 是否發出

$ kubectl -n cattle-system get certificaterequest --sort-by=.metadata.creationTimestamp

螢幕輸出 :

NAME APPROVED DENIED READY ISSUER REQUESTOR AGE
tls-rancher-ingress-9jb67 True True rancher system:serviceaccount:cert-manager:cert-manager 2d21h
tls-rancher-ingress-m59sk True True rancher system:serviceaccount:cert-manager:cert-manager 3s

確認憑證當前狀態的詳細資訊

$ cmctl -n cattle-system status certificate tls-rancher-ingress

螢幕輸出 :

Name: tls-rancher-ingress
Namespace: cattle-system
Created at: 2024-02-16T17:08:39+08:00
Conditions:
Ready: True, Reason: Ready, Message: Certificate is up to date and has not expired
DNS Names:
- 172.20.0.37.nip.io
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Requested 13m cert-manager-certificates-request-manager Created new CertificateRequest resource "tls-rancher-ingress-7hdcg"
Normal Requested 6m49s cert-manager-certificates-request-manager Created new CertificateRequest resource "tls-rancher-ingress-8hhjl"
Normal Reused 2m56s (x6 over 156m) cert-manager-certificates-key-manager Reusing private key stored in existing Secret resource "tls-rancher-ingress"
Normal Issuing 2m56s (x6 over 156m) cert-manager-certificates-issuing The certificate has been successfully issued
Normal Requested 2m56s cert-manager-certificates-request-manager Created new CertificateRequest resource "tls-rancher-ingress-m59sk"
Issuer:
Name: rancher
Kind: Issuer
Conditions:
Ready: True, Reason: KeyPairVerified, Message: Signing CA verified
Events: <none>
Secret:
Name: tls-rancher-ingress
Issuer Country:
Issuer Organisation: dynamiclistener-org
Issuer Common Name: dynamiclistener-ca@1708074590
Key Usage: Digital Signature, Key Encipherment
Extended Key Usages:
Public Key Algorithm: RSA
Signature Algorithm: ECDSA-SHA256
Subject Key ID:
Authority Key ID: bc3674dd7762dca834cb5586c463a2c858d11528
Serial Number: c9246b491d331f8d197eed83d4de06d5
Events: <none>
Not Before: 2024-02-19T14:47:46+08:00
Not After: 2024-05-19T14:47:46+08:00
Renewal Time: 2024-04-19T14:47:46+08:00
No CertificateRequest found for this Certificate

Not Before，憑證有效期限的開始日期

Not After，憑證有效期限的結束日期

Renewal Time，cert-manager 將把憑證的 status.RenewalTime 設定為嘗試更新的時間。

參考網站

Rancher RBAC 實務範例

Mon, 23 Mar 2026 08:55:34 +0800

依據職責與最小權限原則，可將使用者劃分為以下幾個層級

層級	角色	Rancher 角色	權限範圍	核心職責
1	平台管理員	Global Administrator（內建）	全域 — 所有叢集、所有資源完整 CRUD	叢集生命週期管理、全域認證與安全策略 (LDAP/AD/SAML)、使用者帳號與角色分配
2	叢集管理／維運人員	Cluster Owner（內建）	特定叢集 — 完整管理權限，不含平台層級操作	節點健康監控 (cordon/drain)、Namespace 與 Project 規劃、叢集內 RBAC、資源配額調整、ETCD 快照
3a	資安稽核員（長官）	Read Only Administrator（客製）	全域 — 所有叢集僅 get/list/watch	跨叢集合規性稽核，查看所有資源但無法修改或刪除
3b	資安稽核員（一般）	Cluster Reader（客製）	特定叢集 — 僅 get/list/watch	特定叢集合規性稽核，查看該叢集所有資源
4	應用系統／專案管理員	Project Owner（內建）	特定 Project — 所屬 Project 內完整 CRUD	Project 成員管理、Namespace 建立、Workload 部署、ResourceQuota/LimitRange、PVC 管理、監控告警
5	應用程式開發人員	Project Member / Read Only（內建）	特定 Namespace — 授權 Namespace 內操作；正式環境通常僅唯讀	Workload 部署與更新、Service/Ingress 設定、ConfigMap/Secret 使用、日誌查看與 Pod 除錯、HPA 設定

1. 平台管理員

角色概述

平台管理員負責維護 Rancher 平台本身的運作，擁有最高權限（Global Administrator）。

職責範圍

在 Rancher 中，平台管理員可處理跨叢集、平台層級的事務，包括：

叢集生命週期管理 — 建立、匯入、刪除 Rancher 本身及其所管理的所有叢集
全域認證與安全策略設定 — LDAP、AD、SAML 等
使用者帳號與角色分配 — 管理平台上所有使用者的權限

具體權限 (內建)

實作範例 : 設定 Windows AD 的 admin 群組為平台管理員

點選左側清單的 Users & Authentication -> Groups -> Assign Global Roles
選擇群組 -> 僅勾選 Administrator
滑鼠滾到頁面最下方，點選 Save 按鈕儲存

2. 叢集管理、維運人員

角色概述

負責管理特定 DownStream Kubernetes 叢集狀態的 SRE 或維運工程師，此角色是特定叢集的維運、管理者，但非平台管理者。

職責範圍

Cluster Admin 專注在自己管理的叢集內。日常工作包括：

node 的健康監控與管理（cordon、drain、新增和刪除節點）
namespace 與 project 的規劃
叢集內的 RBAC 設定（指派 Project owner 等角色）
硬體資源配額的調整
Netwrok policy 的管理
對 ETCD Take Snapshot
叢集層級的日誌和監控設定

具體權限 (內建)

實作範例 : 設定 Windows AD 的 infra 群組為基礎架構維運人員

點選左側選單 Cluster Management -> 找到要管理的 K8s 叢集 -> 點選最右側的三點選單 -> Edit Config
選擇 Member Roles -> Add 按鈕
選擇群組 -> 勾選 Owner 權限 -> Add 按鈕
點選右下角 Save 按鈕儲存

在 NeuVector 通常賦予 CI/CD 操作權限，允許在維運過程中觸發掃描或排除誤判，確保服務穩定。

3. 資訊安全稽核員

角色概述

資安部門長官或一般人員進行合規性的稽核作業。

職責範圍

長官可以讀取所有叢集(包含 local Cluster)的所有資源，但不具備編輯或刪除的其他權限。
一般人員只能讀取特定叢集的所有資源。

具體權限 (客製化) - Read Only Administrator

具體權限 (客製化) - Cluster Reader

建立 Global Read-only Administrator Roletemplate

cat <<'EOF' | kubectl apply -f -
apiVersion: management.cattle.io/v3
builtin: false
context: cluster
description: ''
displayName: View Cluster Resources for Readonly Admin
external: false
hidden: true
kind: RoleTemplate
metadata:
name: cluster-readonly-view
rules:
- apiGroups:
- ''
resources:
- secrets
verbs:
- get
- list
- watch
- apiGroups:
- catalog.cattle.io
resources:
- clusterrepos
- apps
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resourceNames:
- local
resources:
- clusters
verbs:
- get
---
apiVersion: management.cattle.io/v3
builtin: false
displayName: Read Only Administrator
description: '全域唯讀管理員角色，不具備任何建立、修改或刪除操作的權限。'
inheritedClusterRoles:
- projects-view
- nodes-view
- cluster-readonly-view
kind: GlobalRole
metadata:
name: global-read-only
rules:
- apiGroups:
- management.cattle.io
resources:
- projectroletemplatebindings
- clusterroletemplatebindings
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- globalroles
- globalrolebindings
verbs:
- get
- list
- watch
- apiGroups:
- project.cattle.io
resources:
- apps
verbs:
- get
- list
- watch
- apiGroups:
- project.cattle.io
resources:
- apprevisions
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- nodes
- nodepools
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- roletemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clusterevents
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- notifiers
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- notificationtemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- projectalertgroups
- projectalertrules
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- projectloggings
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clusteralertgroups
- clusteralertrules
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clustercatalogs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- projectcatalogs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- projectmonitorgraphs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- catalogtemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- catalogtemplateversions
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- projects
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clusters
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- principals
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- users
- userattribute
- groups
- groupmembers
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clusterloggings
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- clustermonitorgraphs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- preferences
verbs:
- '*'
- apiGroups:
- management.cattle.io
resources:
- settings
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- features
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- templates
- templateversions
- catalogs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- nodedrivers
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- kontainerdrivers
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- operatorsettings
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- podsecuritypolicytemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- nodetemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- multiclusterapps
- globaldnses
- globaldnsproviders
- clustertemplaterevisions
- clustertemplates
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- rkek8ssystemimages
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- rkek8sserviceoptions
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- rkeaddons
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- cisconfigs
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- cisbenchmarkversions
- clusterscans
verbs:
- get
- list
- watch
- apiGroups:
- management.cattle.io
resources:
- etcdbackups
verbs:
- get
- list
- watch
- apiGroups:
- catalog.cattle.io
resources:
- clusterrepos
verbs:
- get
- list
- watch
- apiGroups:
- provisioning.cattle.io
resources:
- clusters
verbs:
- get
- list
- watch
- apiGroups:
- ''
resources:
- nodes
verbs:
- get
- list
- watch
- apiGroups:
- '*'
resources:
- secrets
verbs:
- get
- list
- watch
EOF

在 local Cluster 建立 cluster-reader Roletemplate 執行以下命令

cat <<'EOF' | kubectl apply -f -
apiVersion: management.cattle.io/v3
kind: RoleTemplate
metadata:
name: cluster-reader
displayName: Cluster Reader
description: "提供叢集層級的唯讀權限，可查看所有資源但無法修改。"
# context 設定為 cluster 表示此角色應用於集群層級
context: cluster
# builtin 設定為 false 表示這是自定義角色
builtin: false
clusterCreatorDefault: true
rules:
- apiGroups:
- '*'
resources:
- '*'
verbs:
- get
- list
- watch
EOF

實作範例 1 : 設定 Windows AD 的特定 User 為 Read Only Administrator

Users & Authentication -> Users -> 選擇使用者 -> 三點選單 -> Edit Config
找到 Custom 區塊 -> 勾選 Read Only Administrator -> 右下角 Save 按鈕

實作範例 2 : 設定 Windows AD 的特定 User 為 Cluster Reader

左側選單點進要管理的叢集 -> Cluster -> Cluster and Project Members -> Add
Select Member 選擇特定 User -> 選擇 Cluster Reader -> Create

4. 應用系統/專案管理員

角色概述

負責管理特定 Downstream Kubernetes 叢集中，特定 Project 底下的所有資源與權限。對應 Rancher 的 Project Owner 角色，通常由各應用系統的 Tech Lead、專案負責人或 AP 維運組長擔任。

職責範圍

在 Rancher 中，應用系統/專案管理員可在其所屬 Project 範圍內處理以下事務：

Project 成員管理 — 負責新增、移除及調整 Project 內成員的角色與權限，為該 Project 的最高管理者
Namespace 規劃與建立 — 依據應用模組或環境需求，在 Project 下建立與管理 Namespace
應用部署與生命週期管理 — 管理 Project 內所有 Workload、Service、Cronjob 等應用資源的部署與更新
資源配額管控 — 設定 Project 層級與 Namespace 層級的 ResourceQuota / LimitRange，確保資源使用不超出分配額度
儲存資源管理 — 為應用申請與管理持久化儲存空間(PVC)，並可查看叢集可用的 StorageClass
監控與告警設定 — 設定 Project 層級的監控規則與告警通知，確保應用異常時能即時回應
基礎設施資訊查看 — 可查看叢集節點狀態與叢集事件，了解底層運行狀況

具體權限 (內建)

實作範例 : 設定 Windows AD 的特定 User 為 Project Owner

左側選單選擇目標 K8s 叢集 -> Cluster and Project Members -> Project Membership -> Add
選擇 User -> 選擇 Owner -> Create

5. 應用程式開發人員

角色概述

負責在被授權的 Project 內進行應用程式的部署、除錯與日常維運操作。對應 Rancher 的 Project Member 或 Read-Only 角色，通常由應用開發工程師或 DevOps 工程師擔任。透過 Rancher 的專案 (Project) 機制，限制他們只能在配發的 Namespace 內部署應用程式與查看 Log。他們無法看見亦無法影響其他團隊的資源或底層基礎建設。

職責範圍

在 Rancher 中，應用程式開發人員可在其所屬 Project 的已授權 Namespace 內執行以下操作：

Workload 部署與管理 — 建立、更新、刪除 Deployment、StatefulSet、Job、CronJob 等Workloads
服務與路由設定 — 建立及修改 Service、Ingress，設定應用的對內與對外存取路徑
組態與密鑰使用 — 建立及編輯自身應用所需的 ConfigMap 與 Secret（依權限範圍）
應用日誌查看 — 透過 Rancher 介面查看 Pod 即時日誌，進行問題排查
Pod 除錯操作 — 使用 kubectl exec / Rancher Shell 進入 App Container 進行偵錯，查看 Pod 事件與狀態
彈性伸縮設定 — 設定 HPA (Horizontal Pod Autoscaler)，調整副本數因應流量變化
CI/CD 管線觸發 — 配合 Pipeline 執行應用的建置與部署流程
正式環境（Production）唯讀除錯 — 在正式環境中，開發人員通常僅具備唯讀（Read-Only）權限，只能查看日誌與監控儀表板以協助排查線上問題，無權直接修改系統配置或重啟服務。

具體權限 (內建) - Project Member

具體權限 (內建) - Project Read only

實作範例 : 設定 Windows AD 的特定 User 為 Project Member

左側選單選擇目標 K8s 叢集 -> Cluster and Project Members -> Project Membership -> Add
選擇 User -> 選擇 Owner -> Create

[Rancher] Downstream cluster 因 cattle-controllers leader lease 過期未釋放而顯示「Waiting for cluster agent to connect」

Mon, 23 Mar 2026 03:48:34 +0800

環境

SUSE Rancher Manager v2.13.2（HA 部署，3 個 replicas）
RKE2 v1.34.4+rke2r1 downstream cluster（3 台 control plane + 3 台 worker 節點）
SUSE Linux Enterprise Server 15 SP7
管理叢集與 downstream cluster 皆使用 Kubernetes v1.34.x

狀況

在 Rancher deployment 更新（例如 rollout restart、Helm upgrade 或 pod 重新排程）之後，一個或多個 downstream cluster 在 Rancher UI 上進入 Reconciling 或 Updating 狀態。受影響的 machine 顯示以下訊息：

Waiting for cluster agent to connect

叢集本身功能完全正常 — 所有節點為 Ready，所有 pod 皆在運行，對 downstream cluster 執行 kubectl 指令也能正常回應。然而 Rancher UI 持續顯示叢集處於已斷線狀態。

症狀

Rancher UI 顯示叢集狀態為 Updating，且一台或多台 machine 處於 Reconciling 狀態，並附帶訊息「Waiting for cluster agent to connect」。
Downstream cluster 的 cattle-cluster-agent 日誌顯示已成功建立 WebSocket 連線至 Rancher server：
```
Connected to proxy url="wss://rancher.example.com/v3/connect/register"
```

儘管看似已連線，但 Rancher server 的日誌顯示 tunnel 認證失敗：

Failed to handle tunnel request from remote address 10.42.x.x:xxxxx
(X-Forwarded-For: x.x.x.x): response 401: failed authentication

管理叢集的 clusters.management.cattle.io 物件顯示 Connected: False：
```
type: Connected
status: "False"
```

Provisioning cluster 的 conditions 顯示：

type: Updated
status: Unknown
message: "configuring bootstrap node(s) custom-xxxxxxxx: waiting for cluster agent to connect"
type: Ready
status: "False"
message: "Cluster agent is not connected"
reason: Disconnected

kube-system namespace 中的 cattle-controllers leader lease 指向一個已不存在的 pod：

$ kubectl get lease cattle-controllers -n kube-system -o yaml
spec:
 holderIdentity: rancher-<old-replicaset>-<old-pod>
 leaseDurationSeconds: 162000

原因

Rancher 的 management controllers（負責叢集狀態調解、tunnel 認證、agent 部署與 machine 狀態更新）使用 kube-system namespace 中名為 cattle-controllers 的 Kubernetes Lease 物件進行 leader election。只有 leader pod 才會處理叢集管理操作。

當 Rancher deployment 更新（rolling restart、Helm upgrade 等）時，舊的 pod 會被終止並由新 ReplicaSet 的新 pod 取代。然而，Rancher 將 cattle-controllers lease 的 leaseDurationSeconds 設定為 162,000 秒（45 小時）。這是刻意設定的長時間值，目的是避免短暫網路中斷時發生不必要的 leader 切換。

問題發生的流程如下：

當前的 leader pod 在 deployment 更新過程中被終止。
過期的 lease 仍然指向已終止 pod 的身份識別。
新的 Rancher pod 檢查 lease 後發現 renewTime + leaseDurationSeconds 尚未到期。
所有新 pod 等待 lease 自然過期 — 最長需要等待 45 小時。
在這段等待期間，沒有任何 management controller 在運作，導致所有 downstream cluster 的管理操作停擺。

這會引發一連串連鎖故障：

Cluster agent 的 tunnel 認證請求無人處理（401 錯誤）。
Cluster 物件上的 Connected 狀態永遠不會被更新。
Machine reconciliation 不會被執行。
Rancher UI 持續反映過期的「Waiting for cluster agent to connect」狀態。

解決方案

立即修復

刪除過期的 leader lease，讓當前的 Rancher pod 立即取得 leadership：

kubectl delete lease cattle-controllers -n kube-system

在 30 秒內，一個新的 Rancher pod 將取得 lease，management controllers 將恢復正常運作。驗證新的 leader：

kubectl get lease cattle-controllers -n kube-system \
 -o jsonpath='{.spec.holderIdentity}'

確認 holder identity 與當前運行中的 Rancher pod 相符：

kubectl get pods -n cattle-system -l app=rancher -o name

在 lease 被取得之後，downstream cluster 的狀態應在 1–3 分鐘內從 Updating/Reconciling 轉為 Active。

驗證

確認叢集已恢復連線：

kubectl get clusters.management.cattle.io <cluster-id> \
 -o jsonpath='{.status.conditions[?(@.type=="Connected")]}' | python3 -m json.tool

預期輸出："status": "True"

在 Rancher UI 確認所有 machine 都顯示 Running 狀態。
驗證對所有節點上的 pod 執行 kubectl logs 時不再出現 502 錯誤。

預防措施

為降低未來 Rancher 更新時再次遇到此問題的影響：

在更新後監控 lease。 每次 Rancher deployment 重啟或升級後，驗證 cattle-controllers lease 是否指向正在運行的 pod：

LEADER=$(kubectl get lease cattle-controllers -n kube-system \
 -o jsonpath='{.spec.holderIdentity}')
kubectl get pod -n cattle-system "$LEADER" 2>/dev/null \
 || echo "警告：Leader pod $LEADER 不存在 — lease 已過期"

將 lease 檢查納入升級手冊。 在您的標準 Rancher 升級流程中，於 rollout 完成後立即加入 lease 驗證步驟。
考慮提交 feature request。 162,000 秒（45 小時）的 lease 過期時間設定過於保守。較短的過期時間（例如 300–600 秒）可以縮短 failover 視窗，同時仍能提供對短暫網路中斷的韌性。

診斷步驟摘要

以下指令用於診斷此問題，可在類似的故障排查中重複使用：

步驟	指令	用途
1	`kubectl get nodes -o wide`	驗證 downstream cluster 節點健康狀態
2	`kubectl get pods -n cattle-system -o wide`	檢查 cluster agent 狀態
3	`kubectl logs -n cattle-system -l app=rancher \| grep "401\|tunnel\|failed auth"`	在 Rancher server 上尋找 tunnel 認證失敗訊息
4	`kubectl get clusters.management.cattle.io <id> -o jsonpath='{.status.conditions}'`	檢查 Connected 狀態
5	`kubectl get clusters.provisioning.cattle.io -n fleet-default <n> -o jsonpath='{.status.conditions}'`	檢查 provisioning conditions
6	`kubectl get lease cattle-controllers -n kube-system -o yaml`	識別過期的 leader lease
7	`kubectl get pods -n cattle-system -l app=rancher -o name`	比對 lease holder 與運行中的 pod

補充資訊

此問題可能同時影響任意數量的 downstream cluster，因為所有叢集管理操作皆依賴單一的 cattle-controllers leader。
此問題不限於 Rancher v2.13.x，任何使用長 leaseDurationSeconds 設定的 cattle-controllers lease 版本都可能發生。
在此期間，downstream cluster 本身保持完全正常運作。僅 Rancher 的 management plane 操作受到影響。
刪除 lease 是非破壞性操作。新的 leader 將根據系統的當前狀態從頭開始重新調解所有叢集狀態。

Install ArgoCD on Rancher RKE2

Fri, 20 Mar 2026 07:58:28 +0800

1. Install ArgoCD

執行以下命令

kubectl create namespace argocd
kubectl apply -n argocd --server-side --force-conflicts -f https://raw.githubusercontent.com/argoproj/argo-cd/stable/manifests/install.yaml

Wait for all pods to be ready

kubectl wait --for=condition=Ready pods --all -n argocd --timeout=300s

執行結果：

pod/argocd-application-controller-0 condition met
pod/argocd-applicationset-controller-7dc85c9598-m4rrd condition met
pod/argocd-dex-server-7d88b5b798-jq58x condition met
pod/argocd-notifications-controller-5f95df7f8c-x94js condition met
pod/argocd-redis-65b5bbd8cb-jw27t condition met
pod/argocd-repo-server-69fb9fb66f-hgvrg condition met
pod/argocd-server-58dbdffdcd-4qz8l condition met

expose ArgoCD with ingress

cat << 'EOF' | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: argocd-server
namespace: argocd
annotations:
nginx.ingress.kubernetes.io/ssl-passthrough: "true"
nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
spec:
ingressClassName: nginx
rules:
- host: argocd.kubeantony.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: argocd-server
port:
number: 443
EOF

Grafana Reporter 部署指南（Harvester / Rancher 環境）

Wed, 11 Mar 2026 02:27:26 +0800

概述

本文件說明如何在 Harvester（Rancher 管理）環境中部署 IzakMarais/reporter，讓 Grafana Dashboard 能一鍵產生 PDF 報表，並透過 Rancher Proxy 對外存取。

架構說明

瀏覽器
│
▼
Rancher API Proxy（https://hvx.kubeantony.com/api/v1/namespaces/...）
│
├──► grafana-reporter（:8686）──► Grafana（:80）──► Prometheus
│
└──► grafana-image-renderer（:8081）◄── Grafana（render 請求）

Grafana Reporter：接收使用者請求，透過 Grafana API 取得 Dashboard 資料與面板圖片，產生 PDF。
Grafana Image Renderer：Grafana 的圖片渲染服務，將面板渲染為 PNG 圖片供 Reporter 使用。
所有元件都部署在 cattle-monitoring-system namespace 內，透過 K8s 內部 Service 互連。

前置確認

# 確認 Grafana Service 名稱
kubectl get svc -n cattle-monitoring-system | grep grafana

記下 Grafana 的 Service 名稱（通常為 rancher-monitoring-grafana），後續設定會用到。

步驟一：部署 Grafana Reporter

建立 grafana-reporter.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
 name: grafana-reporter
 namespace: cattle-monitoring-system
spec:
 replicas: 1
 selector:
 matchLabels:
 app: grafana-reporter
 template:
 metadata:
 labels:
 app: grafana-reporter
 spec:
 containers:
 - name: grafana-reporter
 image: izakmarais/grafana-reporter:latest
 command: ["/usr/local/bin/grafana-reporter"]
 args:
 - "-ip"
 - "rancher-monitoring-grafana.cattle-monitoring-system.svc:80"
 ports:
 - containerPort: 8686
---
apiVersion: v1
kind: Service
metadata:
 name: grafana-reporter
 namespace: cattle-monitoring-system
spec:
 selector:
 app: grafana-reporter
 ports:
 - name: http
 port: 8686
 targetPort: 8686
 protocol: TCP
 type: ClusterIP

部署：

kubectl apply -f grafana-reporter.yaml

驗證：

# 確認 Pod 狀態為 Running
kubectl get pods -n cattle-monitoring-system | grep reporter

# 確認 log 顯示正確連線 Grafana
kubectl logs -n cattle-monitoring-system -l app=grafana-reporter

預期 log 輸出：

serving at ':8686' and using grafana at 'http://rancher-monitoring-grafana.cattle-monitoring-system.svc:80'

步驟二：部署 Grafana Image Renderer

Rancher Monitoring Chart 的 imageRenderer.enabled 有已知 template bug，因此採用手動獨立部署。

建立 image-renderer.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
 name: grafana-image-renderer
 namespace: cattle-monitoring-system
spec:
 replicas: 1
 selector:
 matchLabels:
 app: grafana-image-renderer
 template:
 metadata:
 labels:
 app: grafana-image-renderer
 spec:
 containers:
 - name: image-renderer
 image: grafana/grafana-image-renderer:latest
 ports:
 - containerPort: 8081
 env:
 - name: ENABLE_METRICS
 value: "true"
---
apiVersion: v1
kind: Service
metadata:
 name: grafana-image-renderer
 namespace: cattle-monitoring-system
spec:
 selector:
 app: grafana-image-renderer
 ports:
 - port: 8081
 targetPort: 8081
 type: ClusterIP

部署：

kubectl apply -f image-renderer.yaml

驗證：

kubectl get pods -n cattle-monitoring-system | grep image-renderer

步驟三：設定 Grafana 連線 Image Renderer

重點： 僅設定環境變數不夠，必須修改 grafana.ini 設定檔，Grafana 才會識別 renderer。

3-1. 編輯 Grafana ConfigMap

kubectl edit configmap rancher-monitoring-grafana -n cattle-monitoring-system

在 grafana.ini 最末尾加入 [rendering] 區塊：

 [rendering]
 server_url = http://grafana-image-renderer.cattle-monitoring-system.svc:8081/render
 callback_url = http://rancher-monitoring-grafana.cattle-monitoring-system.svc:80/

完整的 grafana.ini 範例：

 [analytics]
 check_for_updates = true
 [auth]
 disable_login_form = false
 [auth.anonymous]
 enabled = true
 org_role = Viewer
 [auth.basic]
 enabled = false
 [dashboards]
 default_home_dashboard_path = /tmp/dashboards/rancher-default-home.json
 [grafana_net]
 url = https://grafana.net
 [log]
 mode = console
 [paths]
 data = /var/lib/grafana/
 logs = /var/log/grafana
 plugins = /var/lib/grafana/plugins
 provisioning = /etc/grafana/provisioning
 [security]
 allow_embedding = true
 [server]
 domain = ''
 [users]
 auto_assign_org_role = Viewer
 [rendering]
 server_url = http://grafana-image-renderer.cattle-monitoring-system.svc:8081/render
 callback_url = http://rancher-monitoring-grafana.cattle-monitoring-system.svc:80/

3-2. 重啟 Grafana

kubectl rollout restart deployment rancher-monitoring-grafana -n cattle-monitoring-system

3-3. 驗證 Renderer 連線

# 從 Grafana Pod 測試連線 renderer
kubectl exec -n cattle-monitoring-system \
 $(kubectl get pods -n cattle-monitoring-system -l app.kubernetes.io/name=grafana \
 -o jsonpath='{.items[0].metadata.name}') \
 -- curl -s http://grafana-image-renderer.cattle-monitoring-system.svc:8081/

預期回應：

Grafana Image Renderer (Go)

也可以在 Grafana UI 中驗證：Administration → Plugins → 搜尋 “Image Renderer”，應顯示為 remote rendering service。

步驟四：測試 Rancher Proxy 存取 Reporter

在瀏覽器中打開以下 URL（將 <DASHBOARD_UID> 替換為實際的 Dashboard UID）：

https://hvx.kubeantony.com/api/v1/namespaces/cattle-monitoring-system/services/http:grafana-reporter:8686/proxy/api/v5/report/<DASHBOARD_UID>

如果能下載 PDF 且包含圖表，代表全部設定正確。

步驟五：設定 Grafana Dashboard Link

進入目標 Dashboard
點右上角 齒輪圖示（Dashboard Settings）
點左側 Links 頁籤
點 + New link，填入以下設定：

欄位	值
Type	link
Title	reports
URL	見下方
Icon	doc
Open in new tab	✅ 打勾

URL 設定：

https://hvx.kubeantony.com/api/v1/namespaces/cattle-monitoring-system/services/http:grafana-reporter:8686/proxy/api/v5/report/${__dashboard.uid}?from=${__from}&to=${__to}

如果 Dashboard 有使用變數（如 datasource、instance），可以加上：

https://hvx.kubeantony.com/api/v1/namespaces/cattle-monitoring-system/services/http:grafana-reporter:8686/proxy/api/v5/report/${__dashboard.uid}?from=${__from}&to=${__to}&var-datasource=${datasource}&var-instance=${instance}

點 Save dashboard

設定完成後，Dashboard 右上方會出現 reports 連結，點擊即可在新分頁下載 PDF 報表。

疑難排解

PDF 產生但沒有圖表

# 檢查 Grafana log 是否有 renderer 錯誤
kubectl logs -n cattle-monitoring-system \
 $(kubectl get pods -n cattle-monitoring-system -l app.kubernetes.io/name=grafana \
 -o jsonpath='{.items[0].metadata.name}') \
 -c grafana --tail=50 | grep rendering

如果看到 no image renderer found/installed，代表 grafana.ini 的 [rendering] 設定未生效，請重新確認 ConfigMap 並重啟 Grafana。

Reporter 無法連線 Grafana

# 確認 Grafana Service 存在且可連線
kubectl exec -n cattle-monitoring-system \
 $(kubectl get pods -n cattle-monitoring-system -l app=grafana-reporter \
 -o jsonpath='{.items[0].metadata.name}') \
 -- wget -qO- http://rancher-monitoring-grafana.cattle-monitoring-system.svc:80/api/health

Rancher Proxy 回傳 404

確認 Service 已正確建立：

kubectl get svc -n cattle-monitoring-system grafana-reporter

Rancher Proxy URL 格式必須完全正確：

https://<rancher域名>/api/v1/namespaces/<namespace>/services/http:<service名稱>:<port>/proxy/

注意事項

透過 kubectl edit 修改的 ConfigMap 和 Deployment，在下次 Rancher Monitoring Helm Chart 升級時可能被覆蓋。升級後需重新確認 [rendering] 設定是否仍存在。
Image Renderer 和 Reporter 是獨立部署的，不受 Helm Chart 升級影響。
如果未來 Rancher 修復了 image-renderer-deployment.yaml 的 template bug，可以改回透過 Helm values 啟用 grafana.imageRenderer.enabled: true，屆時可移除手動部署的 image-renderer。

Install Minio with Rancher Application Collection

Mon, 09 Mar 2026 07:40:36 +0800

Prepare

helm login Rancher Application Collection

helm registry login dp.apps.rancher.io \
-u <user> \
-p <password>

download helm chart

helm pull oci://dp.apps.rancher.io/charts/minio --version 5.4.0

Create Namespace
```
kubectl create ns minio
```

建立 Image Pull Secret

kubectl -n minio create secret docker-registry application-collection \
--docker-server=dp.apps.rancher.io \
--docker-username=<user> \
--docker-password=<password>

確認已安裝 Ingress Controller 和 StorageClass (本篇文章用的是 Nginx 和 local-path)

確認當前 K8s 叢集的 Ingress Controller

kubectl get ingressclasses.networking.k8s.io

執行結果：

NAME CONTROLLER PARAMETERS AGE
nginx k8s.io/ingress-nginx <none> 7d

確認當前 K8s 叢集的 StorageClass

kubectl get sc local-path

執行結果：

NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
local-path (default) rancher.io/local-path Delete WaitForFirstConsumer false 6d3h

確認已安裝 Cert-manager

kubectl -n cert-manager get pods

執行結果：

NAME READY STATUS RESTARTS AGE
cert-manager-578bff8c75-ms6hw 1/1 Running 0 41m
cert-manager-cainjector-566b8f9766-pxnlb 1/1 Running 0 41m
cert-manager-webhook-c9997c6b5-94fsj 1/1 Running 0 41m

Deploy

解壓縮 minio chart
```
tar -zxvf minio-5.4.0.tgz; cd minio
```

定義 MinIO 自簽憑證的簽發架構

mkdir cert-manager/; vim minio-pki-bootstrap.yaml

檔案內容如下：

apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
name: selfsigned-issuer
spec:
selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
name: selfsigned-ca
namespace: minio
spec:
isCA: true
commonName: selfsigned-ca
secretName: root-secret
privateKey:
algorithm: ECDSA
size: 256
issuerRef:
name: selfsigned-issuer
kind: ClusterIssuer
group: cert-manager.io
---
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
name: ca-issuer
namespace: minio
spec:
ca:
secretName: root-secret

檔案包含三個資源：

ClusterIssuer（自簽發行者）

Certificate（作為 Root CA 的自簽憑證，使用 ECDSA P-256 演算法，並將私鑰跟憑證都存入 Secret root-secret）

以及 Issuer（引用該 Root CA 來簽發後續憑證）

將上述資源套用至叢集，Cert-manager 會自動產生 Root CA 憑證與私鑰，並建立可用於 minio namespace 中後續憑證簽發的 CA Issuer。
```
kubectl apply -f cert-manager/minio-pki-bootstrap.yaml
```

撰寫 minio values.yaml

vim custom-values.yaml

檔案內容如下：

global:
imagePullSecrets:
- application-collection
mode: standalone
persistence:
size: 5Gi
resources:
requests:
memory: 512Mi
rootPassword: admin123
rootUser: admin
ingress:
enabled: true
ingressClassName: nginx
annotations:
nginx.ingress.kubernetes.io/proxy-body-size: "0"
cert-manager.io/issuer: ca-issuer
path: /
hosts:
- api.minio.kubeantony.com
tls:
- secretName: minio-api-tls
hosts:
- api.minio.kubeantony.com
consoleIngress:
enabled: true
ingressClassName: nginx
annotations:
cert-manager.io/issuer: ca-issuer
path: /
hosts:
- console.minio.kubeantony.com
tls:
- secretName: minio-console-tls
hosts:
- console.minio.kubeantony.com

部署 Minio

helm -n minio upgrade --install minio . -f custom-values.yaml

執行結果：

Release "minio" has been upgraded. Happy Helming!
NAME: minio
LAST DEPLOYED: Mon Mar 9 14:40:55 2026
NAMESPACE: minio
STATUS: deployed
REVISION: 9
TEST SUITE: None
NOTES:
MinIO can be accessed via port 9000 on the following DNS name from within your cluster:
minio.minio.cluster.local
To access MinIO from localhost, run the below commands:
1. export POD_NAME=$(kubectl get pods --namespace minio -l "release=minio" -o jsonpath="{.items[0].metadata.name}")
2. kubectl port-forward $POD_NAME 9000 --namespace minio
Read more about port forwarding here: http://kubernetes.io/docs/user-guide/kubectl/kubectl_port-forward/
You can now access MinIO server on http://localhost:9000. Follow the below steps to connect to MinIO server with mc client:
1. Download the MinIO mc client - https://min.io/docs/minio/linux/reference/minio-mc.html#quickstart
2. export MC_HOST_minio-local=http://$(kubectl get secret --namespace minio minio -o jsonpath="{.data.rootUser}" | base64 --decode):$(kubectl get secret --namespace minio minio -o jsonpath="{.data.rootPassword}" | base64 --decode)@localhost:9000
3. mc ls minio-local

確認 Minio Pods 有正常運作

kubectl -n minio get pods

執行結果：

NAME READY STATUS RESTARTS AGE
minio-7f67bcc94c-7hcc5 1/1 Running 0 3h58m

查看 Ingress

kubectl -n minio get ing

執行結果：

NAME CLASS HOSTS ADDRESS PORTS AGE
minio nginx api.minio.kubeantony.com 192.168.11.154,192.168.11.155,192.168.11.156 80, 443 3h52m
minio-console nginx console.minio.kubeantony.com 192.168.11.154,192.168.11.155,192.168.11.156 80, 443 3h29m

打開瀏覽器，連線至 Minio 管理網站
```
https://console.minio.kubeantony.com/
```
確認打開瀏覽器的電腦能透過 DNS 解析 Minio FQDN 的 IP

Install Prometheus with Rancher Application Collection

Wed, 04 Mar 2026 06:29:22 +0800

Prepare

helm login

helm registry login dp.apps.rancher.io \
-u tropical_flower_6fT5U@apps.rancher.io \
-p Z2xlbHB3enpmcXdmdnBkbnl0aGZ3Znlia2l2cHRoZ3hlY2VveWptdnBrZXh3Y215eG13Y2xhcGRocGpyemZreg==

Harvester 使用 Velero 外部 CSI 儲存備份：如何確保 VM 資料一致性。

Sat, 28 Feb 2026 14:17:54 +0800

1. Preface

Harvester 1.5 導入了對使用外部容器儲存介面（CSI）驅動程式來配置虛擬機器根磁碟區（root volumes）與資料磁碟區（data volumes）的支援。

本文將示範如何使用 Velero 1.17.0 在 Harvester 中執行虛擬機器的備份與還原。文章將透過具體的指令與資源清單（manifests）來完成以下操作：

備份特 namespace 內的虛擬機器、其 NFS CSI 磁碟區，以及相關的命名空間層級設定檔
將備份產物匯出至 AWS S3 儲存體（bucket）
還原至同一個叢集（cluster）上的不同 namespace
還原至不同的叢集

Velero 是一款 Kubernetes 原生的備份與還原工具，讓使用者能夠對虛擬機器執行排程與隨選（on-demand）備份，並將資料儲存至外部的物件儲存供應商（例如 S3、Azure Blob 或 GCS），完美契合企業級的備份與災難復原實務標準。

2. 安裝與部署 Garage（輕量級 S3 相容的物件儲存系統）

建立永存目錄

sudo mkdir -p /garage/{data,meta,config}

撰寫 garage.toml 設定檔

[s3_api] 和 [s3_web] 區塊底下的 root_domain 的值需要根據環境調整

cat <<EOF | sudo tee /garage/config/garage.toml > /dev/null
metadata_dir = "/var/lib/garage/meta"
data_dir = "/var/lib/garage/data"
db_engine = "sqlite"
replication_factor = 1
rpc_bind_addr = "[::]:3901"
rpc_public_addr = "127.0.0.1:3901"
rpc_secret = "ba7861f27fccfe06a99245b49e33113ca846cecdc9956169a47d7eecd74aa7d8"
[s3_api]
s3_region = "garage"
api_bind_addr = "[::]:3900"
root_domain = "api.garage.kubeantony.com"
[s3_web]
bind_addr = "[::]:3902"
root_domain = "web.garage.kubeantony.com"
index = "index.html"
[k2v_api]
api_bind_addr = "[::]:3904"
[admin]
api_bind_addr = "[::]:3903"
admin_token = "KV0EuVoDxze0Ut7tQdkvNiU8TKcD8LejZQglH/JGK00="
metrics_token = "RQxx1DjKcnhpEVnPmjxWn+CzLY5wNBNT60GMvHQ+LXo="
EOF

透過 Podman 部署 Garage

sudo podman run \
-d \
--name garaged \
--network host \
-v /garage/config/garage.toml:/etc/garage.toml \
-v /garage/meta:/var/lib/garage/meta \
-v /garage/data:/var/lib/garage/data \
dxflrs/garage:v2.2.0

確認 Garage Container 運作狀態

sudo podman ps -a --filter name=garage

執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
499fff9ed2db docker.io/dxflrs/garage:v2.2.0 /garage server 31 minutes ago Up 31 minutes garaged

查詢 Garage 節點狀態

sudo podman exec -it garaged /garage status

執行結果：

2026-02-26T06:41:45.072105Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T06:41:45.113726Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== HEALTHY NODES ====
ID Hostname Address Tags Zone Capacity DataAvail Version
368849c86cba2382 garage.kubeantony.com 127.0.0.1:3901 NO ROLE ASSIGNED v2.2.0

將指定的 Garage 節點設定至 dc1 可用區（Zone）和 50GB 的儲存容量。

sudo podman exec -it garaged /garage layout assign -z dc1 -c 50G 368849c86cba2382

執行結果：

2026-02-26T06:42:30.841741Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T06:42:30.882712Z INFO garage_net::netapp: Connection established to 368849c86cba2382
Role changes are staged but not yet committed.
Use `garage layout show` to view staged role changes,
and `garage layout apply` to enact staged changes.

執行結果顯示此變更目前僅處於「暫存 staged」狀態

正式套用先前暫存的叢集配置（版本 1），使節點的角色與容量設定正式生效。

sudo podman exec garaged /garage layout apply --version 1

執行結果：

2026-02-26T06:42:50.085913Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T06:42:50.126651Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== COMPUTATION OF A NEW PARTITION ASSIGNATION ====
Partitions are replicated 1 times on at least 1 distinct zones.
Optimal partition size: 195.3 MB
Usable capacity / total cluster capacity: 50.0 GB / 50.0 GB (100.0 %)
Effective capacity (replication factor 1): 50.0 GB
dc1 Tags Partitions Capacity Usable capacity
368849c86cba2382 [] 256 (256 new) 50.0 GB 50.0 GB (100.0%)
TOTAL 256 (256 unique) 50.0 GB 50.0 GB (100.0%)
New cluster layout with updated role assignment has been applied in cluster.
Data will now be moved around between nodes accordingly.

再次確認 Garage 節點狀態

sudo podman exec garaged /garage status

執行結果：

2026-02-26T07:49:07.462651Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T07:49:07.503706Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== HEALTHY NODES ====
ID Hostname Address Tags Zone Capacity DataAvail Version
368849c86cba2382 garage.kubeantony.com 127.0.0.1:3901 [] dc1 50.0 GB 58.5 GB (82.0%) v2.2.0

建立 Bucket

sudo podman exec garaged /garage bucket create vm-backup

執行結果：

2026-02-26T07:54:42.568429Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T07:54:42.609720Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== BUCKET INFORMATION ====
Bucket: be30df62bea032acdc9ba3b992b32a43794b9f950599870e21ee706340c39c96
Created: 2026-02-26 07:54:42.610 +00:00
Size: 0 B (0 B)
Objects: 0
Website access: false
Global alias: vm-backup
==== KEYS FOR THIS BUCKET ====
Permissions Access key Local aliases

建立 API Key

sudo podman exec garaged /garage key create vm-backup-access-key

執行結果：

2026-02-26T07:56:11.307951Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T07:56:11.348732Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== ACCESS KEY INFORMATION ====
Key ID: GK6e4243deca7bc09fdffcb405
Key name: vm-backup-access-key
Secret key: 9280dbc88cb656a8589783f0762652fdb93362b2df0c7a47cfa7f2ae9b15899f
Created: 2026-02-26 07:56:11.348 +00:00
Validity: valid
Expiration: never
Can create buckets: false
==== BUCKETS FOR THIS KEY ====
Permissions ID Global aliases Local aliases

賦予權限

sudo podman exec garaged /garage bucket allow --read --write --owner vm-backup --key vm-backup-access-key

執行結果：

2026-02-26T07:57:44.077279Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T07:57:44.118727Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== BUCKET INFORMATION ====
Bucket: be30df62bea032acdc9ba3b992b32a43794b9f950599870e21ee706340c39c96
Created: 2026-02-26 07:54:42.610 +00:00
Size: 0 B (0 B)
Objects: 0
Website access: false
Global alias: vm-backup
==== KEYS FOR THIS BUCKET ====
Permissions Access key Local aliases
RWO GK6e4243deca7bc09fdffcb405 vm-backup-access-key

測試掛載，安裝 s3fs
```
sudo apt-get install s3fs -y
```

設定 s3fs

echo "GK6e4243deca7bc09fdffcb405:9280dbc88cb656a8589783f0762652fdb93362b2df0c7a47cfa7f2ae9b15899f" > ${HOME}/.passwd-s3fs
chmod 600 ${HOME}/.passwd-s3fs
sudo sed -i 's/#user_allow_other/user_allow_other/' /etc/fuse.conf

建立掛載點

sudo mkdir -p /mnt/garage-s3
sudo chown $USER:$USER /mnt/garage-s3

將自建 Garage S3 上的 vm-backup bucket 儲存體掛載至本地 /mnt/garage-s3

s3fs vm-backup /mnt/garage-s3 \
-o passwd_file=${HOME}/.passwd-s3fs \
-o url=http://garage.kubeantony.com:3900 \
-o use_path_request_style \
-o allow_other \
-o umask=000 \
-o endpoint=garage

檢視 /mnt/garage-s3 目錄已掛載到 s3

findmnt -t fuse.s3fs

執行結果：

TARGET SOURCE
FSTYPE OPTIONS
/mnt/garage-s3 s3fs fuse.s3fs rw,nosuid,nodev,relatime,user_id=1000,group_id=1000,allow_other

寫入資料

echo "test connection" > /mnt/garage-s3/test.txt

查詢 vm-backup Bucket 詳細狀態

sudo podman exec garaged /garage bucket info vm-backup

執行結果：

2026-02-26T08:17:07.919852Z INFO garage_net::netapp: Connected to 127.0.0.1:3901, negotiating handshake...
2026-02-26T08:17:07.960680Z INFO garage_net::netapp: Connection established to 368849c86cba2382
==== BUCKET INFORMATION ====
Bucket: be30df62bea032acdc9ba3b992b32a43794b9f950599870e21ee706340c39c96
Created: 2026-02-26 07:54:42.610 +00:00
Size: 16 B (16 B)
Objects: 1
Website access: false
Global alias: vm-backup
==== KEYS FOR THIS BUCKET ====
Permissions Access key Local aliases
RWO GK6e4243deca7bc09fdffcb405 vm-backup-access-key

清除測試資料與取消掛載

rm /mnt/garage-s3/test.txt
umount /mnt/garage-s3

3. Install and Configure Velero

ssh 連線到 Harvester Control plane 節點執行以下操作

安裝 Velero CLI

# 設定版本
VERSION=v1.17.0
# 使用 curl 下載並重新命名檔案
curl -L https://github.com/vmware-tanzu/velero/releases/download/$VERSION/velero-$VERSION-linux-amd64.tar.gz -o velero.tar.gz
# 解壓縮
tar -xvf velero.tar.gz
# 移動到系統路徑
mv velero-$VERSION-linux-amd64/velero /root/bin/
# 測試
velero version --client-only

執行結果：

Client:
Version: v1.17.0
Git commit: 3172d9f99c3d501aad9ddfac8176d783f7692dce

設置以下 shell 變數

BUCKET_NAME=vm-backup
BUCKET_REGION=garage
echo "[default]
aws_access_key_id=GK6e4243deca7bc09fdffcb405
aws_secret_access_key=9280dbc88cb656a8589783f0762652fdb93362b2df0c7a47cfa7f2ae9b15899f" > ${HOME}/.passwd
AWS_CREDENTIALS_FILE=${HOME}/.passwd

在 Harvester 集群上安裝 Velero
```
velero install \
--provider aws \
--features=EnableCSI \
--plugins "velero/velero-plugin-for-aws:v1.12.0,quay.io/kubevirt/kubevirt-velero-plugin:v0.7.1" \
--bucket "${BUCKET_NAME}" \
--secret-file "${AWS_CREDENTIALS_FILE}" \
--backup-location-config region="${BUCKET_REGION}" \
--snapshot-location-config region="${BUCKET_REGION}" \
--use-node-agent
```
在這個設定中，Velero 被設定為：
- 跑在 velero namespace
- 啟用 CSI 儲存卷快照 (volume snapshot) API
- 啟用內建的節點代理程式 (node agent) 資料移動控制器與 Pod
- 使用 velero-plugin-for-aws 外掛程式來管理與 S3 物件儲存庫的互動
- 使用 kubevirt-velero-plugin 外掛程式來備份與還原 KubeVirt 資源

確認 Velero 已安裝並正在運行

kubectl -n velero get pods

執行結果：

NAME READY STATUS RESTARTS AGE
node-agent-49f56 1/1 Running 0 4m30s
node-agent-dhtmj 1/1 Running 0 4m30s
node-agent-n4wh9 1/1 Running 0 4m30s
velero-6c57f94f49-bxcjx 1/1 Running 0 4m30s

設定 velero CLI 以輸出 CSI 物件的備份和還原狀態
```
velero client config set features=EnableCSI
```

patch backupstoragelocation

kubectl patch backupstoragelocation default -n velero --type merge --patch '{"spec":{"config":{"s3Url":"http://garage.kubeantony.com:3900","s3ForcePathStyle":"true"}}}'

Check Backup-location status

velero backup-location get

執行結果:

NAME PROVIDER BUCKET/PREFIX PHASE LAST VALIDATED ACCESS MODE DEFAULT
default aws vm-backup Available 2026-02-28 11:56:20 +0000 UTC ReadWrite true

4. Deploy the NFS CSI and Example Server

在 Kubernetes 叢集上設置 NFS 伺服器

curl -s -O https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/nfs-provisioner/nfs-server.yaml
vim nfs-server.yaml

檔案內容：

 volumes:
- name: nfs-vol
hostPath:
path: /root/nfs-data # modify this to specify another path to store nfs share data
type: DirectoryOrCreate

部署 NFS 伺服器

kubectl apply -f nfs-server.yaml

執行結果：

service/nfs-server created
deployment.apps/nfs-server created

檢查 NFS 伺服器是否正常運作

kubectl get pods

執行結果：

NAME READY STATUS RESTARTS AGE
nfs-server-69ff4786bd-4pf6v 1/1 Running 0 3m22s

部署 NFS CSI 驅動程式

curl -skSL https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/v4.13.1/deploy/install-driver.sh | bash -s v4.13.1 --

執行結果：

Installing NFS CSI driver, version: v4.13.1 ...
serviceaccount/csi-nfs-controller-sa created
serviceaccount/csi-nfs-node-sa created
clusterrole.rbac.authorization.k8s.io/nfs-external-provisioner-role created
clusterrolebinding.rbac.authorization.k8s.io/nfs-csi-provisioner-binding created
clusterrole.rbac.authorization.k8s.io/nfs-external-resizer-role created
clusterrolebinding.rbac.authorization.k8s.io/nfs-csi-resizer-role created
csidriver.storage.k8s.io/nfs.csi.k8s.io created
deployment.apps/csi-nfs-controller created
daemonset.apps/csi-nfs-node created
NFS CSI driver installed successfully.

確認 pods 狀態

kubectl -n kube-system get pod -o wide -l 'app in (csi-nfs-controller, csi-nfs-node)'

執行結果：

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
csi-nfs-controller-68599bd8b6-v68cr 5/5 Running 0 8m36s 192.168.11.183 hvx-03 <none> <none>
csi-nfs-node-2s57l 3/3 Running 0 8m35s 192.168.11.181 hvx-01 <none> <none>
csi-nfs-node-79zpf 3/3 Running 0 8m35s 192.168.11.182 hvx-02 <none> <none>
csi-nfs-node-smcq8 3/3 Running 0 8m35s 192.168.11.183 hvx-03 <none> <none>

建立 Client pod 掛載 NFS Volume 檢查 NFS 伺服器是否正常運作

kubectl create -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/nfs-provisioner/nginx-pod.yaml

確認 client pod 運作正常

kubectl get pod nginx-nfs-example

執行結果：

NAME READY STATUS RESTARTS AGE
nginx-nfs-example 1/1 Running 0 43m

從範例 pod 檢查掛載點

kubectl exec nginx-nfs-example -- bash -c "findmnt /var/www -o TARGET,SOURCE,FSTYPE"

執行結果：

TARGET SOURCE FSTYPE
/var/www nfs-server.default.svc.cluster.local:/ nfs4

清除 client pod

kubectl delete -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/nfs-provisioner/nginx-pod.yaml

撰寫 NFS Storage Class YAML 檔

vi nfs-sc.yaml

檔案內容如下:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
server: nfs-server.default.svc.cluster.local
share: /
# csi.storage.k8s.io/provisioner-secret is only needed for providing mountOptions in DeleteVolume
# csi.storage.k8s.io/provisioner-secret-name: "mount-options"
# csi.storage.k8s.io/provisioner-secret-namespace: "default"
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
- nfsvers=4.1

建立 NFS Storage Class
```
kubectl apply -f nfs-sc.yaml
```

Create source PVC and an example pod to write data

kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/pvc-nfs-csi-dynamic.yaml
kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/nginx-pod-nfs.yaml

Check the Source PVC

kubectl exec nginx-nfs -- ls /mnt/nfs

執行結果:

outfile

Create a snapshot on source PVC

kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/snapshotclass-nfs.yaml
kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/snapshot-nfs-dynamic.yaml

Check snapshot Status

kubectl describe volumesnapshot test-nfs-snapshot

執行結果:

Name: test-nfs-snapshot
Namespace: default
Labels: <none>
Annotations: <none>
API Version: snapshot.storage.k8s.io/v1
Kind: VolumeSnapshot
Metadata:
Creation Timestamp: 2026-02-28T09:37:06Z
Finalizers:
snapshot.storage.kubernetes.io/volumesnapshot-as-source-protection
snapshot.storage.kubernetes.io/volumesnapshot-bound-protection
Generation: 1
Resource Version: 15038120
UID: 59a4ddb9-a123-4dea-b220-e0fcac477f59
Spec:
Source:
Persistent Volume Claim Name: pvc-nfs-dynamic
Volume Snapshot Class Name: csi-nfs-snapclass
Status:
Bound Volume Snapshot Content Name: snapcontent-59a4ddb9-a123-4dea-b220-e0fcac477f59
Creation Time: 2026-02-28T09:37:06Z
Ready To Use: true
Restore Size: 1026
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal CreatingSnapshot 46s snapshot-controller Waiting for a snapshot default/test-nfs-snapshot to be created by the CSI driver.
Normal SnapshotCreated 46s snapshot-controller Snapshot default/test-nfs-snapshot was successfully created by the CSI driver.
Normal SnapshotReady 46s snapshot-controller Snapshot default/test-nfs-snapshot is ready to use.

In above example, snapcontent-59a4ddb9-a123-4dea-b220-e0fcac477f59 is the snapshot name.

Create a new PVC based on snapshot

kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/pvc-nfs-snapshot-restored.yaml
kubectl apply -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/nginx-pod-restored-snapshot.yaml

Check data

kubectl exec nginx-nfs-restored-snapshot -- ls /mnt/nfs

執行結果:

outfile

清除範例 pod

kubectl delete -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/nginx-pod-nfs.yaml
kubectl delete -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/pvc-nfs-csi-dynamic.yaml
kubectl delete -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/nginx-pod-restored-snapshot.yaml
kubectl delete -f https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/deploy/example/snapshot/pvc-nfs-snapshot-restored.yaml

5. Preparing the Virtual Machine and Image

Create a custom namespace named demo-src
```
kubectl create ns demo-src
```
上傳 ubuntu images
```
https://cloud-images.ubuntu.com/minimal/releases/noble/release-20260218/ubuntu-24.04-minimal-cloudimg-amd64.img
```
點選左側選單 images -> 在 URL 欄位輸入以上網址

Stoage 選擇 nfs-csi -> Create

確認虛擬機映像檔已成功上傳至 Harvester：
建立 VM

輸入 VM 名稱: test

點選 Volumes -> 選擇剛剛上傳的 Image demo-src/ubuntu-24.04-minimal-cloudimg-amd64.img (nfs-csi / 3.5 Gi)

點選 Add Volume -> StorageClass nfs-csi -> Volume Mode: Filesystem

Cloud Config user-data
```
ssh_pwauth: true
users:
- default
- name: rancher
gecos: rancher
groups: users
lock_passwd: false
sudo: ALL=(ALL) NOPASSWD:ALL
plain_text_passwd: 'rancher'
shell: /bin/bash
```
點選 Console -> Open in Serial Console

add some files to both the root and data volumes.

sudo touch /test
sudo mkdir /data
sudo mkfs.ext4 /dev/vdb
echo '/dev/vdb /data ext4 defaults 0 2' | sudo tee -a /etc/fstab
sudo mount -a
echo "haha" | sudo tee /data/test

6. 驗證檔案系統凍結相容性

Access the virtual machine’s virt-launcher compute container

POD=$(kubectl get pods -n demo-src \
-l vm.kubevirt.io/name=test \
-o jsonpath='{.items[0].metadata.name}')
kubectl exec -it $POD -n demo-src -c compute -- bash

Test filesystem freeze using the virt-freezer application available in the compute container:

virt-freezer --freeze --namespace demo-src --name test

執行結果:

{"component":"freezer","level":"info","msg":"Guest agent version is 8.2.2","pos":"virt-freezer.go:114","timestamp":"2026-02-28T14:00:43.873324Z"}
{"component":"freezer","level":"info","msg":"Operation completed successfully","pos":"virt-freezer.go:152","timestamp":"2026-02-28T14:00:43.940305Z"}

解凍

virt-freezer --unfreeze --namespace demo-src --name test

執行結果:

{"component":"freezer","level":"info","msg":"Guest agent version is 8.2.2","pos":"virt-freezer.go:114","timestamp":"2026-02-28T14:02:06.328210Z"}
{"component":"freezer","level":"info","msg":"Operation completed successfully","pos":"virt-freezer.go:152","timestamp":"2026-02-28T14:02:06.338162Z"}

設定在開始建立備份前凍結 VM 檔案系統，備份完成後解凍虛擬機檔案系統

kubectl patch virtualmachine test -n demo-src --type merge --patch '{
"spec": {
"template": {
"metadata": {
"annotations": {
"pre.hook.backup.velero.io/command": "[\"/usr/bin/virt-freezer\", \"--freeze\", \"--namespace\", \"demo-src\", \"--name\", \"ub-test\"]",
"pre.hook.backup.velero.io/container": "compute",
"pre.hook.backup.velero.io/on-error": "Fail",
"pre.hook.backup.velero.io/timeout": "30s",
"post.hook.backup.velero.io/command": "[\"/usr/bin/virt-freezer\", \"--thaw\", \"--namespace\", \"demo-src\", \"--name\", \"ub-test\"]",
"post.hook.backup.velero.io/container": "compute",
"post.hook.backup.velero.io/on-error": "Continue",
"post.hook.backup.velero.io/timeout": "30s"
}
}
}
}
}'

到 Harvester UI 將目標 vm 重新開機，套用最新的設定檔

7. Backup the Source Namespace

使用 velero CLI 利用 Velero 內建的資料移動工具，建立 demo-src 命名空間的備份

BACKUP_NAME=backup-demo-src-`date "+%s"`
velero backup create "${BACKUP_NAME}" \
--include-namespaces demo-src \
--snapshot-move-data

執行結果:

Backup request "backup-demo-src-1772286287" submitted successfully.
Run `velero backup describe backup-demo-src-1772286287` or `velero backup logs backup-demo-src-1772286287` for more details.

DataUpload 的自訂資源提供了備份進度的見解

velero backup get "${BACKUP_NAME}"

執行結果:

NAME STATUS ERRORS WARNINGS CREATED EXPIRES STORAGE LOCATION SELECTOR
backup-demo-src-1772278089 InProgress 0 0 2026-02-28 11:56:33 +0000 UTC 29d default <none>

…過幾分鐘後

NAME STATUS ERRORS WARNINGS CREATED EXPIRES STORAGE LOCATION SELECTOR
backup-demo-src-1772278089 Completed 0 0 2026-02-28 11:56:33 +0000 UTC 29d default <none>

8. Restore To A Different Namespace

Save the following restore modifier to a local file named modifier-data-volumes.yaml

cat <<EOF > modifier-data-volumes.yaml
version: v1
resourceModifierRules:
- conditions:
groupResource: persistentvolumeclaims
matches:
- path: /metadata/annotations/harvesterhci.io~1volumeForVirtualMachine
value: "\"true\""
patches:
- operation: remove
path: /metadata/annotations/harvesterhci.io~1volumeForVirtualMachine
EOF

Create the restore modifier

kubectl -n velero create cm modifier-data-volumes --from-file=modifier-data-volumes.yaml

Assign the backup name to a shell variable

velero restore create \
--from-backup "${BACKUP_NAME}" \
--namespace-mappings "demo-src:demo-dst" \
--exclude-resources "virtualmachineimages.harvesterhci.io" \
--resource-modifier-configmap "modifier-data-volumes" \
--labels "velero.kubevirt.io/clear-mac-address=true,velero.kubevirt.io/generate-new-firmware-uuid=true"

執行結果:

Restore request "backup-demo-src-1772286287-20260228141734" submitted successfully.
Run `velero restore describe backup-demo-src-1772286287-20260228141734` or `velero restore logs backup-demo-src-1772286287-20260228141734` for more details.

修復期間：虛擬機的 MAC 位址與韌體 UUID 會被重置，以避免與現有虛擬機發生潛在衝突。虛擬機映像清單被排除，因為 Velero 會從備份中恢復整個虛擬機狀態。會呼叫 modifier-data-volumes 的還原修飾符來修改虛擬機器的資料卷的元資料，以避免與 CDI 卷匯入填充器發生衝突。

當還原操作仍在進行中時，DataDownload 的自訂資源可用來檢視作業進度：

RESTORE_NAME=backup-demo-src-1772286287-20260228141734
kubectl -n velero get datadownload -l velero.io/restore-name="${RESTORE_NAME}"

執行結果:

NAME STATUS STARTED BYTES DONE TOTAL BYTES STORAGE LOCATION AGE NODE
backup-demo-src-1772286287-20260228135229-9fnqg Completed 59s 3758096384 3758096384 default 75s hvx-02
backup-demo-src-1772286287-20260228135229-fqrhx Completed 72s 192040960 192040960 default 74s hvx-02
backup-demo-src-1772286287-20260228135229-kp2jw Completed 71s 10737418240 10737418240 default 75s hvx-01
backup-demo-src-1772286287-20260228135229-n7bcp Completed 70s 10146021376 10146021376 default 74s hvx-03

確認還原成功完成：

velero restore get

執行結果:

NAME BACKUP STATUS STARTED COMPLETED ERRORS WARNINGS CREATED SELECTOR
backup-demo-src-1772286287-20260228135229 backup-demo-src-1772286287 Completed 2026-02-28 13:52:29 +0000 UTC 2026-02-28 13:54:00 +0000 UTC 0 6 2026-02-28 13:52:29 +0000 UTC <none>

確認虛擬機及其設定是否已恢復到新的 demo-dst namespace：

How to update rke2 to cis profile

Tue, 24 Feb 2026 07:18:08 +0800

以下命令要先在 update 之前執行

Control-plane node 跑

sudo cp -vf /usr/local/share/rke2/rke2-cis-sysctl.conf /etc/sysctl.d/60-rke2-cis.conf && \
sudo systemctl restart systemd-sysctl && \
sudo useradd -r -c "etcd user" -s /sbin/nologin -M etcd -U; \
sudo reboot

如果先更新下去會在 rke2-server 的 service 看到以下錯誤訊息
missing required: user: unknown user etcd\nmissing required: group: unknown group etcd\n

worker node 跑 (如果是透過 Rancher 去更新，以下指令不用做)

cp /opt/rke2/share/rke2/rke2-cis-sysctl.conf /etc/sysctl.d/60-rke2-cis.conf && \
systemctl restart systemd-sysctl
reboot

Ref

CIS Hardening Guide - RKE2 Docs

Learning and Practicing Harvester

Thu, 15 Jan 2026 08:11:28 +0800

Preface

本篇文章會主要會介紹以下主題 :

Harvester 的架構
如何安裝 Harvester，並將額外的節點加入 Harveter Cluster
將 Harvester 與 Rancher 整合，做出 Nested Kubernetes Clusters 以及 Node Pool

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Harvester Architecture

Harvester 架構由以下開源技術組成：

Linux 作業系統 : Elemental for SLE-Micro 5.3 是 Harvester 的核心，它是一個不可變的 Linux 發行版，旨在盡可能消除 Kubernetes 叢集中的作業系統維護工作。
建構於 Kubernetes(RKE2) 之上 : Kubernetes 已成為所有形式因素中最主要的基礎架構語言，而 Harvester 就是一個在引擎蓋下裝有 Kubernetes 的 HCI 解決方案。
利用 Kubevirt 進行虛擬化管理 : Kubevirt 在 Kubernetes 的基礎上使用 KVM 提供虛擬化管理。
利用 Longhorn 進行儲存管理 : Longhorn 提供分散式區塊儲存。

Harvester Features

Harvester 是一個 enterprise-ready、易於使用的基礎架構平台，它利用本地直接連接的 Storage，而不是複雜的外部 SAN。它利用 Kubernetes API 作為跨 Container 和虛擬機器 workloads 的統一自動化語言。 Harvester 的一些主要功能包括 :

易於上手 : 由於 Harvester 是以可啟動裝置鏡像的形式提供的，因此您可以使用 ISO 映像直接將其安裝到裸機伺服器上，也可以使用 iPXE 腳本自動安裝。
虛擬機器生命週期管理 : 輕鬆建立、編輯、複製和刪除虛擬機，包括 SSH 金鑰注入、Cloud Init 以及圖形化界面 (VNC) 和 serial port (22 port) 控制台。
虛擬機器即時遷移 : 零停機時間將虛擬機器遷移到不同的主機或節點。
虛擬機器備份、快照和還原 : 從 NFS、S3 伺服器或 NAS 設備備份虛擬機器。使用備份好的虛擬硬碟檔還原故障的虛擬機，或在不同的叢集上建立新的虛擬機。
儲存管理 : Harvester 支援分散式區塊的儲存和 tiering (分層)。 Volumes 代表 storage；你可以輕鬆建立、編輯、複製或匯出磁碟區。
網路管理 : 支援使用虛擬 IP（VIP）和多個網路介面卡（NIC）。如果虛擬機器需要連接外部網絡，可建立 VLAN 或 untagged (無標記) 網路。
與 Rancher 整合 : 透過 Rancher 的虛擬化管理頁面直接存取 Rancher 中的 Harvester，並與 Kubernetes 叢集一起管理 VM workloads (虛擬機器工作負載)，實現 Node Pool 的功能。

PreRequest

Hardware and Network Requirements

詳細資訊，請以下參考 Harvester 官網 Docs : Hardware and Network Requirements

Install Single-Node Harvester Clusters with USB

1. 下載 ISO 並透過 Rufus 將 USB 做成可開機裝置

1.1. 下載 ISO

可以使用 ISO 鏡像直接將 Harvester 安裝到裸機伺服器上，若要取得 ISO 映像，請從 Harvester releases 頁面下載 💿 harvester-v1.x.x-amd64.iso。

$ wget --show-progress https://releases.rancher.com/harvester/v1.2.1/harvester-v1.2.1-amd64.iso

螢幕輸出 :

--2024-02-16 10:59:20-- https://releases.rancher.com/harvester/v1.2.1/harvester-v1.2.1-amd64.iso
Resolving releases.rancher.com (releases.rancher.com)... 13.35.35.42, 13.35.35.123, 13.35.35.33, ...
Connecting to releases.rancher.com (releases.rancher.com)|13.35.35.42|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 5497749504 (5.1G) [application/octet-stream]
Saving to: ‘harvester-v1.2.1-amd64.iso’
harvester-v1.2.1-amd64.iso 100%[===========================================================>] 5.12G 35.8MB/s in 4m 14s
2024-02-16 11:03:34 (20.6 MB/s) - ‘harvester-v1.2.1-amd64.iso’ saved [5497749504/5497749504]

1.2. 開啟 Rufus，將乾淨的 USB 碟插入電腦，Rufus 會自動偵測 USB。從 “裝置 “下拉式選單中選擇要使用的 USB 裝置，在 “啟動選擇 “中選擇 “選擇”，然後找到要燒錄到 USB 上的 Harvester 安裝 ISO 映像。

2. 安裝步驟

2.1. 使用 USB 開機，並透過選擇 Harvester Installer 選項啟動伺服器。

使用預設選項，直接按 Enter 按鍵。

2.2. 選擇建立一個新的 Harvester Cluster

使用預設選項，直接按 Enter 按鍵。

2.3. 選擇要安裝的 Harvester 系統碟和要儲存虛擬機器資料的資料碟。

按 Tab 鍵可展開下拉式選單，按 Enter 鍵儲存設定值。

2.4. 設定主機的 Hostname

輸入 h1

2.5. 設定管理網路

網路卡的部分，按 Tab 展開下拉式選單，按空白鍵選擇網路卡，確定之後按 Enter 鍵 IPv4 Address 欄位，輸入 : 172.20.0.34/24 Gateway 欄位，輸入 : 172.20.0.254

2.6. 設定 DNS Server

DNS Server 欄位 : 172.20.0.254

2.7. 設定 VIP

按 Tab 展開下拉式選單，按向下方向鍵選擇 Static，確認後按 Enter 鍵。 VIP 欄位 : 172.20.0.36

2.8. 設定 Cluster Token

Cluster token 欄位 : lab Cluster token 用於將其他節點新增至 Harvester 叢集。

2.9. 設定使用者密碼

預設的使用者是 rancher。

2.10. 設定 NTP Server

NTP Server 欄位 : time.google.com。

2.11. 設定 HTTP Proxy Server ( 此步驟不一定要設定，取決於當下的環境 )

如果不設定就空白，直接按 Enter 鍵。

2.12. 匯入 SSH Keys ( 此步驟不一定要設定 )

如果不設定就空白，直接按 Enter 鍵。

2.13. 設定 Harvester 設定檔自訂主機 ( 此步驟不一定要設定 )

如果不設定就空白，直接按 Enter 鍵。

2.14. 查看並確認安裝選項

確認安裝選項沒問題後，按 Enter 鍵，Harvester 將會安裝到主機上。

2.15. 安裝完成後，節點將重新啟動，以下是啟動完成畫面

重新啟動後，Harvester 控制台會顯示管理 URL 和狀態。網路介面的預設 URL 是 https://your-virtual-ip。可以使用 F12 按鍵從 Harvester 控制台切換到 Shell，然後鍵入 exit 返回 Harvester 控制台。

2.16. 第一次登入的時候，系統會提示您設定預設管理員使用者的密碼。

使用者預設是 admin

Update Harvester Configuration After Installation

DNS servers

SSH 連線至 Harvester Node

$ ssh rancher@172.20.0.36

備份基本的 cloud-init 檔案 /oem/90_custom.yaml

$ sudo cp /oem/90_custom.yaml /oem/install/90_custom.yaml.$(date --iso-8601=minutes)

修改 /oem/90_custom.yaml 檔案，並且更新以下 Yaml 檔中路徑的值 stages.initramfs[0].commands

$ sudo vim /oem/90_custom.yaml

修改範例內容如下 :

name: Harvester Configuration
stages:
initramfs:
- commands:
- modprobe kvm
- modprobe vhost_net
- sed -i 's/^NETCONFIG_DNS_STATIC_SERVERS.*/NETCONFIG_DNS_STATIC_SERVERS="172.20.0.37"/'
/etc/sysconfig/network/config

將原本的 172.20.0.254 改成 172.20.0.37

重新開機

$ sudo reboot

確認 DNS Server 修改正確

$ cat /etc/resolv.conf | grep -v '#'

螢幕輸出如下 :

nameserver 172.20.0.37

設定 Storage Class

預設的 StorageClass 他的 Replicas 會被設為 3 ，但因為只有單一台 Node，所以要額外新增一個 StorageClass 並將 Replicas 設為 1，否則 VM 會無法建立。
點選左側選單 Advanced -> Storage Classes -> Create

輸入以下資訊 :

Name: new-sc
Number of Replicas 設為 1

確認資訊輸入正確後，點選 Create

設成 Default

透過 URL 下載 Cloud Images

左側選單選擇 Images -> Create

透過 URL 下載 OpenSUSE Leap 15.5 的 Cloud Images

URL 如下 : https://download.opensuse.org/repositories/Cloud:/Images:/Leap_15.5/images/openSUSE-Leap-15.5.x86_64-NoCloud.qcow2

確認下載完成

新增 Cloud Config Templates

User Data

點選左側選單 Cloud Config Templates -> Create

輸入以下資訊 :

Name: opensuse

#cloud-config
package_update: true
packages:
- qemu-guest-agent
write_files:
- path: /etc/sysctl.conf
permissions: 0644
owner: root
content: |
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
runcmd:
- - systemctl
- enable
- '--now'
- qemu-guest-agent.service
- yast dns edit nameserver1=172.20.0.37
- timedatectl set-timezone Asia/Taipei
- systemctl restart network
- sysctl -p
ssh_pwauth: true
ssh_authorized_keys:
- ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQC2Km26Z03nqLOmoHgd4F1MEApHF2Vdib8sk86SwaxVAqaFXliaC/a6VRFBiQRuog8zYsjg51HMzmXc9zPaUMEbJ7mD23AfqOv+DoQc8KjYhr2bWPz33fqYBAz76XpDi6R8g8XEfWekUi+YV28O3QJOfNT6W8PNPfYVCvXmhVe0QIB9w5wyMUvwOdlpBdcCke6w1Wwg0OSBulJBT+p2qJ1HZBiIUsb7KYLyiwPfmiYakFo+L90DfXJhzuFMYUtOa7zw+zjWy9BDTF6xXlHKhvv4yylPsLl5DfA/aSztpzMTMsrXefGJjCcaAQMueikGRORZ7KDb2QJvj0U2iYw/GFivv3cOpgAxRzIo6pDROpfJAc8Xt59gQeDsRzF3JSY6gXJ+/xgEWSIMffKnF3VRk20zb/m+jWuCnKzj9GH9ribAJ5yWSA7zeWexSd0ZACvvb+ydW9RgnlecdUXarohWXbvH2CK3euxCjFVuMsaKqJvF2c2XfiIm8ZtgzF3WpRhbFOc= rancher@rancher
users:
- default
- name: rancher
gecos: rancher
groups: users
lock_passwd: false
sudo: ALL=(ALL) NOPASSWD:ALL
plain_text_passwd: 'rancher'
shell: /bin/bash

package_update，會先更新系統的套件

packages，代表要安裝的套件

write_files，針對特定檔案寫入特定內容，這邊的範例是關 ipv6

runcmd，系統開機以後要執行的命令，這邊有設定啟動 qemu-guest-agent 服務，並設為開機自動啟動，還有設定 DNS Server 的位置，還有設定時區，特別設定 DNS Server 的原因是因為要可以跟 Rancher 溝通

ssh_authorized_keys，讓跳板機可以免密碼登入使用這個 Cloud init config 做出來的 VM

users，新增使用者，並設定使用者的群組、sudo 權限和密碼。

確認資訊輸入正確後，點選 Create

Network Data

Static

network:
version: 1
config:
- type: physical
name: eth0
subnets:
- type: static
address: 172.20.0.43/24
gateway: 172.20.0.253
- type: nameserver
address:
- 172.20.0.40

DHCP

network:
version: 1
config:
- type: physical
name: eth0
subnets:
- type: dhcp

建立 VM Network

點選左側選單 Networks -> VM Networks -> Create

編輯以下設定資訊

Name: vlan
Vlan ID: 100
Cluster Netwrok: mgmt

確認沒問題後，點選 Create

確認是否建立成功

State 和 Route Connectivity 的狀態都要顯示 Active

將其他節點加入 Harvester 叢集

1. 將燒有 Harvester ISO 的 USB 可開機裝置插入伺服器，並使用 USB 開機。

2. 安裝步驟

2.1. 使用 USB 開機，並透過選擇 Harvester Installer 選項啟動伺服器。

使用預設選項，直接按 Enter 按鍵。

2.2. 選擇加入一個已經存在的 Harvester Cluster

選擇 Join an existing Harvester cluster 後，按 Enter 按鍵。

2.3. 選擇要安裝的 Harvester 系統碟和要儲存虛擬機器資料的資料碟。

按 Tab 鍵可展開下拉式選單，按 Enter 鍵儲存設定值。

2.4. 設定主機的 Hostname

輸入 h2

2.5. 設定網路

網路卡的部分，按 Tab 展開下拉式選單，按空白鍵選擇網路卡，確定之後按 Enter 鍵 IPv4 Address 欄位，輸入 : 172.20.0.35/24 Gateway 欄位，輸入 : 172.20.0.254

2.6. 設定 DNS Server

DNS Server 欄位 : 172.20.0.37

2.7. 設定管理 IP Address

Management address 欄位 : 172.20.0.36

2.8. 設定 Cluster Token

Cluster token 欄位 : lab Cluster token 用於將其他節點新增至 Harvester 叢集。

2.9. 設定使用者密碼

預設的使用者是 rancher。

2.10. 設定 NTP Server

NTP Server 欄位 : time.google.com。

2.11. 設定 HTTP Proxy Server ( 此步驟不一定要設定，取決於當下的環境 )

如果不設定就空白，直接按 Enter 鍵。

2.12. 匯入 SSH Keys ( 此步驟不一定要設定 )

如果不設定就空白，直接按 Enter 鍵。

2.13. 設定 Harvester 設定檔自訂主機 ( 此步驟不一定要設定 )

如果不設定就空白，直接按 Enter 鍵。

2.14. 查看並確認安裝選項

確認安裝選項沒問題後，按 Enter 鍵，Harvester 將會安裝到主機上。

2.15. 安裝完成後，節點將重新啟動，以下是啟動完成畫面

2.16. 打開 Harvester 網站，檢查 Node 是否變 2 台

點選左側選單 Hosts

使用者預設是 admin

與 Rancher 整合

PreRequest

Harvester v1.2.1 肚子裡面的 Rancher 無法啟動虛擬化管理，所以需額外再安裝並啟動 Rancher Server 2.7.9，或是在 Harvester 啟動 rancher-vcluster (正在開發的功能)。

Rancher 的安裝請參考我的另一篇筆記 RKE2 & Rancher Prime Installation

Rancher 啟動 Virtualization management

打開虛擬化管理介面

點選左側選單 Virtualization Management

Import Harvester Cluster

點選 Import Existing

填入叢集資訊

Cluster Name: harvester

填入叢集資訊

Cluster Name: harvester

複製讓 Harvester 與 Rancher 註冊的 URL

回到 Harvester 的網站，與 Rancher 註冊 (1/2)

點選左側選單 Settings -> 找到 cluster-registration-url -> 點選 Edit Setting

回到 Harvester 的網站，與 Rancher 註冊 (2/2)

將註冊 URL 貼上 -> 點選 Save

到 Rancher UI 確認

Creating an K3s Kubernetes Cluster

在 Home Page 點選 Create

Node Driver 選擇 Harvester

建立 Cloud Credential

Credential Name: harvester
Imported Harvester Cluster 選擇 harvester
點選 Continue

編輯 Machine Pools

VM 必須要能透過 DNS Server 解析 Rancher 的 FQDN，否則 K3S 將無法建立。

Cluster Name: bobo
CPU: 4
Memory: 8
Namespace: default
SSH User: Opensuse
Volumes:
- Image Volume: openSUSE-Leap-15.5.x86_64-NoCloud.qcow2
- Disk: 100

Networks:
- Network Name: default/vlan (vlanId=100)
點選 Show Advanced 按鈕

User Data:
- User Data Template: opensuse

編輯 Cluster Configuration

選擇 Kubernetes 版本 : k3s v1.26.13+k3s2
點選 Create

檢查 K3S 是否建立成功

點選 Provisioning Log

要 Troubleshooting 的話，可以 ssh 連線到 VM 中，看以下兩個檔案 :

/var/log/cloud-init.log。

/var/log/cloud-init-output.log，這檔案裡面紀錄 cloud init 命令執行的結果，包含透過 Rancher 安裝 K3S 的過程都會記在這個檔案中。

K3s node Scale up to 2

Scale up node

點選 Machine Pools -> +

檢查是否符合預期

K3s node Scale down to 1

Scale down node

點選 Machine Pools -> -

檢查是否符合預期

Add Additional Disks

再新增一顆硬碟後，要先 Format 成 ext4 檔案系統，並重啟節點
```
sudo -i
mkfs.ext4 /dev/sdb
sudo reboot
```
Go to the Hosts page.
On the node you want to modify, click ⋮ > Edit Config.
Select the Storage tab and click Add Disk.
Select an additional raw block device to add as an additional data volume.
The Force Formatted option is required if the block device has never been force-formatted.
Last, you can click ⋮ > Edit Config again to check the newly added disk.

Resize Disk (虛擬化環境)

先在虛擬化那層擴硬碟空間
SSH 連線進那台 node，並切換成 root 使用者
Resize Partitaion 大小

# 確認 /var/lib/harvester/defaultdisk 在哪顆硬碟
$ df -h /var/lib/harvester/defaultdisk
Filesystem Size Used Avail Use% Mounted on
/dev/sda6 330G 30G 283G 10% /var/lib/harvester/defaultdisk
$ fdisk /dev/sda
Command (m for help): p
Disk /dev/sda: 712 GiB, 764504178688 bytes, 1493172224 sectors
Disk model: QEMU HARDDISK
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: C1C6588D-E0EB-42EB-A68B-3676181AED1E
Device Start End Sectors Size Type
/dev/sda1 2048 4095 2048 1M BIOS boot
/dev/sda2 4096 106495 102400 50M Linux filesystem
/dev/sda3 106496 16883711 16777216 8G Linux filesystem
/dev/sda4 16883712 48340991 31457280 15G Linux filesystem
/dev/sda5 48340992 369205247 320864256 153G Linux filesystem
/dev/sda6 369205248 1073739775 704534528 335.9G Linux filesystem
Command (m for help): d
Partition number (1-6, default 6):
Partition 6 has been deleted.
Command (m for help): n
Partition number (6-128, default 6):
First sector (369205248-1493172190, default 369205248):
Last sector, +/-sectors or +/-size{K,M,G,T,P} (369205248-1493172190, default 1493172190):
Created a new partition 6 of type 'Linux filesystem' and of size 535.9 GiB.
Partition #6 contains a ext4 signature.
Do you want to remove the signature? [Y]es/[N]o: N
Command (m for help): p
Disk /dev/sda: 712 GiB, 764504178688 bytes, 1493172224 sectors
Disk model: QEMU HARDDISK
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: C1C6588D-E0EB-42EB-A68B-3676181AED1E
Device Start End Sectors Size Type
/dev/sda1 2048 4095 2048 1M BIOS boot
/dev/sda2 4096 106495 102400 50M Linux filesystem
/dev/sda3 106496 16883711 16777216 8G Linux filesystem
/dev/sda4 16883712 48340991 31457280 15G Linux filesystem
/dev/sda5 48340992 369205247 320864256 153G Linux filesystem
/dev/sda6 369205248 1493172190 1123966943 535.9G Linux filesystem
Command (m for help): w
The partition table has been altered.
Syncing disks.

執行以下命令 Resize Longhorn 的 Filesystem

$ resize2fs -p /dev/sda6
$ df -h /var/lib/harvester/defaultdisk
Filesystem Size Used Avail Use% Mounted on
/dev/sda6 527G 30G 472G 6% /var/lib/harvester/defaultdisk

再進 Longhorn UI 看就會發現空間擴出來了

Stop VM with cli

# 1. SSH into harvester node
$ ssh rancher@x.x.x.x
# 2. Get VVirtual Machine Instance
$ kubectl get vmi
NAME AGE PHASE IP NODENAME READY
harbor 12m Running hh False
hehe 6m41s Running 10.52.0.180 hh True
k3-pool1-2d0bd15b-4fv96 14h Running 172.20.0.42 hh True
rancher 14h Running 172.20.0.41 hh True
# 3. Stop VM
$ virtctl stop harbor
VM harbor was scheduled to stop

參考文章

RKE2 設定 configmap 加密儲存在 etcd

Tue, 19 Aug 2025 04:00:56 +0800

RKE2 預設會把 secret 做加密儲存

檢視 RKE2 預設的加密設定檔，確認目前 secrets 的加密金鑰。(在 server node 的 OS 執行)

sudo cat /var/lib/rancher/rke2/server/cred/encryption-config.json | jq .

執行結果：

{
"kind": "EncryptionConfiguration",
"apiVersion": "apiserver.config.k8s.io/v1",
"resources": [
{
"resources": [
"secrets"
],
"providers": [
{
"aescbc": {
"keys": [
{
"name": "aescbckey",
"secret": "jJaRyU/gBJNCteq3T1ibCYPgEqMA9GTQHJnqZ9jxmNo="
}
]
}
},
{
"identity": {}
}
]
}
]
}

建立一個新的自訂加密設定檔。

重要：必須沿用舊的 secret 金鑰，並在 resources 區塊中新增 configmaps，表示也要對 ConfigMap 進行加密。

sudo nano /etc/rancher/rke2/custom-encryption-config.yaml

檔案內容如下：

apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
- resources:
- secrets
- configmaps
providers:
- aescbc:
keys:
- name: aescbckey
secret: "jJaRyU/gBJNCteq3T1ibCYPgEqMA9GTQHJnqZ9jxmNo="
- identity: {}

修改 RKE2 的主設定檔，讓 kube-apiserver 啟用我們自訂的加密設定。
- encryption-provider-config 指向 Pod 內的設定檔路徑。
- kube-apiserver-extra-mount 則將主機上的設定檔掛載進 Pod 中。
```
sudo nano /etc/rancher/rke2/config.yaml
```
新增的內容如下：
```
kube-apiserver-arg:
- encryption-provider-config=/etc/kubernetes/enc/custom-encryption-config.yaml
kube-apiserver-extra-mount:
- /etc/rancher/rke2/:/etc/kubernetes/enc/
```
重新啟動 RKE2 伺服器服務以載入新的設定
```
sudo systemctl restart rke2-server --no-block
```
追蹤 RKE2 的啟動日誌，確保服務正常重啟
```
sudo journalctl -u rke2-server.service -f
```

檢查 RKE2 服務的最終狀態，確認已成功運行。

sudo systemctl status rke2-server

正確執行結果：

● rke2-server.service - Rancher Kubernetes Engine v2 (server)
Loaded: loaded (/usr/local/lib/systemd/system/rke2-server.service; enabled; preset: disabled)
Active: active (running) since Mon 2025-08-18 16:54:46 CST; 55min ago
...

如果是 HA 架構的 RKE2，則依照以上方法，依序將 server node 都做更改

直接從 etcd 讀取一個 ConfigMap 的原始資料。

此時，因為還沒重新寫入，資料內容仍是可讀的明文，表示加密尚未作用於現有物件上。

kubectl -n kube-system exec -it etcd-${$HOSTNAME} \
-- etcdctl \
--cert /var/lib/rancher/rke2/server/tls/etcd/server-client.crt \
--key /var/lib/rancher/rke2/server/tls/etcd/server-client.key \
--cacert /var/lib/rancher/rke2/server/tls/etcd/server-ca.crt \
--endpoints https://127.0.0.1:2379 \
get /registry/configmaps/kube-system/cluster-dns

執行結果：

/registry/configmaps/kube-system/cluster-dns
k8s
v1 ConfigMap�
�
cluster-dns␦
kube-system"*$2647dbe1-1096-49ea-b25d-bb337ca550742�����y
rke2-supervisor@rke2-c1Update␦v����FieldsV1:<
:{"f:data":{".":{},"f:clusterDNS":{},"f:clusterDomain":{}}}B
clusterDNS
10.43.0.10
cluster.local␦"

重新寫入所有的 ConfigMap。這個指令會觸發 API Server 使用新的加密設定將資料加密後再存回 etcd。
```
kubectl get configmaps --all-namespaces -o json | kubectl replace -f -
```

再次從 etcd 讀取同一個 ConfigMap。這次，資料內容已變成亂碼，表示它已經成功被加密儲存。

kubectl -n kube-system exec -it etcd-${$HOSTNAME} \
-- etcdctl \
--cert /var/lib/rancher/rke2/server/tls/etcd/server-client.crt \
--key /var/lib/rancher/rke2/server/tls/etcd/server-client.key \
--cacert /var/lib/rancher/rke2/server/tls/etcd/server-ca.crt \
--endpoints https://127.0.0.1:2379 \
get /registry/configmaps/kube-system/cluster-dns

執行結果：

/registry/configmaps/kube-system/cluster-dns
c���V��6ob��E␦���S�T!\��ew�X ����M���
��g����D���1�G@4��`c�F�R���x��qA��
V,eM2��J���A�ǴW��H�;E<�=XwĔ�A�f>$gC��+��\�T_��;@�7޾�c�0���^�:)
r)��.�~�ºJ���edt�Va<��L�2���m�v@��Շbe��j��D���$7␦YM�#zV�
߻ˊב�H�5dp|)��̿�1{�lʚ�dĢ����;4�K��쒷��+E޴��␦vN� ���;��?
�#�k{�O�@G�"�

kubectl Install Longhorn on community Kubernetes

Thu, 07 Aug 2025 08:11:14 +0800

Preface

本篇文章會介紹以下內容

如何透過 kubectl 安裝 Longhorn

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Install Longhorn

Prerequisites

Each node in the Kubernetes cluster where Longhorn is installed must fulfill the following requirements:

A container runtime compatible with Kubernetes (Docker v1.13+, containerd v1.3.7+, etc.)
Kubernetes >= v1.25
open-iscsi is installed, and the iscsid daemon is running on all the nodes. This is necessary, since Longhorn relies on iscsiadm on the host to provide persistent volumes to Kubernetes. For help installing open-iscsi, refer to this section.
RWX support requires that each node has a NFSv4 client installed.
- For installing a NFSv4 client, refer to this section.
The host filesystem supports the file extents feature to store the data. Currently we support:
- ext4
- XFS
bash, curl, findmnt, grep, awk, blkid, lsblk must be installed.
Mount propagation must be enabled.

The Longhorn workloads must be able to run as root in order for Longhorn to be deployed and operated properly.

This script can be used to check the Longhorn environment for potential issues.

環境準備

在每一台 Node 上，準備以下動作

# 以 Ubuntu Server 24.04.2 LTS 為例
$ sudo tee /etc/modules-load.d/dm-crypt.conf <<EOF
dm-crypt
EOF
$ sudo modprobe dm-crypt
$ lsmod | grep dm_crypt
dm_crypt 65536 0
$ sudo apt-get update; sudo apt-get install -y nfs-common
$ sudo systemctl enable --now iscsid.service

檢查環境是否準備完畢

在 K8s 管理節點執行

$ curl -sSfL -o longhornctl https://github.com/longhorn/cli/releases/download/v1.9.1/longhornctl-linux-amd64
$ chmod +x longhornctl
$ ./longhornctl --kube-config ~/.kube/config check preflight

執行結果

INFO[2025-08-07T16:10:18+08:00] Initializing preflight checker
INFO[2025-08-07T16:10:18+08:00] Cleaning up preflight checker
INFO[2025-08-07T16:10:18+08:00] Running preflight checker
INFO[2025-08-07T16:10:21+08:00] Retrieved preflight checker result:
w1:
info:
- Kube DNS "coredns" is set with 2 replicas and 2 ready replicas
- Service iscsid is running
- NFS4 is supported
- Package nfs-common is installed
- Package open-iscsi is installed
- Package cryptsetup is installed
- Package dmsetup is installed
- Module dm_crypt is loaded
warn:
- multipathd.service is running. Please refer to https://longhorn.io/kb/troubleshooting-volume-with-multipath/ for more information.
w2:
info:
- Kube DNS "coredns" is set with 2 replicas and 2 ready replicas
- Service iscsid is running
- NFS4 is supported
- Package nfs-common is installed
- Package open-iscsi is installed
- Package cryptsetup is installed
- Package dmsetup is installed
- Module dm_crypt is loaded
warn:
- multipathd.service is running. Please refer to https://longhorn.io/kb/troubleshooting-volume-with-multipath/ for more information.
INFO[2025-08-07T16:10:21+08:00] Cleaning up preflight checker
INFO[2025-08-07T16:10:21+08:00] Completed preflight checker

透過 kubectl 安裝 Longhorn 1.9.1

kubectl apply -f https://raw.githubusercontent.com/longhorn/longhorn/v1.9.1/deploy/longhorn.yaml

檢視 Longhorn Pod 運作狀態

kubectl -n longhorn-system get pods

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
csi-attacher-6cc66dfc7-5qm6s 1/1 Running 0 18m
csi-attacher-6cc66dfc7-jswj7 1/1 Running 0 18m
csi-attacher-6cc66dfc7-ml5m8 1/1 Running 0 18m
csi-provisioner-bf9f5dcf-5hhmt 1/1 Running 0 18m
csi-provisioner-bf9f5dcf-fckwx 1/1 Running 0 18m
csi-provisioner-bf9f5dcf-qz9nb 1/1 Running 0 18m
csi-resizer-79f94cf664-2jwdg 1/1 Running 0 18m
csi-resizer-79f94cf664-ckbw6 1/1 Running 0 18m
csi-resizer-79f94cf664-gsnbw 1/1 Running 0 18m
csi-snapshotter-55f6bf5866-gsn25 1/1 Running 0 18m
csi-snapshotter-55f6bf5866-h748p 1/1 Running 0 18m
csi-snapshotter-55f6bf5866-zqsj9 1/1 Running 0 18m
engine-image-ei-b4bcf0a5-428mk 1/1 Running 0 18m
engine-image-ei-b4bcf0a5-dzp78 1/1 Running 0 18m
instance-manager-63dc7de3e0e5ce66bd8441f84edf0891 1/1 Running 0 18m
instance-manager-9da309f58eb388df53fad1a2879e385e 1/1 Running 0 18m
longhorn-csi-plugin-bkckd 3/3 Running 0 18m
longhorn-csi-plugin-gt4bh 3/3 Running 0 18m
longhorn-driver-deployer-6d5c74866f-mtjbf 1/1 Running 0 19m
longhorn-manager-cx5qj 2/2 Running 0 19m
longhorn-manager-wt52g 2/2 Running 0 19m
longhorn-ui-6cb46c8ff9-bjklc 1/1 Running 0 19m
longhorn-ui-6cb46c8ff9-pbjvr 1/1 Running 0 19m

檢視 Longhorn service

kubectl -n longhorn-system get svc

螢幕輸出 :

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
longhorn-admission-webhook ClusterIP 10.96.245.41 <none> 9502/TCP 19m
longhorn-backend ClusterIP 10.96.37.202 <none> 9500/TCP 19m
longhorn-conversion-webhook ClusterIP 10.96.168.121 <none> 9501/TCP 19m
longhorn-frontend ClusterIP 10.96.188.223 <none> 80/TCP 19m
longhorn-recovery-backend ClusterIP 10.96.235.252 <none> 9503/TCP 19m

longhorn-frontend 是 Longhorn-ui-* Pod 對應的的 Service

Enable CSI Snapshot Support

安裝 Snapshot CRDs

# Download the Snapshot CRDs files
curl -L https://api.github.com/repos/kubernetes-csi/external-snapshotter/tarball/v8.3.0 \
| tar xz --strip-components=3 --wildcards '*/client/config/crd/*'
# Create
kubectl create -k crd

Longhorn v1.9.1 uses CSI external-snapshotter v8.3.0

安裝 Snapshot Controller

# Download the files
curl -L https://api.github.com/repos/kubernetes-csi/external-snapshotter/tarball/v8.3.0 \
| tar xz --strip-components=3 --wildcards '*/deploy/kubernetes/snapshot-controller/*'
kubectl create -k snapshot-controller/

Longhorn v1.9.1 uses CSI external-snapshotter v8.3.0

新增 Default VolumeSnapshotClass

cat > volumeSnapshotClass.yaml << EOF
kind: VolumeSnapshotClass
apiVersion: snapshot.storage.k8s.io/v1
metadata:
name: longhorn
driver: driver.longhorn.io
deletionPolicy: Delete
EOF
kubectl apply -f volumeSnapshotClass.yaml

Access Longhorn UI

http://120.96.143.219:30001

參考文章

更換 RKE2 和 K3s 叢集系統憑證的有效期限

Tue, 27 May 2025 01:37:50 +0800

RKE2

Step1: ssh 連線至 server(Control-plane/etcd) node

ssh <user>@<control-plane node ip>

並切換成 root 使用者

su - root

Step2: 停止 rke2-server service

systemctl stop rke2-server.service

Step3: 設定 certificate validity period 的環境變數

以下變數將設定 RKE2 叢集內部的所有系統核心服務(kube-apiserver, etcd, kube-scheduler, kube-controller-manager, kubelet, kube-proxy…等) 的憑證有限期限為 10 年

cat << EOF > /etc/default/rke2-server
CATTLE_NEW_SIGNED_CERT_EXPIRATION_DAYS=3650
EOF

請注意：上述變數的值必須是字串，表示與到期天數相對應的無符號整數（即 X509 “NotAfter” 的值）。

Step4: 手動更新叢集中的 TLS 憑證

rke2 certificate rotate

The following certificates can be rotated: admin, api-server, controller-manager, scheduler, rke2-controller, rke2-server, cloud-controller, etcd, auth-proxy, kubelet, kube-proxy

Step5: 起動 rke2-server service

systemctl start rke2-server.service

Step6: 檢查 rke2-server 上系統的所有憑證有限期限

rke2 certificate check

執行結果 :

INFO[0000] Server detected, checking agent and server certificates
INFO[0000] Checking certificates for etcd
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/client.crt: certificate CN=etcd-client is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/client.crt: certificate CN=etcd-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/server-client.crt: certificate CN=etcd-server is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/server-client.crt: certificate CN=etcd-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/peer-server-client.crt: certificate CN=etcd-peer is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/peer-server-client.crt: certificate CN=etcd-peer-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for kube-proxy
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-proxy.crt: certificate CN=system:kube-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-proxy.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kube-proxy.crt: certificate CN=system:kube-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kube-proxy.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for kubelet
INFO[0000] /var/lib/rancher/rke2/agent/client-kubelet.crt: certificate CN=system:node:admin-rancher,O=system:nodes is ok, expires at 2035-05-24T09:44:17Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kubelet.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/serving-kubelet.crt: certificate CN=admin-rancher is ok, expires at 2035-05-24T09:44:17Z
INFO[0000] /var/lib/rancher/rke2/agent/serving-kubelet.crt: certificate CN=rke2-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for rke2-controller
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-controller.crt: certificate CN=system:rke2-controller is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/client-rke2-controller.crt: certificate CN=system:rke2-controller is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/agent/client-rke2-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for api-server
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-apiserver.crt: certificate CN=system:apiserver,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-apiserver.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/serving-kube-apiserver.crt: certificate CN=kube-apiserver is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/serving-kube-apiserver.crt: certificate CN=rke2-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for admin
INFO[0000] /var/lib/rancher/rke2/server/tls/client-admin.crt: certificate CN=system:admin,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-admin.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for auth-proxy
INFO[0000] /var/lib/rancher/rke2/server/tls/client-auth-proxy.crt: certificate CN=system:auth-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-auth-proxy.crt: certificate CN=rke2-request-header-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for cloud-controller
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-cloud-controller.crt: certificate CN=rke2-cloud-controller-manager is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-cloud-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for controller-manager
INFO[0000] /var/lib/rancher/rke2/server/tls/client-controller.crt: certificate CN=system:kube-controller-manager is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for scheduler
INFO[0000] /var/lib/rancher/rke2/server/tls/client-scheduler.crt: certificate CN=system:kube-scheduler is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-scheduler.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for supervisor
INFO[0000] /var/lib/rancher/rke2/server/tls/client-supervisor.crt: certificate CN=system:rke2-supervisor,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-supervisor.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z

Step7: 再去下一台 Control-plane/etcd node 執行 Step 1 ~ 5 的操作步驟

K3s

Step1: ssh 連線至 K3s node

ssh <user>@<node ip>

並切換成 root 使用者

su - root

Step2: 停止 k3s service

systemctl stop k3s.service

Step3: 設定 certificate validity period 的環境變數

以下變數將設定 K3s 叢集內部的所有系統核心服務(kube-apiserver, etcd, kube-scheduler, kube-controller-manager, kubelet, kube-proxy…等) 的憑證有限期限為 10 年

cat << EOF > /etc/default/k3s
CATTLE_NEW_SIGNED_CERT_EXPIRATION_DAYS=3650
EOF

請注意：上述變數的值必須是字串，表示與到期天數相對應的無符號整數（即 X509 “NotAfter” 的值）。

Step4: 手動更新叢集中的 TLS 憑證

k3s certificate rotate

The following certificates can be rotated: admin, api-server, controller-manager, scheduler, k3s-controller, k3s-server, cloud-controller, etcd, auth-proxy, kubelet, kube-proxy

Step5: 起動 k3s service

systemctl start k3s.service

Step6: 檢查 k3s 上系統的所有憑證有限期限

k3s certificate check

執行結果 :

INFO[0000] Server detected, checking agent and server certificates
INFO[0000] Checking certificates for etcd
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/client.crt: certificate CN=etcd-client is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/client.crt: certificate CN=etcd-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/server-client.crt: certificate CN=etcd-server is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/server-client.crt: certificate CN=etcd-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/peer-server-client.crt: certificate CN=etcd-peer is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/etcd/peer-server-client.crt: certificate CN=etcd-peer-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for kube-proxy
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-proxy.crt: certificate CN=system:kube-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-proxy.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kube-proxy.crt: certificate CN=system:kube-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kube-proxy.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for kubelet
INFO[0000] /var/lib/rancher/rke2/agent/client-kubelet.crt: certificate CN=system:node:admin-rancher,O=system:nodes is ok, expires at 2035-05-24T09:44:17Z
INFO[0000] /var/lib/rancher/rke2/agent/client-kubelet.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/serving-kubelet.crt: certificate CN=admin-rancher is ok, expires at 2035-05-24T09:44:17Z
INFO[0000] /var/lib/rancher/rke2/agent/serving-kubelet.crt: certificate CN=rke2-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for rke2-controller
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-controller.crt: certificate CN=system:rke2-controller is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/agent/client-rke2-controller.crt: certificate CN=system:rke2-controller is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/agent/client-rke2-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for api-server
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-apiserver.crt: certificate CN=system:apiserver,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-kube-apiserver.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] /var/lib/rancher/rke2/server/tls/serving-kube-apiserver.crt: certificate CN=kube-apiserver is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/serving-kube-apiserver.crt: certificate CN=rke2-server-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for admin
INFO[0000] /var/lib/rancher/rke2/server/tls/client-admin.crt: certificate CN=system:admin,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-admin.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for auth-proxy
INFO[0000] /var/lib/rancher/rke2/server/tls/client-auth-proxy.crt: certificate CN=system:auth-proxy is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-auth-proxy.crt: certificate CN=rke2-request-header-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for cloud-controller
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-cloud-controller.crt: certificate CN=rke2-cloud-controller-manager is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-rke2-cloud-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for controller-manager
INFO[0000] /var/lib/rancher/rke2/server/tls/client-controller.crt: certificate CN=system:kube-controller-manager is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-controller.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for scheduler
INFO[0000] /var/lib/rancher/rke2/server/tls/client-scheduler.crt: certificate CN=system:kube-scheduler is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-scheduler.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z
INFO[0000] Checking certificates for supervisor
INFO[0000] /var/lib/rancher/rke2/server/tls/client-supervisor.crt: certificate CN=system:rke2-supervisor,O=system:masters is ok, expires at 2035-05-24T09:44:16Z
INFO[0000] /var/lib/rancher/rke2/server/tls/client-supervisor.crt: certificate CN=rke2-client-ca@1736240037 is ok, expires at 2035-01-05T08:53:57Z

Step7: 再去下一台 node 執行 Step 1 ~ 5 的操作步驟

Rancher CD with Azure Devops

Wed, 23 Apr 2025 02:40:58 +0800

How to Pull Images from Google Artifact Registry into RKE2

Wed, 26 Mar 2025 08:54:12 +0800

注意事項

如果 RKE2 沒有被 Rancher 管理，則叢集中的每台節點都需要做設定，如果有則透過 Rancher 介面設定，否則容易造成設定檔混亂

1. 在 Google Cloud Platform 中設定

請在 Cloud shell 中執行，因為在 Cloud shell 執行可以少很多 Gcloud 的設定、Gcloud 的安裝、Project 的設定、個人帳號的驗證

1.1. 創建 Google Service Account

1.1.1. 定義 Google Service Account name

SA_NAME='gsa-demo'

1.1.2. 創建 Google Service Account

gcloud iam service-accounts create ${SA_NAME}

1.2. 產生 Google Service Account Key File

gcloud iam service-accounts keys create key.json \
--iam-account=${SA_NAME}@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com

GOOGLE_CLOUD_PROJECT 這個變數 Cloud Shell 預設會有

2. 在 RKE2 叢集設定 Private Registry

此範例只適用純手動建立的 RKE2

2.1. 連線至叢集節點

ssh sudo_user@ip

2.2. 編輯 Private Registry 設定檔

2.2.1. 定義變數

DOMAIN_NAME='asia-east1-docker.pkg.dev'
KEY_FILE=$(cat /PATH/TO/key.json | base64 -w 0)

2.2.2. 產生 Private Registry 設定檔

cat <<EOF | sudo tee /etc/rancher/rke2/registries.yaml
mirrors:
"${DOMAIN_NAME}":
endpoint:
- "https://${DOMAIN_NAME}"
configs:
"${DOMAIN_NAME}":
auth:
username: _json_key_base64
password: '${KEY_FILE}'
EOF

2.3. 驅逐節點的 Pod

請在 RKE2 管理主機依序執行以下命令

2.3.1. 定義節點名稱

NODE='m1'

2.3.2. 設定節點不能被指派 Pod

kubectl cordon $NODE

2.3.2. 驅逐節點上的 Pod

kubectl drain $NODE --ignore-daemonsets --delete-emptydir-data

2.4. 重啟 RKE2 服務

請回到設定的節點執行以下命令

如果是 Control-plane/Server node 則執行以下命令

sudo systemctl restart rke2-server

如果是 Worker/Agent node 則執行以下命令

sudo systemctl restart rke2-agent

2.5. 將節點恢復為可指派 Pod

請在 RKE2 管理主機依序執行以下命令

kubectl uncordon $NODE

2.6. 重複以上 2.1. ~ 2.5. 的步驟，直到叢集中的每台節點都設定完畢

3. 參考文章

[DOC] - Missing documentation on how to external repo via registries.yaml

Rancher API Create K3s Cluster

Thu, 09 Jan 2025 14:47:36 +0800

1. 先決要求

已完成安裝 Rancher v2.10.1
一台剛安裝好 Linux 作業系統的電腦
bash、curl、jq 和 yq 命令須先完成安裝

2. 開始實作

在 Rancher UI 建立 token
將 ACCESS_KEY、SECRET_KEY 和 Rancher_URL 設為變數

export CATTLE_ACCESS_KEY='token-vr4rr'
export CATTLE_SECRET_KEY='4sqjmbxx47k2pd286gkrvd27wmfpvs599htqnxhqnpv5kqwb74r49f'
export Rancher_URL='antony-rancher.example.com'
export Cluster_Name='test'

撰寫 K3s 叢集設定檔

cat << EOF > ${HOME}/k3s.yaml
apiVersion: provisioning.cattle.io/v1
kind: Cluster
metadata:
 name: ${Cluster_Name}
 namespace: fleet-default
spec:
 kubernetesVersion: v1.31.3+k3s1
 rkeConfig:
 machineGlobalConfig:
 cluster-cidr: 172.99.0.0/16
 cluster-dns: 172.100.10.10
 disable:
 - servicelb
 - traefik
 kube-apiserver-arg:
 - '--default-not-ready-toleration-seconds=5'
 - '--default-unreachable-toleration-seconds=5'
 kube-controller-manager-arg:
 - '--node-monitor-grace-period=20s'
 service-cidr: 172.100.0.0/16
 tls-san:
 - 127.0.0.1
 - 192.168.11.150
 - 192.168.11.21
 disable-network-policy: true
 secrets-encryption: false
 machineSelectorConfig:
 - config:
 kubelet-arg:
 - container-log-max-files=5
 - container-log-max-size=10Mi
 selinux: true
__clone: true
EOF

使用 yq 工具將 k3s 叢集設定檔轉換成 json 格式

yq eval -o=json ${HOME}/k3s.yaml > ${HOME}/k3s.json

呼叫 Rancher 建立 K3s

curl -k -u "${CATTLE_ACCESS_KEY}:${CATTLE_SECRET_KEY}" \
-X POST \
-H 'Accept: application/json' \
-H 'Content-Type: application/json' \
-d @${HOME}/k3s.json \
https://${Rancher_URL}/v1/provisioning.cattle.io.clusters

將新建立 K3s 叢集的 clusterid 設為變數

export ClusterID=$(curl -s -k -u "${CATTLE_ACCESS_KEY}:${CATTLE_SECRET_KEY}" \
-H 'Accept: application/json' \
https://${Rancher_URL}/v3/clusters | \
jq -r ".data[] | select(.name == \"${Cluster_Name}\") | .id")

獲取同時具有 etcd、controlplane 和 worker Role 的註冊指令

CODE=$(curl -s -k -u "${CATTLE_ACCESS_KEY}:${CATTLE_SECRET_KEY}" \
https://${Rancher_URL}/v3/clusters/${ClusterID}/clusterregistrationtokens | \
jq -r .data[].insecureNodeCommand)
echo "$CODE --etcd --controlplane --worker"

執行結果應與以下類似 :

curl --insecure -fL https://antony-rancher.example.com/system-agent-install.sh | sudo sh -s - --server https://antony-rancher.example.com --label 'cattle.io/os=linux' --token mckc626z5tsvzs8z2rv7lkk8hpctl4z6rw5hfb66qb4cc8h24fsr6f --ca-checksum de987cd6d56600459cbbb895564eaf04687d2dedeeab39cf7c83ef761dc93332 --etcd --controlplane --worker

Introduction to Harvester

Wed, 11 Dec 2024 07:41:54 +0800

混合與超融合基礎架構概念
讓我們先從現代計算的基本範疇開始討論。計算主要由三個核心範疇組成：

計算：執行實際的處理流程，是完成工作的地方。
儲存：用於儲存資料，這些資料可以稍後被取回進行處理。
網路：用於機器之間的溝通與交流。

這些是計算的核心或基本範疇。讓我們回顧一下這些範疇隨著時間的演進，以及在計算、儲存和網路實施上的變化。

傳統架構的回顧

傳統架構中，伺服器運行應用程式並內建直接連接的儲存空間，這些伺服器透過網路互相連接。這種架構簡單且可行，但在儲存方面存在一些缺陷。例如，當應用程式需要存取另一伺服器上的資料時，效率會受到限制。這促使了將儲存空間從伺服器中分離，轉移到網路上的需求，例如使用專用檔案伺服器（如 NFS、SMB 或 NAS、SAN 系統）來提升儲存效率和冗餘性。

虛擬化的出現

隨著計算的進一步發展，我們需要更有效地利用伺服器的處理能力。虛擬化技術應運而生，將工作負載與底層硬體分離。一個伺服器現在可以運行多個虛擬機器（VMs），這提高了伺服器資源的利用率。同時，這也帶來了網路和儲存層的複雜性，特別是在大型資料中心中。

超融合架構的解決方案

超融合架構將事情簡化。它將虛擬化技術和軟體定義的存儲與網路整合到單一標準化單元，包含計算、儲存和網路。這些單元可以根據需求進行擴展，無需購買專門的硬體。

為何選擇超融合架構？

1. 簡化設計

單一供應商提供整合的計算單元，減少整合成本和兼容性問題。
所有單元標準化，降低對專業技能的依賴。

2. 彈性擴展

只需新增標準化單元即可擴展計算、儲存和網路能力。
可以從小規模開始，隨需求逐步擴展。

3. 資料保護

節點內建儲存冗餘，資料可自動複製，提升容錯能力。
支援快照、複製和備份功能，可快速恢復資料。

超融合架構的這些特性使得系統更簡單、更靈活且更具韌性，是現代企業的理想選擇。

Networking in Harvester

Harvester 網路設定

在這部分的學習目標中，您將學會以下內容：

描述 Harvester 的網路概念
建立、修改和刪除叢集網路與網路設定
建立、修改和刪除虛擬機（VM）網路

為達成這些學習目標，主要涵蓋的主題包括：

Harvester 叢集網路概述
我們將討論這些基本概念，以及 Harvester 如何運用這些概念來配置叢集中的網路。
叢集網路定義、網路配置與虛擬機網路
我們會深入探討這些元素如何相互關聯，以及如何配置它們，使其能夠被有效利用。

Harvester 叢集中的網路概述

在這裡，我們需要首先討論一些 Harvester 用於實現叢集內部網路的概念。

1. Cluster Network (叢集網路)

叢集網路是一條流量隔離的數據轉發通道，可以將其視為一個網路或一條管道，用於 Harvester 叢集和數據中心中傳輸實際的網路流量。這些管道實際承載著網路流量，這就是所謂的叢集網路。

我們將 Harvester 中一條流量隔離的轉發路徑上的設備、鏈路和配置的總和抽象為一個叢集網路。

在上述情況下，會有兩個叢集網路，分別對應於兩條流量隔離的轉發路徑。

2. Network Config (網路配置)

網路配置定義了叢集節點如何連接到叢集網路。例如，指定用於連接這些網路管道的網路介面，以及在多個網路介面需要連接到同一條管道時應使用的綁定類型。簡言之，網路配置決定了叢集節點如何連接到實際的叢集網路。

3. VM Network (虛擬機網路)

虛擬機網路是供虛擬機連接和通信使用的網路，這些網路與叢集網路相關聯。

概念圖解

以下是一個完整的 Harvester 叢集圖例，包括多個節點、網路、虛擬網路和虛擬機。我們將前述概念應用到此圖中以更直觀地理解。

叢集網路：
叢集網路是承載網路流量的管道。舉例來說，上方的網路交換機與管理網路相關，下方的交換機與叢集節點相連。這些管道可以是實體的（例如交換機）或虛擬的（例如 VLAN）。
網路配置：
網路配置顯示了各節點如何連接到叢集網路。不同節點可能有不同的網路介面名稱和連接方式，因此需要在 Kubernetes 的編排層定義這些連接。如果所有節點的配置相同，可以共用一個網路配置；否則需要為每個節點定義單獨的網路配置。
虛擬機網路：
虛擬機網路允許虛擬機彼此通信，或與外部世界通信。這些網路通常是 VLAN，但也可以是未標記的網路（untagged network）。虛擬機網路的流量會通過叢集網路傳輸，而不是通過網路配置。

管理網路

管理網路是叢集部署時由 Canal CNI 自動創建的，用於叢集節點之間的通信及管理操作。理論上，虛擬機也可以通過 Kubernetes 服務對象連接到管理網路，但實務上不常見。更好的做法是使用虛擬機網路來進行通信。

VLAN 主幹網路

VLAN 主幹網路是一種專用於虛擬機流量的叢集網路。節點與交換機的連接埠設置為主幹埠，允許多個 VLAN 流量通過而不過濾。這樣，虛擬機網路流量可以高效且隔離地傳輸。

虛擬機網路細節

虛擬機網路是虛擬機之間以及與外部通信的主要方式，通常以 VLAN 實現。若環境有限，也可以與管理網路共用，但最佳實踐是將虛擬機流量隔離到專用的叢集網路中。

Longhorn Installation Requirements

Mon, 14 Oct 2024 09:54:38 +0800

Minimum Recommended Hardware

3 nodes
4 vCPUs per node
4 GiB per node
SSD/NVMe or similar performance block device on the node for storage (recommended)
HDD/Spinning Disk or similar performance block device on the node for storage (verified)
500/250 max IOPS per volume (1 MiB I/O)
500/250 max throughput per volume (MiB/s)

SL Micro 6.0

# open-iscsi is installed, and the iscsid daemon is running on all the nodes.
$ rpm -qa | grep -E "open-iscsi|nfs-client"
open-iscsi-2.1.9-3.7.x86_64
nfs-client-2.6.3-36.15.x86_64
$ sudo systemctl enable --now iscsid
$ sudo systemctl is-active iscsid
# the following pkg must be installed
$ sudo bash -c "for i in bash curl findmnt grep awk blkid lsblk; do command -v \${i}; done | wc -l"
7
# Check NFSv4.1 or NFSv4.2 support is enabled in kernel
$ cat /boot/config-`uname -r`| grep -E "CONFIG_NFS_V4_1|CONFIG_NFS_V4_2"
CONFIG_NFS_V4_1=y
CONFIG_NFS_V4_2=y
CONFIG_NFS_V4_1_IMPLEMENTATION_ID_DOMAIN="kernel.org"
# CONFIG_NFS_V4_1_MIGRATION is not set
# CONFIG_NFS_V4_2_READ_PLUS is not set
CONFIG_NFS_V4_2_SSC_HELPER=y
$ cat <<EOF | sudo tee -a /etc/modules-load.d/v2_data_engine_modules.conf
vfio_pci
uio_pci_generic
nvme-tcp
EOF
$ sudo reboot
$ sudo lsmod | grep -Ei "vfio_pci|uio_pci_generic|nvme_tcp"
nvme_tcp 61440 0
nvme_keyring 16384 1 nvme_tcp
nvme_fabrics 45056 1 nvme_tcp
nvme_core 233472 2 nvme_tcp,nvme_fabrics
uio_pci_generic 12288 0
vfio_pci 16384 0
vfio_pci_core 86016 1 vfio_pci
vfio 61440 3 vfio_pci_core,vfio_iommu_type1,vfio_pci
irqbypass 12288 2 vfio_pci_core,kvm
uio 32768 2 cnic,uio_pci_generic
$ sudo pvcreate pvcreate /dev/sdb
$ sudo vgcreate longhorn-vg /dev/sdb
$ sudo lvcreate -l 100%FREE -n longhorn-data longhorn-vg
$ sudo lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
longhorn-data longhorn-vg -wi-a----- 32.00g
$ sudo mkdir -p /var/lib/longhorn
$ sudo mkfs.xfs /dev/longhorn-vg/longhorn-data
$ sudo vi /etc/fstab
/dev/longhorn-vg/longhorn-data /var/lib/longhorn xfs defaults 0 0
$ sudo mount -a

設定 Harvester VM 使用獨立的 Bond 網卡

Wed, 28 Aug 2024 14:34:44 +0800

1. 新增 Cluster Network 並設定 Bond mode

當前每台 node 額外多出來的網路卡資訊

# node 1
$ ip a s
...
4: ens35: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:23:59:d5 brd ff:ff:ff:ff:ff:ff
altname enp2s3
5: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:23:59:df brd ff:ff:ff:ff:ff:ff
altname enp2s4
...
# node 2
$ ip a s
...
4: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:ac:a8:58 brd ff:ff:ff:ff:ff:ff
altname enp2s2
5: ens35: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:ac:a8:62 brd ff:ff:ff:ff:ff:ff
altname enp2s3
...
# node 3
$ ip a s
4: ens35: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:f4:48:52 brd ff:ff:ff:ff:ff:ff
altname enp2s3
5: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:f4:48:5c brd ff:ff:ff:ff:ff:ff
altname enp2s4
...

建立 Cluster Network

左側選單 Networks -> Cluster Network -> 點選 Create Cluster Network 按鈕

取名: vm 然後點右下角 Create 按鈕

點 Create Network Config 按鈕

勾選 Select specific node Node Name: 點選展開下拉式選單，選擇要設定的主機名稱

點選單 Uplink NICs 選擇主機上多的兩張網卡 ens35 和 ens36 Bond Options Mode 選擇 balance-alb

再點 Create Network Config 按鈕，依照剛剛的步驟將其他節點的網卡都加入到這 Cluster Network，最後就會看到下圖

要確認每個 Config Network 狀態都是 Active

2. 永久設定 brige 裝置一個 IP 位置 (可選)

讓 Harvester node 能夠連接使用這個 Network 的 VM，如果不做此步驟則 VM 建出來會無法從 Harvester node 連接，但還是能夠從同網段的機器連到 VM。

2.1. 檢查當前網卡的設定

$ ip a s
4: ens35: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vm-bo state UP group default qlen 1000
link/ether 00:0c:29:23:59:d5 brd ff:ff:ff:ff:ff:ff
altname enp2s3
5: ens36: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vm-bo state UP group default qlen 1000
link/ether 00:0c:29:23:59:df brd ff:ff:ff:ff:ff:ff
altname enp2s4
...
65: vm-bo: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue master vm-br state UP group default qlen 1000
link/ether 00:0c:29:23:59:d5 brd ff:ff:ff:ff:ff:ff
66: vm-br: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default
link/ether 1e:df:20:6d:88:47 brd ff:ff:ff:ff:ff:ff

發現多了 vm-bo 這張網卡和 vm-br 這個 bridge 裝置但是 vm-br 橋接裝置沒有自己的 IP

2.2. 備份 Harvester Configuration 檔案 `/oem/90_custom.yaml`

$ sudo cp /oem/90_custom.yaml /oem/install/90_custom.yaml.$(date --iso-8601=minutes)

2.3. 修改 `/oem/90_custom.yaml` 檔案，並且更新以下 Yaml 檔中路徑的值 `stages.initramfs[0].files`

$ vi /oem/90_custom.yaml

內容如下

name: Harvester Configuration
stages:
initramfs:
- commands:
...
files:
# add the following context
- path: /etc/wicked/scripts/setup_vm_bond.sh
permissions: 493
owner: 0
group: 0
content: |
#!/bin/sh
ACTION=$1
INTERFACE=$2
case $ACTION in
post-up)
# inherit MAC address
ip link set dev vm-br address $(ip -json link show dev $INTERFACE | jq -j '.[0]["address"]')
# accept all vlan, PVID=1 by default
bridge vlan add vid 2-4094 dev $INTERFACE
;;
esac
encoding: ""
ownerstring: ""
- path: /etc/sysconfig/network/ifcfg-vm-bo
permissions: 384
owner: 0
group: 0
content: |+
STARTMODE='onboot'
BONDING_MASTER='yes'
BOOTPROTO='none'
POST_UP_SCRIPT="wicked:setup_vm_bond.sh"
BONDING_SLAVE_0='ens35'
BONDING_SLAVE_1='ens36'
BONDING_MODULE_OPTS='miimon=100 mode=balance-alb '
DHCLIENT_SET_DEFAULT_ROUTE='no'
encoding: ""
- path: /etc/sysconfig/network/ifcfg-ens35
permissions: 384
owner: 0
group: 0
content: |
STARTMODE='hotplug'
BOOTPROTO='none'
encoding: ""
ownerstring: ""
- path: /etc/sysconfig/network/ifcfg-ens36
permissions: 384
owner: 0
group: 0
content: |
STARTMODE='hotplug'
BOOTPROTO='none'
encoding: ""
ownerstring: ""
- path: /etc/wicked/scripts/setup_vm_bridge.sh
permissions: 493
owner: 0
group: 0
content: |
#!/bin/sh
ACTION=$1
INTERFACE=$2
case $ACTION in
pre-up)
# enable vlan-aware
ip link set $INTERFACE type bridge vlan_filtering 1
;;
post-up)
# accept all vlan, PVID=1 by default
bridge vlan add vid 2-4094 dev $INTERFACE self
bridge vlan add vid 2-4094 dev vm-bo
;;
esac
encoding: ""
ownerstring: ""
- path: /etc/sysconfig/network/ifcfg-vm-br
permissions: 384
owner: 0
group: 0
content: |+
STARTMODE='onboot'
BOOTPROTO='static'
BRIDGE='yes'
BRIDGE_STP='off'
BRIDGE_FORWARDDELAY='0'
BRIDGE_PORTS='vm-bo'
PRE_UP_SCRIPT="wicked:setup_vm_bridge.sh"
POST_UP_SCRIPT="wicked:setup_vm_bridge.sh"
IPADDR=192.168.81.21
NETMASK=255.255.255.0
DHCLIENT_SET_DEFAULT_ROUTE='yes'
encoding: ""
ownerstring: ""

/etc/wicked/scripts/setup_vm_bond.sh 修改內容如下 :
- ip link set dev <你的 bridge 名稱> address
  - bridge 的名稱會是 <cluster network name>-br
  - 譬如: 我的 cluster network 取名為 vm，那麼名稱就是 vm-br
- 此檔名可自訂義
/etc/sysconfig/network/ifcfg-vm-bo 修改內容如下 :
- POST_UP_SCRIPT="wicked:setup_vm_bond.sh"
  - 格式 : wicked:<第一個 script 的名稱>
- BONDING_SLAVE_0='ens35'
  - 格式 : ONDING_SLAVE_0='第一張網卡名稱'
- BONDING_SLAVE_1='ens36'
  - 格式 : ONDING_SLAVE_1='第二張網卡名稱'
- BONDING_MODULE_OPTS='miimon=100 mode=balance-alb '
  - 格式 : BONDING_MODULE_OPTS='miimon=<在 UI 上建立的值> node=<在 UI 上選的 Bond mode>'
/etc/sysconfig/network/ifcfg-ens35 修改內容如下 :
- 檔名須為: ifcfg-<網卡名稱>
/etc/sysconfig/network/ifcfg-ens36 修改內容如下 :
- 檔名須為: ifcfg-<網卡名稱>
/etc/wicked/scripts/setup_vm_bridge.sh 修改內容如下 :
- 檔名可自訂義
/etc/sysconfig/network/ifcfg-vm-br 修改內容如下 :
- BRIDGE_PORTS='vm-bo'
  - 格式: BRIDGE_PORTS='bridge 名稱'
- PRE_UP_SCRIPT="wicked:setup_vm_bridge.sh"
  - 格式: PRE_UP_SCRIPT="上一個 Script 檔案的名稱"
- POST_UP_SCRIPT="wicked:setup_vm_bridge.sh"
  - 格式: POST_UP_SCRIPT="上一個 Script 檔案的名稱"
- IPADDR=192.168.81.21
  - 改成符合這張網卡的 IP Address
- NETMASK=255.255.255.0
  - 改成符合這張網卡的子網路遮罩

2.4. 重開機

$ sudo init 6

如果這台 node 上有正在跑的 VM 要先關機。

2.5. 確認成功幫 Bridge 設靜態 IP

$ ip a s
...
4: ens35: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vm-bo state UP group default qlen 1000
link/ether 00:0c:29:f4:48:52 brd ff:ff:ff:ff:ff:ff
altname enp2s3
5: ens36: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vm-bo state UP group default qlen 1000
link/ether 00:0c:29:f4:48:5c brd ff:ff:ff:ff:ff:ff
altname enp2s4
6: vm-br: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 00:0c:29:f4:48:52 brd ff:ff:ff:ff:ff:ff
inet 192.168.81.23/24 brd 192.168.81.255 scope global vm-br
valid_lft forever preferred_lft forever
7: vm-bo: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue master vm-br state UP group default qlen 1000
link/ether 00:0c:29:f4:48:52 brd ff:ff:ff:ff:ff:ff

2.6. 重複以上 2.1. ~ 2.5. 的步驟依序做完每一台有在 `Cluster Netwrok` 底下的節點

這樣設定完 Harvester node 就能夠連到 VM

3. 建立 VM Network

點選左側選單 Networks -> VM Networks -> Create

Name: vm
Type: UntaggedNetwrok
Cluster Network: vm

建立成功，之前 VM 在建立的時候就能有自己獨立的網卡辣~

Install High-Availability Rancher and Setting up an NGINX Load Balancer

Tue, 13 Aug 2024 05:41:28 +0800

環境介紹

三台 node 都會跑 K3S + Rancher
一台 node 當 Load Balancer
OS 都是 SLES 15 SP5

Architecture

DNS for Rancher should resolve to a layer 4 load balancer
The Load Balancer should forward port TCP/80 and TCP/443 to all 3 nodes in the Kubernetes cluster.
The Ingress controller will redirect HTTP to HTTPS and terminate SSL/TLS on port TCP/443.
The Ingress controller will forward traffic to port TCP/80 on the pod in the Rancher deployment.
Kubernetes Rancher install with layer 4 load balancer, depicting SSL termination at ingress controllers

1. 安裝 HA K3S v1.28.8

# 1. SSH 連線到 r1
$ ssh rancher@192.168.11.25
# 2. 安裝 k3s
$ curl -sfL https://get.k3s.io | \
INSTALL_K3S_VERSION=v1.28.8+k3s1 \
K3S_KUBECONFIG_MODE="644" \
K3S_TOKEN=SECRET sh -s - server \
--cluster-init
# 3. SSH 連線到 r2
$ ssh rancher@192.168.11.26
# 4. 安裝 k3s
$ curl -sfL https://get.k3s.io | \
INSTALL_K3S_VERSION=v1.28.8+k3s1 \
K3S_KUBECONFIG_MODE="644" \
K3S_TOKEN=SECRET sh -s - server \
--server https://192.168.11.25:6443
# 5. SSH 連線到 r3
$ ssh rancher@192.168.11.27
# 6. 安裝 k3s
$ curl -sfL https://get.k3s.io | \
INSTALL_K3S_VERSION=v1.28.8+k3s1 \
K3S_KUBECONFIG_MODE="644" \
K3S_TOKEN=SECRET sh -s - server \
--server https://192.168.11.25:6443
# 7. SSH 連線到 r1
$ ssh rancher@192.168.11.25
# 8. Check node Ready
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
r1 Ready control-plane,etcd,master 32m v1.28.8+k3s1
r2 Ready control-plane,etcd,master 22m v1.28.8+k3s1
r3 Ready control-plane,etcd,master 20m v1.28.8+k3s1
# 9. etcd 健康檢查
## 先安裝 etcdctl
$ curl -s https://raw.githubusercontent.com/braveantony/bash-script/main/install-etcdcheck.sh | sudo bash
...
etcd Version: 3.4.13
Git SHA: ae9734ed2
Go Version: go1.12.17
Go OS/Arch: linux/amd64
etcdctl version: 3.4.13
API version: 3.4
## 用 root 執行以下命令
$ ETCDCTL_ENDPOINTS='https://127.0.0.1:2379' \
ETCDCTL_CACERT='/var/lib/rancher/k3s/server/tls/etcd/server-ca.crt' \
ETCDCTL_CERT='/var/lib/rancher/k3s/server/tls/etcd/server-client.crt' \
ETCDCTL_KEY='/var/lib/rancher/k3s/server/tls/etcd/server-client.key' \
ETCDCTL_API=3 etcdctl endpoint health --cluster --write-out=table
+----------------------------+--------+-------------+-------+
| ENDPOINT | HEALTH | TOOK | ERROR |
+----------------------------+--------+-------------+-------+
| https://192.168.11.27:2379 | true | 9.981773ms | |
| https://192.168.11.26:2379 | true | 10.882845ms | |
| https://192.168.11.25:2379 | true | 11.50637ms | |
+----------------------------+--------+-------------+-------+

2. Install Rancher HA v2.8.3

# 1. 安裝 Helm
$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
# Setup kubeconfig
$ sudo cp /etc/rancher/k3s/k3s.yaml ~/.kube/config && \
sudo chmod 600 ~/.kube/config && \
sudo chown $(id -u):$(id -g) ~/.kube/config
# 2. Add the Helm Chart Repository
$ helm repo add rancher-prime https://charts.rancher.com/server-charts/prime
# 3. Create a Namespace for Rancher
$ kubectl create ns cattle-system
# 4. 使用 cert-manager 產生憑證
# 4.1. Add the Jetstack Helm repository
$ helm repo add jetstack https://charts.jetstack.io
# 4.2. Update your local Helm chart repository cache
$ helm repo update
# 4.3. Install the cert-manager Helm chart
$ helm install cert-manager jetstack/cert-manager \
--namespace cert-manager \
--create-namespace \
--set installCRDs=true \
--set prometheus.enabled=false \
--set webhook.timeoutSeconds=4 \
--version v1.14.4
# 4.4. Check cert-manager pod status
$ kubectl get pods -n cert-manager
NAME READY STATUS RESTARTS AGE
cert-manager-798bf649c9-4fsgg 1/1 Running 0 18m
cert-manager-cainjector-c7d4dbdd9-nzwqn 1/1 Running 0 18m
cert-manager-webhook-847d7676c9-7wvvz 1/1 Running 0 18m
# 5. Check DNS a record
## 要設為 Load Balancer 的 IP
$ dig @192.168.11.85 rancher.antony520.com +short
192.168.11.28
# 6. Install Rancher Prime with Helm
$ helm install rancher rancher-prime/rancher \
--namespace cattle-system \
--set hostname=rancher.antony520.com \
--set bootstrapPassword=rancheradmin \
--set global.cattle.psp.enabled=false \
--set replicas=3 \
--version 2.8.3
# 7. Verify that the Rancher Server is Successfully Deployed
$ kubectl -n cattle-system get pods
NAME READY STATUS RESTARTS AGE
rancher-648d4fbc6c-7rpwx 1/1 Running 0 4m1s
rancher-648d4fbc6c-bqznk 1/1 Running 1 (44s ago) 4m1s
rancher-648d4fbc6c-nvchh 1/1 Running 1 (44s ago) 4m1s
# 8. check web
$ curl -k -H "host: rancher.antony520.com" https://192.168.11.25/dashboard/

3. Setting up an NGINX Load Balancer

Step 1: Create NGINX Configuration

# 1. SSH 連線到 lb 那台 node
$ ssh rancher@192.168.11.28
# 2. Example NGINX config
$ cat <<EOF | sudo tee /etc/nginx/nginx.conf
worker_processes 4;
worker_rlimit_nofile 40000;
events {
worker_connections 8192;
}
stream {
log_format proxy '\$remote_addr [\$time_local] '
'\$protocol \$status \$bytes_sent \$bytes_received '
'\$session_time "\$upstream_addr"';
error_log /var/log/nginx/error.log;
access_log /var/log/nginx/access.log proxy;
upstream rancher_servers_http {
least_conn;
server 192.168.11.25:80 max_fails=3 fail_timeout=5s;
server 192.168.11.26:80 max_fails=3 fail_timeout=5s;
server 192.168.11.27:80 max_fails=3 fail_timeout=5s;
}
server {
listen 80;
proxy_pass rancher_servers_http;
}
upstream rancher_servers_https {
least_conn;
server 192.168.11.25:443 max_fails=5 fail_timeout=8s;
server 192.168.11.26:443 max_fails=5 fail_timeout=8s;
server 192.168.11.27:443 max_fails=5 fail_timeout=8s;
}
server {
listen 443;
proxy_pass rancher_servers_https;
}
}
EOF

Step 2: Run NGINX as Podman Pod

# 1. 寫 yaml 檔
$ cat <<EOF > nginx-lb.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
app: nginx-lb
name: nginx-lb
spec:
containers:
- args:
- nginx
- -g
- daemon off;
image: docker.io/library/nginx:stable
name: nginx-lb
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
volumeMounts:
- mountPath: /etc/nginx/nginx.conf
name: etc-nginx-nginx.conf-host-0
- mountPath: /var/log/nginx
name: var-log-nginx-host-1
volumes:
- hostPath:
path: /etc/nginx/nginx.conf
type: File
name: etc-nginx-nginx.conf-host-0
- hostPath:
path: /var/log/nginx
type: Directory
name: var-log-nginx-host-1
EOF
# 2. Run Pod
$ sudo podman kube play nginx.yaml
# 3. Check Pod Status
$ sudo podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
d974299ac86d localhost/podman-pause:4.4.4-1680004800 14 seconds ago Up 9 seconds 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp af284bde454b-infra af284bde454b nginx-lb
9437a4d9d554 docker.io/library/nginx:stable nginx -g daemon o... 9 seconds ago Up 9 seconds 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp nginx-lb-nginx-lb af284bde454b nginx-lb
# 4. Access nginx lb on other node
$ curl -k https://rancher.antony520.com/
# 5. Check access log
$ sudo cat /var/log/nginx/access.log
192.168.11.85 [24/Apr/2024:09:42:16 +0000] TCP 200 10052 0.027 "192.168.11.26:443"
# 6. Start on Boot
$ cd ~/nginx/
$ sudo podman generate systemd --name nginx-lb --files
$ sudo cp container-nginx-lb-nginx-lb.service pod-nginx-lb.service /usr/lib/systemd/system/
$ sudo systemctl daemon-reload
$ sudo systemctl enable --now container-nginx-lb-nginx-lb.service pod-nginx-lb.service

參考文件

Setting up an NGINX Load Balancer - Rancher Docs

Full Offline Installation - Harbor, RKE2, Rancher

Mon, 29 Jul 2024 08:18:12 +0800

Preface

本篇文章主要介紹如何在離線模式下，安裝 Harbor v2.7.0, RKE2 v1.25.9, Rancher Prime v2.7.3 和 Neuvector 5.1.3，主要分為兩大部分

準備離線安裝所需之檔案
開始離線安裝

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

準備離線安裝

Requirements for Docker, Hardware, and Networking

一台機器，最低規格: 4 CORE, 8G RAM, 250G Disk (建議 300G 以上)
Disk 檔案系統為 Btrfs，需啟動 LVM，將 / 目錄的可用空間設為 270G ，/home 目錄 30G
須能上網
檢查 Docker 儲存 Image 的目錄應為 /var/lib/docker

$ sudo docker info -f '{{ .DockerRootDir}}'

邏輯層

$ lsblk -o NAME,SIZE,MOUNTPOINTS

實體層

$ df -hT

檢查 Docker 儲存 Image 的目錄目前已使用多大的儲存空間

$ sudo du -sh `sudo docker info -f '{{ .DockerRootDir}}'`

Prepare

Create Working Directory

$ mkdir -p work/{harbor,rke2,rancher,minio,compressed_files}

準備 Harbor v2.7.0 全離線安裝包

$ cd ~/work/harbor

下載 Harbor 壓縮檔，版本 v2.7.0

$ wget https://github.com/goharbor/harbor/releases/download/v2.7.0/harbor-offline-installer-v2.7.0.tgz

下載 Docker Compose 套件，版本 1.18

$ sudo wget https://github.com/docker/compose/releases/download/1.18.0/docker-compose-Linux-x86_64

將以上離線安裝 Harbor 所需之套件壓縮成一個檔案

$ cd ..; tar -czf compressed_files/harbor-offline.tar.gz harbor/

檢查是否符合預期

$ ls -lh compressed_files/

螢幕輸出

total 762M
-rw-r--r-- 1 762M harbor-offline.tar.gz

解壓縮命令 : tar -xzf compressed_files/harbor-offline.tar.gz

準備 RKE2 v1.25.9 全離線安裝包

$ cd ~/work/rke2 && sudo su

下載離線安裝 RKE2 所需 Image 之壓縮檔

$ curl -# -OL https://github.com/rancher/rke2/releases/download/v1.25.9%2Brke2r1/rke2-images.linux-amd64.tar.zst
$ curl -# -OL https://github.com/rancher/rke2/releases/download/v1.25.9%2Brke2r1/rke2.linux-amd64.tar.gz
$ curl -# -OL https://github.com/rancher/rke2/releases/download/v1.25.9%2Brke2r1/sha256sum-amd64.txt

下載官網提供的離線安裝 RKE2 所需之安裝腳本，並賦予它執行權限

$ curl -sfL https://get.rke2.io --output install.sh && chmod +x install.sh

$ ls -lh

螢幕輸出

total 939M
-rwxr-xr-x 1 root root 22K May 23 13:48 install.sh
-rw-r--r-- 1 root root 915M May 23 13:46 rke2-images.linux-amd64.tar.zst
-rw-r--r-- 1 root root 25M May 23 13:47 rke2.linux-amd64.tar.gz
-rw-r--r-- 1 root root 3.6K May 23 13:47 sha256sum-amd64.txt

將以上離線安裝 RKE2 所需之檔案，壓縮成一個檔案

$ cd ..; tar -czf compressed_files/rke2-offline.tar.gz rke2/

檢查是否符合預期

$ ls -lh compressed_files/

螢幕輸出

total 1.7G
-rw-r--r-- 1 762M harbor-offline.tar.gz
-rw-r--r-- 1 937M rke2-offline.tar.gz

解壓縮命令 : tar -xzf compressed_files/rke2-offline.tar.gz

離開 root 使用者

$ exit

準備 Rancher Prime v2.7.3 全離線安裝包

$ cd ~/work/rancher
# 安裝 helm
$ wget https://get.helm.sh/helm-v3.8.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.8.2-linux-amd64.tar.gz
$ sudo cp linux-amd64/helm /usr/local/bin/
$ helm repo add rancher-prime https://charts.rancher.com/server-charts/prime
$ helm repo update
$ helm fetch rancher-prime/rancher --version=v2.7.3
$ wget https://github.com/rancher/rancher/releases/download/v2.7.3/rancher-images.txt
$ wget https://github.com/rancher/rancher/releases/download/v2.7.3/rancher-load-images.sh
$ wget https://github.com/rancher/rancher/releases/download/v2.7.3/rancher-save-images.sh

準備 cert-manager 環境

$ wget https://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml
$ helm repo add jetstack https://charts.jetstack.io
$ helm repo update
$ helm fetch jetstack/cert-manager --version v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-controller:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-webhook:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-cainjector:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-ctl:v1.11.0
# 之後要再改 tag push 到 harbor
$ sudo docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx stable 7067317e3807 10 days ago 142MB
quay.io/jetstack/cert-manager-controller v1.7.1 db7725ef729d 12 months ago 65.9MB
quay.io/jetstack/cert-manager-webhook v1.7.1 36736adc2f4b 12 months ago 52.5MB
quay.io/jetstack/cert-manager-cainjector v1.7.1 623ec0d31539 12 months ago 44.5MB
quay.io/jetstack/cert-manager-ctl v1.7.1 4e60e4ce697f 12 months ago 57.2MB
$ sudo docker tag quay.io/jetstack/cert-manager-controller:v1.7.1 harbor.example.com/rancher/cert-manager-controller:v1.7.1
$ sudo docker tag quay.io/jetstack/cert-manager-webhook:v1.7.1 harbor.example.com/rancher/cert-manager-webhook:v1.7.1
$ sudo docker tag quay.io/jetstack/cert-manager-cainjector:v1.7.1 harbor.example.com/rancher/cert-manager-cainjector:v1.7.1
$ sudo docker tag quay.io/jetstack/cert-manager-ctl:v1.7.1 harbor.example.com/rancher/cert-manager-ctl:v1.7.1

下載 neuvector image

$ sudo docker pull neuvector/controller:5.1.3
$ sudo docker pull neuvector/manager:5.1.3
$ sudo docker pull neuvector/enforcer:5.1.3
$ sudo docker pull neuvector/scanner:latest
$ sudo docker pull neuvector/updater:latest
$ sudo docker tag neuvector/scanner harbor.example.com/rancher/neuvector/scanner
$ sudo docker tag neuvector/updater harbor.example.com/rancher/neuvector/updater
$ sudo docker tag neuvector/manager:5.1.1 harbor.example.com/rancher/neuvector/manager:5.1.1
$ sudo docker tag neuvector/enforcer:5.1.1 harbor.example.com/rancher/neuvector/enforcer:5.1.1
$ sudo docker tag neuvector/controller:5.1.1 harbor.example.com/rancher/neuvector/controller:5.1.1

下載所有 rancher 會用到的 image

$ chmod +x rancher-save-images.sh
$ chmod +x rancher-load-images.sh
$ ll
total 13432
-rw-r--r-- 1 rancher users 66038 Feb 20 10:20 cert-manager-v1.7.1.tgz
-rw-r--r-- 1 rancher users 13633605 Apr 14 2022 helm-v3.8.2-linux-amd64.tar.gz
-rw-r--r-- 1 rancher users 13996 Feb 20 10:10 rancher-2.7.1.tgz
-rw-r--r-- 1 rancher users 19406 Jan 25 06:21 rancher-images.txt
-rwxr-xr-x 1 rancher users 4115 Jan 25 06:22 rancher-load-images.sh
-rwxr-xr-x 1 rancher users 1757 Jan 25 06:21 rancher-save-images.sh
drwxr-xr-x 2 rancher rancher 50 Apr 14 2022 linux-amd64
-rw-r--r-- 1 rancher rancher 358698 Feb 4 2022 cert-manager.crds.yaml
# 預計下載會等兩個小時
# registry.rancher.com rancher-prime 來源
$ sudo ./rancher-save-images.sh --image-list ./rancher-images.txt --images rancher-images.tar.gz --source-registry registry.rancher.com | tee result.log

壓縮全離線安裝 rancher 會需要的所有檔案

$ tar -czvf rancher-offline.tar.gz cert-manager.crds.yaml image/rancher-image.tar.gz helm-v3.8.2-linux-amd64.tar.gz rancher-2.7.3.tgz cert-manager-v1.11.0.tgz rancher-images.txt rancher-load-images.sh push.sh

程式自動化

#!/bin/bash
[ -f detail-result.txt ] && cat /dev/null > detail-result.txt
[ -f result.txt ] && cat /dev/null > result.txt
exec {BASH_XTRACEFD}>>detail-result.txt
set -x
## load Image
### var
all_image_txt=$(cat rancher-images.txt cert-manager-images.txt neuvector-images.txt)
while read line
do
if sudo docker images "${line}" | grep -q "${line%:*}"; then
if ! sudo docker rmi "${line}" &> /dev/null; then
echo rmi "${line}" Error && exit 1
fi
fi
done <<< $(cat rancher-images.txt | sed 's|registry.rancher.com/||g')
while read image
do
if ! sudo docker pull "$image" 1> /dev/null 2> ./result.txt; then
echo pull "$image" Error && exit 1
fi
done <<< $(cat rancher-images.txt cert-manager-images.txt neuvector-images.txt)
## Save Image
### var
all_image=$(cat rancher-images.txt cert-manager-images.txt | tr '\n' ' ')
neuvector_image=$(cat neuvector-images.txt | sed 's|docker.io/||g' | tr '\n' ' ')
for n in $all_image $neuvector_image
do
if ! sudo docker images "$n" | grep -q "${n%:*}"; then
echo "$n" pull Error >> pull_error.txt
if ! sudo docker pull "$n" 1> /dev/null 2> still_pull_error.txt; then
echo "$n" pull Error twice >> pull_error.txt && exit 1
fi
fi
done
sudo docker save $all_image | gzip --stdout > rancher-cert_manager-image.tar.gz
[ "$?" != "0" ] && echo "save rancher image error" && exit 1
## 壓成一個壓縮檔
tar -czf ../compressed_files/rancher-offline.tar.gz rancher-cert_manager-image.tar.gz rancher-2.7.3.tgz cert-manager-v1.11.0.tgz helm-v3.8.2-linux-amd64.tar.gz cert-manager.crds.yaml
sudo docker save $neuvector_image | gzip --stdout > ../compressed_files/neuvector-image.tar.gz
[ "$?" != "0" ] && echo "save neuvector image error" && exit 1
tar -czf ../compressed_files/full-offline.tar.gz ../compressed_files/harbor-offline.tar.gz ../compressed_files/neuvector-image.tar.gz ../compressed_files/rancher-offline.tar.gz ../compressed_files/rke2-offline.tar.gz
[ "$?" == "0" ] && split -b 7G ../compressed_files/full-offline.tar.gz ../compressed_files/full-offline.tar.gz.part

minio

$ cd ~/work/minio
# 準備 docker-compose
$ sudo wget https://github.com/docker/compose/releases/download/1.18.0/docker-compose-Linux-x86_64

準備 image

$ sudo docker pull minio/minio
$ sudo docker tag minio/minio harbor.example.com/library/minio
$ sudo docker push harbor.example.com/library/minio

開始離線安裝

建置系統環境確認

Private Registry: 4 CORE, 6G RAM, 300G Disk
Rancher Manager: 4 CORE, 8G RAM, 100G Disk
Kubernetes Master: 4 CORE, 8G RAM, 100G Disk
Worker(*3): 4 CORE, 8G RAM, 100G Disk

安裝前準備

$ df -hT /

螢幕輸出:

Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/system-root btrfs 200G 28G 173G 14% /

將全離線安裝包上傳至機器

$ scp -r split/ <遠端機器>

檢查 split/ 目錄下之全離線安裝包檔案

ls -lh split/

螢幕輸出

total 27G
-rw-r--r-- 1 root root 7.0G Jun 6 21:51 full_offline.tar.gz.aa
-rw-r--r-- 1 root root 7.0G Jun 6 21:51 full_offline.tar.gz.ab
-rw-r--r-- 1 root root 7.0G Jun 6 21:52 full_offline.tar.gz.ac
-rw-r--r-- 1 root root 5.9G Jun 6 21:53 full_offline.tar.gz.ad

$ mkdir -p compressed_files && cd compressed_files/

解壓縮全離線安裝包 (耗時約 3 分鐘)

$ cat ../split/full_offline.tar.gz.a* | tar -zxvf -

須注意全離線安裝包的路徑

螢幕輸出:

harbor-offline.tar.gz
rancher-offline.tar.gz
rke2-offline.tar.gz

檢視檔案

ls -lh

螢幕輸出 :

total 27G
-rw-r--r-- 1 1003 users 762M May 23 14:33 harbor-offline.tar.gz
-rw-r--r-- 1 1003 users 26G May 26 10:34 rancher-offline.tar.gz
-rw-r--r-- 1 root root 937M May 23 15:10 rke2-offline.tar.gz

將 harbor、rancher、rke2 全離線安裝包傳送至對應之機器

$ scp harbor-offline.tar.gz <harbor 的機器>

$ scp rke2-offline.tar.gz <rancher 的機器>
$ scp rancher-offline.tar.gz <rancher 的機器>

$ scp rke2-offline.tar.gz <rke2 的機器>

安裝 harbor v2.7.0

連線至 harbor 機器，並確認目錄可用空間

檢查命令

df -hT / /home

螢幕輸出 :

Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/system-root btrfs 200G 28G 173G 14% /
/dev/mapper/system-home xfs 50G 84M 50G 1% /home

Enable Repositories

$ sudo zypper mr -e 1 2 3 4

安裝 docker

$ sudo zypper in -y docker && sudo systemctl enable --now docker

系統需要有 “Containers-Module” Repository

安裝 DNS Server

$ sudo zypper in -y -t pattern dhcp_dns_server

將 harbor 和 Rancher 的 Domain Name 到 DNS Server 註冊成 A Record

$ sudo yast2 dns-server

檢查 Harbor 和 Rancher 的名稱解析

$ host rancher.example.com && host harbor.example.com

螢幕輸出 :

rancher.example.com has address 192.168.61.62
harbor.example.com has address 192.168.61.61

解壓縮 harbor 全離線安裝包 (耗時約 4 秒鐘)，並切換至 harbor/ 目錄

$ tar -zxvf harbor-offline-v2.11.0.tar.gz && cd harbor/v2.11.0/

螢幕輸出:

harbor/
harbor/harbor-offline-installer-v2.11.0.tgz
harbor/docker-compose-Linux-x86_64

將 docker-compose 移至 /usr/bin 目錄下，並賦予 755 之權限

$ sudo mv docker-compose-linux-x86_64 /usr/bin/docker-compose && sudo chmod 755 /usr/bin/docker-compose

解壓縮 harbor-offline-installer，並切換至工作目錄

$ tar -xvf harbor-offline-installer-v2.11.0.tgz; cd harbor/

複製 harbor.yml

$ cp harbor.yml.tmpl harbor.yml

$ mkdir ssl;cd ssl

$ cat mk
#!/bin/bash
domain=$2
ip=$3
help()
{
cat <<EOF
Usage: mk [OPTIONS]
Available options:
create create [domain] [IP]
delete delete cert
test test
EOF
exit
}
ssl()
{
openssl genrsa -aes256 -passout pass:password -out ca-key.pem 4096
openssl req -new -x509 -sha256 -days 365 -subj "/C=TW/ST=Taipei/L=Taipei/O=test/OU=lab/CN=example" -passin pass:password -key ca-key.pem -out ca.pem
openssl genrsa -out cert-key.pem 4096
openssl req -new -sha256 -subj "/CN=example" -key cert-key.pem -out cert.csr
echo -e "subjectAltName=DNS:${domain},IP:${ip}\nextendedKeyUsage = serverAuth" > extfile.cnf
openssl x509 -req -sha256 -days 365 -passin pass:password -in cert.csr -CA ca.pem -CAkey ca-key.pem -out cert.pem -extfile extfile.cnf -CAcreateserial
}
de()
{
rm ca-key.pem ca.pem ca.srl cert.csr cert-key.pem cert.pem extfile.cnf &>/dev/null
if [ "$?" == "0" ];then
echo "delete all cert ok!"
else
echo "delete cert fail,please check!"
fi
}
ts()
{
openssl verify -CAfile ca.pem -verbose cert.pem
}
case $1 in
create)
if [ "$#" == "3" ];then
ssl
else
help
fi
;;
delete)
de
;;
test)
ts
;;
*)
help
;;
esac

透過自動化程式建立自簽憑證

$ ./mk create harbor.example.com 192.168.11.90

$1，放 Domain Name $2，Harbor 機器之 IP 位址

螢幕輸出 :

Generating RSA private key, 4096 bit long modulus (2 primes)
..++++
............................++++
e is 65537 (0x010001)
Generating RSA private key, 4096 bit long modulus (2 primes)
................................................................................................................................++++
.............................++++
e is 65537 (0x010001)
Signature ok
subject=CN = example
Getting CA Private Key

檢視自動化程式建立自簽憑證產生之檔案

$ ls -l

螢幕輸出 :

total 32
-rw------- 1 rancher users 3326 Jun 6 00:45 ca-key.pem
-rw-r--r-- 1 rancher users 2009 Jun 6 00:45 ca.pem
-rw-r--r-- 1 rancher users 41 Jun 6 00:45 ca.srl
-rw------- 1 rancher users 3243 Jun 6 00:45 cert-key.pem
-rw-r--r-- 1 rancher users 1582 Jun 6 00:45 cert.csr
-rw-r--r-- 1 rancher users 1874 Jun 6 00:45 cert.pem
-rw-r--r-- 1 rancher users 85 Jun 6 00:45 extfile.cnf
-rwxr-xr-x 1 rancher users 1175 Jun 6 00:44 mk

切換回上一層目錄，並編輯 harbor.yml

$ cd .. && vim harbor.yml

針對以下 3 個內容進行設定

hostname，填寫 harbor 的 Domain Name
certificate，設定 cert.pem 的絕對路徑
private_key，設定 cert-key.pem 的絕對路徑

檔案內容 :

# Configuration file of Harbor
# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname: harbor.example.com
# http related config
http:
# port for http, default is 80. If https enabled, this port will redirect to https port
port: 80
# https related config
https:
# https port for harbor, default is 443
port: 443
# The path of cert and key files for nginx
certificate: /home/rancher/harbor/cert.pem
private_key: /home/rancher/harbor/cert-key.pem
......以下內容省略

讓 Docker 信任自簽憑證

$ sudo mkdir /etc/docker/certs.d
$ sudo cp ssl/ca.pem /etc/docker/certs.d/
$ sudo systemctl restart docker

讓 OS 信任憑證

$ sudo cp ssl/ca.pem /usr/share/pki/trust/anchors/
$ sudo cp ssl/ca.pem /etc/pki/trust/anchors/
$ sudo update-ca-certificates --fresh

啟動 harbor

$ sudo ./install.sh --with-trivy

檢查 harbor 服務是否正常啟動

$ sudo docker-compose ps

螢幕輸出 :

 Name Command State Ports
------------------------------------------------------------------------------------------------------------------------
harbor-core /harbor/entrypoint.sh Up
harbor-db /docker-entrypoint.sh 13 Up
harbor-jobservice /harbor/entrypoint.sh Up
harbor-log /bin/sh -c /usr/local/bin/ ... Up 127.0.0.1:1514->10514/tcp
harbor-portal nginx -g daemon off; Up
nginx nginx -g daemon off; Up 0.0.0.0:80->8080/tcp,:::80->8080/tcp,
0.0.0.0:443->8443/tcp,:::443->8443/tcp
redis redis-server /etc/redis.conf Up
registry /home/harbor/entrypoint.sh Up
registryctl /home/harbor/start.sh Up
trivy-adapter /home/scanner/entrypoint.sh Up

透過 curl 檢查，可否 Access harbor 的 Web UI

$ curl -k -H "host: 192.168.61.61" "https://harbor.example.com/dashboard/"

螢幕輸出 :

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8"/>
<title>Harbor</title>
<base href="/"/>
<meta name="viewport" content="width=device-width, initial-scale=1"/>
<link rel="icon" type="image/x-icon" href="favicon.ico?v=2"/>
<link rel="stylesheet" href="styles.778b44f8c96802aa.css"></head>
<body>
<harbor-app>
<div class="spinner spinner-lg app-loading app-loading-fixed">
Loading...
</div>
</harbor-app>
<script src="runtime.5bc96e435ac00039.js" type="module"></script><script src="polyfills.d52770ae19691b1f.js" type="module"></script><script src="scripts.fc6b7827d4dcd875.js" defer></script><script src="main.a842fe34c6928c35.js" type="module"></script></body>
</html>

在 Firefox 瀏覽器匯入憑證 (ca.pem)

步驟 : 設定 -> 隱私與安全性 -> 檢視憑證 -> 匯入

在瀏覽器上登入 harbor

帳號: admin
密碼: Harbor12345

建立一個 rancher 的 project 點選公開

透過 docker 登入 harbor

$ sudo docker login harbor.example.com

螢幕輸出 :

Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded

設定 Harbor 在機器開機時自動啟動

$ cat <<EOF | sudo tee /usr/lib/systemd/system/harbor.service
[Unit]
Description=Harbor start at boot
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
[Service]
Type=simple
Restart=on-failure
RestartSec=5
ExecStart=/usr/bin/docker-compose -f /home/rancher/harbor/v2.11.0/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker-compose -f /home/rancher/harbor/v2.11.0/harbor/docker-compose.yml down
[Install]
WantedBy=multi-user.target
EOF

$ sudo systemctl enable harbor --now

在 harbor 主機準備離線安裝 rke2,rancher,neuvector 所需之 image

$ mkdir rancher; cd rancher

將 rancher-offline.tar.gz 解壓縮 (耗時約 3 分鐘)

$ tar -xzvf ../rancher-offline.tar.gz

螢幕輸出 :

cert-manager.crds.yaml
image/rancher-image.tar.gz
helm-v3.8.2-linux-amd64.tar.gz
rancher-2.7.3.tgz
cert-manager-v1.11.0.tgz
rancher-images.txt
rancher-load-images.sh
push.sh

$ ls -lh

螢幕輸出 :

total 14M
-rw-r--r-- 1 1003 users 65K May 23 16:48 cert-manager-v1.11.0.tgz
-rw-r--r-- 1 1003 users 380K Jan 11 22:56 cert-manager.crds.yaml
-rw-r--r-- 1 1003 users 14M Apr 14 2022 helm-v3.8.2-linux-amd64.tar.gz
drwxr-xr-x 1 root root 40 Jun 7 00:30 image
-rwxr-xr-x 1 1003 users 1.4K May 26 09:55 push.sh
-rw-r--r-- 1 1003 users 14K May 22 10:22 rancher-2.7.3.tgz
-rw-r--r-- 1 1003 users 33K May 25 09:46 rancher-images.txt
-rw-r--r-- 1 1003 users 4.1K Apr 24 23:55 rancher-load-images.sh

編輯 push.sh 程式，須修改程式內 image 壓縮檔的目錄

$ vi push.sh

將第 10 行的 compressed_files/ 刪除

# Load image
sudo docker load --input compressed_files/image/rancher-image.tar.gz

改成

# Load image
sudo docker load --input image/rancher-image.tar.gz

執行自動將離線安裝 rke2、rancher 和 neuvector 的 image PUSH 到自建 Harbor (耗時約 2 小時左右)

$ ./push.sh

#!/bin/bash
# output log
exec {BASH_XTRACEFD}>>detail.log
# Debug mode
set -x
# Load image
sudo docker load --input image/rancher-image.tar.gz | tee load-image.std.log 2> load-image.str.log
[ "$?" != "0" ] && echo load image fail && exit 1
# var
rancher_image=$(sudo docker images --format "{{.Repository}}:{{.Tag}}" | grep '^registry.rancher.com')
n_image=$(sudo docker images --format "{{.Repository}}:{{.Tag}}" | grep "^neuvector")
cert_image=$(sudo docker images --format "{{.Repository}}:{{.Tag}}" | grep "^quay.io")
registry_name='harbor.example.com'
for n in $cert_image
do
x=$(echo ${n/quay.io/${registry_name}})
sudo docker tag "$n" "${x/jetstack/rancher}"
[ "$?" != "0" ] && echo "$n" tag fail >> tag.log && exit 1
sudo docker push "${x/jetstack/rancher}"
[ "$?" != "0" ] && echo "${x/jetstack/rancher}" push fail >> push.log && exit 1
done
for e in $n_image
do
a=$(echo ${registry_name}/rancher/"$e")
sudo docker tag "$e" "$a"
[ "$?" != "0" ] && echo "$e" tag fail >> tag.log && exit 1
sudo docker push "$a"
[ "$?" != "0" ] && echo "$a" push fail >> push.log && exit 1
done
for r in $rancher_image
do
sudo docker tag $r ${r/registry.rancher.com/${registry_name}}
[ "$?" != "0" ] && echo "$r" tag fail >> tag.log && exit 1
sudo docker push "${r/registry.rancher.com/${registry_name}}"
[ "$?" != "0" ] && echo "${r/registry.rancher.com/${registry_name}}" push fail >> push.log && exit 1
done

到 harbor 網站檢查 image 的數量應該要有 200 張

安裝 Upstream Cluster - RKE2 v1.25.9

連線至 Rancher 主機
檢查 Harbor 和 Rancher 的名稱解析

$ host rancher.example.com && host harbor.example.com

螢幕輸出 :

rancher.example.com has address 192.168.61.62
harbor.example.com has address 192.168.61.61

解壓縮 rke2-airgap-v1.28.10.tar.gz，並切換至 rke2 目錄

$ tar -zxvf rke2-airgap-v1.28.10.tar.gz && cd rke2/v1.28.10

$ ls -lh

螢幕輸出 :

total 939M
-rwxr-xr-x 1 rancher users 22K May 23 13:48 install.sh
-rw-r--r-- 1 rancher users 915M May 23 13:46 rke2-images.linux-amd64.tar.zst
-rw-r--r-- 1 rancher users 25M May 23 13:47 rke2.linux-amd64.tar.gz
-rw-r--r-- 1 rancher users 3.6K May 23 13:47 sha256sum-amd64.txt

將 RKE2 全離線安裝包的物件，搬移至 /root/rke2-artifacts/

$ sudo mkdir /root/rke2-artifacts && sudo mv * /root/rke2-artifacts/

切換為 root 使用者，並將工作目錄切換至 /root/rke2-artifacts/

$ sudo su - root
# cd /root/rke2-artifacts/

# ls -lh

螢幕輸出 :

total 939M
-rwxr-xr-x 1 rancher users 22K May 23 13:48 install.sh
-rw-r--r-- 1 rancher users 915M May 23 13:46 rke2-images.linux-amd64.tar.zst
-rw-r--r-- 1 rancher users 25M May 23 13:47 rke2.linux-amd64.tar.gz
-rw-r--r-- 1 rancher users 3.6K May 23 13:47 sha256sum-amd64.txt

執行 RKE2 安裝腳本

# INSTALL_RKE2_ARTIFACT_PATH=/root/rke2-artifacts sh install.sh

螢幕輸出 :

[WARN] /usr/local is read-only or a mount point; installing to /opt/rke2
[INFO] staging local checksums from /root/rke2-artifacts/sha256sum-amd64.txt
[INFO] staging zst airgap image tarball from /root/rke2-artifacts/rke2-images.linux-amd64.tar.zst
[INFO] staging tarball from /root/rke2-artifacts/rke2.linux-amd64.tar.gz
[INFO] verifying airgap tarball
grep: /tmp/rke2-install.VlfWezVfj7/rke2-images.checksums: No such file or directory
[INFO] installing airgap tarball to /var/lib/rancher/rke2/agent/images
[INFO] verifying tarball
[INFO] unpacking tarball file to /opt/rke2
[INFO] updating tarball contents to reflect install path
[INFO] moving systemd units to /etc/systemd/system
[INFO] install complete; you may want to run: export PATH=$PATH:/opt/rke2/bin
r1:~/rke2-artifacts # export PATH=$PATH:/opt/rke2/bin

設定 RKE2 Node 之基本組態檔

# mkdir -p /etc/rancher/rke2/
# vim /etc/rancher/rke2/config.yaml

檔案內容 :

node-name:
- "rms-1"
token: my-shared-secret

設定 RKE2 的 Registry 設定檔

在 Upstream Cluster 中，每一台 Node 都要設定
並且每一台 Node 都要可以解析的到 Harbor 的 Domain Name

$ vim /etc/rancher/rke2/registries.yaml

檔案內容 :

mirrors:
docker.io:
endpoint:
- "https://harbor.example.com"
configs:
"harbor.example.com":
auth:
username: admin
password: Harbor12345
tls:
insecure_skip_verify: true

啟用 RKE2 服務

# systemctl enable --now rke2-server

螢幕輸出 :

Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → /etc/systemd/system/rke2-server.service.

退出 root 使用者

# exit

設定 kubeconfig 和 kubectl

$ cd ~ && mkdir ~/.kube && \
sudo cp /etc/rancher/rke2/rke2.yaml .kube/config && \
sudo chown rancher .kube/config && \
sudo cp /var/lib/rancher/rke2/bin/kubectl /usr/local/bin/ && \
sudo cp /opt/rke2/bin/* /usr/local/bin/

檢視 node 狀態

$ kubectl get nodes

螢幕輸出 :

NAME STATUS ROLES AGE VERSION
rms-1 Ready control-plane,etcd,master 27m v1.25.9+rke2r1

如果要 Join 多台 Server Nodes ，重複以上流程即可 (不是 HA 架構，請跳過本步驟)

Note: 在建立其他台 Server Nodes 時，RKE2 基本組態設定檔必須指定第一台 RKE2 Server node 的 IP

$ vim /etc/rancher/rke2/config.yaml

檔案內容 :

server: https://192.168.80.12:9345
node-name:
- "rms-2"
token: my-shared-secret

Run 一個 Nginx 的 Pod ，測試可否拉的到 Harbor 上的 Image

$ kubectl run myweb --image=rancher/library-nginx:1.19.2-alpine

螢幕輸出 :

pod/myweb created

檢查 STATUS 是否為 Running

$ kubectl get pod

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
pod/web 1/1 Running 0 4s

安裝 Rancher Prime v2.7.3

連線至 Rancher 所在之主機
檢查 Harbor 和 Rancher 的名稱解析

$ host rancher.example.com && host harbor.example.com

螢幕輸出 :

rancher.example.com has address 192.168.61.62
harbor.example.com has address 192.168.61.61

解壓縮 Rancher 離線安裝包 rancher-offline.tar.gz

$ tar -zxvf rancher-airgap-config-v2.8.5.tar.gz

螢幕輸出 :

rancher/v2.8.5/
rancher/v2.8.5/rancher-2.8.5.tgz
rancher/v2.8.5/cert-manager-v1.15.1.tgz
rancher/v2.8.5/cert-manager.yaml
rancher/v2.8.5/cmctl
rancher/v2.8.5/helm-v3.15.1-linux-amd64.tar.gz
rancher/v2.8.5/rancher-images.txt
rancher/v2.8.5/rancher-load-images.sh
rancher/v2.8.5/rancher-save-images.sh
rancher/v2.8.5/push.sh

清除多餘檔案

$ rm -r image/ push.sh rancher-images.txt rancher-load-images.sh

$ ls -lh

螢幕輸出 :

total 14M
-rw-r--r-- 1 rancher users 380K Jan 11 22:56 cert-manager.crds.yaml
-rw-r--r-- 1 rancher users 65K May 23 16:48 cert-manager-v1.11.0.tgz
-rw-r--r-- 1 rancher users 14M Apr 14 2022 helm-v3.14.2-linux-amd64.tar.gz
-rw-r--r-- 1 rancher users 14K May 22 10:22 rancher-2.7.3.tgz

安裝 Helm v3.8.2

$ tar zxvf helm-v3.15.1-linux-amd64.tar.gz

螢幕輸出 :

linux-amd64/
linux-amd64/helm
linux-amd64/LICENSE
linux-amd64/README.md

將 helm 執行檔複製到 /usr/local/bin/ 目錄下

$ sudo cp linux-amd64/helm /usr/local/bin/

檢視 Helm 版本應為 v3.8.2

$ helm version

螢幕輸出 :

version.BuildInfo{Version:"v3.8.2", GitCommit:"6e3701edea09e5d55a8ca2aae03a68917630e91b", GitTreeState:"clean", GoVersion:"go1.17.5"}

透過 Helm Chart 產生 cert-manager 在 Kubernetes 中所需之資源清單的範本

sed "s|quay.io/jetstack|harbor.example.com/rancher|g" cert-manager.yaml | kubectl apply -f -

$ helm template cert-manager ./cert-manager-v1.14.0.tgz --output-dir . \
--namespace cert-manager \
--set image.repository=rancher/cert-manager-controller \
--set webhook.image.repository=rancher/cert-manager-webhook \
--set cainjector.image.repository=rancher/cert-manager-cainjector \
--set startupapicheck.image.repository=rancher/cert-manager-ctl

螢幕輸出 :

wrote ./cert-manager/templates/cainjector-serviceaccount.yaml
wrote ./cert-manager/templates/serviceaccount.yaml
wrote ./cert-manager/templates/webhook-serviceaccount.yaml
wrote ./cert-manager/templates/webhook-config.yaml
wrote ./cert-manager/templates/cainjector-rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/webhook-rbac.yaml
wrote ./cert-manager/templates/cainjector-rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/webhook-rbac.yaml
wrote ./cert-manager/templates/cainjector-rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/webhook-rbac.yaml
wrote ./cert-manager/templates/cainjector-rbac.yaml
wrote ./cert-manager/templates/rbac.yaml
wrote ./cert-manager/templates/webhook-rbac.yaml
wrote ./cert-manager/templates/service.yaml
wrote ./cert-manager/templates/webhook-service.yaml
wrote ./cert-manager/templates/cainjector-deployment.yaml
wrote ./cert-manager/templates/deployment.yaml
wrote ./cert-manager/templates/webhook-deployment.yaml
wrote ./cert-manager/templates/webhook-mutating-webhook.yaml
wrote ./cert-manager/templates/webhook-validating-webhook.yaml
wrote ./cert-manager/templates/startupapicheck-serviceaccount.yaml
wrote ./cert-manager/templates/startupapicheck-rbac.yaml
wrote ./cert-manager/templates/startupapicheck-rbac.yaml
wrote ./cert-manager/templates/startupapicheck-job.yaml

在 K8S 中，建立 cert-manager Namespace

$ kubectl create ns cert-manager

螢幕輸出 :

namespace/cert-manager created

建立 cert-manager CRDs 資源

$ kubectl create -f cert-manager-crd.yaml

螢幕輸出 :

customresourcedefinition.apiextensions.k8s.io/clusterissuers.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/challenges.acme.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/certificaterequests.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/issuers.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/certificates.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/orders.acme.cert-manager.io created

建立 cert-manager

$ kubectl apply -R -f cert-manager/

螢幕輸出 :

deployment.apps/cert-manager-cainjector created
clusterrole.rbac.authorization.k8s.io/cert-manager-cainjector created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-cainjector created
role.rbac.authorization.k8s.io/cert-manager-cainjector:leaderelection created
rolebinding.rbac.authorization.k8s.io/cert-manager-cainjector:leaderelection created
serviceaccount/cert-manager-cainjector created
deployment.apps/cert-manager created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-issuers created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-clusterissuers created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-certificates created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-orders created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-challenges created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-ingress-shim created
clusterrole.rbac.authorization.k8s.io/cert-manager-view created
clusterrole.rbac.authorization.k8s.io/cert-manager-edit created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-approve:cert-manager-io created
clusterrole.rbac.authorization.k8s.io/cert-manager-controller-certificatesigningrequests created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-issuers created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-clusterissuers created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-certificates created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-orders created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-challenges created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-ingress-shim created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-approve:cert-manager-io created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-controller-certificatesigningrequests created
role.rbac.authorization.k8s.io/cert-manager:leaderelection created
rolebinding.rbac.authorization.k8s.io/cert-manager:leaderelection created
service/cert-manager created
serviceaccount/cert-manager created
job.batch/cert-manager-startupapicheck created
role.rbac.authorization.k8s.io/cert-manager-startupapicheck:create-cert created
rolebinding.rbac.authorization.k8s.io/cert-manager-startupapicheck:create-cert created
serviceaccount/cert-manager-startupapicheck created
configmap/cert-manager-webhook created
deployment.apps/cert-manager-webhook created
mutatingwebhookconfiguration.admissionregistration.k8s.io/cert-manager-webhook created
clusterrole.rbac.authorization.k8s.io/cert-manager-webhook:subjectaccessreviews created
clusterrolebinding.rbac.authorization.k8s.io/cert-manager-webhook:subjectaccessreviews created
role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving created
rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving created
service/cert-manager-webhook created
serviceaccount/cert-manager-webhook created
validatingwebhookconfiguration.admissionregistration.k8s.io/cert-manager-webhook created

檢查 cert-manager 運行狀態

$ kubectl -n cert-manager get pod

螢幕輸出 :

NAME READY STATUS RESTARTS AGE
cert-manager-5ff9b8f69d-v5xqc 1/1 Running 0 16s
cert-manager-cainjector-785c5c866d-pnlwq 1/1 Running 0 16s
cert-manager-startupapicheck-dtjtr 0/1 Completed 0 6s
cert-manager-webhook-696d5db768-dklqd 1/1 Running 0 16s

透過 Helm Chart 產生 Rancher 在 Kubernetes 中所需之資源清單的範本

$ helm template --validate rancher ./rancher-2.8.5.tgz --output-dir . --no-hooks --namespace cattle-system \
--set hostname=rancher.example.com \
--set certmanager.version=1.15.1 \
--set rancherImage=rancher/rancher \
--set systemDefaultRegistry=harbor.example.com \
--set useBundledSystemChart=true \
--set global.cattle.psp.enabled=false \
--set replicas=3

螢幕輸出 :

wrote ./rancher/templates/serviceAccount.yaml
wrote ./rancher/templates/configMap.yaml
wrote ./rancher/templates/clusterRoleBinding.yaml
wrote ./rancher/templates/service.yaml
wrote ./rancher/templates/deployment.yaml
wrote ./rancher/templates/ingress.yaml
wrote ./rancher/templates/validate-psp-install.yaml
wrote ./rancher/templates/issuer-rancher.yaml
wrote ./rancher/templates/priorityClass.yaml

在 K8S 中，建立 cattle-system Namespace

$ kubectl create namespace cattle-system

螢幕輸出 :

namespace/cattle-system created

建立 Rancher Prime v2.7.3

$ kubectl -n cattle-system apply -R -f rancher/

螢幕輸出 :

clusterrolebinding.rbac.authorization.k8s.io/rancher created
configmap/rancher-config created
deployment.apps/rancher created
ingress.networking.k8s.io/rancher created
issuer.cert-manager.io/rancher created
priorityclass.scheduling.k8s.io/rancher-critical created
service/rancher created
serviceaccount/rancher created

檢查 Rancher 的 Deployment, Replicaset, Pod 和 service 運行狀態，是否都正常

$ watch -n 0.1 kubectl get all -n cattle-system -o wide

螢幕輸出 :

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod/helm-operation-6rf56 0/2 Completed 0 10m 10.42.0.26 rms-1 <none> <none>
pod/helm-operation-m5hc9 0/2 Completed 0 10m 10.42.0.30 rms-1 <none> <none>
pod/helm-operation-qhr26 0/2 Completed 0 8m27s 10.42.0.36 rms-1 <none> <none>
pod/helm-operation-wtk87 0/2 Completed 0 10m 10.42.0.29 rms-1 <none> <none>
pod/rancher-79db978b9f-wl4lj 1/1 Running 0 11m 10.42.0.25 rms-1 <none> <none>
pod/rancher-webhook-6bc5b49767-56fkq 1/1 Running 0 10m 10.42.0.31 rms-1 <none> <none>
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service/rancher ClusterIP 10.43.228.176 <none> 80/TCP,443/TCP 11m app=rancher
service/rancher-webhook ClusterIP 10.43.132.35 <none> 443/TCP 10m app=rancher-webhook
service/webhook-service ClusterIP 10.43.194.112 <none> 443/TCP 10m app=rancher-webhook
NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES
SELECTOR
deployment.apps/rancher 1/1 1 1 11m rancher rancher/rancher:v2.7.3 app=rancher
deployment.apps/rancher-webhook 1/1 1 1 10m rancher-webhook harbor.example.com/rancher/rancher-webhook:v0.3.3 app=rancher-webhook
NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES
SELECTOR
replicaset.apps/rancher-79db978b9f 1 1 1 11m rancher rancher/rancher:v2.7.3 app=rancher,pod-template-hash=79db978b9f
replicaset.apps/rancher-webhook-6bc5b49767 1 1 1 10m rancher-webhook harbor.example.com/rancher/rancher-webhook:v0.3.3 app=rancher-webhook,pod-template-hash=6bc5b49767

透過 curl 檢查，可否 Access Rancher 的 Web UI

$ curl -k -H "host: rancher.example.com" https://192.168.61.61/dashboard/

螢幕輸出 :

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8"/>
<title>Harbor</title>
<base href="/"/>
<meta name="viewport" content="width=device-width, initial-scale=1"/>
<link rel="icon" type="image/x-icon" href="favicon.ico?v=2"/>
<link rel="stylesheet" href="styles.778b44f8c96802aa.css"></head>
<body>
<harbor-app>
<div class="spinner spinner-lg app-loading app-loading-fixed">
Loading...
</div>
</harbor-app>
<script src="runtime.5bc96e435ac00039.js" type="module"></script><script src="polyfills.d52770ae19691b1f.js" type="module"></script><script src="scripts.fc6b7827d4dcd875.js" defer></script><script src="main.a842fe34c6928c35.js" type="module"></script></body>
</html>

/### 安裝 minio

已把 minio 的 image push 到 harbor
安裝 docker & docker-compse
安裝好 minio 後，須把 cacerts.pem 會到火狐瀏覽器

domain=$2
ip=$3
help()
{
cat <<EOF
Usage: mk [OPTIONS]
Available options:
create create [domain] [IP]
delete delete cert
test test
EOF
exit
}
ssl()
{
openssl genrsa -aes256 -passout pass:password -out ca.key 4096
openssl req -new -x509 -sha256 -days 365 -subj "/C=TW/ST=Taipei/L=Taipei/O=test/OU=lab/CN=example" -passin pass:password -key ca.key -out cacerts.pem
openssl genrsa -out private.key 4096
openssl req -new -sha256 -subj "/CN=example" -key private.key -out cert.csr
echo -e "subjectAltName=DNS:${domain},IP:${ip}\nextendedKeyUsage = serverAuth" > extfile.cnf
openssl x509 -req -sha256 -days 365 -passin pass:password -in cert.csr -CA cacerts.pem -CAkey ca.key -out public.crt -extfile extfile.cnf -CAcreateserial
}
de()
{
rm ca.key cacerts.pem ca.srl cert.csr private.key public.crt extfile.cnf &>/dev/null
if [ "$?" == "0" ];then
echo "delete all cert ok!"
else
echo "delete cert fail,please check!"
fi
}
ts()
{
openssl verify -CAfile cacerts.pem -verbose public.crt
}
case $1 in
create)
if [ "$#" == "3" ];then
ssl
else
help
fi
;;
delete)
de
;;
test)
ts
;;
*)
help
;;
esac

$ sudo zypper in docker
$ sudo systemctl enable docker.service
$ sudo systemctl start docker.service
$ mkdir -p minio/{data,certs/CAs,ssl}
$ cd minio
$ ll
total 8284
drwxr-xr-x 2 rancher users 6 Mar 3 16:32 certs
drwxr-xr-x 2 rancher users 6 Mar 3 16:32 data
-rw-r--r-- 1 rancher users 8479184 Mar 3 16:31 docker-compose-Linux-x86_64
drwxr-xr-x 2 rancher users 6 Mar 3 16:32 ssl
$ sudo mv docker-compose-Linux-x86_64 /usr/bin/docker-compose
$ sudo chmod 755 /usr/bin/docker-compose
$ cd ~/minio/ssl
$ vim mk
$ chmod +x mk
$ ./mk create minio2.example.com 192.168.11.127
$ ./mk test
$ cp private.key public.crt ~/minio/certs
$ cp cacerts.pem ~/minio/certs/CAs/

# 把 harbor 簽好的 ca.pem scp 過來
# ssh 進入到 client 並且複製到 OS
$ sudo cp ca.pem /usr/share/pki/trust/anchors/
$ sudo cp ca.pem /etc/pki/trust/anchors/
$ sudo update-ca-certificates --fresh
# 把憑證塞入 docker 就可以使用 ca login
$ sudo mkdir /etc/docker/certs.d
$ sudo cp ca.pem /etc/docker/certs.d/
$ sudo systemctl restart docker
# 測試是否可以 login harbor
$ sudo docker login harbor.example.com
Username: admin
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded

# image 的來源要從 harbor 上的位置去做更改
$ vim docker-compose.yml
version: '3'
services:
minio:
image: harbor.example.com/library/minio
hostname: minio2.example.com
ports:
- 9000:9000
- 9001:9001
environment:
MINIO_ACCESS_KEY: admin
MINIO_SECRET_KEY: admin123
volumes:
- /home/rancher/minio/data:/data
- /home/rancher/minio/config:/root/.minio/
- /home/rancher/minio/certs:/root/.minio/certs
command: server --console-address ':9001' /data
privileged: true
restart: always
$ sudo docker-compose up -d
$ sudo docker-compose ps
Name Command State Ports
-------------------------------------------------------------------------------------------------------------------------------------------
minio_minio_1 /usr/bin/docker-entrypoint ... Up 0.0.0.0:9000->9000/tcp,:::9000->9000/tcp, 0.0.0.0:9001->9001/tcp,:::9001->9001/tcp

登入 minio 帳號:admin 密碼admin123
minio 建立 bucket
設為公開
建立目錄區，建好後要先塞一個檔案給他，不然目錄會不見

安裝 Downstream cluster

設定 Registry Endpoint

建好 Downstream cluster 後需要手動把 rke2 command 丟到 /usr/local/bin/ 這個目錄，不然在 snapshot 時會有問題

$ sudo cp /opt/rke2/bin/* /usr/local/bin/

安裝 Neuvector

開啟瀏覽器，進到 Rancher Web UI
選擇 Downstream Cluster –> 點選 “Cluster Tools” –> 點擊 “Install”

選擇 “Customize Helm options brfore install”，並確認 Container Registry 位址

設定 Neuvector 的 Container Images

rancher/neuvector/controller
5.1.3
rancher/neuvector/manager
5.1.3
rancher/neuvector/enforcer
5.1.3
rancher/neuvector/scanner
latest
rancher/neuvector/updater
latest

設定 Container Runtime 為 “k3s Containerd Runtime”

至 Dostream Cluster 機器執行以下命令，檢查 containerd.sock 的路徑是否正確

$ sudo ls -l /run/k3s/containerd/containerd.sock

“Next” –> “Install”
安裝好後，點擊左側選單 “Neuvector” –> “Neuvector”

Neuvector 畫面

tags: `work`

Enable Rancher vcluster on Airgap Harvester

Fri, 05 Jul 2024 14:10:08 +0800

1. Prepare Container Images and Helm Charts

# 在可上網的機器進行環境準備
# 1. 建立工作目錄
$ mkdir -p ~/rancher_vcluster/charts && \
cd ~/rancher_vcluster
# 2. 安裝 Helm
$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
# 3. 準備 Vcluster 的 Helm Charts
$ helm repo add rancher-vcluster https://charts.loft.sh
$ helm fetch rancher-vcluster/vcluster --version 0.19.0
# 4. 準備 Cert-manager 的 Helm Charts
$ helm repo add jetstack https://charts.jetstack.io
$ helm fetch jetstack/cert-manager --version v1.5.1
# 5. 準備 Rancher 的 Helm Charts
$ helm repo add rancher https://releases.rancher.com/server-charts/stable/
$ helm fetch rancher/rancher --version v2.8.2
$ mv vcluster-0.19.0.tgz rancher-2.8.2.tgz cert-manager-v1.5.1.tgz ~/rancher_vcluster/charts
# 6. 撰寫 Container Images 清單
$ echo 'docker.io/coredns/coredns:1.10.1
ghcr.io/loft-sh/vcluster:0.19.0
quay.io/jetstack/cert-manager-cainjector:v1.5.1
quay.io/jetstack/cert-manager-controller:v1.5.1
quay.io/jetstack/cert-manager-webhook:v1.5.1
quay.io/jetstack/cert-manager-ctl:v1.5.1
docker.io/rancher/fleet:v0.9.0
docker.io/rancher/gitjob:v0.1.96
docker.io/rancher/k3s:v1.27.10-k3s2
docker.io/rancher/klipper-helm:v0.8.2-build20230815
docker.io/rancher/mirrored-cluster-api-controller:v1.4.4
docker.io/rancher/rancher-webhook:v0.4.2
docker.io/rancher/rancher:v2.8.2
docker.io/rancher/rancher-agent:v2.8.2
docker.io/rancher/shell:v0.1.22
docker.io/chartmuseum/chartmuseum:latest' > images-list.txt
## 7. 安裝 Podman
$ sudo zypper -n in podman
# 8. Pull Container images
$ for i in $(cat images-list.txt); do sudo podman pull $i; done
# 9. 將所有 Container images 存成 Tar 檔
$ sudo podman save -m $(cat images-list.txt | tr -s "\n" " ") > rancher-vcluster_v2.8.2.tar
# 10. 檢視當前目錄結構
$ tree --du -h .
.
├── [186K] charts
│ ├── [153K] cert-manager-v1.5.1.tgz
│ ├── [ 15K] rancher-2.8.2.tgz
│ └── [ 18K] vcluster-0.19.0.tgz
├── [ 601] images-list.txt
└── [4.7G] rancher-vcluster_v2.8.2.tar
4.7G used in 1 directory, 5 files
# 11. 壓成一包壓縮檔
$ cd; tar -czvf rancher-vcluster-airgap.tar.gz ~/rancher_vcluster/
$ ls -lh ~/rancher-vcluster-airgap.tar.gz
-rw-r--r-- 1 rancher users 2.0G Jul 5 20:18 rancher-vcluster-airgap.tar.gz

2. Installing rancher-vcluster

# 1. 切換成 root
$ sudo su - root
# 2. 解壓縮 rancher-vcluster-airgap.tar.gz
$ tar -zxvf /PATH/TO/rancher-vcluster-airgap.tar.gz && \
cd rancher_vcluster/
# 3. 匯入 Container images (每一台 Harvester Node 都要 Import)
$ ctr -n k8s.io images import rancher-vcluster_v2.8.2.tar
# 4. 為建立 chartmuseum Container 建立永存目錄
$ mkdir -m 755 -p /opt/charts && \
cd /opt/charts
# 5. 將各 charts 放入
$ cp /root/rancher_vcluster/charts/* /opt/charts/
# 6. 修改權限讓其他人可讀取
$ chmod 644 /opt/charts/*
# 7. 建立並啟動 chartmuseum
$ nerdctl -n k8s.io run -d --name chartmuseum -p 8080:8080 \
-e STORAGE=local \
-e STORAGE_LOCAL_ROOTDIR=/charts \
-v /opt/charts:/charts \
chartmuseum/chartmuseum:latest
# 8. 檢查 chartmuseum 狀態
$ nerdctl -n k8s.io ps -a --filter name=chartmuseum
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
efee2f9023dd docker.io/chartmuseum/chartmuseum:latest "/chartmuseum" 20 seconds ago Up 0.0.0.0:8080->8080/tcp chartmuseum
# 9. TEST
$ curl localhost:8080/api/charts | jq
{
"cert-manager": [
{
"name": "cert-manager",
"home": "https://github.com/jetstack/cert-manager",
"sources": [
"https://github.com/jetstack/cert-manager"
],
"version": "v1.5.1",
"description": "A Helm chart for cert-manager",
"keywords": [
"cert-manager",
"kube-lego",
"letsencrypt",
"tls"
],
"maintainers": [
{
"name": "cert-manager-maintainers",
"email": "cert-manager-maintainers@googlegroups.com"
}
],
"icon": "https://raw.githubusercontent.com/jetstack/cert-manager/master/logo/logo.png",
"apiVersion": "v1",
"appVersion": "v1.5.1",
"annotations": {
"artifacthub.io/prerelease": "false"
},
"urls": [
"charts/cert-manager-v1.5.1.tgz"
],
"created": "2024-07-05T10:50:03.202872073Z",
"digest": "b152ccd3cf5bf03b602624110a661b62b188ab3cfee82fdaf269eb4a04770e1a"
}
],
"rancher": [
{
"name": "rancher",
"home": "https://rancher.com",
"sources": [
"https://github.com/rancher/rancher",
"https://github.com/rancher/server-chart"
],
"version": "2.8.2",
"description": "Install Rancher Server to manage Kubernetes clusters across providers.",
"keywords": [
"rancher"
],
"maintainers": [
{
"name": "Rancher Labs",
"email": "charts@rancher.com"
}
],
"icon": "https://github.com/rancher/ui/blob/master/public/assets/images/logos/welcome-cow.svg",
"apiVersion": "v2",
"appVersion": "v2.8.2",
"kubeVersion": "< 1.28.0-0",
"urls": [
"charts/rancher-2.8.2.tgz"
],
"created": "2024-07-05T10:50:03.202872073Z",
"digest": "8c9da08c0e38c5e89dc3ae64296c2fdca0045cc6e4bc44919e196d8cfe748f45"
}
],
"vcluster": [
{
"name": "vcluster",
"home": "https://vcluster.com",
"sources": [
"https://github.com/loft-sh/vcluster"
],
"version": "0.19.0",
"description": "vcluster - Virtual Kubernetes Clusters",
"keywords": [
"developer",
"development",
"sharing",
"share",
"multi-tenancy",
"tenancy",
"cluster",
"space",
"namespace",
"vcluster",
"vclusters"
],
"maintainers": [
{
"name": "Loft Labs, Inc.",
"email": "info@loft.sh",
"url": "https://twitter.com/loft_sh"
}
],
"icon": "https://static.loft.sh/branding/logos/vcluster/vertical/vcluster_vertical.svg",
"apiVersion": "v2",
"appVersion": "0.19.0",
"type": "application",
"urls": [
"charts/vcluster-0.19.0.tgz"
],
"created": "2024-07-05T09:53:38.89886262Z",
"digest": "37b1b43bbac942dd303cea991dcb6e992338329aef62df0a9cf4dbec870bee57"
}
]
}
# 10. 編輯 rancher-vcluster 設定檔
$ echo 'apiVersion: v1
kind: Namespace
metadata:
name: rancher-vcluster
---
apiVersion: harvesterhci.io/v1beta1
kind: Addon
metadata:
name: rancher-vcluster
namespace: rancher-vcluster
labels:
addon.harvesterhci.io/experimental: "true"
spec:
enabled: false
repo: https://charts.loft.sh
version: "v0.19.0"
chart: vcluster
valuesContent: |-
hostname: ""
rancherVersion: "v2.8.2"
bootstrapPassword: ""
vcluster:
image: rancher/k3s:v1.27.10-k3s2
sync:
ingresses:
enabled: "true"
init:
manifestsTemplate: |-
apiVersion: v1
kind: Namespace
metadata:
name: cattle-system
---
apiVersion: v1
kind: Namespace
metadata:
name: cert-manager
labels:
certmanager.k8s.io/disable-validation: "true"
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: cert-manager
namespace: kube-system
spec:
targetNamespace: cert-manager
repo: https://charts.jetstack.io
chart: cert-manager
version: v1.5.1
helmVersion: v3
set:
installCRDs: "true"
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: rancher
namespace: kube-system
spec:
targetNamespace: cattle-system
repo: https://releases.rancher.com/server-charts/stable/
chart: rancher
version: {{ .Values.rancherVersion }}
set:
ingress.tls.source: rancher
hostname: {{ .Values.hostname }}
replicas: 1
global.cattle.psp.enabled: "false"
bootstrapPassword: {{ .Values.bootstrapPassword | quote }}
helmVersion: v3' > rancher-vcluster.yaml
# 11. Installing rancher-vcluster
$ kubectl apply -f rancher-vcluster.yaml
namespace/rancher-vcluster created
addon.harvesterhci.io/rancher-vcluster created

3. Configuring rancher-vcluster

點選 Advanced -> Addons -> ⋮ > Enable

點選 Enableled
Hostname 欄位, 輸入指向 Harvester VIP 的有效 DNS record 。這一點至關重要，因為 vcluster 入口會同步到 parent Harvester 叢集。有效的 hostname 用於過濾 vcluster workload 的入口流量。
Bootstrap Password 欄位, 為 vcluster 上部署的新 Rancher 輸入密碼。
點選右下角 Save 按鈕儲存。

進到 Harvester 內建 Racnher UI，點選 Workloads -> Pods -> rancher-vcluster namepsace ，一開始一定會看到 Job Failed

在 Rancher UI 上 clone helm-install-rancher-vcluster-xx 這個 pod 將 helm Container 的 Environment Variables 區塊底下的 REPO Variable Name 的 Value 改成 http://<啟動 chartmuseum Container 的 Host 主機的 IP Address>:8080

然後安裝 Cert-manager 和 Rancher 的 Jobs 也會 Failed

clone helm-install-cert-manager-xxx-x-kube-system-x-ranc-xxx 這個 pod 將 helm Container 的 Environment Variables 區塊底下的 REPO Variable Name 的 Value 改成 http://<啟動 chartmuseum Container 的 Host 主機的 IP Address>:8080
clone helm-install-rancher-xxx-x-kube-system-x-rancher-vcluster 這個 pod 將 helm Container 的 Environment Variables 區塊底下的 REPO Variable Name 的 Value 改成 http://<啟動 chartmuseum Container 的 Host 主機的 IP Address>:8080

確認 rancher-vcluster Namespace 中 Cert-manger 和 Rancher 所有的 Pods 都 Running，原來的 Job 還是 Failed 可以不理他。

再產生 Rancher-vcluster 的 KubeConfig，並移除其實已經成功的 Job

$ kubectl -n rancher-vcluster exec rancher-vcluster-0 -- cat /root/.kube/config > vcluster-kubeconfig
$ kubectl --kubeconfig=vcluster-kubeconfig get nodes
NAME STATUS ROLES AGE VERSION
hvx02 Ready <none> 74m v1.27.10+k3s2
$ kubectl --kubeconfig=vcluster-kubeconfig -n kube-system delete job helm-install-rancher helm-install-cert-manager

4. 將 Harvester 加入 Rancher

連線至 Rancher Web Console

其實該 Job 已成功

登入 Rancher 後，點選 Virtualization Management -> Import Exsting

Cluster Name: 輸入 hvx ，按 Create

之後會發現沒有註冊的訊息跳出來

手動將網址最後的 #events 改成 #registration

https://rancher.xxx.nip.io/dashboard/c/_/harvesterManager/harvesterhci.io.management.cluster/fleet-default/hvx#registration

然後按 Ctrl + Shift + R 清掉 Cache 並重新整理，就會看到註冊訊息

這時候就可以複製註冊 URL 貼到 Harvester 中

連線到 Harvester Web Console -> 左側選單 Advanced -> Settings -> ⋮ > Edit Setting

在 Value 欄位貼上 “註冊 URL”，然後按右下角 Save 按鈕

等一陣子後 Harvester Cluster 就 Active 囉~

Deploy Ollama & Open WebUI on RKE2 with Rancher

Fri, 05 Jul 2024 02:46:22 +0800

PreRequest

Rancher

CPU: 4C
MEM: 16G
Disk: 70 G SSD nvme
OS: SLES 15 SP6

RKE2

CPU: 4C
MEM: 16G
Disk: 70 G SSD nvme
GPU: NVIDIA GeForce RTX 4060 Ti
OS: SLES 15 SP6

Software

已安裝 Rancher
已透過 Rancher 生成 RKE2

1. Install Nvidia Container Runtime on RKE2

#1. SSH RKE2 node
$ ssh <user>@<RKE2 node ip>
#2. 安裝 gcc 與 kernel-devel
$ sudo zypper mr -ea && \
sudo zypper -n in gcc kernel-devel nvidia-container-toolkit
#3. 安裝 nvidia driver
$ v="555.58.02" && \
curl -L -O https://us.download.nvidia.com/XFree86/Linux-x86_64/"$v"/NVIDIA-Linux-x86_64-"$v".run && \
sudo sh NVIDIA-Linux-x86_64-"$v".run
# 4. 重啟主機
$ sudo reboot

# 5. test
$ nvidia-smi
Wed Jul 3 09:20:46 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 555.58.02 Driver Version: 555.58.02 CUDA Version: 12.5 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4060 Ti Off | 00000000:00:10.0 Off | N/A |
| 0% 47C P8 15W / 165W | 4MiB / 16380MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+

# 6. Update RKE2 Containerd Configuration
## 6.1. Check
$ ls -l /usr/bin/nvidia-container-runtime
-rwxr-xr-x 1 root root 4319136 Oct 20 2022 /usr/bin/nvidia-container-runtime
## 6.2. Backup
$ sudo cp /var/lib/rancher/rke2/agent/etc/containerd/config.toml .
## 6.3. Update
$ sudo cp /var/lib/rancher/rke2/agent/etc/containerd/config.toml /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
$ sudo nano -Yone /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
## 將以下內容加到檔案的最後面
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes."nvidia"]
runtime_type = "io.containerd.runc.v2"
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes."nvidia".options]
BinaryName = "/usr/bin/nvidia-container-runtime"
## 6.4. 重啟主機
$ sudo reboot

2. Install gpu-operator on Rancher

2.1. Add Nvidia Helm Repository

點選 Cluster -> Apps -> Repositories -> Create

name: nvidia
Index URL: https://helm.ngc.nvidia.com/nvidia

添加完後，檢查狀態是 Active

2.2. 開始安裝 gpu-operator

Apps -> Charts -> 搜尋 gpu-operator -> 點選 gpu-operator

點選右上角 Install 按鈕

Namespace: Create a new namespace -> 輸入 nvidia Name: 輸入 nvidia 勾選 Customize Helm options before install Next

修改 Containerd 資訊

toolkit:
enabled: true
env:
- name: CONTAINERD_CONFIG
value: /var/lib/rancher/rke2/agent/etc/containerd/config.toml
- name: CONTAINERD_SOCKET
value: /run/k3s/containerd/containerd.sock

點選右下角 Install 按鈕安裝

檢查所有的 Pod 狀態都是 Running

Workloads -> Pods -> nvidia namespace

2.3. Test GPU Pods

# 1. sample1
$ cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: cuda-vectoradd
spec:
restartPolicy: OnFailure
runtimeClassName: nvidia
containers:
- name: cuda-vectoradd
image: "nvidia/samples:vectoradd-cuda11.2.1"
resources:
limits:
nvidia.com/gpu: 1
EOF
# 2. 測試成功 log 資訊
$ kubectl logs cuda-vectoradd
[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done
# 3. Delete Sample1 pod
$ kubectl delete pod cuda-vectoradd
# 4. sample2
$ cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: nbody-gpu-benchmark
namespace: default
spec:
restartPolicy: OnFailure
runtimeClassName: nvidia
containers:
- name: cuda-container
image: nvcr.io/nvidia/k8s/cuda-sample:nbody
args: ["nbody", "-gpu", "-benchmark"]
resources:
limits:
nvidia.com/gpu: 1
env:
- name: NVIDIA_VISIBLE_DEVICES
value: all
- name: NVIDIA_DRIVER_CAPABILITIES
value: all
EOF
# 5. 測試成功 log 資訊
$ kubectl logs nbody-gpu-benchmark
Run "nbody -benchmark [-numbodies=<numBodies>]" to measure performance.
-fullscreen (run n-body simulation in fullscreen mode)
-fp64 (use double precision floating point values for simulation)
-hostmem (stores simulation data in host memory)
-benchmark (run benchmark to measure performance)
-numbodies=<N> (number of bodies (>= 1) to run in simulation)
-device=<d> (where d=0,1,2.... for the CUDA device to use)
-numdevices=<i> (where i=(number of CUDA devices > 0) to use for simulation)
-compare (compares simulation results running once on the default GPU and once on the CPU)
-cpu (run n-body simulation on the CPU)
-tipsy=<file.bin> (load a tipsy model file for simulation)
NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
> Windowed mode
> Simulation data stored in video memory
> Single precision floating point simulation
> 1 Devices used for simulation
MapSMtoCores for SM 8.9 is undefined. Default to use 128 Cores/SM
MapSMtoArchName for SM 8.9 is undefined. Default to use Ampere
GPU Device 0: "Ampere" with compute capability 8.9
> Compute 8.9 CUDA device: [NVIDIA GeForce RTX 4060 Ti]
34816 bodies, total time for 10 iterations: 19.339 ms
= 626.784 billion interactions per second
= 12535.677 single-precision GFLOP/s at 20 flops per interaction
# 6. Delete Sample2 pod
$ kubectl delete pod nbody-gpu-benchmark

3. Install Ollama & Open WebUI with Helm

3.1. Add Nvidia Helm Repository

點選 Cluster -> Apps -> Repositories -> Create

name: openwebui
Index URL: https://helm.openwebui.com/

3.2. 開始安裝 Ollama & Open WebUI

Apps -> Charts -> 搜尋 open-webui -> 點選 open-webui

點選右上角 Install 按鈕

Namespace: Create a new namespace -> 輸入 ollama Name: 輸入 ollama 勾選 Customize Helm options before install Next

編輯 values.yaml

啟用 ingress

ingress:
annotations: {}
class: nginx
enabled: true
existingSecret: ''
host: ollama.example.com
tls: false

新增 ollama module 使用 llama3、啟用 PV 和 Container Runtime 使用 nvidia

ollama:
enabled: true
fullnameOverride: open-webui-ollama
ollama:
gpu:
enabled: true
number: 1
type: nvidia
models:
- llama3
persistentVolume:
enabled: true
runtimeClassName: nvidia

調整 openaiBaseApiUrl

openaiBaseApiUrl: open-webui-ollama.ollama.svc.cluster.local

調整永存目錄區，使用 Local Path Provisioner

安裝指令 : kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.28/deploy/local-path-storage.yaml

persistence:
accessModes:
- ReadWriteOnce
annotations: {}
enabled: true
existingClaim: ''
selector: {}
size: 2Gi
storageClass: local-path

調整好後，按右下角 Next 按鈕，然後點 Install 安裝

檢查 Pod 狀態皆為 Running

修改 Web-UI 不要做身分驗證

Workloads -> StatefulSets -> ollama namespace -> Edit Config

點選 Add Variable

Variable Name: WEBUI_AUTH
Value: False

輸入完畢後點擊 Save 按鈕存檔

設定 DNS 新增 A record

$ kubectl -n ollama get ing
NAME CLASS HOSTS ADDRESS PORTS AGE
open-webui nginx ollama.example.com 172.20.0.52 80 2d17h

將 Ingress 的 HOSTS 的 FQDN 和 ADDRESS 的 IP 加進 DNS A record，或是在有瀏覽器的主機中的 /etc/hosts 新增名稱解析

windows 10/11 的 hosts 檔案在 C:\Windows\System32\drivers\etc\hosts

點選 Service Discovery -> Ingresses -> 按網址

就會成功進到 OpenWebUI

Harvester air-gapped upgrade

Fri, 14 Jun 2024 02:09:42 +0800

1. 升級前備份、準備和應注意事項

1.1. Check Upgrade support matrix

Upgrade From Version	Supported New Version(s)
v1.2.1	v1.2.2
v1.1.2/v1.2.0	v1.2.1
v1.1.1/v1.1.2	v1.1.3
v1.1.0/v1.1.1	v1.1.2

1.2. 備份重要的 VM

1.3. 升級注意事項

升級過程中請勿對 Cluster 進行操作。例如，建立新虛擬機器、上傳新 Container Images 等。
確保叢集中的每個 Node 至少有 30 GiB 的可用系統分區空間。如果 Cluster 中任何 node 的可用系統分區空間小於 30 GiB，升級將被拒絕。
- 在叢集中每一台 node 執行 df -h /usr/local/ 檢查
確保所有節點的時間同步。
- 在叢集中每一台 node 執行 sudo timedatectl status 檢查

1.4. 準備 air-gapped 升級

到以下網址下載新版本的 Harvester ISO 檔案
根據以下步驟建立 Http Server 並把 Harvester ISO 檔案放到網站中

# 以下操作步驟為從 v1.2.1 升級至 v1.2.2
## 2.1. SSH 連線至任意 Harvester node
$ ssh rancher@<Harvester node>
#@ 2.2. 建立與啟動 Web Server
$ docker run -d -p 8080:80 --name nginx-web rancher/mirrored-library-nginx:1.21.1-alpine
## 2.3. 檢查 Web Server 的運作狀態
$ docker ps -a --filter name="nginx-web"
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9282651624a9 docker.io/rancher/mirrored-library-nginx:1.21.1-alpine "/docker-entrypoint.…" 3 seconds ago Up 0.0.0.0:8080->80/tcp nginx-web
## 2.4. 將 Harvester ISO 檔案放到 Web Server 中
$ docker cp /home/rancher/harvester-v1.2.2-amd64.iso nginx-web:/usr/share/nginx/html/
## 2.5. 更改 Harvester ISO 檔案的權限為 644
$ docker exec nginx-web chmod 644 /usr/share/nginx/html/harvester-v1.2.2-amd64.iso
## 2.6. 檢查是否符合預期
$ docker exec nginx-web ls -l /usr/share/nginx/html/harvester-v1.2.2-amd64.iso
## 2.7. 撰寫升級版本的檔案
### 注意! 要修改 isoURL 的位置
$ cat <<EOF > hvx_v1.2.2.yaml
apiVersion: harvesterhci.io/v1beta1
kind: Version
metadata:
name: v1.2.2
namespace: harvester-system
spec:
isoChecksum: 'e069d456517006690d3f4046d88c09e5440dc70be348ca2c42490d86e69ca413c0ad2a28c246b0a2fe445e91e5b36a9598ba9d5efb568cea9e91cec540f8a7a4'
isoURL: http://192.168.61.12:8080/harvester-v1.2.2-amd64.iso
releaseDate: '20240516'
EOF
## 2.8. 建立新版本
$ kubectl create -f hvx_v1.2.2.yaml

# 要從 v1.2.2 升級至 v1.3.0 再執行以下操作
$ docker rm -f nginx-web
$ docker run -d -p 8080:80 --name nginx-web rancher/mirrored-library-nginx:1.24.0-alpine
$ docker cp /home/rancher/harvester-v1.3.0-amd64.iso nginx-web:/usr/share/nginx/html/
$ docker exec nginx-web chmod 644 /usr/share/nginx/html/harvester-v1.3.0-amd64.iso
$ docker exec nginx-web ls -l /usr/share/nginx/html/harvester-v1.3.0-amd64.iso
$ cat <<EOF > hvx_v1.3.0.yaml
apiVersion: harvesterhci.io/v1beta1
kind: Version
metadata:
name: v1.3.0
namespace: harvester-system
spec:
isoChecksum: '045e3ec2394ac621c72487db8d6f3328228a32bee4ac1ce43b740fafcc8194039e7213f8905020b52f31373d99057c483863e72cca55f8607029bf9cf1362a55'
isoURL: http://192.168.61.12:8080/harvester-v1.3.0-amd64.iso
releaseDate: '20240516'
EOF
$ kubectl create -f hvx_v1.3.0.yaml

2. 開始升級

連線至 Harvester GUI 並點擊儀表板頁面上的 Upgrade 按鈕。
選擇版本開始升級
點擊頁面頂部的綠色圓圈即可顯示升級進度。

Rancher TroubleShooting

Thu, 06 Jun 2024 06:18:30 +0800

問題 1: 無法刪除 DownStream Cluster

問題描述

在 Rancher 中無法刪除由 Harvester node provider 帶起來的 K3s 下游叢集，並顯示正在等待刪除節點。

解決辦法

# 1. find the cluster you want to delete
$ kubectl get clusters.management.cattle.io
NAME AGE
c-m-bzrsxlnb 62d
c-m-fb4btkbk 42d
local 62d
# 2. 宣告要刪除的 cluster 變數
$ export CLUSTERID="c-m-bzrsxlnb"
# 3. 將 finalizers 改成空值
$ kubectl patch clusters.management.cattle.io $CLUSTERID -p '{"metadata":{"finalizers":[]}}' --type=merge
cluster.management.cattle.io/c-m-bzrsxlnb patched
# 4. 刪除 Cluster
$ kubectl delete clusters.management.cattle.io $CLUSTERID
$ kubectl get clusters.management.cattle.io
NAME AGE
c-m-fb4btkbk 42d
local 62d
$ export CLUSTERID=c-m-fb4btkbk
$ kubectl patch clusters.management.cattle.io $CLUSTERID -p '{"metadata":{"finalizers":[]}}' --type=merge
cluster.management.cattle.io/c-m-fb4btkbk patched
$ kubectl delete clusters.management.cattle.io $CLUSTERID
Error from server (NotFound): clusters.management.cattle.io "c-m-fb4btkbk" not found
$ kubectl get clusters.management.cattle.io
NAME AGE
local 62d
$ kubectl -n cattle-system get pods
NAME READY STATUS RESTARTS AGE
rancher-7b4bdf6789-49sj4 1/1 Running 0 95m
rancher-webhook-644bcb4d99-mgfx9 1/1 Running 17 (107m ago) 62d
$ kubectl -n cattle-system get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
rancher 1/1 1 1 62d
rancher-webhook 1/1 1 1 62d
$ kubectl -n cattle-system rollout restart rancher
$ kubectl -n cattle-system get pods
NAME READY STATUS RESTARTS AGE
rancher-7fbffb59cc-nn2bf 1/1 Running 0 80s
rancher-webhook-644bcb4d99-mgfx9 1/1 Running 17 (116m ago) 62d

正常情況下應該到這裡就會在看到叢集會在 Web UI 裡面被移除了但是做到這邊發現叢集並未被移除

Clean the orphaned cluster objects from the deleted cluster namespaces.

# 先找到孤兒叢集的 Namespace
$ kubectl get ns -A |grep "c-"
c-m-bzrsxlnb Active 62d
c-m-fb4btkbk Active 42d
# 列出該 Namespace 所有的物件
$ kubectl api-resources --verbs=list --namespaced -o name | xargs -n 1 kubectl get --show-kind --ignore-not-found -n c-m-fb4btkbk
NAME DATA AGE
configmap/kube-root-ca.crt 1 62d
configmap/provisioning-log 0 62d
NAME SECRETS AGE
serviceaccount/default 0 62d
NAME AGE
clusterregistrationtoken.management.cattle.io/default-token 62d
clusterregistrationtoken.management.cattle.io/system 62d
NAME AGE
clusterroletemplatebinding.management.cattle.io/c-m-bzrsxlnb-fleet-default-owner 62d
clusterroletemplatebinding.management.cattle.io/creator-cluster-owner 62d
clusterroletemplatebinding.management.cattle.io/u-hmec2q3jq3-admin 62d
NAME AGE
node.management.cattle.io/machine-2nttf 62d
NAME AGE
project.management.cattle.io/p-47xvp 62d
project.management.cattle.io/p-fhxkw 62d
NAME ROLE AGE
rolebinding.rbac.authorization.k8s.io/c-m-bzrsxlnb-fleet-default-owner-cluster-owner Role/cluster-owner 62d
rolebinding.rbac.authorization.k8s.io/creator-cluster-owner-cluster-owner Role/cluster-owner 62d
rolebinding.rbac.authorization.k8s.io/p-47xvp-creator-project-owner-project-owner Role/project-owner 62d
rolebinding.rbac.authorization.k8s.io/p-fhxkw-creator-project-owner-project-owner Role/project-owner 62d
rolebinding.rbac.authorization.k8s.io/rb-j23o5h2gdc Role/p-fhxkw-projectowner 62d
rolebinding.rbac.authorization.k8s.io/rb-nftlrlswfm Role/p-47xvp-projectowner 62d
rolebinding.rbac.authorization.k8s.io/u-hmec2q3jq3-admin-cluster-owner Role/cluster-owner 62d
NAME CREATED AT
role.rbac.authorization.k8s.io/cluster-owner 2024-04-03T03:50:44Z
role.rbac.authorization.k8s.io/p-47xvp-projectowner 2024-04-03T03:50:44Z
role.rbac.authorization.k8s.io/p-fhxkw-projectowner 2024-04-03T03:50:44Z
role.rbac.authorization.k8s.io/project-owner 2024-04-03T03:50:44Z
# 刪除在 Namespace 中的所有物件
$ kubectl -n c-m-fb4btkbk delete "$(kubectl api-resources --namespaced=true --verbs=delete -o name | tr "\n" "," | sed -e 's/,$//')" --all
configmap "kube-root-ca.crt" deleted
configmap "provisioning-log" deleted
serviceaccount "default" deleted
clusterregistrationtoken.management.cattle.io "default-token" deleted
clusterregistrationtoken.management.cattle.io "system" deleted
clusterroletemplatebinding.management.cattle.io "c-m-fb4btkbk-fleet-default-owner" deleted
clusterroletemplatebinding.management.cattle.io "creator-cluster-owner" deleted
node.management.cattle.io "machine-hj69z" deleted
project.management.cattle.io "p-lqsv2" deleted
rolebinding.rbac.authorization.k8s.io "p-42nc9-creator-project-owner-project-owner" deleted
rolebinding.rbac.authorization.k8s.io "p-lqsv2-creator-project-owner-project-owner" deleted
rolebinding.rbac.authorization.k8s.io "rb-utcrchdkew" deleted
rolebinding.rbac.authorization.k8s.io "rb-wxcfmlrysb" deleted
role.rbac.authorization.k8s.io "cluster-owner" deleted
role.rbac.authorization.k8s.io "p-42nc9-projectowner" deleted
role.rbac.authorization.k8s.io "project-owner" deleted
Error from server (BadRequest): admission webhook "rancher.cattle.io.projects.management.cattle.io" denied the request: System Project cannot be deleted
# 再次列出該 Namespace 所有的物件
$ kubectl api-resources --verbs=list --namespaced -o name | xargs -n 1 kubectl get --show-kind --ignore-not-found -n c-m-fb4btkbk
NAME DATA AGE
configmap/kube-root-ca.crt 1 16s
NAME SECRETS AGE
serviceaccount/default 0 16s
NAME AGE
project.management.cattle.io/p-42nc9 42d
# 刪除 namespace (刪不掉就按 Ctrl+C 終止)
$ kubectl delete ns c-m-fb4btkbk
namespace "c-m-fb4btkbk" deleted
# 修改 namespace finalizers 為空值
$ kubectl get namespace "c-m-fb4btkbk" -o json \
> | tr -d "\n" | sed "s/\"finalizers\": \[[^]]\+\]/\"finalizers\": []/" \
> | kubectl replace --raw /api/v1/namespaces/c-m-fb4btkbk/finalize -f -
...以上省略
{"type":"NamespaceFinalizersRemaining","status":"False","lastTransitionTime":"2024-06-04T10:32:48Z","reason":"ContentHasNoFinalizers","message":"All content-preserving finalizers finished"}]}}
$ kubectl get ns -A |grep "c-"
$ kubectl -n cattle-system rollout restart deploy rancher
deployment.apps/rancher restarted
$ kubectl -n cattle-system get pods -w
NAME READY STATUS RESTARTS AGE
rancher-7fbffb59cc-nn2bf 1/1 Running 0 33m
rancher-8b84f58fb-mw87h 0/1 Running 0 10s
rancher-webhook-644bcb4d99-mgfx9 1/1 Running 17 (148m ago) 62d
rancher-8b84f58fb-mw87h 1/1 Running 0 31s
rancher-7fbffb59cc-nn2bf 1/1 Terminating 0 33m
rancher-7fbffb59cc-nn2bf 1/1 Terminating 0 33m
rancher-7fbffb59cc-nn2bf 0/1 Terminating 0 33m
rancher-7fbffb59cc-nn2bf 0/1 Terminating 0 33m
rancher-7fbffb59cc-nn2bf 0/1 Terminating 0 33m
rancher-7fbffb59cc-nn2bf 0/1 Terminating 0 33m
$ kubectl -n cattle-system get pods
NAME READY STATUS RESTARTS AGE
rancher-8b84f58fb-mw87h 1/1 Running 0 86s
rancher-webhook-644bcb4d99-mgfx9 1/1 Running 17 (149m ago) 62d

最後要在 UI 上把 machine 和 Cluster 的 finalizers 也改為空值，就能完全移除 Cluster 囉~

全離線安裝 Harbor 、K3S 和 Rancher

Tue, 04 Jun 2024 07:19:24 +0800

Preface

本篇文章會在全離線的環境下建置 Harbor、K3S、RKE2 和 Rancher

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 環境架構介紹

七台 VM
- 一台 VM 須能上網，下載離線安裝 Harbor、K3S、RKE2 和 Rancher 所需的套件
  - 此 VM 硬體規格:
    - CPU: 2 Core
    - Mem: 4 GB
    - Disk 需要 300 GB
- 一台 VM 安裝 Harbor + DNS Server
- 三台 VM 安裝 K3S + Rancher (HA)
- 一台 VM 安裝 Nginx Load Balancer
- 一台 VM 安裝 DownStream Cluster RKE2 (Role: AllInOne)
軟體版本
- Harbor: v2.10.2
- K3S: v1.28.10+k3s1
- RKE2: v1.28.10+rke2r1
- Rancher Prime: v2.8.4
作業系統
- SUSE Linux Enterprise Server 15 SP5
- ISO: SLE-15-SP5-Full-x86_64-GM-Media1.iso

2. Rancher Support Matrix

2.1. 可以安裝 Rancher Manager 的 K8s 平台

Distro	Lowest Certified Version	Highest Certified Version	Notes
RKE2	v1.25	v1.28	See RKE2 Support Matrix for specific system requirements
RKE1	v1.25	v1.28	See RKE1 Support Matrix for specific system requirements
K3s	v1.25	v1.28	See k3s Support Matrix for specific system requirements
AKS	v1.25	v1.28	-
EKS	v1.25	v1.28	-
GKE	v1.25	v1.28	-

2.2. 有支援的 Downstream Cluster

2.2.1. RKE2

RKE2 Version	Rancher Provisioned	Rancher Imported
1.28	Yes	Yes
1.27	Yes	Yes
1.26	Yes	Yes
1.25	Yes	Yes

2.2.2. K3S

K3s Version	Rancher Provisioned	Rancher Imported	Notes
1.28	Yes (x86 Only)	Yes	-
1.27	Yes (x86 Only)	Yes	-
1.26	Yes (x86 Only)	Yes	-
1.25	Yes (x86 Only)	Yes	-

更詳細的相關支援資訊請參考以下連結 : Rancher Manager v2.8.4 Support Matrix - SUSE Docs

Harbor 安裝先決條件

Hardware

Resource	Minimum	Recommended
CPU	2 cores	4 cores
Memory	4 GB	8 GB
Disk	300 GB	300+ GB

OS

Recommand: SUSE Linux Enterprise Server 15 SP5
Recommand ISO: SLE-15-SP5-Full-x86_64-GM-Media1.iso

Software

Docker Engine Version: 20.10.10-ce+ or higher
Docker Compose Version: v1.18.0+ or docker compose v2 (docker-compose-plugin)
OpenSSL Version: Latest

K3S + Rancher 安裝先決條件

Hardware

CPU: 4 Core
Mem: 16 GB
Disk: 100 GB (recommend SSD)

OS

Recommand: SUSE Linux Enterprise Server 15 SP5
Recommand ISO: SLE-15-SP5-Full-x86_64-GM-Media1.iso

3. 準備全離線環境的各個安裝包

3.1. 環境確認

3.1.1. 安裝 docker 20.10.23-ce

$ sudo zypper mr -ea && \
sudo zypper in -y docker && \
sudo systemctl enable --now docker

docker 命令放在 Containers-Module_15.5-0 Repository

3.1.2. 檢查 Docker 儲存 Image 的目錄應為 /var/lib/docker

$ sudo docker info -f '{{ .DockerRootDir}}'

3.1.3. 硬碟空間規劃

Docker 儲存 Container images 的空間 (/var/lib/docker) 至少要有 300 GB 的空間
/home 目錄區，用來儲存全離線安裝所需之軟體套件、Container images 壓縮檔和一些設定檔。
在虛擬化那層新增 1 顆 125 GB 的硬碟和 1 顆 300 GB 的硬碟
設定 LVM

# 1. 檢視硬碟
$ lsblk /dev/{sdb,sdc}
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 300G 0 disk
sdc 8:32 0 125G 0 disk
# 2. /dev/sdb 切 partition
$ sudo fdisk /dev/sdb
...
Command (m for help): n
Partition type
p primary (0 primary, 0 extended, 4 free)
e extended (container for logical partitions)
Select (default p):
Using default response p.
Partition number (1-4, default 1): 1
First sector (2048-629145599, default 2048):
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-629145599, default 629145599):
Created a new partition 1 of type 'Linux' and of size 300 GiB.
Command (m for help): t
Selected partition 1
Hex code or alias (type L to list all): 8e
Changed type of partition 'Linux' to 'Linux LVM'.
Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.
# 3. /dev/sdc 切 partition
$ sudo fdisk /dev/sdc
...
Command (m for help): p
Disk /dev/sdc: 125 GiB, 134217728000 bytes, 262144000 sectors
Disk model: QEMU HARDDISK
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x8d8da0bd
Command (m for help): n
Partition type
p primary (0 primary, 0 extended, 4 free)
e extended (container for logical partitions)
Select (default p):
Using default response p.
Partition number (1-4, default 1):
First sector (2048-262143999, default 2048):
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-262143999, default 262143999):
Created a new partition 1 of type 'Linux' and of size 125 GiB.
Command (m for help): t
Selected partition 1
Hex code or alias (type L to list all): 8e
Changed type of partition 'Linux' to 'Linux LVM'.
Command (m for help): p
Disk /dev/sdc: 125 GiB, 134217728000 bytes, 262144000 sectors
Disk model: QEMU HARDDISK
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x8d8da0bd
Device Boot Start End Sectors Size Id Type
/dev/sdc1 2048 262143999 262141952 125G 8e Linux LVM
Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.
# 4. 建立 PV
$ sudo pvcreate /dev/{sdb1,sdc1}
Physical volume "/dev/sdb1" successfully created.
Physical volume "/dev/sdc1" successfully created.
# 5. 建立 VG
$ sudo vgcreate Container_images /dev/sdb1
Volume group "Container_images" successfully created
$ sudo vgextend system /dev/sdc1
Volume group "system" successfully extended
# 6. 建立 LV
$ sudo sudo lvcreate -l +100%FREE -n Container_images_lv Container_images
Logical volume "Container_images_lv" created.
$ sudo lvresize -l +100%FREE /dev/system/home
# 7. 確認 LV 建立成功
$ sudo lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
Container_images_lv Container_images -wi-a----- 300.00g
home system -wi-a----- 150.00g
root system -wi-ao---- 74.99g
# 8. 掛載 /var/lib/docker 目錄區
$ su

3.1.3. 檢查 Docker 儲存 Image 的目錄可用空間是否有 300 GB

$ df -hT `sudo docker info -f '{{ .DockerRootDir}}'`

螢幕輸出 :

Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/system-root btrfs 300G 2.8G 296G 1% /var

3.1.4. 檢查 Docker 儲存 Image 的目錄目前已使用多大的儲存空間

$ sudo du -sh `sudo docker info -f '{{ .DockerRootDir}}'`

螢幕輸出 :

156K /var/lib/docker

3.1.5. 確認 /home 目錄區可用空間有 150G

$ df -hT /home

二、建立工作目錄

$ mkdir -p work/{harbor,k3s,rancher,compressed_files}

三、準備 Harbor v2.10.0 全離線安裝包

$ cd ~/work/harbor

下載 Harbor 壓縮檔，版本 v2.10.0

$ wget https://github.com/goharbor/harbor/releases/download/v2.10.0/harbor-offline-installer-v2.10.0.tgz

下載 Docker Compose 套件，版本 v2.23.3

$ wget https://github.com/docker/compose/releases/download/v2.23.3/docker-compose-linux-x86_64

將以上離線安裝 Harbor 所需之套件壓縮成一個檔案

$ cd ..; tar -czf compressed_files/harbor-offline.tar.gz harbor/

檢查是否符合預期

$ ls -lh compressed_files/

螢幕輸出

total 629M
-rw-r--r-- 1 rancher users 629M Jan 8 14:52 harbor-offline.tar.gz

解壓縮命令 : tar -xzf compressed_files/harbor-offline.tar.gz

四、準備 K3S v1.26.12 全離線安裝包

$ cd ~/work/k3s

下載離線安裝 K3S 所需 Image 之壓縮檔及 K3S 二進位檔

$ curl -# -OL https://github.com/k3s-io/k3s/releases/download/v1.26.12%2Bk3s1/k3s-airgap-images-amd64.tar
$ curl -# -OL https://github.com/k3s-io/k3s/releases/download/v1.26.12%2Bk3s1/k3s

下載官網提供的離線安裝 K3S 所需之安裝腳本，並賦予它執行權限

$ curl -sfL https://get.k3s.io/ --output install.sh && chmod +x install.sh

$ ls -lh

螢幕輸出

total 621M
-rwxr-xr-x 1 rancher users 33K Jan 8 15:10 install.sh
-rw-r--r-- 1 rancher users 57M Jan 8 15:07 k3s
-rw-r--r-- 1 rancher users 564M Jan 8 15:07 k3s-airgap-images-amd64.tar

將以上離線安裝 RKE2 所需之檔案，壓縮成一個檔案

$ cd ..; tar -czf compressed_files/k3s-offline.tar.gz k3s/

檢查是否符合預期

$ ls -lh compressed_files/

螢幕輸出

-rw-r--r-- 1 762M harbor-offline.tar.gz
-rw-r--r-- 1 241M k3s-offline.tar.gz

五、準備 Rancher Prime v2.7.9 全離線安裝包

$ cd ~/work/rancher

安裝 helm，版本 v3.13.1

$ curl -s https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

螢幕輸出 :

Downloading https://get.helm.sh/helm-v3.13.1-linux-amd64.tar.gz
Verifying checksum... Done.
Preparing to install helm into /usr/local/bin
helm installed into /usr/local/bin/helm

新增 Rancher Prime 的 Helm Chart Repository

$ helm repo add rancher-prime https://charts.rancher.com/server-charts/prime

螢幕輸出 :

"rancher-prime" has been added to your repositories

刷新 Rancher Helm Chart Repository

$ helm repo update

螢幕輸出 :

Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "rancher-prime" chart repository
Update Complete. ⎈Happy Helming!⎈

下載 Rancher chart v2.7.9

$ helm fetch rancher-prime/rancher --version=v2.7.9

這會拉下 chart 並將其作為 .tgz 檔案保存在當前目錄中。

新增和刷新 cert-manager repo

$ helm repo add jetstack https://charts.jetstack.io && \
helm repo update

螢幕輸出 :

"jetstack" has been added to your repositories
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "rancher-prime" chart repository
...Successfully got an update from the "jetstack" chart repository
Update Complete. ⎈Happy Helming!⎈

下載 cert-manager chart v1.11.0

$ helm fetch jetstack/cert-manager --version v1.11.0

這會拉下 chart 並將其作為 .tgz 檔案保存在當前目錄中。

下載 cert-manager 要求的 CRD

$ curl -L -o cert-manager-crd.yaml https://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml

下載 cert-manager 的 Container Image

$ sudo docker pull quay.io/jetstack/cert-manager-controller:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-webhook:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-cainjector:v1.11.0
$ sudo docker pull quay.io/jetstack/cert-manager-ctl:v1.11.0

修改 cert-manager 的所有 Container Images Tag

$ Registry_Name="harbor.example.com" && version="v1.11.0"
$ sudo docker tag quay.io/jetstack/cert-manager-controller:"$version" "$Registry_Name"/rancher/cert-manager-controller:"$version"
$ sudo docker tag quay.io/jetstack/cert-manager-webhook:"$version" "$Registry_Name"/rancher/cert-manager-webhook:"$version"
$ sudo docker tag quay.io/jetstack/cert-manager-cainjector:"$version" "$Registry_Name"/rancher/cert-manager-cainjector:"$version"
$ sudo docker tag quay.io/jetstack/cert-manager-ctl:"$version" "$Registry_Name"/rancher/cert-manager-ctl:"$version"

將 cert-manager 的所有 Container Images 打包成 .tar.gz 壓縮檔

$ sudo docker save "$Registry_Name"/rancher/cert-manager-controller:"$version" \
"$Registry_Name"/rancher/cert-manager-webhook:"$version" \
"$Registry_Name"/rancher/cert-manager-cainjector:"$version" \
"$Registry_Name"/rancher/cert-manager-ctl:"$version" | gzip --stdout > ~/work/rancher/cert-manager-image_v1.11.0.tar.gz

下載 Rancher Images List 文字檔及蒐集 Image 所需的 Shell Script

$ wget https://github.com/rancher/rancher/releases/download/v2.8.2/rancher-images.txt
$ wget https://github.com/rancher/rancher/releases/download/v2.8.2/rancher-load-images.sh
$ wget https://github.com/rancher/rancher/releases/download/v2.8.2/rancher-save-images.sh

rancher-images.txt，此檔案包含安裝 Rancher、provision clusters 和 user Rancher tools 所需的 Images 清單。

rancher-save-images.sh，這個 Shell Script 從 Docker Hub 下載 rancher-images.txt 中的所有 Images，並將所有 Images 儲存為 rancher-images.tar.gz。

rancher-load-images.sh，這個 Shell Script 從 rancher-images.tar.gz 檔案載入 Images，並將其推送到私有的 Image Registry。

對 Image List 進行排序和唯一化，以消除來源之間的任何重疊：

$ sort -u rancher-images.txt -o rancher-images.txt

賦予 rancher-save-images.sh 可以執行的權限:

$ chmod +x rancher-save-images.sh

使用 rancher-images.txt Image 清單執行 rancher-save-images.sh

$ sudo bash -x rancher-save-images.sh \
--image-list ./rancher-images.txt \
--source-registry "registry.rancher.com" \
--images ~/work/rancher/rancher-images.tar.gz \
&>> /tmp/rancher-save-images.log &

結果： Docker 開始下載 Images，請耐心等待。這個過程需要幾分鐘到幾小時。完成後，會在 ~/work/rancher/ 目錄將輸出一個名為 rancher-images.tar.gz 的壓縮包，檢查輸出是否在目錄中。

下載 Helm 壓縮檔

$ wget https://get.helm.sh/helm-v3.13.1-linux-amd64.tar.gz -O ~/work/rancher/helm-v3.13.1-linux-amd64.tar.gz

檢查當前所有準備好的檔案

$ ls -lh ~/work/rancher

螢幕輸出 :

total 41G
-rw-r--r-- 1 rancher users 380K Jan 8 15:43 cert-manager-crd.yaml
-rw-r--r-- 1 rancher users 56M Jan 8 16:55 cert-manager-image_v1.11.0.tar.gz
-rw-r--r-- 1 rancher users 65K Jan 8 16:31 cert-manager-v1.11.0.tgz
-rw-r--r-- 1 rancher users 16M Oct 12 22:01 helm-v3.13.1-linux-amd64.tar.gz
-rw-r--r-- 1 rancher users 15K Jan 8 15:25 rancher-2.7.9.tgz
-rw-r--r-- 1 root root 41G Jan 9 18:50 rancher-images.tar.gz
-rw-r--r-- 1 rancher users 32K Jan 8 16:55 rancher-images.txt
-rw-r--r-- 1 rancher users 4.1K Oct 27 05:39 rancher-load-images.sh
-rwxr-xr-x 1 rancher users 1.8K Oct 27 05:39 rancher-save-images.sh

壓縮全離線安裝 Rancher 會需要的所有檔案

$ cd ..; tar -czvf compressed_files/rancher-offline.tar.gz rancher/

將本次全離線需要的壓縮檔全部壓成同一個壓縮檔

$ tar -czvf full-offline.tar.gz compressed_files/

壓縮好的檔案大小 41 GB (full-offline.tar.gz)

將壓縮檔傳送至 Harbor 和 Rancher 主機

$ scp full-offline.tar.gz <harbor 的機器>

開始離線安裝

準備 Rancher Airgap 程式

Fri, 29 Mar 2024 05:49:34 +0800

setup_env() {
# check internet connection
if ! nc -vz google.com 443 &> /dev/null; then
echo "internet connection is offline" && exit 1
fi
# check Command is installed
for command in wget curl docker
do
if ! which $command &> /dev/null; then
echo "${Command} command not found!" && exit 1
fi
done
# make sure the version of the Rancher is defined
if [[ -z "${Rancher_Version}" ]]; then
Rancher_Version="v2.8.2"
fi
# make sure the version of the Helm is defined
if [[ -z "${Helm_Version}" ]]; then
Helm_Version="v3.14.2"
fi
# make sure the version of the Cert-Manager is defined
if [[ -z "${Cert_Manager_Version}" ]]; then
Cert_Manager_Version="v1.11.0"
fi
# make sure the name of the Private Images Registry is defined
if [[ -z "${Private_Registry_Name}" ]]; then
Private_Registry_Name="harbor.example.com"
fi
}
prepare_rancher() {
setup_env
# 切換工作目錄
cd ~/work/rancher/"${Rancher_Version}"
# 安裝 helm
curl -s https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
[[ "$?" != "0" ]] && echo "Install helm failed" && exit 1
# 新增並刷新 Rancher Prime 的 Helm Chart Repository
helm repo add rancher-prime https://charts.rancher.com/server-charts/prime && \
helm repo update
[[ "$?" != "0" ]] && echo "helm repo add or update rancher-prime failed" && exit 1
# 下載 Rancher chart
helm fetch rancher-prime/rancher --version="${Rancher_Version}"
[[ "$?" != "0" ]] && echo "helm fetch rancher failed" && exit 1
# 新增和刷新 cert-manager repo
helm repo add jetstack https://charts.jetstack.io && \
helm repo update
[[ "$?" != "0" ]] && echo "helm repo add or update cert-manager failed" && exit 1
# 下載 cert-manager chart
helm fetch jetstack/cert-manager --version "${Cert_Manager_Version}"
[[ "$?" != "0" ]] && echo "helm fetch Cert_Manager failed" && exit 1
# 下載 cert-manager 要求的 CRD
curl -L -o cert-manager-crd.yaml https://github.com/cert-manager/cert-manager/releases/download/"${Cert_Manager_Version}"/cert-manager.crds.yaml
[[ "$?" != "0" ]] && echo "Download Cert_Manager CRD failed" && exit 1
# 處理 cert-manager 的 Container Images
for i in $(helm template cert-manager-*.tgz | awk '$1 ~ /image:/ {print $2}' | sed -e 's/\"//g')
do
# 下載 cert-manager 的 Container Images
sudo docker pull "$i"
[[ "$?" != "0" ]] && echo "Pull quay.io/jetstack/$i Container images failed" && exit 1
# 修改 cert-manager 的所有 Container Images Tag
sudo docker tag "${i}" "${Private_Registry_Name}"/rancher/"${i##*/}"
[[ "$?" != "0" ]] && echo "tag ${Private_Registry_Name}/rancher/${i##*/} Container images failed" && exit 1
done
# 將 cert-manager 的所有 Container Images 打包成 .tar.gz 壓縮檔
sudo docker save $(helm template cert-manager-*.tgz | awk '$1 ~ /image:/ {print $2}' | sed -e 's/\"//g' | sed "s|quay.io/jetstack|${Private_Registry_Name}/rancher|g") | gzip --stdout > cert-manager-image-"${Cert_Manager_Version}".tar.gz
[[ "$?" != "0" ]] && echo "Docker save Cert-manager ${Cert_Manager_Version} images failed" && exit 1
# 下載 Helm 壓縮檔
wget -q https://get.helm.sh/helm-"${Helm_Version}"-linux-amd64.tar.gz -O helm-"${Helm_Version}"-linux-amd64.tar.gz
[[ "$?" != "0" ]] && echo "Download helm ${Helm_Version} failed"
# 下載 Rancher Images List 文字檔及蒐集 Image 所需的 Shell Script
for x in rancher-images.txt rancher-load-images.sh rancher-save-images.sh
do
wget -q https://github.com/rancher/rancher/releases/download/"${Rancher_Version}"/"${x}"
[[ "$?" != "0" ]] && echo "Download ${x} failed" && exit 1
done
# 對 Image List 進行排序和唯一化，以消除來源之間的任何重疊
sort -u rancher-images.txt -o rancher-images.txt
[[ "$?" == "0" ]] && echo "Start pulling and saving rancher ${Rancher_Version} images in the background..."
# 下載離線安裝 Rancher 所需的所有 Container Images 並打包成 rancher-images.tar.gz
while read image
do
if ! sudo docker pull registry.rancher.com/"${image}" ; then
echo pull "$image" failed && exit 1
fi
done <<< $(cat rancher-images.txt)
rancher_all_image=$(cat rancher-images.txt | sed 's|^|registry.rancher.com/|' | tr '\n' ' ')
for n in $rancher_all_image
do
if ! sudo docker images "$n" | grep -q "${n%:*}"; then
if ! sudo docker pull registry.rancher.com/"$n" ; then
echo pull "$n" failed twice && exit 1
fi
else
sudo docker tag "${n}" "${Private_Registry_Name}"/rancher/"${n##*/}"
[[ "$?" != "0" ]] && echo "tag ${Private_Registry_Name}/rancher/${n##*/} Container images failed" && exit 1
fi
done
rename_rancher_all_image=$(cat rancher-images.txt | sed "s|^|${Private_Registry_Name}/|" | tr '\n' ' ')
sudo docker save $rename_rancher_all_image | gzip --stdout > rancher-"${Rancher_Version}"-image.tar.gz
[[ (( $(stat -c%s rancher-"${Rancher_Version}"-image.tar.gz) -lt 50000000 )) ]] && echo "Docker Save rancher ${Rancher_Version} images failed" && exit 1
cd ../..; tar -czf compressed_files/rancher-airgap-"${Rancher_Version}".tar.gz rancher/"${Rancher_Version}"
if [[ "$?" != "0" ]]; then
echo "Preparing Rancher "${Rancher_Version}" Air Gap installer failed" && exit 1
else
echo "Prepare Rancher "${Rancher_Version}" OK."
fi
}

完整程式 : https://github.com/braveantony/Prepare-AirGap-Installer/tree/main

Rancher Monitoring

Thu, 21 Mar 2024 09:32:24 +0800

Preface

本篇文章會稍微介紹 Prometheus 和 Alertmanager 在做哪些事情，並實作如何在 Rancher 上將 Kubernetes 的告警發送到指定 E-mail Address。

ALERTING OVERVIEW

Prometheus 的警報分為兩個部分。Prometheus Server 中的警報規則會向 Alertmanager 發送警報。然後 Alertmanager 管理這些警報，包括靜音 ( silencing )、抑制 ( inhibition )、聚合 ( aggregation ) 以及透過電子郵件、值班通知系統 ( on-call notification systems ) 和聊天平台等方式發送通知。

設定警報和通知的主要步驟是

設定 Prometheus 與 Alertmanager 連接
在 Prometheus 中建立警報規則 (Rancher 預設有很多警報規則)

ALERTMANAGER

Alertmanager 可處理 Prometheus Server 等用戶端應用程式所傳送的警報。它負責對警報進行重複 ( deduplicating )、分組 ( grouping )，並將其路由到正確的接收器整合（如電子郵件、PagerDuty 或 OpsGenie）。它還負責管理警報的靜音和抑制。

以下介紹 Alertmanager 實作的核心概念 :

Grouping

分組 ( Grouping ) 將性質相似的警報歸類到一個通知中。當許多系統同時發生故障，數百個警報可能同時響起時，這在較大的故障期間尤其有用。

例如：當網路分割區發生時，叢集正在執行數十或數百個服務執行個體。一半的服務無法再存取資料庫。Prometheus 中的警報規則被設定為在每個服務無法與資料庫通訊時為其發送警報。結果，數百個警報被發送到 Alertmanager。

作為用戶，我們只希望取得一個頁面，同時也能看到受影響的服務。因此，可以對 Alertmanager 進行設定，按群集和警報名稱對警報進行分組，這樣就能發送一個簡潔的通知。

警報分組、分組通知的時間以及這些通知的接收者都是透過設定檔中的路由樹 ( routing tree ) 來設定的。

Inhibition

抑制 ( Inhibition ) 的概念是，如果某些其他警報已經觸發，則抑制某些警報的通知。

例如：一個警報正在發出，通知整個叢集無法存取。可以對 Alertmanager 進行設定，使其在該特定警報觸發時靜音處理與該群集相關的所有其他警報。這樣就可以防止數百或數千個與實際問題無關的警報觸發通知。

抑制功能可透過 Alertmanager 的設定檔進行設定。

Silences

靜音是將警報靜音一段時間的直接方法。靜音是根據匹配器 ( matchers ) 設定的，就像路由樹一樣。會檢查傳入的警報是否與活動靜默的所有等價或正規表示式匹配器相符。如果匹配，則不會為該警報發送通知。

靜默在 Alertmanager 的 Web 介面中進行設定。

Client behavior

Alertmanager 對其客戶端的行為有特殊要求。這些要求只適用於不使用 Prometheus 發送警報的高階用例。

High Availability

Alertmanager 支援為高可用性建立叢集的設定。可以使用 --cluster-* 標記進行設定。

重要的是，不要在 Prometheus 及其 Alertmanager 之間進行負載平衡，而是將 Prometheus 指向所有 Alertmanager 的清單。

實作

Prerequest

SMTP OS: SUSE Linux Enterprise Server 15 SP 5
Rancher: v2.8.2
DownStream Cluster: RKE2 v1.27.11

0. 自簽 SMTP Server 需要用的憑證

# Generate a Certificate Authority Certificate
## Generate a CA certificate private key.
$ openssl genrsa -out ca.key 4096
## Generate the CA certificate.
$ openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=TW/ST=Taiwan/L=Taipei/O=example/OU=lab/CN=smtp.example.com" \
-key ca.key \
-out ca.crt
# Generate a Server Certificate
## Generate a private key.
$ openssl genrsa -out server.key 4096
## Generate a certificate signing request (CSR).
$ openssl req -sha512 -new \
-subj "/C=TW/ST=Taiwan/L=Taipei/O=example/OU=lab/CN=smtp.example.com" \
-key server.key \
-out server.csr
## Generate an x509 v3 extension file.
$ cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=smtp.example.com
DNS.2=example.com
DNS.3=smtp
EOF
## Use the v3.ext file to generate a certificate for your Harbor host.
$ openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca.crt -CAkey ca.key -CAcreateserial \
-in server.csr \
-out server.crt

1. 安裝 SMTP Server 並且啟動 TLS

# Install Postfix.
$ sudo zypper -n install postfix
# rename to disable
$ sudo mv /etc/sysconfig/postfix /etc/sysconfig/postfix.org
$ sudo nano -l /etc/postfix/main.cf
# line 114: uncomment and specify domain name
mydomain = lab.com
# line 130: uncomment
myorigin = $mydomain
# line 294: uncomment and specify local network
mynetworks = 192.168.11.0/24
# line 451: uncomment to move Maildir
home_mailbox = Maildir/
# line 714: change
inet_interfaces = all
# line 719: add
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
# line 720: specify hostname
myhostname = lab.com
# line 735
# limit a message size if need (example below means 10M limit)
message_size_limit = 10485760
# line 747: change
smtpd_recipient_restrictions = permit_mynetworks, permit_auth_destination, permit_sasl_authenticated, reject
# Configure SSL/TLS to encrypt connections
# line 782: change
smtpd_use_tls = yes
# line 788: specify certificates
smtpd_tls_cert_file = /home/rancher/smtp/server.crt
smtpd_tls_key_file = /home/rancher/smtp/server.key
# line 793: add
smtp_tls_mandatory_protocols = !SSLv2, !SSLv3
smtpd_tls_mandatory_protocols = !SSLv2, !SSLv3
smtpd_tls_session_cache_database = btree:/var/lib/postfix/smtpd_scache
## enable port 587 (submission) in postfix
$ sudo nano /etc/postfix/master.cf
### line: 24 取消註解
submission inet n - n - - smtpd
# line 25,26,28: uncomment
submission inet n - n - - smtpd
-o syslog_name=postfix/submission
-o smtpd_tls_security_level=encrypt
-o smtpd_sasl_auth_enable=yes
# line 43-45: uncomment
submissions inet n - n - - smtpd
-o syslog_name=postfix/submissions
-o smtpd_tls_wrappermode=yes
# line 64: uncomment
tlsmgr unix - - n 1000? 1 tlsmgr

啟動 SMTP Service 並設為開機自動啟動

$ sudo systemctl enable --now postfix

2. 測試 SMTP Server

# 本地測試寄信
$ echo "Test Postfix Gmail https://example.com" | mail -s "Postfix Gmail" "<your email address>"
# 在別台機器寄信
$ echo "Test Postfix Gmail 2" | mail -S smtp=192.168.11.85 -s "Postfix Gmail" "andy.wu@suse.com"
# 測試 TLS
$ openssl s_client -starttls smtp -connect smtp.example.com:587

3. 測試告警發信

3.1. 建立 SMTP 的 TLS Secret

$ kubectl create ns cattle-monitoring-system
$ kubectl -n cattle-monitoring-system create secret generic smtp-tls-secret \
--from-file=tls.crt=/home/rancher/smtp/server.crt \
--from-file=tls.key=/home/rancher/smtp/server.key \
--from-file=ca.crt=/home/rancher/smtp/ca.crt

需準備 CA 憑證、還有 SMTP Server 的憑證和私鑰

3.2. 建立 Rancher Monitoring

點選 Cluster Tools -> 找到 Monitoring 點選 Install
勾選 Customize Helm options brfore install -> Next
展開 Additional Secrets 選單，選擇 smtp-tls-secret
Install
安裝成功畫面

3.2. 設定 Alert-manager 告警對象為 E-mail

點選左側選單 Storage -> Secrets -> 選擇 “cattle-monitoring-system” Namespace -> 找到 alertmanager-rancher-monitoring-alertmanager 這個 Secret -> 點選 Edit Config
複製並修改以下 alertmanager.yaml 的內容，並再刪除所有原始的值後，貼到對應的 Value 欄位中

global:
resolve_timeout: 5m
route:
group_by: [Alertname]
# Send all notifications to me.
receiver: Mail Alert
group_wait: 30s
group_interval: 5m
repeat_interval: 12h
routes:
- match:
alertname: DemoAlertName
receiver: 'Mail Alert'
receivers:
- name: Mail Alert
email_configs:
- to: <你的 E-mail Address>
from: rancher@lab.com
smarthost: smtp.example.com:587 # Your smtp server address
tls_config:
ca_file: /etc/alertmanager/secrets/smtp-tls-secret/ca.crt
cert_file: /etc/alertmanager/secrets/smtp-tls-secret/tls.crt
key_file: /etc/alertmanager/secrets/smtp-tls-secret/tls.key
headers:
From: rancher@lab.com
Subject: 'Demo ALERT'

確認設定檔是否修改成功，點選 Monitoring -> Alert Manager
點選 Status
檢視 Config 內容
打開信箱，看 Alert

如果沒有 Alert 的話，可以透過 curl api 發送一個測試的 Alert
$ curl -H 'Content-Type: application/json' -d '[{"labels":{"alertname":"myalert"}}]' http://10.43.130.225:9093/api/v1/alerts
10.43.130.225 為 Alertmanager Service 的 IP，執行以下命令可以找到 $ kubectl -n cattle-monitoring-system get svc -l app=rancher-monitoring-alertmanager

Install Longhorn on Talos Kubernetes

Thu, 07 Mar 2024 16:12:44 +0800

PreRequest

System Extensions

要額外在 Talos K8S 的 Worker Node 上安裝 iscsi-tools 和 util-linux-tools 這兩個套件

customization:
systemExtensions:
officialExtensions:
- siderolabs/iscsi-tools
- siderolabs/util-linux-tools

siderolabs/iscsi-tools: this extension enables iscsid daemon and iscsiadm to be available to all nodes for the Kubernetes persistent volumes operations. siderolabs/util-linux-tools: this extension enables linux tool to be available to all nodes. For example, the fstrim binary is used for Longhorn volume trimming.

Pod Security

Longhorn 要求在 longhorn-system Namespace 要有 enforce: "privileged" 的權限

Data Path Mounts

You need provide additional data path mounts to be accessible to the Kubernetes Kubelet container.

These mount is necessary to provide access to the host directories and attaching volumes required by the Longhorn components.

machine:
kubelet:
extraMounts:
- destination: /var/lib/longhorn
type: bind
source: /var/lib/longhorn
options:
- bind
- rshared
- rw

環境準備

獲得 Talos System Extensions 的 image ID

## create the schematic file
$ cat <<EOF > longhorn.yaml
customization:
systemExtensions:
officialExtensions:
- siderolabs/iscsi-tools
- siderolabs/util-linux-tools
- siderolabs/gvisor
- siderolabs/qemu-guest-agent
EOF
## 到 Talos 官網的 Image Factory 查詢包含指定套件的 Image ID:
$ curl -X POST --data-binary @longhorn.yaml https://factory.talos.dev/schematics
{"id":"c527b6b20fb22847304656677e9bd4c4055dfcce95f3385da5db80e35f5fa1dc"}

Image Factory is a service that generates Talos boot assets on-demand. Image Factory allows to generate boot assets for the official Talos Linux releases and official Talos Linux system extensions.

Controlplane node patch yaml

以下是 Controlplane node 使用 machine config 檔需要的 patch yaml

machine:
install:
image: factory.talos.dev/installer/c527b6b20fb22847304656677e9bd4c4055dfcce95f3385da5db80e35f5fa1dc:v1.6.5
cluster:
inlineManifests:
- name: namespace-longhorn-system
contents: |-
apiVersion: v1
kind: Namespace
metadata:
name: longhorn-system

Worker node patch yaml

以下是 Worker node 使用 machine config 檔需要的 patch yaml

machine:
kubelet:
extraMounts:
- destination: /var/lib/longhorn
type: bind
source: /var/lib/longhorn
options:
- bind
- rshared
- rw
install:
image: factory.talos.dev/installer/c527b6b20fb22847304656677e9bd4c4055dfcce95f3385da5db80e35f5fa1dc:v1.6.5

透過 patch yaml 修改 machineconfig

## 修改 k1m1
$ talosctl machineconfig patch /home/bigred/k1/v1.6.5/controlplane.yaml --patch @/home/bigred/k1/v1.6.5/k1m1.patch --output /home/bigred/k1/v1.6.5/k1m1.yaml
## 修改 k1w1
$ talosctl machineconfig patch /home/bigred/k1/v1.6.5/worker.yaml --patch @/home/bigred/k1/v1.6.5/k1w1.patch --output /home/bigred/k1/v1.6.5/k1w1.yaml
## 修改 k1w2
$ talosctl machineconfig patch /home/bigred/k1/v1.6.5/worker.yaml --patch @/home/bigred/k1/v1.6.5/k1w2.patch --output /home/bigred/k1/v1.6.5/k1w2.yaml

建立 Talos K8S

$ 1m2w.sh
Talos Control Plane (172.22.1.11) config
waiting 120
k1m1(172.22.1.11) config
waiting 300
k1w1(172.22.1.15) config
k1w2(172.22.1.16) config
waiting 120
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k1m1 Ready control-plane 5m56s v1.29.2 172.22.1.11 <none> Talos (v1.6.5) 6.1.78-talos containerd://1.7.13
k1w1 Ready worker 63s v1.29.2 172.22.1.15 <none> Talos (v1.6.5) 6.1.78-talos containerd://1.7.13
k1w2 Ready worker 56s v1.29.2 172.22.1.16 <none> Talos (v1.6.5) 6.1.78-talos containerd://1.7.13

確認 System Extension 是否安裝成功

$ talosctl -n 172.22.1.11,172.22.1.15,172.22.1.16 --talosconfig=/home/bigred/k1/v1.6.5/talosconfig get extensions
NODE NAMESPACE TYPE ID VERSION NAME VERSION
172.22.1.11 runtime ExtensionStatus 0 1 iscsi-tools v0.1.4
172.22.1.11 runtime ExtensionStatus 1 1 util-linux-tools $VERSION
172.22.1.11 runtime ExtensionStatus 2 1 schematic 613e1592b2da41ae5e265e8789429f22e121aab91cb4deb6bc3c0b6262961245
172.22.1.15 runtime ExtensionStatus 0 1 iscsi-tools v0.1.4
172.22.1.15 runtime ExtensionStatus 1 1 util-linux-tools $VERSION
172.22.1.15 runtime ExtensionStatus 2 1 schematic 613e1592b2da41ae5e265e8789429f22e121aab91cb4deb6bc3c0b6262961245
172.22.1.16 runtime ExtensionStatus 0 1 iscsi-tools v0.1.4
172.22.1.16 runtime ExtensionStatus 1 1 util-linux-tools $VERSION
172.22.1.16 runtime ExtensionStatus 2 1 schematic 613e1592b2da41ae5e265e8789429f22e121aab91cb4deb6bc3c0b6262961245

安裝 Longhorn

$ curl -s https://raw.githubusercontent.com/longhorn/longhorn/v1.6.0/deploy/longhorn.yaml | sed 's/numberOfReplicas: "3"/numberOfReplicas: "2"/' | kubectl apply -f -

檢查是否部屬成功

$ kubectl get pods --namespace longhorn-system
NAME READY STATUS RESTARTS AGE
csi-attacher-57689cc84b-btwsj 1/1 Running 0 12m
csi-attacher-57689cc84b-h7zw9 1/1 Running 0 12m
csi-attacher-57689cc84b-zsb4f 1/1 Running 0 12m
csi-provisioner-6c78dcb664-pc2f5 1/1 Running 0 12m
csi-provisioner-6c78dcb664-vjw8z 1/1 Running 0 12m
csi-provisioner-6c78dcb664-xfvc6 1/1 Running 0 12m
csi-resizer-7466f7b45f-b8qq9 1/1 Running 0 12m
csi-resizer-7466f7b45f-pbhwp 1/1 Running 0 12m
csi-resizer-7466f7b45f-pdqr5 1/1 Running 0 12m
csi-snapshotter-58bf69fbd5-54w76 1/1 Running 0 12m
csi-snapshotter-58bf69fbd5-8vznv 1/1 Running 0 12m
csi-snapshotter-58bf69fbd5-ps7nj 1/1 Running 0 12m
engine-image-ei-acb7590c-6jq2h 1/1 Running 0 12m
engine-image-ei-acb7590c-bhjs5 1/1 Running 0 12m
instance-manager-45ef10875bdd08b79ebfe014faeb1722 1/1 Running 0 12m
instance-manager-55c27a0ae5e3ee437940cd838ea3ccef 1/1 Running 0 12m
longhorn-csi-plugin-f8zqf 3/3 Running 0 12m
longhorn-csi-plugin-g22hx 3/3 Running 0 12m
longhorn-driver-deployer-576d574c8-j2lzq 1/1 Running 0 12m
longhorn-manager-2jf5d 1/1 Running 1 (12m ago) 12m
longhorn-manager-tfh54 1/1 Running 0 12m
longhorn-ui-556f7bb76c-fwf5d 1/1 Running 0 12m
longhorn-ui-556f7bb76c-ljflg 1/1 Running 0 12m

測試 mysql database 飄移在不同節點上不會遺失資料

使用以下 yaml 測試

$ cat <<EOF > test-mysql.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: longhorn
resources:
requests:
storage: 2Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql
labels:
app: mysql
spec:
selector:
matchLabels:
app: mysql # has to match .spec.template.metadata.labels
strategy:
type: Recreate
template:
metadata:
labels:
app: mysql
spec:
restartPolicy: Always
containers:
- image: mysql:5.6
name: mysql
livenessProbe:
exec:
command:
- ls
- /var/lib/mysql/lost+found
initialDelaySeconds: 5
periodSeconds: 5
env:
- name: MYSQL_ROOT_PASSWORD
value: changeme
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-volume
mountPath: /var/lib/mysql
volumes:
- name: mysql-volume
persistentVolumeClaim:
claimName: mysql-pvc
EOF

建立 mysql

$ kubectl apply -f test-mysql.yaml

檢查部屬狀態

$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-7b79bcfb7c-2zrxh 1/1 Running 0 33s 10.244.2.18 k1w2 <none> <none>

在 mysql 產生資料

$ mysql -u root -p -h 10.244.2.18
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.51 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MySQL [(none)]> create database haha;
Query OK, 1 row affected (0.001 sec)
MySQL [(none)]> use haha;
Database changed
MySQL [haha]> CREATE TABLE customer (
-> ID int NOT NULL,
-> NAME varchar(100) NOT NULL,
-> AGE int,
-> ADDRESS varchar(255),
-> SALARY DECIMAL(10,2),
-> PRIMARY KEY (ID)
-> );
Query OK, 0 rows affected (0.028 sec)
MySQL [haha]> INSERT INTO customer
-> VALUES (1,'Ramesh',32,'Ahmedabad','2000.00'),
-> (2,'Khilan',25,'Delhi','1500.00'),
-> (3,'kaushik',23,'kota','2000.00'),
-> (4,'Chaitali',25,'Mumbai','6500.00'),
-> (5,'Hardik',27,'Bhopal','8500.00'),
-> (6,'Komal',22,'MP','4500.00'),
-> (7,'Muffy',24,'Indore','10000.00');
Query OK, 7 rows affected (0.005 sec)
Records: 7 Duplicates: 0 Warnings: 0
MySQL [haha]> select * from customer;
+----+----------+------+-----------+----------+
| ID | NAME | AGE | ADDRESS | SALARY |
+----+----------+------+-----------+----------+
| 1 | Ramesh | 32 | Ahmedabad | 2000.00 |
| 2 | Khilan | 25 | Delhi | 1500.00 |
| 3 | kaushik | 23 | kota | 2000.00 |
| 4 | Chaitali | 25 | Mumbai | 6500.00 |
| 5 | Hardik | 27 | Bhopal | 8500.00 |
| 6 | Komal | 22 | MP | 4500.00 |
| 7 | Muffy | 24 | Indore | 10000.00 |
+----+----------+------+-----------+----------+
7 rows in set (0.001 sec)

將 Pod 轉移到其他節點上，並觀察資料是否還在

$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-7b79bcfb7c-2zrxh 1/1 Running 0 5m 10.244.2.18 k1w2 <none> <none>
bigred@kube-kadm:~$ kubectl cordon k1w2
node/k1w2 cordoned
bigred@kube-kadm:~$ kubectl scale deploy mysql --replicas=0
deployment.apps/mysql scaled
bigred@kube-kadm:~$ kubectl cordon k1w2
node/k1w2 already cordoned
bigred@kube-kadm:~$ kubectl get pods -o wide
No resources found in default namespace.
bigred@kube-kadm:~$ kubectl scale deploy mysql --replicas=1
deployment.apps/mysql scaled
$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-7b79bcfb7c-fz7pg 1/1 Running 0 30s 10.244.1.24 k1w1 <none> <none>
bigred@kube-kadm:~$ mysql -u root -p -h 10.244.1.24
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.51 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MySQL [(none)]> select * from haha.customer;
+----+----------+------+-----------+----------+
| ID | NAME | AGE | ADDRESS | SALARY |
+----+----------+------+-----------+----------+
| 1 | Ramesh | 32 | Ahmedabad | 2000.00 |
| 2 | Khilan | 25 | Delhi | 1500.00 |
| 3 | kaushik | 23 | kota | 2000.00 |
| 4 | Chaitali | 25 | Mumbai | 6500.00 |
| 5 | Hardik | 27 | Bhopal | 8500.00 |
| 6 | Komal | 22 | MP | 4500.00 |
| 7 | Muffy | 24 | Indore | 10000.00 |
+----+----------+------+-----------+----------+
7 rows in set (0.005 sec)

Block Volume 測試

建立 pvc

$ echo 'apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: longhorn-block-vol
spec:
accessModes:
- ReadWriteOnce
volumeMode: Block
storageClassName: longhorn
resources:
requests:
storage: 3Gi' | kubectl apply -f -

建立 pod 並且掛載 pvc

$ echo 'apiVersion: apps/v1
kind: Deployment
metadata:
name: pod-with-raw-block-volume
labels:
os: alpine
spec:
replicas: 1
selector:
matchLabels:
os: alpine
template:
metadata:
labels:
os: alpine
spec:
containers:
- name: alpine
image: taiwanese/alpine:stable
imagePullPolicy: IfNotPresent
command: ["/bin/sleep", "infinity"]
volumeDevices:
- name: data
devicePath: /dev/sdd
securityContext:
privileged: true
lifecycle:
postStart:
exec:
command:
- /bin/sh
- -c
- |
set -e
mkdir /longhorn
checkformat=$(blkid | grep -w /dev/sdd | cut -d ':' -f1)
[[ "$checkformat" != /dev/sdd ]] && (mkfs.ext4 /dev/sdd && mount /dev/sdd /longhorn) || mount /dev/sdd /longhorn
preStop:
exec:
command:
- /bin/sh
- -c
- |
umount /dev/sdd
volumes:
- name: data
persistentVolumeClaim:
claimName: longhorn-block-vol' | kubectl apply -f -

$ kubectl get po
NAME READY STATUS RESTARTS AGE
pod-with-raw-block-volume-57b7bf4d5d-nmrzn 1/1 Running 0 20s

$ kubectl exec -it pod-with-raw-block-volume-57b7bf4d5d-5wl9l -- bash
bash-5.1# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
loop0 7:0 0 4K 1 loop
loop1 7:1 0 28K 1 loop
loop2 7:2 0 2.3M 1 loop
loop3 7:3 0 53.8M 1 loop
loop4 7:4 0 16M 0 loop
loop5 7:5 0 3G 0 loop
sda 8:0 0 800G 0 disk
├─sda1 8:1 0 100M 0 part
├─sda2 8:2 0 1M 0 part
├─sda3 8:3 0 1000M 0 part
├─sda4 8:4 0 1M 0 part
├─sda5 8:5 0 100M 0 part
└─sda6 8:6 0 798.8G 0 part /etc/resolv.conf
/etc/hostname
/dev/termination-log
/etc/hosts
sdb 8:16 0 120G 0 disk
sdc 8:32 0 120G 0 disk
sdd 8:48 0 3G 0 disk /longhorn
sr0 11:0 1 81.4M 0 rom
bash-5.1# echo 123 > /longhorn/test
bash-5.1# cat /longhorn/test
123

測試 pod 移轉

$ kubectl get po -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-with-raw-block-volume-57b7bf4d5d-5wl9l 1/1 Running 0 59s 10.244.2.24 k1w1 <none> <none>
$ kubectl scale deploy pod-with-raw-block-volume --replicas=0
$ kubectl cordon k1w1
$ kubectl scale deploy pod-with-raw-block-volume --replicas=1
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k1m1 Ready control-plane 47m v1.29.2
k1w1 Ready,SchedulingDisabled worker 42m v1.29.2
k1w2 Ready worker 42m v1.29.2
$ kubectl uncordon k1w1
$ kubectl get po -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-with-raw-block-volume-6cfcd9889-t6pzt 1/1 Running 0 25s 10.244.1.21 k1w2 <none> <none>
$ kubectl exec -it pod-with-raw-block-volume-6cfcd9889-t6pzt -- cat /longhorn/test
123

參考資料

Introduction to SUSE Rancher

Tue, 28 Nov 2023 10:45:28 +0800

Preface

本篇文章會介紹以下內容

公司和產品名稱
介紹 SUSE Rancher 版本 2.6
探索 SUSE Rancher 架構
學習如何進入 SUSE Rancher 的圖形化使用者介面 (GUI)

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Explain the Company and Product Name

Rancher vs SUSE Rancher

Rancher Labs – 原始公司
- 成立於 2014 年
- 於 2020 年被 SUSE 收購
- 又稱 “Rancher”
SUSE Rancher – 新產品
- 一個多叢集的 Kubernetes Container 管理平台
- 透過 Helm chart 作為 Kubernetes 應用程式部署
- 又稱 “Rancher Server”
- 目前版本為 2.6.0（2021年8月）
- 與開源的 Rancher 產品相同，但具有企業級支援服務

Introduce SUSE Rancher Version 2.6

SUSE Rancher

SUSE Rancher 是一個適合企業使用的(enterprise ready)、可用於生產環境(production-level) 的 Kubernetes 管理平台。

What’s new in SUSE Rancher 2.6

SUSE Rancher 的使用者界面重新設計：
- 簡化和提高存取方便性
- Unified Cluster Manager 和 Cluster Explorer 在一個圖形化使用者介面內
  - 改進單一和多叢集使用情境的使用者體驗
- GUI 中恢復了 Metrics functionality (指標功能)
  - 基本資源利用率資訊可在不切換至 Grafana GUI 的情況下查看
Full lifecycle management (完整生命週期管理)
- 能夠部署、升級和摧毀 Rancher 託管的 Kubernetes 叢集
- Configuration management 被添加到 AKS、EKS 和 GKE 上註冊的 Kubernetes 集群中
- 在 SUSE Rancher 之外進行的設定更改會同步回 SUSE Rancher
Rancher 託管的 Kubernetes 叢集有 Project network isolation 的功能
- 用於叢集多租戶
- 叢集不能看到其他叢集的資源
Audit logs (審核日誌)現在顯示來自外部驗證提供者的實際使用者身份，不再需要手動設定使用者對應。

註：Kubernetes 對 DockerShim 的支持將被取消。

版本說明和入門指南

SUSE Rancher GUI has links to:

Release Notes https://<RANCHER>/dashboard/docs/release-notes
- 有關新功能和已棄用功能的資訊
Getting Started https://<RANCHER>/dashboard/docs/getting-started
- 對新 GUI 的簡短介紹
- 包含一個表格，列出了舊 GUI 和新 GUI 之間的功能位置

Explore SUSE Rancher Architecture

SUSE Rancher Cake

On-prem(本地)、Cloud(雲端)、混合式(hybrid)
- 支援多個 Kubernetes 發行版。
可以建立新的叢集或匯入現有的叢集。

在 Kubernetes 叢集中，每個運算資源都被稱為「node(節點)」，節點可以是裸機伺服器或是虛擬機器。

Kubernetes 可以執行許多功能，例如

scheduling (排程)
scaling (擴充)
service discovery (服務發現)
health check(健康檢查)
secret management (密碼管理)
configuration management (配置管理)。

SUSE Rancher Value Points

透過 Helm chart 輕鬆安裝
Central authentication
- SUSE Rancher 內部的驗證
- 外部的驗證，例如 LDAP、OAuth、OIDC 和 SAML
提供單一管理點
可以配置 Kubernetes v1.17 或更新版本的叢集
- 已存在的 v1.16 叢集仍然可以被管理
所有叢集都有基於角色的存取控制 (RBAC)

SUSE Rancher 他自己是一個在 Kubernetes 中的 Deployment 做的 Application，也可以在單一節點環境下進行測試。

LDAP (Lightweight Directory Access Protocol) 一個公開的資料存儲庫，用於存放使用者相關資訊。LDAP（輕量級目錄訪問協議）還提供使用者身份驗證功能。

OAuth (Open Authorization) 允許第三方服務交換您的資訊。它使用 tokens (令牌)進行身份驗證，因此您的密碼不需要用於訪問該服務。

OIDC (OpenID Connect) 一個加入身份層的 OAuth 擴充功能。OIDC 允許客戶端使用授權服務器來確認終端使用者的身份。

SAML (Security Assertion Markup Language) 一個開放的標準，允許身份提供者將授權憑證傳遞給服務提供商。

Rancher Terminology

Rancher Server:
- Is installed on top of any Kubernetes cluster
- Manages and provisions downstream Kubernetes clusters
- 透過 SUSE Rancher GUI 或 Rancher CLI 的 API 與下游叢集進行互動。
RKE - Rancher Kubernetes Engine:
- 經過 Cloud Native Computing Foundation（CNCF）認證的 Kubernetes 發行版。
- 使用 CLI/程式庫來建立和管理 Kubernetes 叢集。
- 在 2021 年 12 月與 RKE2 進行統一。
Downstream Cluster
- 由 SUSE Rancher GUI 管理或與之互動的叢集。
K3s - Lightweight Kubernetes
- CNCF 認證的 Kubernetes 發行版
- 只有一個二進制檔案 → 輕量級
- 非常適合單節點邊緣叢集(Edge clusters)。
RKE2
- CNCF 認證的 Kubernetes 發行版
- 專注於美國聯邦政府部門的安全性和合規性。
RancherD
- New installation utility for SUSE Rancher
- 目前處於實驗狀態
- 首先啟動一個 RKE2 Kubernetes 叢集，然後在該叢集上安裝 SUSE Rancher Server 的 Helm Chart。

如果 SUSE Rancher 被安裝在 RKE Kubernetes 叢集上，最小的 HA 叢集設定應該要有 3 台 Node，且每台 Node 都需要擔任 Etcd、ContorlPlane 和 Worker 的角色。如果安裝在 K3S 叢集上的話，對於設定 Etcd HA 叢集的架構的話，只需兩台 Nodes 就可以了

SUSE Rancher Management Cluster

SUSE Rancher 是一個 Kubernetes 的 App
基本的 high availability 設定要求
- 3 台 Etcd Nodes
  - 儲存叢集內部設定資訊的資料庫
  - 可以與 Control Plane Node 共存
- 2 台 Control Plane Nodes
  - SUSE Rancher management functionality
- 2 台 worker nodes
  - Run the user workloads

Kubernetes 將 Node 劃分為三種類型

etcd nodes
control plane nodes
worker nodes

A Kubernetes cluster consists of at least one etcd, control plane, and worker node

SUSE Rancher 在單節點和高可用性安裝中都使用 etcd 作為數據存儲。在 Kubernetes 中，etcd 也是一種節點角色，負責儲存叢集的設定和狀態。

Kubernetes 叢集的狀態是由 etcd 維護的。Etcd Node 跑的是 Etcd Database，它是一個分散式的 key-value 存儲方式，用於作為 Kubernetes 的存儲來保存所有叢集資料，例如叢集協調和狀態管理。

Control plane nodes 運行 Kubernetes API server、scheduler 和 controller manager。這些 nodes 負責日常任務以確保集群維護其設定。因為所有集群數據都存儲在 etcd 節點上，所以控制平面節點是無狀態的。

Each worker node runs:

Kubelets
- 監控 Node 狀態的 agent (代理)，確保 Container 的健康
Workloads
- 包含實際應用程序的 Container 和 pod，以及其他類型的部署

Worker nodes also run storage and networking drivers, and ingress controllers when required.

Downstream Clusters

下游集群由 SUSE Rancher 管理
SUSE Rancher 透過在叢集節點中運行的代理程式與標準的 Kubernetes API 進行通信。
下游集群在 Kubernetes worker nodes 上運行應用程序和服務
SUSE Rancher 是一個完整的 Kubernetes Container 管理平台，為管理員提供了在任何地方成功運行 Kubernetes 的工具。

SUSE Rancher Server

SUSE Rancher Server runs on top of a Kubernetes cluster:
- 包含管理整個 SUSE Rancher 部署所需的所有內容
- 通過 cluster agent (集群代理) 或 node agent (節點代理) 提供的 API 與下游集群進行通信
SUSE Rancher cluster 應專門用於只運行 SUSE Rancher
- For security and best performance
- User workloads are to be run on downstream clusters
- Rancher is deployed with a Helm chart.

Authentication and Cluster Access

Authentication Proxy
- 對呼叫者進行身份驗證
- Sets the proper Kubernetes impersonation headers
- 將 Kubernetes API 的請求轉發至下游叢集。
Integrated authentication services
- Local authentication
- LDAP, OAuth, OIDC, SAML

SUSE Rancher 使用 Service Account 與 Kubernetes 集群進行溝通，該 Service Account 為在 pod 中運行的程序提供身份。

默認情況下，使用 kubeconfig 文件訪問 Kubernetes 集群。 kubeconfig 文件包含對集群的完全訪問權限。

使用 SUSE Rancher，由於認證代理（authentication proxy）的存在，這個檔案對於叢集 API 通訊並不需要，認證代理會被 SUSE Rancher Server 使用，以便連接到下游使用者叢集上的 Kubernetes API server。

如果需要，可以繞過認證代理。

Hosted Kubernetes Providers

Kubernetes can be provisioned by cloud providers such as
- Amazon Elastic Container Service for Kubernetes (EKS)
- Azure Kubernetes Service (AKS)
- Google Kubernetes Engine (GKE)
- And more …
SUSE Rancher integrates with the cloud provider’s API
- Allows Role-Based Access Control from the Rancher GUI

SUSE Rancher Provisioned Kubernetes

在現有節點上設定 RKE:
- 透過 SUSE Rancher cluster agent 這台 Container 新增一台 Node
- SUSE Rancher GUI 使用 Docker 當作 container runtime
Can be deployed on:
- Bare metal server
- Virtualization platform
- Cloud provider virtual machines
  - Amazon EC2, Azure, Google, …

Rancher 生成的 K8S 和 import 進 Rancher 的 K8S，這兩種 Cluster，沒有支援以下能力

Ability to rotate certificates
Ability to back up the Kubernetes clusters
Ability to recover and restore etcd
Cleaning Kubernetes components when clusters are no longer reachable from SUSE Rancher
Configuring Pod Security Policies
Running Security Scans

Imported Kubernetes Clusters

SUSE Rancher 能與已經運行中的 Kubernetes 群集進行溝通。
- 在下游群集上建立 SUSE Rancher node agent container ，以將群集導入到 SUSE Rancher Server 中。
- SUSE Rancher 的圖形使用者介面提供一個指令，這個指令可以在有權限訪問 kubeconfig 檔案的群集節點上執行。
- 註冊完成後，SUSE Rancher 可以透過 agent 使用原生的 Kubernetes API 與群集進行溝通。

Cluster Agent

Downstream clusters run a cluster agent
Cluster agent:
- 在 SUSE Rancher 啟動的 Kubernetes 集群上連接到 Kubernetes API Server
- 觀察下游集群的資源變化
- 使下游集群的當前狀態達到所需狀態
- 設定對 Cluster (群集) 和 Project (專案) 的存取控制政策。
- 通過調用所需的 Kubernetes 引擎（AKS、EKS、GKE）和 Docker 機器驅動程序 (RKE) 來配置集群
- 管理每個集群內的 Workloads、pod 創建和部署
- 套用每個群集的 global policies (全域策略) 中定義的 Role (角色) 和 binding (綁定)
- 提供 Rancher Server 關於 Event (事件)、 stats (統計)、node info (節點信息)和 health (健康) 的信息
For RKE2 and K3s containerd runtime is used.

Node Agent

如果目標沒有可用的 Cluster Agent，其中一個 Node Agent 會建立一個隧道到 Cluster Contorller ，以與 SUSE Rancher 進行通訊。
- Infrastructure clusters
  - Amazon EC2, Azure, Google, …
- Existing registered, non-provisioned RKE, RKE2, and K3s clusters
Node Agent 部署為 Kubernetes DaemonSet 以確保其運行在集群中的每個節點上
Node agent interaction is used for:
- Upgrading the Kubernetes version
- Creating or restoring etcd snapshots

cattle-node-agent 是用來在進行群集操作時，與 Rancher 啟動的 Kubernetes 群集中的節點互動。群集操作的例子包括升級 Kubernetes 版本和創建/恢復 etcd 快照。cattle-node-agent 是使用 DaemonSet 資源部署的，以確保它在每個節點上運行。當 cattle-cluster-agent 不可用時，cattle-node-agent 被用作備用選項，連接到 Rancher 啟動的 Kubernetes 群集的 Kubernetes API。

Access SUSE Rancher GUI

First Login to SUSE Rancher

打開一個瀏覽器，輸入 SUSE Rancher URL
- 第一次登入時，會要求 Bootstrap password
  - 密碼可以手動設定，會由 Rancher 隨機產生

SUSE Rancher GUI Basic Configuration

如果使用隨機 Bootstrap password 引導密碼，必須設置管理密碼
SUSE Rancher URL 用於
- 訪問 GUI 介面
- Downstream clusters API 的訪問
  - Downstream clusters 在建立時，會需要能夠訪問 SUSE Rancher URL
  - SUSE Rancher URL 在 Rancher 建立好後不支援更改
同意條款和條件

SUSE Rancher Landing Page

Contains links for What’s New, Getting Started etc
A list of clusters is displayed in the bottom of the page

Cluster List

SUSE Rancher 主頁將顯示由 SUSE Rancher 啟動或導入的集群
- The default name of the SUSE Rancher cluster is local
- 可以導入現有集群或設定啟動新集群
- 提供有關集群的基本詳細信息
- SUSE Rancher GUI 專注於多集群環境

SUSE Rancher Post-Install Configuration

安裝後，系統管理員可以配置和微調 SUSE Rancher 的一系列設置和功能，包括：

Authentication (身分驗證)
Authorization (授權)
Node and Cluster Drivers
Helm repositories
Continuous Delivery
Security
Advanced settings

Questions:

Q1: SUSE Rancher Server 可以管理什麼類型的集群？

SUSE Rancher Server 可以管理在雲端、本地或混合環境中運行的各種 Kubernetes 集群。

Q2: Downstream Cluster 是什麼意思?

由 SUSE Rancher 管理的集群稱為 Downstream Cluster (下游集群)。

Q3: SUSE Rancher 如何管理 Kubernetes clusters?

當在 SUSE Rancher 中提供或匯入群集時，會在目標系統上部署 Cluster 或是 Node Agent。這些 Agent 提供了與 SUSE Rancher Server 溝通的 API。

Rancher 對 RKE2 Snapshot 的前置設定

Thu, 27 Jul 2023 06:55:20 +0800

使用 Rancher 生成的 RKE2 Cluste，需要把 rke2 命令複製到/usr/local/bin/
需要在叢集中的每一台 Node 上都執行以下命令

$ sudo cp /opt/rke2/bin/* /usr/local/bin/

檢視 SnapShot 列表

Pod 使用 K8S 外部 DNS Server & Rancher 對 RKE2 Snapshot 的前置設定

Thu, 27 Jul 2023 05:48:50 +0800

Preface

本篇文章會介紹，

如何讓 Pod 使用 K8S 外部的 DNS Server
Rancher 對 RKE2 Snapshot 的前置設定

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Pod 使用 K8S 外部 DNS Server

Sample: Pod Yaml File

$ echo 'apiVersion: v1
kind: Pod
metadata:
name: test
namespace: default
spec:
containers:
- image: quay.io/hahappyman/alpine
command:
- sleep
- "360000"
imagePullPolicy: IfNotPresent
name: test
restartPolicy: Always
dnsConfig:
nameservers:
- 192.168.11.97' > pod.yaml

DNSConfig 可以讓使用者直接輸入 DNS 相關的參數，該參數會擴充該 Pod原本的 DNS 設定檔案。
- dnsConfig.nameservers，指定 K8S 外部的 DNS Server IP Address

建立 Pod

$ kubectl apply -f pod.yaml

檢視在 Pod 中，新加入的 DNS Server

$ kubectl exec test -- cat /etc/resolv.conf

螢幕輸出 :

search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.43.0.10
nameserver 192.168.11.97

在 nameserver 的欄位可以看到多了一筆 192.168.11.97

測試名稱解析

$ kubectl exec test -- ping -c 1 rancher.example.com

螢幕輸出 :

PING rancher.example.com (192.168.11.11): 56 data bytes
64 bytes from 192.168.11.11: seq=0 ttl=63 time=0.830 ms
--- rancher.example.com ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.830/0.830/0.830 ms

可以看到成功將 rancher.example.com 解析成 192.168.11.11

Rancher 對 RKE2 Snapshot 的前置設定

使用 Rancher 生成的 RKE2 Cluste，需要把 rke2 命令複製到/usr/local/bin/
需要在叢集中的每一台 Node 上都執行以下命令

$ sudo cp /opt/rke2/bin/* /usr/local/bin/

Longhorn Introduction

Fri, 21 Jul 2023 02:41:38 +0800

Preface

本篇文章會介紹，甚麼是 Longhorn，它如何運作，如何安裝，即實作。

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

What is Longhorn?

Longhorn 是 Kubernetes 的一個輕量級、可靠且易於使用的分散式區塊儲存系統。

本質上，它將普通硬體和雲端儲存空間轉變為可靠且分散式的塊儲存解決方案，為 Kubernetes 提供 software-defined storage (軟體定義儲存 [SDS])。

在 Kubernetes 環境中使用 Longhorn 的特性和優點

安裝和操作方便

Longhorn 可以透過一個指令在任何 Kubernetes 叢集上進行安裝。

它提供了圖形使用者介面，創建和連接 volumes、進行快照的管理，以及設置備份。

輕量化且可靠

Longhorn 的佔用空間很小，不需要任何額外的服務來運行，因此是一個輕量級的解決方案。它通過在叢集中的不同節點之間同步複製 volumes 來確保高可用性。如果一個節點或硬碟故障，Longhorn 會自動重新複製數據到其他節點，保護數據的安全性。

Volumes 的災難復原

Longhorn 支援跨叢集災難恢復 volumes，使得在災難發生時可以快速啟動備援的 volumes。

Incremental Snapshots and Backups

Longhorn 允許您對 volumes 進行增量式快照拍攝，並將其備份到第二個儲存空間。這種方法優化了儲存使用情況，加快了備份和恢復操作的速度。

ReadWriteMany (RWX) Volumes Support

從 Longhorn 1.1.0 版本開始，Longhorn 支援 ReadWriteMany (RWX) volumes，允許多個節點同時讀寫一個 volumes。

Active Monitoring and Alerts

Longhorn 透過與 Prometheus 的整合提供主動監控和警示功能。

Built-In Data Locality and Affinity Features

Longhorn 支援資料本地化，嘗試保持資料和 Application 在同一節點上，以提高性能。

它還支援 volume 和節點的 affinity/anti-affinity 策略，用於進階的 volume 排程。

Longhorn 的運作架構

Longhorn Manager

一個 DaemonSet in Kubernetes
Longhorn Manager 在 Kubernetes 叢集的每個節點上運行。
它負責在 Kubernetes 叢集中創建和管理 Volume，並處理來自使用者介面或 Kubernetes 的 volume plugins 的 API 呼叫。

Longhorn Engine

一個 Linux Process
Longhorn Engine 是負責讀寫資料到儲存後端。
每個 Longhorn volume 都有對應的 Longhorn Engine。
Longhorn Engine 進行快照拍攝、建立備份，並在不同節點之間複製資料以確保高可用性。

Longhorn UI

Longhorn 使用者介面（UI）是一個圖形使用者介面，讓使用者能夠管理 Volumes、進行快照拍攝、設置備份，並監控儲存系統的狀態。

Longhorn CSI (Container Storage Interface) Driver

CSI Driver 允許 Kubernetes 將 Longhorn 作為其儲存提供者。
它將 Kubernetes 的 Volume 操作轉換為相應的 Longhorn 操作，例如
- 創建 Volume
- 將 Volume 附加/分離到節點
- 以及將 Volume 掛載/卸載到 Pod

Longhorn Instance Manager

有兩種類型的 Instance Manager，
- 一個用於管理 Longhorn Engine instances，
- 另一個用於管理 Longhorn Replica instances。
叢集中的每個節點都運行一個 Instance Manager pod，每種類型一個。

Longhorn Replicas

這些是由 Longhorn Engine 在不同節點上同步創建的資料副本，用於實現冗餘和高可用性。

How Longhorn Operates

在 Longhorn 中，當您在 Kubernetes 中創建一個 Persistent Volume Claim(PVC) 時，

Longhorn CSI driver 會將此請求傳達給 Longhorn manager。
Longhorn manager 會提供一個新的 Longhorn Volime 和對應的 Longhorn Engine。

Longhorn Engine 負責存儲 Volume 的實際資料，並管理將資料複製到分布在不同節點上的 Longhorn Replicas。這種複製確保您的資料即使節點發生故障，仍然安全可用。

此外，當您進行快照時，Longhorn Engine 會在不影響運行 Application 的情況下創建資料的某一時間點副本。這些快照可以用於備份，這些備份是增量的，可以存儲在像 AWS S3 或 NFS 伺服器這樣的第二個儲存空間中。

Rancher Webhook

Fri, 14 Jul 2023 02:45:44 +0800

Preface

本篇文章會介紹以下內容

甚麼是 Rancher Webhook，它在做什麼?

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

What is Rancher Webhook

Rancher-Webhook 是 Rancher 的一個重要元件，與 Kubernetes 搭配使用，以增強安全性並啟用 Rancher 管理叢集的關鍵功能。

Rancher webhook 同時是 Kubernetes 的 validating admission webhook 和 mutating admission webhook.

Rancher-Webhook 與 Kubernetes 的 extensible admission controllers (可擴充入場控制器)整合在一起，就像 Kubernetes documentation 中所描述的那樣。

這使得 Rancher-Webhook 能夠檢視傳送至 Kubernetes API 伺服器的特定請求，並對 Rancher 相關的請求進行自訂的驗證和變更。

Rancher-Webhook 透過 rancher.cattle.io 的 ValidatingWebhookConfiguration 和 MutatingWebhookConfiguration 來管理要進行驗證的資源，並會覆蓋任何手動編輯。

Rancher 在本地和下游叢集中將 Rancher-Webhook 部署為獨立的 Deployment 和 Service。Rancher 使用 Helm 來管理 Rancher-Webhook。值得注意的是，Rancher 可能會覆蓋使用者對 Helm 發行版所做的修改。

Why do we need it?

Rancher-Webhook 是 Rancher 的重要組件，用於保護叢集免受惡意攻擊並啟用各種功能。Rancher 依賴於 Rancher-Webhook 作為其功能的不可或缺的一部分。如果沒有這個網鉤，Rancher 將不會是一個完整的產品。它為 Rancher 管理的叢集提供了重要的保護，防止安全漏洞並確保叢集的一致性和穩定性。

What are admission webhooks?

「admission webhooks」是一種 HTTP callbacks (回調) 功能，用於接收「admission requests (入場請求)」並對其進行處理。

你可以定義兩種類型的 admission webhooks，validating admission webhook (驗證型入場網鉤) 和 mutating admission webhook (變異型入場網鉤)。

mutating admission webhook 會先被呼叫，並且可以修改傳送至 API Server 的物件，以強制套用自訂預設值。在所有物件修改完成後，且進入物件通過 API Server 的驗證後，validating admission webhook 會被呼叫，並且可以拒絕請求以套用自訂規則。

Note. 需要確保看到物件的最終狀態以執行策略的 admission webhook 應該使用 Validating Admission Webhook，因為物件在被 mutating admission webhook 看到後可能會被修改。

What is Validating Admission Webhook

這個 admission controller (入場控制器)會呼叫符合請求的所有 Validating Admission Webhook。符合的 Webhook 會並行呼叫；如果其中任何一個拒絕請求，則請求將失敗。

這個 admission controller 僅在驗證階段運行；它所呼叫的 Webhook 不能對物件進行變更，這與 MutatingAdmissionWebhook admission controller 所呼叫的 Webhook 相對。

What is MutatingAdmissionWebhook

這個 admission controller 會呼叫符合請求的所有 mutating webhooks。符合的 webhooks 會依序呼叫；每個 webhooks 都可以修改物件，如果需要的話。

這個 admission controller（如其名所示）僅在 mutating (變異)階段運行。

Rancher Introduction

Fri, 14 Jul 2023 01:09:36 +0800

Preface

本篇文章會介紹以下內容

甚麼是 Rancher，它的功能有哪些?

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

What is Rancher?

Rancher 是一種管理 Kubernetes 工具，能在任何地方、任何供應商(GCP, AWS, Azure…等)上部署和管理叢集。

Rancher 可以從托管供應商那裡取得 Kubernetes，或是在運算節點上安裝 Kubernetes，甚至可以匯入任何地方運行的既有 Kubernetes 叢集。

Rancher 在 Kubernetes 的基礎上增添了許多價值，首先，它集中了所有叢集的身份驗證和基於角色的訪問控制（RBAC），讓全域管理員能在一個地方控制叢集訪問。

接著，它為叢集及其資源提供詳細的監控和警報，將日誌傳送到外部供應商，並且直接與 Helm 透過應用程式目錄進行整合。如果你有外部的 CI/CD 系統，你可以將它接入 Rancher，但如果你沒有，Rancher 甚至還包括了 Fleet，可以幫助你自動部署和升級 Workload。

總的來說，Rancher 是一個完整的 Kubernetes Container 管理平台，提供你在任何地方成功運行 Kubernetes 的工具。

Overview

Run Kubernetes Everywhere

Kubernetes 已經成為 Container orchestration (編排)的標準。大多數的雲端和虛擬化供應商現在都把它當作標準基礎設施來提供。Rancher 的使用者可以選擇用 Rancher Kubernetes Engine (RKE) 或者像是 GKE、AKS、和 EKS 這種雲端 Kubernetes 服務來創建 Kubernetes 叢集。Rancher 的使用者也可以匯入和管理他們用任何 Kubernetes 發行版或安裝程式所創建的現有 Kubernetes 叢集。

滿足 IT 需求

Rancher 支援對所有在其控制之下的 Kubernetes 叢集進行集中的身份驗證、訪問控制和監控。例如，你可以：

使用你的 Active Directory 憑證來訪問由雲端供應商，像是 GKE 所架設的 Kubernetes 叢集。
設置並執行對所有使用者、群組、專案、叢集和雲端的訪問控制和安全政策。
從一個統一的介面查看你的 Kubernetes 叢集的健康狀態和容量。

增強 DevOps 團隊能力

Rancher 為 DevOps 工程師提供了一個直觀的用戶介面來管理他們的應用程式工作負載。用戶不需要對 Kubernetes 的概念有深入的了解就能開始使用 Rancher。Rancher 的目錄包含了一套實用的 DevOps 工具。Rancher 獲得了廣泛的雲端原生生態系統產品的認證，包括例如安全工具、監控系統、Container Regestries，以及儲存和網路驅動等。

下面這張圖說明了 Rancher 在 IT 和 DevOps 組織中的角色。每個團隊都在他們選擇的公有雲或私有雲上部署他們的應用程式。IT 管理員可以查看並執行針對所有用戶、叢集和雲端的政策。

Rancher API Server 的功能

Authorization and Role-Based Access Control

使用者管理：Rancher 的 API 伺服器負責管理與外部認證服務，如 Active Directory 或 GitHub 對應的使用者身份，以及本地使用者。
授權：Rancher 的 API 伺服器負責管理存取控制和安全政策。

Podman Offline Installation of Rancher

Thu, 29 Jun 2023 04:54:34 +0800

Preface

本篇文章會介紹如何在全離線的狀態下，透過 Podman 安裝 Rancher，並透過 Rancher 這個平台生成 Rancher Kubernetes Engine 2(RKE2)

Prepare

將 Rancher Image 傳到 Podman-Host 主機

> scp rancher-image.tar bigred@192.168.61.66:/home/bigred/

套件下載點

Load Rancher Image on Podman-Host Machine

$ sudo podman load < rancher-image.tar

Install Rancher with Default Rancher-generated Self-signed Certificate

$ sudo podman run -d -p 80:80 -p 443:443 --privileged docker.io/rancher/rancher:v2.7.3

-d, --detach，在背景運行 Container -p, --publish strings，Publish a container’s port, or a range of ports, to the host (default []) --privileged，Give extended privileges to container

螢幕輸出 :

b0d309fae9150ae0a637e415e9f531a83eb542f2be60278a0567ec1cd05d35c4

檢查 Container 狀態

$ sudo podman ps -a

螢幕輸出 :

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b0d309fae915 docker.io/rancher/rancher:v2.7.3 --no-cacerts 5 minutes ago Up 5 minutes ago 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp great_easley

準備 Rancher Container 運作所需之 Image

$ sudo podman cp rancher-2.7.3.tar $(sudo podman ps -aq):/var/lib/rancher/
$ sudo podman exec -it $(sudo podman ps -aq) bash
# ctr -n k8s.io image import rancher-2.7.3.tar

在 local 端測試 Rancher 網站

$ curl -k https://192.168.61.66/dashboard/

螢幕輸出 :

<!doctype html>
<html>
<head>
<title>dashboard</title><meta data-n-head="1" charset="utf-8"><meta data-n-head="1" name="viewport" content="width=device-width,initial-scale=1"><meta data-n-head="1" data-hid="description" name="description" content="Rancher Dashboard"><link data-n-head="1" data-hid="icon" rel="icon" type="image/x-icon" href="/favicon.png"><base href="/dashboard/"><link rel="preload" href="/dashboard/_nuxt/bc5a9b9.js" as="script"><link rel="preload" href="/dashboard/_nuxt/d0c1200b7e55ba295a21.js" as="script"><link rel="preload" href="/dashboard/_nuxt/b9199dcf32fef6f15dc0.js" as="script"><link rel="preload" href="/dashboard/_nuxt/44bf45d45b48440e6fea.js" as="script">
</head>
<body>
<div id="__nuxt"><style>.initial-load-spinner-container{align-items:center;background-color:#f8f8f8;display:flex;justify-content:center;height:100vh;left:0;position:absolute;top:0;width:100vw}.initial-load-spinner{animation:initial-load-animate 1s infinite linear;background-color:transparent;box-sizing:border-box;border:5px solid #008acf;border-radius:50%;border-top-color:#00b2e2;display:inline-block;height:80px;margin:0 auto;width:80px}@keyframes initial-load-animate{0%{transform:rotate(0)}100%{transform:rotate(359deg)}}</style><div class="initial-load-spinner-container"> <i class="initial-load-spinner"></i></div></div><script>window.__NUXT__={config:{rancherEnv:"web",dashboardVersion:"v2.7.2",_app:{basePath:"/dashboard/",assetsPath:"/dashboard/_nuxt/",cdnURL:null}}}</script>
<script src="/dashboard/_nuxt/bc5a9b9.js"></script><script src="/dashboard/_nuxt/d0c1200b7e55ba295a21.js"></script><script src="/dashboard/_nuxt/b9199dcf32fef6f15dc0.js"></script><script src="/dashboard/_nuxt/44bf45d45b48440e6fea.js"></script></body>
</html>

取得第一次登入密碼

$ sudo podman logs $(sudo podman ps -aq) 2>&1 | grep "Bootstrap Password:"

全離線透過 Rancher 生成 RKE2

準備 rancher-agent 和 rke2 服務要用的 tar 檔

~> scp Downloads\d-rke2-image.tar Downloads\rke2-runtime-image.tar Downloads\system-agent-installer-rke2-image.tar bigred@192.168.61.11:/home/bigred/

~> sudo mkdir -p /var/lib/rancher/agent/images/
~> sudo cp system-agent-installer-rke2-image.tar /var/lib/rancher/agent/images/
~> sudo mkdir -p /var/lib/rancher/rke2/agent/images/
~> sudo cp rke2-runtime-image.tar /var/lib/rancher/rke2/agent/images/

安裝 containerd

~> sudo zypper in -y containerd

編輯設定檔

~> sudo nano /etc/containerd/config.toml

version = 2
# persistent data location
root = "/var/lib/rancher/rke2/agent/containerd/"

啟動 containerd

~> sudo /usr/sbin/containerd &

建立 k8s.io namespace

~> sudo ctr ns create k8s.io

Import Image

~> sudo ctr -n k8s.io image import d-rke2-image.tar

檢查

~> sudo ctr -n k8s.io image ls
~> sudo ls -l /var/lib/rancher/rke2/agent/containerd/io.containerd.content.v1.content/blobs/sha256

將 containerd 程序終止

~> ps -eaf | grep containerd
~> sudo kill -9 3755 3756

檢查

~> ps -eaf | grep containerd
root 9363 3823 0 00:20 pts/0 00:00:00 grep --color=auto containerd

執行註冊命令

~> curl --insecure -fL https://rancher.twlottery.com.internal/system-agent-install.sh | sudo sh -s - --server https://rancher.twlottery.com.internal --label 'cattle.io/os=linux' --token wd64wzwh9f8x4gz62fn6h72ghjpnz4jf4wdk2vfvxl22fx9sztmvvs --ca-checksum c317b93eaa455ae06169dcc86e2b49a77aacdde400b254ba6079dc9db6b50eaa --etcd --controlplane --worker

檢查 K8S 狀態

~> watch -n 0.1 kubectl get po -A

參考資料

SECTION 4: User Management with SUSE Rancher

Wed, 21 Jun 2023 06:01:58 +0800

Preface

本篇文章會介紹以下內容

管理 Users and Groups
了解 Roles

Manage Users and Groups

SUSE Rancher admin User

預設情況下，SUSE Rancher 部署會創建一個名為 admin 的本地使用者
- The admin user:
  - 可以訪問 SUSE Rancher 中的所有資源
  - 即使設定了外部認證，也可以使用
- 要列出使用者, 請點擊 Main Menu → Users & Authentication Users
  - 通過點擊 Create 按鈕可以創建新的使用者

Create Local Users

點擊 Create 按鈕後：
- 輸入 Username 和 Password
  - 兩者都是區分大小寫的
- 指定 Global Permissions
- 還可以為使用者選擇額外的 Built-In (內建) 的角色

Local Authentication

預設情況下，Users (使用者) 存儲在 SUSE Rancher 中
- 使用者詳細信息存儲在集群數據庫 (Etcd) 中
- Local authentication (本地身分認證)始終可用
- 登錄前會選擇身分認證方法

External Authentication

將外部使用者關聯到本地使用者
允許集中用戶管理
點擊 Main Menu → Users & Authentication → Auth Provider

OpenLDAP Authentication Provider Configuration

SUSE Rancher 為 Kubernetes 增加的主要功能之一是"集中的使用者認證"。該功能允許設置本地使用者和或連接到外部認證提供商。通過連接到外部認證提供商，可以利用該提供商的使用者和組信息與 SUSE Rancher 一起使用。

該功能允許使用一組憑證來驗證 SUSE Rancher 中的任何 Kubernetes 集群。

這種集中的使用者認證是通過 SUSE Rancher 認證代理完成的，它與 SUSE Rancher 的其他部分一起安裝。該代理對使用者進行認證，並使用 service account 將他們的請求轉發給 Kubernetes 集群。

Enter

Host IP
LDAP port
Admin user name and password
Search container for users and groups
Schema classes and attributes for users and groups

External User and Group Selection

所有或選定的使用者都可以啟用 SUSE Rancher 登錄
對於外部使用者源，還可以使用群組成員身份來啟用使用者
- 本地認證不允許使用群組分配

Understand Roles

SCA in SUSE Rancher 2.6 講義筆記-首頁

Wed, 21 Jun 2023 03:03:00 +0800

Preface

這裡紀錄了我準備 SCA in SUSE Rancher 2.6 這張證照，對於講義的內容學習時所記錄的筆記，請點選左側目錄(建議)，或是以下連結至各章節。

SCA in SUSE Rancher 2.6 講義筆記

Wed, 21 Jun 2023 03:02:54 +0800

Preface

SECTION 11: Backup and Restore with SUSE Rancher

Wed, 21 Jun 2023 03:00:12 +0800

Preface

SECTION 10: SUSE Rancher Shell Access

Wed, 21 Jun 2023 02:58:36 +0800

Preface

SECTION 9: Security Tools with SUSE Rancher

Wed, 21 Jun 2023 02:57:50 +0800

Preface

SECTION 7: Continuous Delivery with SUSE Rancher

Wed, 21 Jun 2023 02:54:46 +0800

Preface

SECTION 6: Application Management with SUSE Rancher

Wed, 21 Jun 2023 02:53:06 +0800

Preface

SECTION 5: Template Management with SUSE Rancher

Wed, 21 Jun 2023 02:50:32 +0800

Preface

Cluster Management with SUSE Rancher

Wed, 21 Jun 2023 02:42:54 +0800

Preface

本篇文章會介紹以下內容

探索 SUSE Rancher 的圖形使用者介面
查看 Cluster and Node Agents
導入已存在的 Kubernetes 叢集
在已存在的節點上配置一個 RKE 叢集

Explore SUSE Rancher GUI

SUSE Rancher Home Page

SUSE Rancher GUI 允許管理多個集群
- 主頁列出了 SUSE Rancher 集群本身以及任何被管理和註冊的下游集群
  - SUSE Rancher 集群的默認顯示名稱是 local

SUSE Rancher Main Menu

左上角的主菜單按鈕

Home (首頁) → SUSE Rancher 登入頁面
Explore Cluster (探索集群) → 下游集群的 App (應用程序)、 Service (服務)、 Storage (存儲)和其他資源的信息和管理
Continuous Delivery (持續交付) → 用於多集群應用自動化的 Git repo 配置
Cluster Management (集群管理) → Downstream cluster (下游集群)、cloud credentials (雲憑證) 和 driver 驅動程序管理
Users & Authentication (用戶和認證) → 本地用戶和外部認證提供商配置和角色管理
Global Settings (全局設置) → SUSE Rancher 設定和品牌推廣

Cluster Dashboard

包含特定於所選集群的信息和資源

Continuous Delivery

通過持續交付，可以輕鬆管理跨多個集群的應用程序部署
- 一次設定，多次部署
- Cluster groups 是根據 Kubernetes 的標籤來分的。
GitOps at scale
- The app developer modifies code
  - The change is deployed on running Kubernetes clusters

Cluster Management

顯示當前集群的列表
- 從最右邊的三點式菜單進行集群設定
- 從 “Explore” 按鈕查看集群資源
New clusters can be imported or provisioned
- Hosted or infrastructure provider clusters require cloud credentials and cluster or node drivers enabled in SUSE Rancher

Users & Authentication

User management
- Local
- External
  - 用於設定的用戶賬戶將被映射到 local 本地管理用戶上

Global Settings

修改 Advanced Settings (高級設置)時必須小心
Feature Flags (功能標誌)是為了測試目的
- 不建議用於生產系統
Branding
- Company logo
- Company colors

Configuration for Branding

Accessing Cluster Dashboard (1/3)

Option 1: 從 SUSE Rancher Home 裡面的集群列表中點擊

Accessing Cluster Dashboard (2/3)

Option 2: Click from the Main Menu cluster list

Accessing Cluster Dashboard (3/3)

Option 3: Click Explore button from Cluster Management view

Cluster Dashboard

顯示基本的資源和使用信息
如果部署了 monitoring (監控)，則顯示圖形集群指標

Cluster Events

集群的近期事件列表顯示在利用率統計信息下方

Cluster Menu

Cluster: Projects/Namespaces and node information
Workload: Pod, deployment and daemon set details
Apps & Marketplace: Chart repositories, app oinstallation and information about installed apps
Service Discovery: Services and ingresses
Storage: Storage classes, persistent volumes, config maps and secrets
RBAC: User and role assignments for the cluster
More Resources: All other Kubernetes resources

Menu Items for Cluster Resources

菜單項可能根據集群上部署的軟件而有所不同。例如，安裝 Monitoring (監控)、 Logging (日誌) 、CIS Scanning (CIS 掃描) 、OPA Gatekeeper (OPA 門衛)、Rancher 備份等將在菜單中添加新的選項。

Cluster Management View

Cluster configuration details are available from Main Menu → Cluster Management → Triple Dot Menu → Edit Config

Edit Cluster with YAML

SUSE Rancher 提供了 YAML view 的集群配置
Edit YAML 可以顯示在圖形化介面中看不到的額外細節
- 這個選項可以讓你快速地進行變更

Cluster Management Tasks

其他選項的可用性，如 Take Snapshot (採取快照)、 Rotate Certificates (更換證書)和 Save as RKE Template (保存為 RKE 模板)，取決於集群類型
- SUSE Rancher provisioned clusters have more functionality than imported clusters

Cluster Related Information (1/5)

Click on a cluster from the list

Machines tab 提供有關當前集群節點、它們的狀態和角色的信息

刪除功能被用來從雲端供應商那裡移除有問題的節點。當管理員刪除一個有問題的節點，如果該節點在一個節點池中並且啟用了自動替換節點的功能，SUSE Rancher 可以自動用一個配置完全相同的節點來替換它。

對節點進行 Cordoning (封鎖) 會停用該節點上的 scheduling (排程) 功能。這個特性對於在短暫的維護時間窗口內對節點執行短任務很有用，像是重新開機、升級或停用。當維護完成後，再開啟電源並通過解封鎖來重新啟用節點上的排程功能。

Draining 是先封鎖節點，然後驅逐其所有 Pods 的過程。這個特性對於進行節點維護（像是核心升級或硬體維護）很有用。它防止新的 Pods 部署到節點，同時重新分配現有的 Pods，以確保使用者不會經歷服務中斷。對於有副本集的 Pods，該 Pod 會被一個新的 Pod 替換，並且會被排程到一個新的節點。

There are two drain modes:

Aggressive Mode

在這種模式下，即使 Pods 沒有 controller，也不會被重新調度到新的節點。Kubernetes 期望管理員有一個處理這些 Pods 刪除的邏輯。Kubernetes 也期望實現能決定如何處理使用 emptyDir 的 Pods。如果一個 Pod 使用 emptyDir 來存儲本地數據，管理員可能無法安全地刪除它，因為一旦 Pod 從節點中移除，emptyDir 中的數據將被刪除。選擇 aggressive mode (激進模式)將刪除這些 Pods。

Safe Mode

如果一個 Node 有獨立的 Pods 或短暫的數據，它將被 cordoned ，但不會被 drained。

Cluster Related Information (2/5)

Registration tab displays:
- 節點註冊的角色
- 用於註冊的命令

Cluster Related Information (3/5)

Snapshots tab 包含關於所拍快照的信息
- Automatic
- Manual
  - 要拍攝一個新的手動快照，請點擊 Snapshot Now
Restore from the Triple Dot Menu

![](/images/hackmd-uploads/rJ_0D5pD2.png =100%x)

Cluster Related Information (4/5)

Conditions tab contains information about:
- Cluster type
- Cluster status
- Deployed components and their statuses
- State of the cluster processes
- Initial roles
- Disk and memory pressure status

Cluster Related Information (5/5)

Related Resources tab contains information about:
- State
- Type
- Name
  - 超鏈接以便於導航

View Cluster and Node Agents

Cluster Agent

The name of the agent is cattle-cluster-agent
The type of the Kubernetes resource is Deployment
- Replicated for high availability
Connects to the Kubernetes API of the cluster
Main Menu → <CLUSTER> → Workload → Deployments → cattle-system

Node Agent

The name of the agent pod is cattle-node-agent
The type of the Kubernetes resource is DaemonSet
Runs on every node for the Kubernetes distribution if required
- For example K3s clusters do not require node agent for snapshots
Interacts with the nodes
- 執行集群操作，如 Kubernetes 升級、快照等
Main Menu → <CLUSTER> → Workload DaemonSet → cattle-node-agent

當 cattle-cluster-agent 不可用時，cattle-node-agent 用作回退選項以連接到 SUSE Rancher 啟動的 Kubernetes 集群的 Kubernetes API。

Import an Existing Kubernetes Cluster

Importing a Cluster

From SUSE Rancher Home page, click Import Existing

Cluster Type

Imported clusters can run on infrastructure provider’s cloud or on physical/VM nodes

Cluster Name

Enter Cluster Name and other configuration details
Click Create

Registration Details

Cluster registration information and requirements will be displayed
- The Registration tab contains alternative ways for completing the registration
- kubeconfig file for the cluster is required on the node the command is run on

Updated Cluster List

The imported cluster will be listed
- Provider displays Imported until the cluster agent is up and running
  - It then changes to match the actual Kubernetes distribution
- For a healthy cluster, the State should reach Active in minutes

Provision an RKE Cluster on Existing Nodes

RKE Cluster Provisioning on Existing Nodes

From SUSE Rancher Home page, click Create
Verify RKE1 is selected
Click Custom

RKE Cluster Configuration

Enter Cluster Name
Select Kubernetes Version
- The newest available is the default
Select Network Provider
- Canal is the default

Cluster Roles

Select the cluster roles for the node
- etcd, Control Plane and/or Worker
Copy the command box content to clipboard
- 在具有預期角色的節點上運行命令
- docker.service 必須正在運行。
- 使用者必須是 docker 群組的成員

Docker Container Deployment

Docker images are downloaded if not available on the node
Images are extracted
Containers are created
Node starts to communicate with SUSE Rancher API
- The GUI displays a message: 1 new node has registered

Unable to find image 'rancher/rancher/rancher-agent:v2.7.3' locally
v2.7.3: Pulling from rancher/rancher-agent
cac05f14fd97: Extracting 24.58MB/47.2MB
cac05f14fd97: Pull complete
b76012a3083a: Pull complete
f19fb49c5ef4: Pull complete
452025625e7f: Pull complete
933e576da79e: Pull complete
3524f405b0a8: Pull complete
dae8b18ada91: Pull complete
Digest: sha256:3b3ea0427211a530a22c2e8f0146fbd8324dd5827496cd289aa43202788fd50b
Status: Downloaded newer image for rancher/rancher/rancher-agent:v2.7.3
1a7413595f54afa888783493dd29c9c417627d529dd0e925073533e9055e4af4

RKE Cluster Provisioning

SUSE Rancher GUI 顯示 RKE 集群的設定過程
- 狀態將在 Provisioning (供應)、Waiting (等待)、 Error (錯誤)、 Updating (更新)等過程中運行，直到所有 Container 都被正確啟動
- 集群 State (狀態) 需要 5-10 分鐘才能達到 Active (激活)狀態
重複角色配置並設定其他節點

Management Options for Clusters

請注意，與 import (導入) 的集群相比，SUSE Rancher provisioned 集群有更多的管理選項

Questions:

Q1: SUSE Rancher 集群的默認預設名稱是什麼？

local

Q2: 集群的 Cluster Dashboard (儀表板) 顯示什麼樣的信息？

Displays basic resource and utilization information 顯示基本資源和利用率資訊

Q3: 與 SUSE Rancher 一起使用的 Kubernetes 節點的 role names (角色名稱) 是什麼？

etcd, ControlPlane, and Worker.

Q4: Import (導入) Rancher 後，會創建一個新的 Kubernetes 集群，對還是錯?

錯。 Import ㄕ將一個現有的 Kubernetes 集群導入 SUSE Rancher GUI。

Course Introduction

Sat, 15 Apr 2023 08:07:06 +0800

Preface

本篇文章主要在介紹，課程將會讓我們學到 SUSE Rancher 的哪些知識，以及環境上的要求有哪些要注意的點。

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Course Overview

SUSE Rancher 架構及它的組成
透過 SUSE Rancher 圖形化介面完成多個 Kubernetes 叢集管理和管理任務，例如：
- 匯入和配置 Kubernetes 叢集
- 管理 RKE 和 node templates
- 管理本地和外部使用者
- 使用 Helm 部署應用程式和持續交付
- Logging and Monitoring 日誌記錄和監控
- 執行安全性工具 CIS 和 OPA Gatekeeper
- 備份和還原 SUSE Rancher 或是 Downstream Cluster
- 透過 Shell 訪問 SUSE Rancher

Course Lab Environment

Lab Environment Diagram

實作環境有 9 台 VM，每台 VM 的作業系統都是 SLES15 SP3

Management Host (RAN201V2.6-management)
- 包含環境要求的基礎架構服務，例如 DHCP、DNS、PXE network boot services 和 Repository Management Tool 伺服器。
- 這台 VM 要先啟動，並保持一直運行，否則其他虛擬機器上的一些服務可能會無法正常運作。
Load Balancer (RAN201V2.6-lb)
- 這個虛擬機器已經配置為通過 rancher.example.com 將流量隨機轉發到 SUSE Rancher 叢集的三台節點。
Rancher cluster (RAN201V2.6-rancher01, RAN201V2.6-rancher02, RAN201V2.6-rancher03)
- 這個虛擬機器上已經部署了 SUSE Rancher，並運行在擁有三個節點的 K3s 叢集上。需要注意的是，這種設置並不適用於生產環境，因為它沒有任何高可用性的功能。
K3s Cluster (RAN201V2.6-control01, RAN201V2.6-worker01)
- 預先安裝好的 Kubernetes 叢集，將被導入到 SUSE Rancher 中。
RKE Cluster (RAN201v2.6-control01, RAN201V2.6-worker02)
- 這些 VM 將被配置為 RKE 叢集，並被加入 SUSE Rancher 來做管理。

注意 ! 為了在叢集上部署 downstream clusters (下游叢集)和應用程式，需要網路連線來下載 Container image。

Required Minimum Product Version

課程基於以下產品版本：

Product: SUSE Rancher
Version: 2.6.0

Hardware / Software Requirements

CPU: 8 CPU cores is the absolute minimum
RAM: 64 GB
Disk: 200GB SSD
Min host OS: openSUSE Leap 15 SP2
Internet Connection: Required

Logging and Monitoring with SUSE

Fri, 14 Apr 2023 05:04:20 +0800

Preface

Deploy Monitoring Stack

Monitoring Stack

SUSE Rancher monitoring stack consists of Prometheus, Grafana and Alertmanager
Prometheus allows the administrator to:
- Monitor the state and processes of the cluster nodes, Kubernetes components and software deployments
- Collect pre-computed time series based metrics
- Define alerts based on the collected metrics
  - Notifications can be sent to multiple destinations by Alertmanager
Grafana allows an administrator to:
- See the current state or collected metrics as graphical representation
- Create custom dashboards to suit the needs

Prometheus 是一個提供時間序列資料的工具，這些資料是屬於同一個指標和標籤維度的、帶有時間戳記的數值流，同時也提供監控集群的綜合統計信息和指標。透過時間戳記，管理者可以使用 SUSE Rancher GUI 或者與 Prometheus 一起部署的分析視覺化平台 Grafana，輕鬆地查詢和查看這些指標的圖表和視覺化資料。

Understand SUSE Rancher Logging

Configure an External Logging Service for Grafana

nginx.conf with `Rancher.LB`

Wed, 12 Apr 2023 07:58:30 +0800

user nginx;
worker_processes auto;
load_module /usr/lib64/nginx/modules/ngx_stream_module.so;
error_log /var/log/nginx/error.log;
error_log /var/log/nginx/error.log notice;
error_log /var/log/nginx/error.log info;
events {
worker_connections 1024;
use epoll;
}
stream {
log_format proxy '$remote_addr [$time_local] '
'$protocol $status $bytes_sent $bytes_received '
'$session_time "$upstream_addr"';
error_log /var/log/nginx/k8s-masters-lb-error.log;
access_log /var/log/nginx/k8s-masters-lb-access.log proxy;
# upstream k8s-masters {
# #hash $remote_addr consistent;
# server master01.example.com:6443 weight=1 max_fails=1;
# #server master02.example.com:6443 weight=1 max_fails=1;
# #server master03.example.com:6443 weight=1 max_fails=1;
# }
upstream rancher_http {
#hash $remote_addr consistent;
server rancher01.example.com:80 weight=1 max_fails=1;
server rancher02.example.com:80 weight=1 max_fails=1;
server rancher03.example.com:80 weight=1 max_fails=1;
}
upstream rancher_https {
#hash $remote_addr consistent;
server rancher01.example.com:443 weight=1 max_fails=1;
server rancher02.example.com:443 weight=1 max_fails=1;
server rancher03.example.com:443 weight=1 max_fails=1;
}
upstream rancher_certs {
#hash $remote_addr consistent;
server rancher01.example.com:2379 weight=1 max_fails=1;
server rancher02.example.com:2379 weight=1 max_fails=1;
server rancher03.example.com:2379 weight=1 max_fails=1;
}
upstream rancher_kubernetes_masters {
#hash $remote_addr consistent;
server rancher01.example.com:6443 weight=1 max_fails=1;
server rancher02.example.com:6443 weight=1 max_fails=1;
server rancher03.example.com:6443 weight=1 max_fails=1;
}
upstream rancher_nodeport_1_workers {
#hash $remote_addr consistent;
server worker01.example.com:31999 weight=1 max_fails=1;
# server agent02.example.com:31999 weight=1 max_fails=1;
# server agent03.example.com:31999 weight=1 max_fails=1;
}
# server {
# listen 31999;
#proxy_connect_timeout 1s;
#proxy_timeout 3s;
# proxy_pass rancher_nodeport_1_workers;
# }
server {
listen 6443;
#proxy_connect_timeout 1s;
#proxy_timeout 3s;
proxy_pass rancher_kubernetes_masters;
}
server {
listen 80;
proxy_pass rancher_http;
}
server {
listen 2379;
proxy_pass rancher_certs;
}
server {
listen 443;
proxy_pass rancher_https;
}
upstream rancher_wordpress_http_workers {
#hash $remote_addr consistent;
server worker01.example.com:30292 weight=1 max_fails=1;
#server worker02.example.com:30292 weight=1 max_fails=1;
#server worker03.example.com:30292 weight=1 max_fails=1;
}
server {
listen 30292;
proxy_pass rancher_wordpress_http_workers;
}
}

Nginx Unit File

cat /usr/lib/systemd/system/nginx.service

[Unit]
Description=The nginx HTTP and reverse proxy server
After=network-online.target remote-fs.target nss-lookup.target
Wants=network-online.target
[Service]
PIDFile=/run/nginx.pid
ExecStartPre=/usr/sbin/nginx -t
ExecStart=/usr/sbin/nginx -g "daemon off;"
ExecReload=/bin/kill -s HUP $MAINPID
KillSignal=SIGQUIT
TimeoutStopSec=5
KillMode=mixed
PrivateTmp=true
[Install]
WantedBy=multi-user.target

Antony 筆記：技術原理與實務經驗 – Rancher / RKE2

RKE2 & Rancher Prime Installation

Preface

Install RKE2 v1.34.4

一、 安裝前環境檢查

Hardware

二、Server Node Installation

1. Config RKE2 Basic Parameters

2. Install RKE2 with v1.34.4 version

3. enable rke2 and setup kubeconfig

4. check pod status

三、Join Additional Server Nodes

1. Config RKE2 Basic Parameters

2. Install RKE2 with v1.34.4 veersion

3. enable rke2 and setup kubeconfig

4. check pod status

四、Join Agent Nodes

1. Config RKE2 Basic Parameters

2. Install RKE2 with 1.31.2 veersion

3. enable rke2

4. check pod status

Install K3S v1.26.9

Helm Install Rancher Prime v2.13.2

1. Add the Helm Chart Repository

1.1 Install helm3

1.2 Add the Helm Chart Repository

2. Create a Namespace for Rancher

3. Choose your SSL Configuration

4. Install Rancher Prime with Helm and Your Chosen Certificate Option

建立 Rancher Prime 並且使用自簽憑證

建立 Rancher Prime 並且使用 Cert-manager 產生憑證

5. Verify that the Rancher Server is Successfully Deployed

檢查名稱解析

匯出 cert-manager 簽的憑證

將憑證匯入瀏覽器

Rancher 生成 RKE2 之前的必要設定

Rancher 生成 RKE2 之後的必要設定

Helm upgrade Rancher

RKE2 設定私有 Image Registry

Rancher 設定

手動設定

Enable Rrancher Audit log

PreRequest

1. RKE2 啟動 Audit log

Step 1: Update the RKE2 Configuration File

Step 2: Create an Audit Policy File

Step 3: Restart RKE2 Server

Step 4: Monitor Audit Log

2. Enable Rrancher Audit log

Step 1: Export the current values to a file:

Step 2: 新增 Audit log 設定

Step 3: 更新 Rancher 啟動 Audit log

設定 RKE2 Cluster Pod 總量限制

Trouble shooting

在 Join Master Node 的時候，不小心設定到同一個 node name ，然後 etcd 咬住原來 node 的名稱怎麼辦

手動更新 Cert-manager 做給 Rancher 用的憑證

參考網站

Rancher RBAC 實務範例

1. 平台管理員

角色概述

職責範圍

具體權限 (內建)

實作範例 : 設定 Windows AD 的 admin 群組為平台管理員

2. 叢集管理、維運人員

角色概述

職責範圍

具體權限 (內建)

實作範例 : 設定 Windows AD 的 infra 群組為基礎架構維運人員

3. 資訊安全稽核員

角色概述

職責範圍

具體權限 (客製化) - Read Only Administrator

具體權限 (客製化) - Cluster Reader

實作範例 1 : 設定 Windows AD 的特定 User 為 Read Only Administrator

實作範例 2 : 設定 Windows AD 的特定 User 為 Cluster Reader

4. 應用系統/專案管理員

角色概述

職責範圍

具體權限 (內建)

實作範例 : 設定 Windows AD 的特定 User 為 Project Owner

一、安裝前環境檢查