Antony 筆記：技術原理與實務經驗 – SUSE

Permanently Disable SELinux on SLE Micro

Wed, 16 Jul 2025 03:42:32 +0800

修改 SELinux 設定檔

$ vi /etc/selinux/config

檔案內容如下

# This file controls the state of SELinux on the system.
# SELinux can be completly disabled with the "selinux=0" kernel
# commandline option.
#
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
SELINUX=disabled
# SELINUXTYPE= can take one of these three values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

將 SELINUX 的值修改為 disabled

永久修改

sed -i 's|SELINUX=enforcing|SELINUX=disabled|g' /etc/selinux/config
sed -i 's|selinux=1|selinux=0|g' /etc/default/grub
grub2-mkconfig -o /boot/grub2/grub.cfg

重新開機

$ reboot

設定開機選單

Step1: 在開機選單的 SLE Micro 5.4 按 `e` 編輯

Step2: 將 `selinux=0` 加到 `linux` 開頭那行的最後面

Step3: 按 Ctrl + x 繼續開機

SUSE Manager 將檔案部署到所有 Client 上

Fri, 23 May 2025 10:52:18 +0800

Step1: 建立 Config Channel

點選左側選單: Configuration -> Channels -> Create Config Channel
依序輸入個欄位的值 :
- Name: test
- Label: test
- Description: test
確認都沒問題後點選 Create Config Channel 按鈕

Step2: 將檔案上傳至 SUSE Manager

點選 Upload Configuration Files
點選 “選擇檔案” 按鈕
選擇要上傳的檔案
設定在 Client 主機的作業系統中，檔案要放哪個目錄和檔名 Filename/Path: /root/bin/test.sh
調整檔案權限: File Permissions Mode: 655
點選 Upload Configuration File 按鈕
上傳成功畫面如下

Step3: 將各系統加入 System Set Manager (SSM)

點選左側選單 Systems -> System List -> All -> 點選 OS 的 Hostname
點選右上角的按鈕 Add to SSM
重複以上動作，將要派發檔案的主機都加入 SSM

Step4: 設定有加入 SSM 的主機都訂閱 Configuration Channels

左側選單 Systems -> System Set Manager -> Configuration -> Subscribe to Channels -> 勾選 test Configuration Channel -> Continue
設定 Channel 的優先順序，由於只有一個 Channel，所以直接點選右下角 Apply Subscriptions
確認每一台 Client 主機訂閱 Configuration Channels 的資訊，沒問題就按右下角按鈕 Confirm

Step5: 將檔案部署至各台 Client 主機上

點選上方 Deploy Files 按鈕 -> 勾選要部署的檔案 -> 點選右下角 Schedule File Deploy 按鈕
選擇要部署的時間，預設是馬上部署，點選 Confirm File Deploy 按鈕
部署的動作開始執行的話會看到上方出現藍底黑字

Step6: 確認檔案是否已在各 Client 主機部署成功

點選左側選單: Salt -> Remote Commands -> 輸入要執行的命令 : ls -l /root/bin/test.sh -> 輸入 * 代表所有主機 -> 點選 Find targets 按鈕
點選 Run Command 按鈕
點選各主機的方塊，展開命令執行的結果
檔案成功部署畫面:

SUSE Edge Image Builder 介紹與實作

Wed, 21 May 2025 02:07:58 +0800

Preface

本篇文章會主要會介紹與實作 SUSE Edge Image Builder 是什麼，有哪些功能…等

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

甚麼是 Edge Image Builder (EIB)?

SUSE Edge 是專為解決在 edge 部署 infrastructure (基礎架構) 和 cloud-native applications (雲原生應用程式) 的獨特挑戰，而設計、緊密整合且經過全面驗證的端對端解決方案。

它的重點目標在於提供一個高度彈性、可擴充性高且安全的平台，涵蓋 :

initial deployment image building (生成 Customized, Ready-to-Boot (CRB) disk images)
- 好處是即使是在完全封閉的網路的情況下，也能啟動機器。
- 實際到環境艱困(高溫、高海拔…等)的案場部屬機器的工程師不需擁有很深厚的技術底子。
- 省去技術人員現場巡視的需要，但同時也要力求一致性和標準化。
node provisioning and onboarding (節點佈建與上架)
application deployment, observability, and complete lifecycle operations (應用程式部署、可觀測性以及完整生命週期作業)。

EIB 可以供所有三種 SUSE Edge 最小的自訂功能，例如 :

預先在 disk image 中設定使用者、網路或時區…等，全面的設定。
預先設定多節點的 Kubernetes 叢集、部署客戶的 workloads (an application running on Kubernetes)。
透過 Rancher/Elemental 和 SUSE Manager 註冊至集中管理平台。

建立 Customized, Ready-to-Boot Disk Images

EIB（Image Builder）設計是用於在 Container 中運行的。因此，需要某種形式的 container build tool 和 runtime 環境，例如 Podman。

0. 實作目標

OS 在第一次開機後自動安裝和設定好 SL Micro 6.0 + RKE2 v1.31.3 (ALL in One) + Rancher Prime v2.10.1，讓你阿公拿到隨身碟後也會裝。

1. 要使用 EIB 建立 CRB Disk Image，需要三樣東西：

用於作為建立 CRB Disk Image 的 SLE Micro ISO 檔
描述要建立 CRB Disk Image 檔的定義檔
一個包含基礎 SLE Micro ISO 檔的目錄，該目錄還應包含將被納入已建立映像檔中的其他自定義檔案
對於需要 RPM resolution 的 image，要建立它至少需要 4GB RAM（建議 8GB）

2. 先決條件

一台 x86_64 實體主機或虛擬主機，作業系統是 SLES 15 SP6, openSUSE Leap 15.6 或 openSUSE Tumbleweed
在建立 EIB image 之前，請確定您的系統上已安裝 gpgme、device-mapper 和 libbtrfs 的開發標頭和函式庫：
```
$ sudo zypper install -y gpgme-devel device-mapper-devel libbtrfs-devel
```
An available container runtime (e.g. Podman)

SLE Micro 6.0 SelfInstall ISO 映像的下載點，可在此找到

實際驗下來，用 SLE Micro 5.5 去裝，會遇到 OS 在開機的時候會無法按照我們自定義的網路來設定，只會變成 DHCP，並跳出以下錯誤訊息 :

Nov 01 15:35:08 localhost systemd[1]: Condition check resulted in Start network if needed being skipped.
Nov 01 15:35:13 localhost systemd[1]: dev-combustion-config.device: Job dev-combustion-config.device/start timed out.
Nov 01 15:35:13 localhost systemd[1]: Timed out waiting for device /dev/combustion/config.
Nov 01 15:35:13 localhost systemd[1]: dev-combustion-config.device: Job dev-combustion-config.device/start failed with result 'timeout'.
Nov 01 15:35:13 localhost systemd[1]: Starting Combustion (preparations)...
Nov 01 15:35:13 localhost kernel: ISO 9660 Extensions: RRIP_1991A
Nov 01 15:35:13 localhost systemd[1]: run-combustion-mount.mount: Deactivated successfully.
Nov 01 15:35:13 localhost combustion[643]: ./nmc: /lib64/libc.so.6: version `GLIBC_2.32' not found (required by ./nmc)
Nov 01 15:35:13 localhost combustion[643]: ./nmc: /lib64/libc.so.6: version `GLIBC_2.33' not found (required by ./nmc)
Nov 01 15:35:13 localhost combustion[643]: ./nmc: /lib64/libc.so.6: version `GLIBC_2.34' not found (required by ./nmc)

另外，eib-embedded-registry.service 也會噴類似的錯誤訊息，還是乖乖用 SL Micro 6.0 的 ISO 來做吧

3. 下載 EIB Container Image

$ sudo podman pull registry.suse.com/edge/3.2/edge-image-builder:1.1.0

4. 建立 CRB Disk Image 設定目錄

由於 EIB 在 Container 內運行，我們需要從主機掛載一個設定目錄，以便可以指定所需的設定，並且在構建過程中 EIB 可以訪問所需的設定文件和 supporting artifacts。此目錄必須遵循特定的結構，我們假設這個目錄位於您的主目錄中，並命名為 eib，讓我們來創建它：

$ export CONFIG_DIR=$HOME/eib && \
mkdir -p $CONFIG_DIR/base-images

在前一步中，我們創建了一個 base-images 目錄，用來存放 SL Micro 6.0 的 input ISO，現在我們要確保已下載的 ISO 被複製到設定目錄中：

$ cp /path/to/downloads/SL-Micro.x86_64-6.0-Default-SelfInstall-GM2.install.iso $CONFIG_DIR/base-images/slemicro.iso

在 EIB 執行期間，原始的基本映像不會被修改；新的自訂版本會在 EIB config 目錄的根目錄中，以所需的組態建立。

此時的設定目錄應該如下所示：

$ tree $CONFIG_DIR
/home/rancher/eib
└── base-images
1 directory, 0 files

5. 建立描述 CRB Disk Image 的定義檔

5.1. 設定 Operating System

完整欄位說明，請參考此連結

5.1.1. 設定 OS Users

使用 OpenSSL 建立單向加密密碼：

$ openssl passwd -6 rancher

執行結果應與以下類似 :

$6$C7vQ3j959WZ68/N3$torcva.LV2/O9LiwNGHHDNG0Ia0Wsd8UktcePEUAvqKV.tgtaNYYoOp5vnCFaCdaptzMtsGnxI4tKiKA035Bg/

5.1.2. 編輯定義檔

$ cat << 'EOF' > $CONFIG_DIR/iso-definition.yaml
apiVersion: 1.1
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
isoConfiguration:
installDevice: /dev/sda
time:
timezone: Asia/Taipei
ntp:
forceWait: true
servers:
- time.google.com
keymap: tw
users:
- username: root
encryptedPassword: $6$C7vQ3j959WZ68/N3$torcva.LV2/O9LiwNGHHDNG0Ia0Wsd8UktcePEUAvqKV.tgtaNYYoOp5vnCFaCdaptzMtsGnxI4tKiKA035Bg/
- username: rancher
uid: 1000
encryptedPassword: $6$C7vQ3j959WZ68/N3$torcva.LV2/O9LiwNGHHDNG0Ia0Wsd8UktcePEUAvqKV.tgtaNYYoOp5vnCFaCdaptzMtsGnxI4tKiKA035Bg/
sshKeys:
- ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCX4Vytl/3CYePyJKt3Qdxj1TnKzhEcP7t5Da/wJRnIFco+mD5mUmfErmm9huLUdrKurp9NxHLszakjuqUjGv5TZUnMDQCFPORrw7KSpWvIL8jIRUgsjHpz2YMntcOmX4qQn3APgMZ685gIc/NKO1aI8XYNSCdCbTHjvC0DX+4IjGKzYmPdgxdOX7Qrun8VuCj38o6Qzp3nLf843IhhfEo9+1+0eJ1+Mr8SLhzqkzEpsL8OilOKr3Tu+cdehZjNhwMyj1VQ5AzLjj+f6nfb9LGu1i8tlTXO+QwRv4FDK/vFyCPc2kluYxO7wHlZswusAUz+WOpMB/bPc0WFt5xkO/FLvajp+ySxsEBacYPe1Us7n0L3JxrFTEnevfRgV+WDA26kh/wkRz3rmTD8U9GwKos3AygHC+wOhIxGyA27aGlTtNU2+EjnwiI5cyq3WEn6AOaYiWTTqxJz3QlzXM1pKyL2+YRSue2cnIGK13aEU770cWdlPLtmTJC26W8CF8D+4a0= antony@WIN-0V12RTGNMRF
createHomeDir: true
primaryGroup: users
secondaryGroups:
- rancher
groups:
- name: users
gid: 1000
- name: rancher
gid: 1001
systemd:
disable:
- transactional-update.timer
- rebootmgr
enable:
- cockpit.socket
EOF

5.2. 設定 Kubernetes cluster 和 Rancher

5.2.1. 編輯 RKE2 叢集設定檔

$ mkdir -p $CONFIG_DIR/kubernetes/config && \
cat << EOF > $CONFIG_DIR/kubernetes/config/server.yaml
write-kubeconfig-mode: "0644"
tls-san:
- "antony-rancher.example.com"
node-label:
- "app=rancher"
node-name:
- "admin-rancher"
token: my-shared-secret
cluster-cidr: 10.244.0.0/16
service-cidr: 10.96.0.0/16
egress-selector-mode: disabled
kubelet-arg:
- "container-log-max-files=3"
- "container-log-max-size=10Mi"
kube-controller-manager-arg:
- "node-cidr-mask-size=25"
etcd-extra-env: TZ=Asia/Taipei
kube-apiserver-extra-env: TZ=Asia/Taipei
kube-controller-manager-extra-env: TZ=Asia/Taipei
kube-proxy-extra-env: TZ=Asia/Taipei
kube-scheduler-extra-env: TZ=Asia/Taipei
cloud-controller-manager-extra-env: TZ=Asia/Taipei
disable-cloud-controller: true
disable-kube-proxy: true
disable:
- rke2-canal
- rke2-kube-proxy
cni:
- "multus"
- "cilium"
selinux: true
EOF

5.2.2. 編輯定義檔

$ cat << 'EOF' >> $CONFIG_DIR/iso-definition.yaml
kubernetes:
version: v1.31.3+rke2r1
network:
apiVIP: 192.168.11.10
manifests:
urls:
- https://github.com/cert-manager/cert-manager/releases/download/v1.16.2/cert-manager.yaml
- http://192.168.11.11:8080/config/rancher-namespace.yaml
- http://192.168.11.11:8080/config/rke2-cilium-config.yaml
- http://192.168.11.11:8080/config/rke2-coredns-config.yaml
- http://192.168.11.11:8080/config/rke2-ingress-nginx-config.yaml
helm:
charts:
- name: rancher
version: 2.10.1
repositoryName: rancher-prime
valuesFile: rancher-values.yaml
targetNamespace: cattle-system
createNamespace: true
installationNamespace: cattle-system
repositories:
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
embeddedArtifactRegistry:
images:
- name: registry.rancher.com/rancher/backup-restore-operator:v6.0.0
- name: registry.rancher.com/rancher/calico-cni:v3.29.0-rancher1
- name: registry.rancher.com/rancher/cis-operator:v1.3.4
- name: registry.rancher.com/rancher/flannel-cni:v1.4.1-rancher1
- name: registry.rancher.com/rancher/fleet-agent:v0.11.2
- name: registry.rancher.com/rancher/fleet:v0.11.2
- name: registry.rancher.com/rancher/hardened-addon-resizer:1.8.20-build20241001
- name: registry.rancher.com/rancher/hardened-calico:v3.29.0-build20241104
- name: registry.rancher.com/rancher/hardened-cluster-autoscaler:v1.8.11-build20241014
- name: registry.rancher.com/rancher/hardened-cni-plugins:v1.6.0-build20241022
- name: registry.rancher.com/rancher/hardened-coredns:v1.11.3-build20241018
- name: registry.rancher.com/rancher/hardened-dns-node-cache:1.23.1-build20241008
- name: registry.rancher.com/rancher/hardened-etcd:v3.5.16-k3s1-build20241106
- name: registry.rancher.com/rancher/hardened-flannel:v0.26.1-build20241107
- name: registry.rancher.com/rancher/hardened-k8s-metrics-server:v0.7.1-build20241008
- name: registry.rancher.com/rancher/hardened-kubernetes:v1.31.3-rke2r1-build20241121
- name: registry.rancher.com/rancher/hardened-multus-cni:v4.1.3-build20241028
- name: registry.rancher.com/rancher/hardened-node-feature-discovery:v0.15.6-build20240822
- name: registry.rancher.com/rancher/hardened-whereabouts:v0.8.0-build20241011
- name: registry.rancher.com/rancher/helm-project-operator:v0.2.1
- name: registry.rancher.com/rancher/k3s-upgrade:v1.31.3-k3s1
- name: registry.rancher.com/rancher/klipper-helm:v0.9.3-build20241008
- name: registry.rancher.com/rancher/klipper-lb:v0.4.9
- name: registry.rancher.com/rancher/kube-api-auth:v0.2.3
- name: registry.rancher.com/rancher/kubectl:v1.31.1
- name: registry.rancher.com/rancher/local-path-provisioner:v0.0.30
- name: registry.rancher.com/rancher/machine:v0.15.0-rancher124
- name: registry.rancher.com/rancher/mirrored-cluster-api-controller:v1.8.3
- name: registry.rancher.com/rancher/nginx-ingress-controller:v1.10.5-hardened4
- name: registry.rancher.com/rancher/prometheus-federator:v0.4.3
- name: registry.rancher.com/rancher/pushprox-client:v0.1.4-rancher2-client
- name: registry.rancher.com/rancher/pushprox-proxy:v0.1.4-rancher2-proxy
- name: registry.rancher.com/rancher/rancher-agent:v2.10.1
- name: registry.rancher.com/rancher/rancher-csp-adapter:v5.0.1
- name: registry.rancher.com/rancher/rancher-webhook:v0.6.2
- name: registry.rancher.com/rancher/rancher:v2.10.1
- name: registry.rancher.com/rancher/rke-tools:v0.1.105
- name: registry.rancher.com/rancher/rke2-cloud-provider:v1.31.0-build20240910
- name: registry.rancher.com/rancher/rke2-runtime:v1.31.3-rke2r1
- name: registry.rancher.com/rancher/rke2-upgrade:v1.31.3-rke2r1
- name: registry.rancher.com/rancher/security-scan:v0.5.2
- name: registry.rancher.com/rancher/shell:v0.3.0
- name: registry.rancher.com/rancher/system-agent-installer-k3s:v1.31.3-k3s1
- name: registry.rancher.com/rancher/system-agent-installer-rke2:v1.31.3-rke2r1
- name: registry.rancher.com/rancher/system-agent:v0.3.11-suc
- name: registry.rancher.com/rancher/system-upgrade-controller:v0.14.2
- name: registry.rancher.com/rancher/ui-plugin-catalog:3.2.0
EOF

5.2.3. 建立 Rancher Helm values 檔:

$ mkdir -p $CONFIG_DIR/kubernetes/helm/values/ && \
cat << EOF > $CONFIG_DIR/kubernetes/helm/values/rancher-values.yaml
hostname: antony-rancher.example.com
replicas: 1
bootstrapPassword: "rancheradmin"
systemDefaultRegistry: registry.rancher.com
useBundledSystemChart: true
EOF

5.2.4. 設定 rancher namespace:

$ mkdir -p ~/config/ && \
cat << EOF > ~/config/rancher-namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
name: cattle-system
EOF

5.2.4. 設定 rke2-nginx controller:

$ mkdir -p ~/config/ && \
cat << EOF > ~/config/rke2-ingress-nginx-config.yaml
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-ingress-nginx
namespace: kube-system
spec:
valuesContent: |-
controller:
enableAnnotationValidations: "true"
ingressClassResource:
default: "true"
EOF

5.2.5. 設定 cilium:

$ mkdir -p ~/config/ && \
cat << EOF > ~/config/rke2-cilium-config.yaml
---
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-cilium
namespace: kube-system
spec:
valuesContent: |-
operator:
replicas: 1
podAnnotations:
container.apparmor.security.beta.kubernetes.io/cilium-agent: "unconfined"
container.apparmor.security.beta.kubernetes.io/clean-cilium-state: "unconfined"
container.apparmor.security.beta.kubernetes.io/mount-cgroup: "unconfined"
container.apparmor.security.beta.kubernetes.io/apply-sysctl-overwrites: "unconfined"
kubeProxyReplacement: "true"
k8sServiceHost: 127.0.0.1
k8sServicePort: 6443
EOF

5.2.6. 設定 CoreDNS:

在 CoreDNS 中新增 Rancher A Record

$ mkdir -p ~/config/ && \
cat << EOF > ~/config/rke2-coredns-config.yaml
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-coredns
namespace: kube-system
spec:
valuesContent: |-
servers:
- zones:
- zone: .
port: 53
# If serviceType is nodePort you can specify nodePort here
# nodePort: 30053
# hostPort: 53
plugins:
- name: errors
# Serves a /health endpoint on :8080, required for livenessProbe
- name: health
configBlock: |-
lameduck 5s
# Serves a /ready endpoint on :8181, required for readinessProbe
- name: ready
# Required to query kubernetes API for data
- name: kubernetes
parameters: cluster.local in-addr.arpa ip6.arpa
configBlock: |-
pods insecure
fallthrough in-addr.arpa ip6.arpa
ttl 30
# Serves a /metrics endpoint on :9153, required for serviceMonitor
- name: prometheus
parameters: 0.0.0.0:9153
- name: forward
parameters: . /etc/resolv.conf
- name: cache
parameters: 30
- name: loop
- name: reload
- name: loadbalance
- name: hosts
configBlock: |-
192.168.11.12 antony-rancher.example.com
fallthrough
EOF

5.2.7. 建立 Web Service

$ sudo podman run -d -p 8080:80 \
--name web \
-v $HOME/config:/usr/share/nginx/html/config \
-v $HOME/eib:/usr/share/nginx/html/eib/ \
docker.io/library/nginx:stable

6. 設定網路

$ mkdir -p $CONFIG_DIR/network/ && \
cat << EOF > $CONFIG_DIR/network/admin-rancher.yaml
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: 00:50:56:2A:50:DA
ipv4:
address:
- ip: 192.168.11.12
prefix-length: 24
enabled: true
ipv6:
dhcp: true
enabled: true
routes:
config:
- destination: 0.0.0.0/0
next-hop-interface: eth0
next-hop-address: 192.168.11.254
dns-resolver:
config:
server:
- 192.168.11.11
EOF

VM 的 MAC Address 要先確定。

最後的目錄結構 :

$ tree $CONFIG_DIR ~/config
/home/rancher/eib
├── base-images
│   └── slemicro.iso
├── iso-definition.yaml
├── kubernetes
│   ├── config
│   │   └── server.yaml
│   └── helm
│   └── values
│   └── rancher-values.yaml
└── network
   └── admin-rancher.yaml
/home/rancher/config
├── rancher-namespace.yaml
├── rke2-cilium-config.yaml
├── rke2-coredns-config.yaml
└── rke2-ingress-nginx-config.yaml
8 directories, 11 files

7. Building the CRB Disk Image

現在我們已經有了 base iso image 和 image definition 供 EIB 使用，讓我們繼續建立 ISO。為此，我們只需使用 podman 以「建立」指令呼叫 EIB container，並指定定義檔案：

$ sudo podman run --rm -it --privileged \
-v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.2/edge-image-builder:1.1.0 \
build --definition-file iso-definition.yaml

執行結果 :

Setting up Podman API listener...
Downloading file: dl-manifest-1.yaml 100% |████████████████████████████| (948/948 kB, 3.6 MB/s)
Pulling selected Helm charts... 100% |███████████████████████████████████████| (4/4, 29 it/min)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SUCCESS]
Network ...................... [SUCCESS]
Groups ....................... [SUCCESS]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
WARNING: Running EIB with disabled GPG validation is intended for development purposes only
Resolving package dependencies...
Rpm .......................... [SUCCESS]
Os Files ..................... [SKIPPED]
Systemd ...................... [SUCCESS]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% |█████████████████████████| (54/54, 14 it/min)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Downloading file: rke2-images-core.linux-amd64.tar.zst 100% |████████| (639/639 MB, 9.4 MB/s)
Downloading file: rke2-images-cilium.linux-amd64.tar.zst 100% |██████| (397/397 MB, 6.5 MB/s)
Downloading file: rke2.linux-amd64.tar.gz 100% |██████████████████████████| (35/35 MB, 51 MB/s)
Downloading file: sha256sum-amd64.txt 100% |███████████████████████████| (4.3/4.3 kB, 962 kB/s)
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso

檢視以客製化後的 ISO

$ ls -lh eib/eib-image.iso

結果如下 :

-rw-r--r--. 1 root root 6.7G Nov 1 15:54 eib/eib-image.iso

大小約將近 7 Gb

8. 設定 VM 透過 CRB Disk Image 開機

以下使用 Proxmox 8.3.2 虛擬化平台作範例 :

確認 MAC Address 與前面步驟 6 設定的時候一樣
確認透過 ISO 開機
將 VM 開機
SSH 連進去檢查
```
$ ssh rancher@192.168.11.12
```

設定 kubeconfig

$ sudo cp /var/lib/rancher/rke2/bin/* /usr/local/bin/ && \
sudo cp /opt/rke2/bin/* /usr/local/bin/ && \
mkdir -p $HOME/.kube && \
sudo cp /etc/rancher/rke2/rke2.yaml $HOME/.kube/config && \
sudo chown $(id -u):$(id -g) $HOME/.kube/config && \
sudo /usr/local/bin/crictl config \
--set runtime-endpoint=unix:///run/k3s/containerd/containerd.sock

檢查 K8s node 狀態

$ kubectl get nodes

執行結果 :

NAME STATUS ROLES AGE VERSION
admin-rancher Ready control-plane,etcd,master 41s v1.31.3+rke2r1

檢查 K8s 叢集中所有 pod 的狀態

$ kubectl get pods -A

執行結果 :

NAMESPACE NAME READY STATUS RESTARTS AGE
cattle-system helm-install-rancher-7nk5s 0/1 Completed 1 86s
cattle-system rancher-99d599967-m88zq 0/1 Terminating 0 52s
cattle-system rancher-99d599967-t9gl2 1/1 Running 0 33s
cert-manager cert-manager-74b56b6655-fdghl 1/1 Running 0 87s
cert-manager cert-manager-cainjector-55d94dc4cc-9g72h 1/1 Running 0 87s
cert-manager cert-manager-webhook-564f647c66-v7cgz 1/1 Running 0 87s
endpoint-copier-operator endpoint-copier-operator-6b89f6b796-7n7rf 1/1 Running 0 48s
endpoint-copier-operator endpoint-copier-operator-6b89f6b796-pdztw 1/1 Running 0 48s
kube-system cilium-dlq46 1/1 Running 0 69s
kube-system cilium-operator-567b49cc89-q9glr 1/1 Running 0 69s
kube-system etcd-admin-rancher 1/1 Running 0 64s
kube-system helm-install-endpoint-copier-operator-t2k6v 0/1 Completed 0 87s
kube-system helm-install-metallb-6pv84 0/1 Completed 0 87s
kube-system helm-install-rke2-cilium-c44q6 0/1 Completed 0 87s
kube-system helm-install-rke2-coredns-9hpnp 0/1 Completed 0 87s
kube-system helm-install-rke2-ingress-nginx-5pbtm 0/1 Completed 0 86s
kube-system helm-install-rke2-metrics-server-j27rh 0/1 Completed 0 84s
kube-system helm-install-rke2-multus-4mpcl 0/1 Completed 0 84s
kube-system helm-install-rke2-snapshot-controller-42xpb 0/1 Completed 0 83s
kube-system helm-install-rke2-snapshot-controller-crd-lm2r8 0/1 Completed 0 83s
kube-system helm-install-rke2-snapshot-validation-webhook-jw9w4 0/1 Completed 0 83s
kube-system kube-apiserver-admin-rancher 1/1 Running 0 77s
kube-system kube-controller-manager-admin-rancher 1/1 Running 0 82s
kube-system kube-scheduler-admin-rancher 1/1 Running 0 82s
kube-system rke2-coredns-rke2-coredns-84fb6cf48c-n5scx 1/1 Running 0 70s
kube-system rke2-coredns-rke2-coredns-autoscaler-78db5d674-2hmms 1/1 Running 0 70s
kube-system rke2-ingress-nginx-controller-xsj9k 1/1 Running 0 31s
kube-system rke2-metrics-server-7c85d458bd-rz4xn 1/1 Running 0 49s
kube-system rke2-multus-wskqv 1/1 Running 2 (64s ago) 68s
kube-system rke2-snapshot-controller-65bc6fbd57-s6gjn 1/1 Running 0 45s
kube-system rke2-snapshot-validation-webhook-859c7896df-xgxzm 1/1 Running 0 48s
metallb-system metallb-controller-666dfd5f45-zb5sz 1/1 Running 0 48s
metallb-system metallb-speaker-kdwzm 1/1 Running 0 48s

9. 故障排除

在 OS 安裝階段出現問題

在開機引導畫面加入參數

若是 GRUB 畫面（常見於 EFI 系統）：

用鍵盤選擇 Install SL Micro 開機選項，不要馬上按 Enter。
按下 e 進入編輯模式。
找到以 linux 開頭的那一行。

在行尾加上：

systemd.log_level=debug systemd.debug_shell=1 rd.debug

按下 Ctrl + x 或 F10 開始以 debug 模式開機。

參數說明：

參數	作用說明
`systemd.log_level=debug`	讓 systemd 顯示更多 debug 訊息
`systemd.debug_shell=1`	在 TTY 9 開啟 root shell（可用 `Ctrl+Alt+F9` 切過去）
`rd.debug`	開啟 Dracut（initramfs）開機階段的詳細除錯輸出

Install NVIDIA GPU Operator on SL Micro

Mon, 14 Apr 2025 06:38:16 +0800

1. NVIDIA GPU Operator 簡介

本文將解釋 NVIDIA GPU Operator，概述其所管理的 NVIDIA GPU 元件，並總結使用 NVIDIA GPU Operator 的好處。

1.1. NVIDIA GPU Operator 是什麼？

NVIDIA GPU Operator 是 Kubernetes operator，可簡化 Kubernetes 集群中 NVIDIA GPU 資源的管理與部署。它能自動化設定與監控 NVIDIA GPU 驅動程式，以及相關元件，例如 CUDA、container runtimes，以及其他 GPU 相關軟體。

1.2. NVIDIA GPU Operator 如何運作？

NVIDIA GPU Operator 遵循以下工作流程：

Operator deployment : NVIDIA Operator 以 Helm chart 或使用 Kubernetes manifests 的方式部署。
Node labeling & GPU discovery : 安裝之後，operator 會部署 GPU Feature Discovery (GFD) daemon，它會掃描每個節點上的硬體，以尋找 NVIDIA GPU。它會用 GPU 特有的資訊幫節點貼標籤，讓 Kubernetes 更容易根據可用的硬體排程 GPU workloads。
NVIDIA Container Toolkit configuration : GPU operator 安裝並設定 NVIDIA Container Toolkit，讓 GPU-accelerated containers 能在 Kubernetes 中執行。
CUDA runtime and libraries : operator 確保 CUDA 工具套件已正確安裝，讓需要 CUDA 的應用程式更容易無縫運作，無須手動介入。
Validation and health monitoring : 設定環境後，operator 會持續監控 GPU 資源的健康狀況。它還會公開健康度量指標，供管理員檢視並用於決策。
Scheduling GPU workloads : 一旦環境設定完成，您就可以安裝需要 GPU acceleration 的 workloads。 Kubernetes 會使用節點標籤和可用的 GPU 資源，將這些工作自動排程到啟用 GPU 的節點上。

1.3. 使用 NVIDIA GPU Operator 的優點

使用 NVIDIA GPU Operator 有以下主要優點：

Automated setup : 不需要手動設定。
Cluster-wide management : 適用於整個 Kubernetes 叢集，可隨著節點的增加或移除而擴充。
Simplified updates : 自動更新 GPU 相關元件。
Optimized GPU usage : 確保 GPU 資源的有效分配與使用。

2. 開始實作

2.1. 實作環境

GPU: NVIDIA GeForce RTX 3070
OS: SUSE Linux Micro 6.0
K8s: RKE2 v1.31.3+rke2r1

2.2. 手動安裝 Nvidia GPU Driver

因 Nvidia GPU Operator 目前還不支援自動化安裝 Nvidia GPU Driver 在 SL Micro 6.0 的作業系統上，所以要手動安裝。

啟動 transactional-update shell

sudo transactional-update shell

註冊至 SCC

SUSEConnect -r yourcode

啟用 sl-micro-extras 套件庫

SUSEConnect -p SL-Micro-Extras/6.0/x86_64

安裝必要套件，包含 gcc (C compiler)、make (utility used to automate compilation process)、 development packages 和 kernel headers (kernel source files necessary to build kernel modules)

zypper -n install gcc \
binutils \
make \
kernel-default-6.4.0-25.1 \
kernel-macros-6.4.0-25.1 \
kernel-devel-6.4.0-25.1 \
kernel-default-devel-6.4.0-25.1

到 Nvidia 官網搜尋 GPU 有哪些版本的 Driver 可以安裝

以下以 RTX 3070 為例

產品列別 : GeForce
產品系列 : GeForce RTX 30 Series
產品 : GeForce RTX 3070
選取作業系統 : Linux 64-bit
語言 : Chinese (Traditional)

最後點下方綠色"尋找“按鈕

![image](/images/hackmd-uploads/SyqmIf3L1e.png =70%x)

在要安裝的版本點選 “檢視”

在綠色”下載“按鈕上方，按滑鼠右鍵點選 “複製連結網址”

回到終端機，下載安裝 Driver 的程式

cd /root; curl -LO https://tw.download.nvidia.com/XFree86/Linux-x86_64/570.133.07/NVIDIA-Linux-x86_64-570.133.07.run

注意，此時還仍在 transactional-update shell 中。

開始安裝 Driver

sh /root/NVIDIA-Linux-x86_64-570.133.07.run --silent

--silent，會關閉互動式使用者介面，並使用預設答案回答所有通常會提出的問題。除了錯誤訊息外，不會列印任何輸出。

退出 transactional-update shell

exit

重新開機

sudo reboot

SSH 登入主機
測試 Driver 是否有安裝成功

nvidia-smi

執行結果 :

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.133.07 Driver Version: 570.133.07 CUDA Version: 12.8 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3070 Off | 00000000:00:10.0 Off | N/A |
| 0% 47C P0 48W / 270W | 0MiB / 8192MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+

2.3. 安裝 NVIDIA GPU Operator

安裝 Helm 命令

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

添加 NVIDIA Helm Chart Repository

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && \
helm repo update

安裝 NVIDIA GPU Operator

helm install gpu-operator -n gpu-operator --create-namespace \
nvidia/gpu-operator $HELM_OPTIONS \
--set toolkit.env[0].name=CONTAINERD_CONFIG \
--set toolkit.env[0].value=/var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl \
--set toolkit.env[1].name=CONTAINERD_SOCKET \
--set toolkit.env[1].value=/run/k3s/containerd/containerd.sock \
--set toolkit.env[2].name=CONTAINERD_RUNTIME_CLASS \
--set toolkit.env[2].value=nvidia \
--set toolkit.env[3].name=CONTAINERD_SET_AS_DEFAULT \
--set-string toolkit.env[3].value=true \
--set driver.enabled=false

檢查 NVIDIA GPU Operator 是否正常運作

kubectl -n gpu-operator get pods

執行結果 :

NAME READY STATUS RESTARTS AGE
gpu-feature-discovery-4ml7q 1/1 Running 0 61m
gpu-operator-55566cdcc9-vwcvg 1/1 Running 0 62m
gpu-operator-node-feature-discovery-gc-7f546fd4bc-prjjk 1/1 Running 0 62m
gpu-operator-node-feature-discovery-master-8448c8896c-pwwbf 1/1 Running 0 62m
gpu-operator-node-feature-discovery-worker-wbq94 1/1 Running 0 62m
nvidia-container-toolkit-daemonset-4qmzq 1/1 Running 0 61m
nvidia-cuda-validator-9bg2x 0/1 Completed 0 60m
nvidia-dcgm-exporter-jbbj6 1/1 Running 0 61m
nvidia-device-plugin-daemonset-zsz2d 1/1 Running 0 61m
nvidia-operator-validator-4jnm8 1/1 Running 0 61m

測試 gpu pod sample 1

cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: cuda-vectoradd
spec:
restartPolicy: OnFailure
runtimeClassName: nvidia
containers:
- name: cuda-vectoradd
image: "nvidia/samples:vectoradd-cuda11.2.1"
resources:
limits:
nvidia.com/gpu: 1
EOF

檢查 Pod 狀態

kubectl get pods

執行結果 :

NAME READY STATUS RESTARTS AGE
cuda-vectoradd 0/1 Completed 0 59m

查看測試成功 log 資訊

kubectl logs cuda-vectoradd

執行結果 :

[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done

測試 gpu pod sample 2

cat << EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: nbody-gpu-benchmark
namespace: default
spec:
restartPolicy: OnFailure
runtimeClassName: nvidia
containers:
- name: cuda-container
image: nvcr.io/nvidia/k8s/cuda-sample:nbody
args: ["nbody", "-gpu", "-benchmark"]
resources:
limits:
nvidia.com/gpu: 1
env:
- name: NVIDIA_VISIBLE_DEVICES
value: all
- name: NVIDIA_DRIVER_CAPABILITIES
value: all
EOF

檢查 Pod 狀態

kubectl get pods

執行結果 :

NAME READY STATUS RESTARTS AGE
cuda-vectoradd 0/1 Completed 0 66m
nbody-gpu-benchmark 0/1 Completed 0 65m

查看測試成功 log 資訊

kubectl logs nbody-gpu-benchmark

執行結果 :

Run "nbody -benchmark [-numbodies=<numBodies>]" to measure performance.
-fullscreen (run n-body simulation in fullscreen mode)
-fp64 (use double precision floating point values for simulation)
-hostmem (stores simulation data in host memory)
-benchmark (run benchmark to measure performance)
-numbodies=<N> (number of bodies (>= 1) to run in simulation)
-device=<d> (where d=0,1,2.... for the CUDA device to use)
-numdevices=<i> (where i=(number of CUDA devices > 0) to use for simulation)
-compare (compares simulation results running once on the default GPU and once on the CPU)
-cpu (run n-body simulation on the CPU)
-tipsy=<file.bin> (load a tipsy model file for simulation)
NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
> Windowed mode
> Simulation data stored in video memory
> Single precision floating point simulation
> 1 Devices used for simulation
GPU Device 0: "Ampere" with compute capability 8.6
> Compute 8.6 CUDA device: [NVIDIA GeForce RTX 3070]
47104 bodies, total time for 10 iterations: 37.437 ms
= 592.679 billion interactions per second
= 11853.577 single-precision GFLOP/s at 20 flops per interaction

參考文件

Installing the NVIDIA GPU Operator - SUSE Docs

全離線安裝 SUSE Manager Server 4.3

Tue, 08 Apr 2025 10:14:24 +0800

Preface

本篇文章會在全離線的環境下建置 SUSE Manager Server

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 架構說明

SUSE Manager Server 會透過 Http Proxy Server 上網到 scc.suse.com 或 updates.suse.com 下載 Packages

2. 安裝與設定 Http Proxy Server

2.1. 安裝 Http Proxy Server

$ sudo zypper -n install squid

此套件放在 sle-module-server-applications Packages Repository

2.2. 啟動 Squid 服務，並設為開機自動啟動

$ sudo systemctl enable --now squid

2.3. 檢查 Squid 運作是否正常

$ sudo systemctl status squid.service

螢幕輸出 :

● squid.service - Squid caching proxy
Loaded: loaded (/usr/lib/systemd/system/squid.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2024-01-09 16:43:05 CST; 53s ago
Docs: man:squid(8)
Process: 5502 ExecStartPre=/usr/lib/squid/initialize_cache_if_needed.sh (code=exited, status=0/SUCCESS)
Process: 5506 ExecStart=/usr/sbin/squid -FC (code=exited, status=0/SUCCESS)
Main PID: 5507 (squid)
Tasks: 4
CGroup: /system.slice/squid.service
├─ 5507 /usr/sbin/squid -FC
├─ 5509 "(squid-1)" --kid squid-1 -FC
├─ 5510 "(logfile-daemon)" /var/log/squid/access.log
└─ 5511 "(pinger)"
Jan 09 16:43:05 http-proxy systemd[1]: Starting Squid caching proxy...
Jan 09 16:43:05 http-proxy squid[5507]: Squid Parent: will start 1 kids
Jan 09 16:43:05 http-proxy systemd[1]: Started Squid caching proxy.
Jan 09 16:43:05 http-proxy squid[5507]: Squid Parent: (squid-1) process 5509 started

squid 服務應顯示 loaded 並且是 active (running)

2.4. 使用 Squid 檢測

$ sudo squid -k check | echo $?

螢幕輸出 :

2.5. 將 Squid 用來監聽客戶端請求的通訊連接埠改成 8080

$ sudo sed -i 's|http_port 3128|#http_port 3128|g' /etc/squid/squid.conf
$ sudo sed -i "62ihttp_port 8080" /etc/squid/squid.conf

http_port PORT，這是 Squid 用來監聽客戶端請求的通訊連接埠。預設連接埠為 3128

2.6. 允許本機系統和其他系統的使用者存取 Squid 和上網

$ sudo sed -i 's|http_access deny all|#http_access deny all|g' /etc/squid/squid.conf
$ sudo sed -i '59ihttp_access allow all' /etc/squid/squid.conf

2.7. Reload Squid

$ sudo systemctl reload squid.service

2.8. 啟動防火牆

$ sudo systemctl enable --now firewalld.service

2.9. 設定防火牆允許 squid 服務

$ sudo firewall-cmd --add-port=8080/tcp --permanent
$ sudo firewall-cmd --reload

2.10. 再其他台機器測試是否開 8080 TCP Port

$ nc -w 1 192.168.11.195 8080; echo $?

螢幕輸出 :

2.11. 在本機測試是否能夠透過 squid 上網

$ squidclient -p 8080 https://www.google.com

螢幕輸出 :

HTTP/1.1 200 OK
Date: Tue, 09 Jan 2024 14:04:15 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
Content-Security-Policy-Report-Only: object-src 'none';base-uri 'self';script-src 'nonce-MQHNqGlQrWDv6h0C8DvUjQ' 'strict-dynamic' 'report-sample' 'unsafe-eval' 'unsafe-inline' https: http:;report-uri https://csp.withgoogle.com/csp/gws/other-hp
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 0
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2024-01-09-14; expires=Thu, 08-Feb-2024 14:04:15 GMT; path=/; domain=.google.com; Secure
Set-Cookie: AEC=Ae3NU9NHgU8wktpInxIwHf7c1B1M8ESd01oaq_xA3akE34sUyfSmsb_WEio; expires=Sun, 07-Jul-2024 14:04:15 GMT; path=/; domain=.google.com; Secure; HttpOnly; SameSite=lax
Set-Cookie: NID=511=UTGSPeCwlOe_nlA6TIA4Ldko2xAj7kUY17QYZrRkxm_DsBhBWII92LzmU3Pz9I69NYktFhoJpYZI3lZL3BFTzJKu33M9qVM9bWjkl0H6FjGTjlE0XJJB3As9TBbgQ1ywcvgtVeSpr1_nvZ3wE4jnKb566WLgpKVfhLf-csMnzJQ; expires=Wed, 10-Jul-2024 14:04:15 GMT; path=/; domain=.google.com; HttpOnly
Alt-Svc: h3=":443"; ma=2592000,h3-29=":443"; ma=2592000
Accept-Ranges: none
Vary: Accept-Encoding
X-Cache: MISS from http-proxy
X-Cache-Lookup: MISS from http-proxy:8080
Via: 1.1 http-proxy (squid/5.7)
Connection: close
...以下省略

3. 安裝與設定 SUSE Manager Server

3.1. 安裝要求

Hardware

CPU:
- Minimum 4 dedicated 64-bit CPU cores (x86-64)
Mem:
- Test or Base Installation
  - Minimum 16 GB
- Production Server
  - Minimum 32 GB
Disk:
- / (root directory)
  - Minimum 40 GB
- /var/lib/pgsql
  - Minimum 50 GB
- /var/spacewalk
  - Minimum storage required: 100 GB (this will be verified by the implemented check)
  - 50 GB for each SUSE product and Package Hub
  - 360 GB for each Red Hat product
- /var/cache
  - Minimum 10 GB. Add 100 MB per SUSE product, 1 GB per Red Hat or other product. Double the space if the server is an ISS Master.
- Swap space
  - 3 GB

Operating System

SUSE Linux Enterprise Server 15 SP4
ISO: SLE-15-SP4-Full-x86_64-QU3.1-Media1.iso

3.2. 開始安裝 SUSE Manager Server

3.2.1. 啟動 SUSE Manager Server 所在的 VM

3.2.2. 選擇 Installation

3.2.3. 選擇要安裝的 Product: SUSE Manager Server 4.3

3.2.4. 同意 SUSE Manager Server 4.3 的 Licence

3.2.5. 點選右上角，網路設定

3.2.6. 點選 edit 設定 IP Address

3.2.6.1. 設定 Static IP

勾選 Statically Assigned IP Address
IP Address 欄位輸入: <IP>
Subnet Mask 欄位輸入: /24
Hostname 欄位輸入: suma.example.com

3.2.7. 設定 Hostname/DNS

點選 Hostname/DNS

3.2.7.1. 設定 Hostname 與 Name Server

Static Hostname 欄位輸入: suma
Set Hostname via DHCP: no
Name Server 欄位輸入: 192.168.11.85

3.2.8. 設定 Routing

點選 Routing -> Add

3.2.8.1. 設定 Default Gateway

Gateway 欄位輸入: 192.168.11.253
Device 選擇: eth0
點選 OK

3.2.9. 完成網路設定

點選 Next

3.2.10. 先暫時跳過註冊 Product

點選 Skip Registration

點選 OK

下一步，點選 Next

3.2.11. 使用預設的 Extension 和 Module

預設包含以下 Extension 和 Module
- Basesystem Module
- SUSE Manager Server Module 4.3
- Server Applications Module
- Web and Scripting Module
確認沒問題後，點選 Next

3.2.12. 點選 Next，不新增額外的 Product

3.2.13. System Role 選擇 SUSE Manager Server(single disk)

點選 Next

3.2.14. 設定磁區分割和檔案系統

3.2.14.1. Resize var_spacewalk 目錄區的大小至最大

點選 Expert Partitioner -> Start with current Proposal

點選 var_spacewalk -> Device -> Resize

預設是 Resize 到最大 Size，所以直接點選 Next

確認設定資訊沒問題後，點選 Accept

完成磁碟分割和檔案系統的設定，點選 Next

3.2.15. 設定時區

在世界地圖上點選台灣的位置

3.2.16. 設定使用者

User`s Full Name 欄位輸入: admin
Username 欄位輸入: admin
Password 欄位輸入: <密碼>
Confirm Password 欄位輸入: <密碼>
勾選 Use the password to system administrator
確認資訊都正確後，點選 Next

3.2.17. 檢查設定，關閉防火牆，並且 openssh 要打開

在 Firewall will be enabled 欄位，點選 disable

確認防火牆關閉且 SSH 服務有 enable，再點選 Install

確認安裝，點選 Install

安裝完後，系統會重啟

3.3. 設定 Http Proxy 與註冊 SUSE Manager Server

3.3.1. 設定 Proxy

$ sudo sed -i 's|PROXY_ENABLED="no"|#PROXY_ENABLED="no"|g' /etc/sysconfig/proxy
$ sudo sed -i '12iPROXY_ENABLED="yes"' /etc/sysconfig/proxy
$ sudo sed -i 's|HTTP_PROXY=""|#HTTP_PROXY=""|g' /etc/sysconfig/proxy
$ sudo sed -i '21iHTTP_PROXY="http://192.168.11.195:8080"' /etc/sysconfig/proxy
$ sudo sed -i 's|HTTPS_PROXY=""|#HTTPS_PROXY=""|g' /etc/sysconfig/proxy
$ sudo sed -i '30iHTTPS_PROXY="http://192.168.11.195:8080"' /etc/sysconfig/proxy

3.3.2. 重啟系統

$ sudo reboot

3.3.3. 跟 SUSE Customer Center 註冊系統

使用 root 帳號執行以下命令 :

$ SUSEConnect -e "xxx@xxx.xxx" -r "XXXXXXXXXXXXXXX"

-e，E-mail Address -r，Registration Code

螢幕輸出 :

Registering system to SUSE Customer Center
Using E-Mail:xxx
Announcing system to https://scc.suse.com ...
Activating SUSE-Manager-Server 4.3 x86_64 ...
-> Adding service to system ...
Activating sle-module-basesystem 15.4 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Activating sle-module-server-applications 15.4 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Activating sle-module-web-scripting 15.4 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Activating sle-module-suse-manager-server 4.3 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Successfully registered system

3.3.4. 檢查是否註冊成功

$ SUSEConnect -s

螢幕輸出 :

[{"name":"SUSE Employee subscription for SUSE Manager Server x86_64","identifier":"SUSE-Manager-Server","version":"4.3","arch":"x86_64","status":"Registered","regcode":"XXX","starts_at":"2023-04-19 02:33:18 UTC","expires_at":"2024-04-19 02:33:18 UTC","subscription_status":"ACTIVE","type":"XXX"},{"identifier":"sle-module-basesystem","version":"15.4","arch":"x86_64","status":"Registered"},{"identifier":"sle-module-server-applications","version":"15.4","arch":"x86_64","status":"Registered"},{"identifier":"sle-module-web-scripting","version":"15.4","arch":"x86_64","status":"Registered"},{"identifier":"sle-module-suse-manager-server","version":"4.3","arch":"x86_64","status":"Registered"}]

3.3.4. 更新套件儲存庫

$ zypper ref

3.4 設定 SUSE Manager Server

3.4.1. 使用 YAST 工具設定 SUSE Manager Server

$ yast2 susemanager_setup

3.4.2. Set up SUSE Manager from scratch

預設是 Set up SUSE Manager from scratch
選擇 Next

3.4.3. 輸入 SUSE Manager Administrator e-mail address

3.4.4. 設定 Certificate

輸入以下憑證資訊 :

Organization: SUSELab
Organization Unit: IT
City: Taipei City
State: Taiwan
Country: TW
SSL Password: *******
Repeat Password: *******
確認資訊都輸入正確後，點選 Next

3.4.5. Database Settings

輸入以下憑證資訊 :

Database User: susemanager
Database Password: *******
Repeat Password: *******

3.4.6. 同意開始初始化設定

點選 “Yes”

3.4.7. 檢查無任何錯誤資訊後，點選 Next

3.4.8. 完成 SUSE Manager Server 的初始化設定，點選 Finish

3.5. 設定 SUSE Manager Server 管理員帳號

3.5.1. 在瀏覽器中，輸入完成設定後提供的位址，使用此位址開啟 SUSE Manager Web UI。

3.5.2. 建立組織

輸入以下資訊 :

Organization Name: SUSELab
Desired Login: sumaadmin
Desired Password: exadmin
Confirm Password: exadmin
Email: sumaadmin@example.com
First Name: Use the drop-down and select Dr. and in the field immediately to the right, type Suma
Last Name: Geeko
確認資訊皆正確後，點選 Create Organization 按鈕

3.6. 將 SUSE Manager Server 更新至最新版 4.3.10

3.6.1. 在 SUSE Manager Server 以 root 身分停止 spacewalk 服務：

$ spacewalk-service stop

螢幕輸出 :

Shutting down spacewalk services...
Done.

3.6.2. 刷新套件儲存庫

$ zypper ref

3.6.3. 軟體更新

$ zypper up

螢幕輸出 :

Refreshing service 'Basesystem_Module_15_SP4_x86_64'.
Refreshing service 'SUSE_Manager_Server_4.3_x86_64'.
Refreshing service 'SUSE_Manager_Server_Module_4.3_x86_64'.
Refreshing service 'Server_Applications_Module_15_SP4_x86_64'.
Refreshing service 'Web_and_Scripting_Module_15_SP4_x86_64'.
Loading repository data...
Reading installed packages...
The following 477 packages are going to be upgraded:
The following package is going to change architecture:
release-notes-susemanager x86_64 -> noarch
The following 13 NEW packages are going to be installed:
apache2-mod_wsgi apache-commons-math dosfstools kernel-default-5.14.21-150400.24.100.2 libfstrm0 libhidapi-hidraw0 libprocps8
libprotobuf-c1 log4j-jcl mtools python3-jmespath python3-looseversion system-user-prometheus
The following 4 packages are going to be REMOVED:
apache2-mod_wsgi-python3 apache-commons-math3 libfreebl3-hmac libsoftokn3-hmac
The following package requires a system reboot:
kernel-default-5.14.21-150400.24.100.2
477 packages to upgrade, 13 new, 4 to remove, 1 to change arch.
Overall download size: 857.7 MiB. Already cached: 0 B. After the operation, additional 214.6 MiB will be used.
Note: System reboot required.
Continue? [y/n/v/...? shows all options] (y): y

確認沒錯後，按 y 開始下載套件與安裝

$ Update notifications were received from the following packages:
susemanager-schema-4.3.23-150400.3.33.2.noarch (/var/adm/update-messages/susemanager-schema-4.3.23-150400.3.33.2)
View the notifications now? [y/n] (n):
There are running programs which still use files and libraries deleted or updated by recent upgrades. They should be restarted to benefit from the latest updates. Run 'zypper ps -s' to list these programs.
Since the last system boot core libraries or services have been updated.
Reboot is suggested to ensure that your system benefits from these updates.

3.6.4. 重啟系統

$ reboot

3.6.5. 檢查 SUSE Manager 相關的所有服務是否都是 active

$ spacewalk-service status

螢幕輸出 :

● mgr-check-payg.service - Check and install payg billing service.
Loaded: loaded (/usr/lib/systemd/system/mgr-check-payg.service; static)
Active: active (exited) since Wed 2024-01-10 13:31:14 CST; 1min 52s ago
Process: 868 ExecStart=/usr/sbin/spacewalk-startup-helper check-billing-service (code=exited, status=0/SUCCESS)
Main PID: 868 (code=exited, status=0/SUCCESS)
● uyuni-update-config.service - Uyuni update config
Loaded: loaded (/usr/lib/systemd/system/uyuni-update-config.service; static)
Active: active (exited) since Wed 2024-01-10 13:31:29 CST; 1min 37s ago
Process: 1893 ExecStart=/usr/sbin/uyuni-update-config (code=exited, status=0/SUCCESS)
Main PID: 1893 (code=exited, status=0/SUCCESS)
● uyuni-check-database.service - Uyuni check database
Loaded: loaded (/usr/lib/systemd/system/uyuni-check-database.service; static)
Active: active (exited) since Wed 2024-01-10 13:32:12 CST; 54s ago
Process: 1904 ExecStart=/usr/sbin/spacewalk-startup-helper check-database (code=exited, status=0/SUCCESS)
Main PID: 1904 (code=exited, status=0/SUCCESS)
● tomcat.service - Apache Tomcat Web Application Container
Loaded: loaded (/usr/lib/systemd/system/tomcat.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/tomcat.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:12 CST; 54s ago
Main PID: 5222 (java)
Tasks: 117 (limit: 576)
CGroup: /system.slice/tomcat.service
└─ 5222 /usr/lib64/jvm/jre/bin/java -ea -Xms256m -Xmx1G -Djava.awt.headless=true -Dorg.xml.sax.driver=com.redhat.rhn.fro…
● spacewalk-wait-for-tomcat.service - Spacewalk wait for tomcat
Loaded: loaded (/usr/lib/systemd/system/spacewalk-wait-for-tomcat.service; static)
Active: active (exited) since Wed 2024-01-10 13:32:45 CST; 21s ago
Process: 5223 ExecStart=/usr/sbin/spacewalk-startup-helper wait-for-tomcat (code=exited, status=0/SUCCESS)
Main PID: 5223 (code=exited, status=0/SUCCESS)
● salt-master.service - The Salt Master Server
Loaded: loaded (/usr/lib/systemd/system/salt-master.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/salt-master.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:12 CST; 54s ago
Docs: man:salt-master(1)
file:///usr/share/doc/salt/html/contents.html
https://docs.saltproject.io/en/latest/contents.html
Main PID: 5220 (salt-master)
Tasks: 56
CGroup: /system.slice/salt-master.service
├─ 5220 /usr/bin/python3 /usr/bin/salt-master
├─ 5468 /usr/bin/python3 /usr/bin/salt-master
├─ 5469 /usr/bin/python3 /usr/bin/salt-master
├─ 5473 /usr/bin/python3 /usr/bin/salt-master
├─ 5474 /usr/bin/python3 /usr/bin/salt-master
├─ 5475 /usr/bin/python3 /usr/bin/salt-master
├─ 5476 /usr/bin/python3 /usr/bin/salt-master
├─ 5478 /usr/bin/python3 /usr/bin/salt-master
├─ 5479 /usr/bin/python3 /usr/bin/salt-master
├─ 5480 /usr/bin/python3 /usr/bin/salt-master
├─ 5481 /usr/bin/python3 /usr/bin/salt-master
├─ 5482 /usr/bin/python3 /usr/bin/salt-master
├─ 5483 /usr/bin/python3 /usr/bin/salt-master
├─ 5484 /usr/bin/python3 /usr/bin/salt-master
├─ 5485 /usr/bin/python3 /usr/bin/salt-master
├─ 5496 /usr/bin/python3 /usr/bin/salt-master
└─ 5497 /usr/bin/python3 /usr/bin/salt-master
● salt-api.service - The Salt API
Loaded: loaded (/usr/lib/systemd/system/salt-api.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/salt-api.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:12 CST; 54s ago
Docs: man:salt-api(1)
file:///usr/share/doc/salt/html/contents.html
https://docs.saltproject.io/en/latest/contents.html
Main PID: 5215 (salt-api)
Tasks: 104
CGroup: /system.slice/salt-api.service
├─ 5215 /usr/bin/python3 /usr/bin/salt-api
└─ 5307 /usr/bin/python3 /usr/bin/salt-api
● spacewalk-wait-for-salt.service - Make sure that salt is started before httpd
Loaded: loaded (/usr/lib/systemd/system/spacewalk-wait-for-salt.service; static)
Active: active (exited) since Wed 2024-01-10 13:32:12 CST; 54s ago
Process: 5221 ExecStart=/bin/true (code=exited, status=0/SUCCESS)
Main PID: 5221 (code=exited, status=0/SUCCESS)
● apache2.service - The Apache Webserver
Loaded: loaded (/usr/lib/systemd/system/apache2.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/apache2.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:45 CST; 21s ago
Main PID: 6911 (httpd-prefork)
Status: "Processing requests..."
Tasks: 8
CGroup: /system.slice/apache2.service
├─ 6911 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6926 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6927 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6928 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6931 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6932 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
├─ 6976 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
└─ 7313 /usr/sbin/httpd-prefork -DSYSCONFIG -DSSL -DISSUSE -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/sysconfi…
● rhn-search.service - Spacewalk search engine
Loaded: loaded (/usr/lib/systemd/system/rhn-search.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/rhn-search.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:45 CST; 21s ago
Main PID: 6918 (rhn-search)
Tasks: 78
CGroup: /system.slice/rhn-search.service
├─ 6918 /bin/sh /usr/sbin/rhn-search
└─ 6934 /usr/bin/java -Djava.library.path=/usr/lib:/usr/lib64:/usr/lib/gcj/postgresql-jdbc:/usr/lib64/gcj/postgresql-jdb…
● cobblerd.service - Cobbler Helper Daemon
Loaded: loaded (/usr/lib/systemd/system/cobblerd.service; enabled; vendor preset: disabled)
Active: active (running) since Wed 2024-01-10 13:32:12 CST; 54s ago
Main PID: 5213 (cobblerd)
Tasks: 24
CGroup: /system.slice/cobblerd.service
├─ 5213 /usr/bin/python3 -s /usr/bin/cobblerd -F
└─ 7962 "[sha1sum]"
● taskomatic.service - Taskomatic
Loaded: loaded (/usr/lib/systemd/system/taskomatic.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/taskomatic.service.d
└─override.conf
Active: active (running) since Wed 2024-01-10 13:32:45 CST; 21s ago
Main PID: 6919 (taskomatic)
Tasks: 151
CGroup: /system.slice/taskomatic.service
├─ 6919 /bin/sh /usr/sbin/taskomatic
└─ 6935 /usr/bin/java -Djava.library.path=/usr/lib:/usr/lib64 -classpath "/usr/share/rhn/classes:/usr/share/rhn/lib/spac…
● spacewalk-wait-for-taskomatic.service - Spacewalk wait for taskomatic
Loaded: loaded (/usr/lib/systemd/system/spacewalk-wait-for-taskomatic.service; static)
Active: active (exited) since Wed 2024-01-10 13:32:52 CST; 14s ago
Process: 6924 ExecStart=/usr/sbin/spacewalk-startup-helper wait-for-taskomatic (code=exited, status=0/SUCCESS)
Main PID: 6924 (code=exited, status=0/SUCCESS)
● salt-secrets-config.service - Configures secrets between salt-master and other services
Loaded: loaded (/usr/lib/systemd/system/salt-secrets-config.service; static)
Drop-In: /usr/lib/systemd/system/salt-secrets-config.service.d
└─override.conf
Active: active (exited) since Wed 2024-01-10 13:31:17 CST; 1min 49s ago
Process: 870 ExecStart=/usr/bin/salt-secrets-config.py (code=exited, status=0/SUCCESS)
Main PID: 870 (code=exited, status=0/SUCCESS)
● mgr-websockify.service - TCP to WebSocket proxy
Loaded: loaded (/usr/lib/systemd/system/mgr-websockify.service; static)
Active: active (running) since Wed 2024-01-10 13:32:12 CST; 54s ago
Process: 5214 ExecStartPre=/usr/bin/sh -c grep secret_key /etc/rhn/rhn.conf | tr -d ' ' | cut -f2 -d '=' | perl -ne 's/([0-9a-f]{2})/print chr hex $1/gie' > /etc/rhn/websockify.key (code=exited, status=0/SUCCESS)
Main PID: 5224 (websockify)
Tasks: 4
CGroup: /system.slice/mgr-websockify.service
└─ 5224 /usr/bin/python3 /usr/bin/websockify --token-plugin JWTTokenApi --token-source /etc/rhn/websockify.key localhost…
● cobbler-refresh-mkloaders.service - Refresh Cobbler bootloaders
Loaded: loaded (/usr/lib/systemd/system/cobbler-refresh-mkloaders.service; static)
Drop-In: /usr/lib/systemd/system/cobbler-refresh-mkloaders.service.d
└─override.conf
Active: active (exited) since Wed 2024-01-10 13:32:49 CST; 17s ago
Process: 6920 ExecStart=/usr/bin/cobbler mkloaders (code=exited, status=0/SUCCESS)
Main PID: 6920 (code=exited, status=0/SUCCESS)
● spacewalk.target - Spacewalk
Loaded: loaded (/usr/lib/systemd/system/spacewalk.target; enabled; vendor preset: disabled)
Active: active since Wed 2024-01-10 13:32:52 CST; 14s ago
● jabberd.service - Jabber Server
Loaded: loaded (/usr/lib/systemd/system/jabberd.service; enabled; vendor preset: disabled)
Active: active (exited) since Wed 2024-01-10 13:31:28 CST; 1min 38s ago
Process: 1622 ExecStart=/bin/true (code=exited, status=0/SUCCESS)
Main PID: 1622 (code=exited, status=0/SUCCESS)
● osa-dispatcher.service - OSA Dispatcher daemon
Loaded: loaded (/usr/lib/systemd/system/osa-dispatcher.service; enabled; vendor preset: disabled)
Active: active (running) since Wed 2024-01-10 13:31:30 CST; 1min 36s ago
Process: 1835 ExecStartPre=/bin/rm -f /run/osa-dispatcher.pid (code=exited, status=0/SUCCESS)
Process: 1838 ExecStart=/usr/sbin/osa-dispatcher --pid-file /run/osa-dispatcher.pid (code=exited, status=0/SUCCESS)
Main PID: 2082 (osa-dispatcher)
Tasks: 1
CGroup: /system.slice/osa-dispatcher.service
└─ 2082 /usr/bin/python3 /usr/sbin/osa-dispatcher --pid-file /run/osa-dispatcher.pid

3.7. 從 SUSE Custom Center 同步 Products

3.7.1. 新增 Organization Credentials

在 SUSE Manager Web UI, 選擇 Admin -> Setup Wizard
從 Setup Wizard 頁面選擇 Organization Credentials
點選 Add a new credential

輸入 Username 和 Password，確認沒問題後按 Save

在 SCC 的 Users -> Organization Credentials 可以看到使用者帳號和密碼

3.7.2. 確認組織憑證已新增成功

3.7.3. 列出可加入的 Products

點選 Products

4. 使用自簽憑證

4.1 Create a new CA and Server Certificates

在 SUSE Manager Server 執行以下命令，將舊的 certificate 目錄區移到新的地方:

$ mv /root/ssl-build /root/old-ssl-build

產生新的 CA certificate:

$ rhn-ssl-tool --gen-ca -psumaadmin \
--dir="/root/ssl-build" \
--set-country="TW" \
--set-state="Taiwan" \
--set-city="Taipei" \
--set-org="IT" \
--set-org-unit="SUSELab" \
--set-common-name="SUSE Manager CA Certificate" \
--set-email="name@example.com"

--gen-ca，產生憑證授權單位 ( CA ) 金鑰對和 Public RPM。
-pPASSWORD，CA 的密碼，如果缺少這個選項，系統會提示。
--dir，建立目錄區，並且產生的 CA 憑證及相關檔案都會放在這個目錄區中。
--set-country，兩個英文字母的國家代碼，只能使用大寫的英文字母。
--set-state，州或省。
--set-city，城市或地點。
--set-org，組織或公司名稱。
--set-org-unit，組織裡面的單位。
--set-common-name，common name。
--set-email，設定 email 地址。

螢幕輸出 :

Generating private CA key: /root/ssl-build/RHN-ORG-PRIVATE-SSL-KEY
Generating public CA certificate: /root/ssl-build/RHN-ORG-TRUSTED-SSL-CERT
Using distinguishing variables:
--set-country = "TW"
--set-state = "Taiwan"
--set-city = "Taipei"
--set-org = "IT"
--set-org-unit = "SUSELab"
--set-common-name = "SUSE Manager CA Certificate"
--set-email = "name@example.com"
...working...
Generating CA public certificate RPM:
/root/ssl-build/rhn-org-trusted-ssl-cert-1.0-1.src.rpm
/root/ssl-build/rhn-org-trusted-ssl-cert-1.0-1.noarch.rpm
Make the public CA certificate publically available:
(NOTE: the SUSE Manager Server or Proxy installers may do this step for you.)
The "noarch" RPM and raw CA certificate can be made publically accessible
by copying it to the /srv/www/htdocs/pub directory of your SUSE Manager Server or
Proxy.

產生新的 server certificate

$ rhn-ssl-tool --gen-server -psumaadmin \
--dir="/root/ssl-build" \
--set-country="TW" \
--set-state="Taiwan" \
--set-city="Taipei" \
--set-org="SUSELab" \
--set-org-unit="IT" \
--set-email="name@example.com" \
--set-hostname=`hostname -f` \
--set-cname="example.com"

--gen-server，產生 Web Server 的 SSL 金鑰對、RPM 和 tar 壓縮檔：
-pPASSWORD，CA 的密碼，如果缺少這個選項，系統會提示，必須與 CA的密碼一致。
--dir，建立目錄區，並且產生的 Web Server 的 SSL 金鑰對、RPM 和 tar 壓縮檔都會放在這個目錄區中。
--set-country，兩個英文字母的國家代碼，只能使用大寫的英文字母。
--set-state，州或省。
--set-city，城市或地點。
--set-org，組織或公司名稱。
--set-org-unit，組織裡面的單位。
--set-email，設定 email 地址。
--set-hostname，設定 SUSE Manager Server 或 SUSE Manager Proxy 的主機名稱（FQDN：fully qualified domain name）（預設值：建置機器的主機名稱）。
--set-cname，設定 SUSE Manager Server 或 SUSE Manager Proxy 的 cname 別名（FQDN: fully qualified domain name），這將產生具有多個主機名稱的憑證，可指定多個。

螢幕輸出 :

Generating the web server's SSL private key: /root/ssl-build/suma/server.key
Generating web server's SSL certificate request: /root/ssl-build/suma/server.csr
Using distinguished names:
--set-country = "TW"
--set-state = "Taiwan"
--set-city = "Taipei"
--set-org = "IT"
--set-org-unit = "SUSELab"
--set-hostname = "suma.example.com"
--set-email = "name@example.com"
Rotated: rhn-ca-openssl.cnf --> rhn-ca-openssl.cnf.1
Generating/signing web server's SSL certificate: server.crt
...working...
Generating web server's SSL key pair/set RPM:
/root/ssl-build/suma/rhn-org-httpd-ssl-key-pair-suma-1.0-1.src.rpm
/root/ssl-build/suma/rhn-org-httpd-ssl-key-pair-suma-1.0-1.noarch.rpm
The most current SUSE Manager Proxy installation process against SUSE Manager hosted
requires the upload of an SSL tar archive that contains the CA SSL public
certificate and the web server's key set.
Generating the web server's SSL key set and CA SSL public certificate archive:
/root/ssl-build/suma/rhn-org-httpd-ssl-archive-suma-1.0-1.tar
Deploy the server's SSL key pair/set RPM:
(NOTE: the SUSE Manager or Proxy installers may do this step for you.)
The "noarch" RPM needs to be deployed to the machine working as a
web server, or SUSE Manager, or SUSE Manager Proxy.
Presumably 'suma.example.com'.

4.2. Replace Certificates

透過 mgr-ssl-cert-setup 更換憑證

$ mgr-ssl-cert-setup --root-ca-file=/root/ssl-build/RHN-ORG-TRUSTED-SSL-CERT \
--server-cert-file=/root/ssl-build/suma/server.crt \
--server-key-file=/root/ssl-build/suma/server.key

--root-ca-file，Root CA 憑證的絕對路徑
--server-cert-file，Server 憑證的絕對路徑
--server-key-file，Server Private Key 的絕對路徑

螢幕輸出 :

After changing the server certificate please execute:
$> spacewalk-service stop
$> systemctl restart postgresql.service
$> spacewalk-service start
As the CA certificate has been changed, please deploy the CA to all registered clients.
On salt-managed clients, you can do this by applying the highstate.

重啟以下服務

$ spacewalk-service stop && \
systemctl restart postgresql.service && \
spacewalk-service start

螢幕輸出 :

Shutting down spacewalk services...
Done.
Starting spacewalk services...
Checking DB schema and running DB schema upgrade if needed. This may take a while.
Call the following command to see progress: journalctl -f -u uyuni-check-database.service
Done.

檢查 SUSE Manager Server 相關的所有服務是否正常

$ spacewalk-service status

檢查每一個 Service 是否都是 Active

Root CA 部屬到每一個 Salt Clients 上

Systems -> 選擇 Salt Client -> States -> 點選 Test mode -> Apply Hightstate

在 Events -> History 檢查是否成功

States -> Apply Hightstate

在 Events -> History 檢查是否成功

SSH 連線至 Client 端，執行以下命令，檢查 CA 憑證是否與 Server 一致

$ cat /etc/pki/ca-trust/source/anchors/RHN-ORG-TRUSTED-SSL-CERT

螢幕輸出 :

5. Retrying to Set up SUSE Manager (可選)

$ yast2 susemanager_setup
> 最後一部問 mgr-setup ，選 no
$ rm /root/.MANAGER_SETUP_COMPLETE
$ systemctl stop postgresql.service
$ rm -rf /var/lib/pgsql/data
$ mv /root/ssl-build /root/old-ssl-build
# Check the /etc/hosts file, and correct it if necessary.
$ cat /etc/hosts
# Check /etc/setup_env.sh on the target system, and ensure the database name is set:
$ cat /root/setup_env.sh | grep -w "MANAGER_DB_NAME"
export MANAGER_DB_NAME='susemanager'
$ sudo init 6
$ /usr/lib/susemanager/bin/mgr-setup -s

6. 參考資料

安裝 SUSE Manager 5.0

Tue, 08 Apr 2025 10:02:18 +0800

1. 安裝要求

1.1. 硬體要求

硬體項目	詳細資訊	建議規格
CPU	x86-64, ARM, ppc64le, or s390x	至少 4 顆 64-bit 專用核心
RAM	最少	16 GB
RAM	建議	32 GB
磁碟空間	`/` 根目錄	20 GB
磁碟空間	`/var/lib/containers/storage/volumes`	至少 150 GB (依產品數量而異)
磁碟空間	`/var/lib/containers/storage/volumes/var-pgsql` PostgreSQL 資料目錄	至少 50 GB

1.2. 網路要求

SUSE Manager 伺服器必須能正確解析其完整網域名稱（FQDN）。如果無法解析這個 FQDN，可能會對多個不同的元件造成嚴重問題。
為了確保 SUSE Manager 的網域名稱能被其客戶端正確解析，伺服器與客戶端主機都必須連接到一個正常運作的 DNS 伺服器。你同時也需要確保 reverse lookups 已正確設定。

# 1. 透過變數定義 SUSE Manager 5.0 的 FQDN
$ SUMA_FQDN='antony-suma.example.com.'
# 2. 透過變數定義 SUSE Manager 5.0 的 IP 位址
$ SUMA_IP='192.168.11.9'
# 3. 透過變數定義 DNS Server 的 IP 位址
$ DNS_Server_IP='192.168.11.11'
# 4. 解析 SUSE Manager 5.0 的 FQDN
$ dig ${SUMA_FQDN} @${DNS_Server_IP} +short
192.168.11.9
# 5. 反向解析 SUSE Manager 5.0 的 IP
$ dig -x ${SUMA_IP} @${DNS_Server_IP} +short
antony-suma.example.com.

1.3. 所需網路連接埠

請參考 SUSE Manager 官網連結 :

https://documentation.suse.com/suma/5.0/en/suse-manager/installation-and-upgrade/network-requirements.html#ports

1.4. 安裝 ISO

到 SUSE 的官網下載以下 ISO 檔案

SUSE-Manager-Server.x86_64-5.0.2-SelfInstall-2024.12.install.iso

2. 開始安裝 SUSE Manager 5.0

本文章測試的 VM 規格如下 :

CPU : 4 Core
RAM : 16 GiB
Hard Disk : 一顆 70 G 當 OS 碟，另一顆 200 G 當專門儲存 SUSE Manager 資料的硬碟

透過 ISO 將 VM 開機
按一下 Enter 鍵「Install SUSE Manager 5.0 Server」。
選擇要將 OS 安裝到哪顆硬碟，確認好後按 Enter 鍵
清除硬碟中的所有資料，確認好後按 Enter 鍵
等系統安裝 OS，安裝好後系統會重新開機
在 JeOS Firstboot 畫面上選擇開始繼續，確認好後按 Enter 鍵
選擇鍵盤規格，確認好後按 Enter 鍵
接受許可協議，確認好後按 Enter 鍵選 YES 後按 Enter 鍵
選擇時區 Asia/Taipei (在 66% 左右)，確認好後按 Enter 鍵
設定 root 的密碼二次確認密碼沒打錯
這邊會有教你怎麼註冊的指令，直接按 Enter 鍵
使用 root 身分登入，輸入帳號密碼
設定網路資訊和主機名稱

# 如果主機有透過 DHCP 得到 IP 位址，可以先 SSH 連進主機
# 1. 透過變數定義 IP 位址並且包含 Subnetmask
$ IP='192.168.11.9/24'
$ 2. 透過變數定義 Default Gateway
$ GW='192.168.11.254'
# 3. 檢視乙太網卡的名稱
$ ip -4 a s
...
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
altname enp0s18
altname ens18
inet 192.168.11.120/24 brd 192.168.11.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
# 4. 透過變數定義要設定乙太網卡的 DEVICE 名稱
$ DEV='eth0'
# 5. 透過變數定義要設定的網卡的 connection 名稱
$ CNAME=$(nmcli -t -f NAME,DEVICE connection show | awk -v dev="${DEV}" -F: '$2 == dev {print $1}')
# 6. 透過變數定義 DNS Server IP 位址
$ DNS_Server_IP='192.168.11.11'
# 7. 設定靜態 IP、Default Gateway 和 DNS Server
$ nmcli connection modify "${CNAME}" \
ipv4.method manual \
ipv4.addresses "${IP}" \
ipv4.gateway "${GW}" \
ipv4.dns "${DNS_Server_IP}"
# 8. 透過變數定義主機名稱
$ HN='antony-suma.example.com.'
# 9. 設定主機名稱
$ hostnamectl set-hostname ${HN}
# 10. 重新開機
$ reboot

註冊 SLE Micro 和 SUSE Manager 5.0

# 1. 使用 root 身分 SSH 連線至 SUSE Manager 主機
$ ssh root@192.168.11.9
# 2. 進入 transactional-update shell
$ transactional-update shell
# 3. 註冊 SLE Micro 到 SCC
$ SUSEConnect -r <REGCODE> -e <your_email>
# 4. 註冊 SUSE Manager 5.0 到 SCC
$ SUSEConnect -p SUSE-Manager-Server/5.0/x86_64 -r <REGCODE>
# 5. 安裝 SUSE Manager 5.0
$ zypper -n install mgradm* mgrctl* suse-manager-5.0-$(uname -m)-server-*
# 6. 將所有已安裝套件更新到最新的版本
$ zypper -n update
# 7. 離開 transactional-update shell
$ exit
# 8. 重新開機
$ reboot

建立 LVM 並設定 Persistent Storage

# 1. 檢視當前的硬碟
# 將規劃 /dev/sda 為系統碟， /dev/sdb 為 SUSE Manager 儲存資料的硬碟
$ hwinfo --disk | grep -E "Device File:"
Device File: /dev/sdb (/dev/sg1)
Device File: /dev/sda (/dev/sg0)
# 2. 建立 PV
$ pvcreate /dev/sdb
# 3. 建立 VG
$ vgcreate suma /dev/sdb
# 4. 建立 LV
$ lvcreate -l +100%FREE -n data /dev/suma
# 5. 設定 SUMA 的永存目錄區，以下命令還會將 /var/lib/containers/storage/volumes 掛載至指定的 Device 上
$ mgr-storage-server /dev/suma/data

部署 SUSE Manager 5.0

$ mgradm install podman antony-suma.example.com

執行結果如下 : (要輸入 CA key 的密碼，以及 SUSE Manager Administrator 的密碼，各兩次)

5:34PM INF Welcome to mgradm
5:34PM INF Executing command: podman
Password for the CA key to generate:
Confirm the password:
Administrator password:
Confirm the password:
5:34PM INF Setting up the server with the FQDN 'antony-suma.example.com'
5:34PM INF Computed image name is registry.suse.com/suse/manager/5.0/x86_64/server:5.0.3
5:34PM INF Ensure image registry.suse.com/suse/manager/5.0/x86_64/server:5.0.3 is available
5:34PM INF Using the localhost/suse/manager/5.0/x86_64/server:5.0.3 image loaded from the RPM instead of its online version registry.suse.com/suse/manager/5.0/x86_64/server:5.0.3
5:34PM INF Setting up uyuni network
5:34PM INF Enabling system service
5:34PM INF Waiting for the server to start…
5:34PM INF Run setup command in the container
5:34PM ??? Asserting correct java version...
5:34PM ??? Skipping btrfs check in containers
Open needed firewall ports...
5:34PM ??? success
5:34PM ??? No swap found; trying to setup additional swap space...
5:34PM ??? Will *NOT* create swapfile in a container!
5:34PM ??? ===============================================================================
!
! This shell operates within a container environment, meaning that not all
! modifications will be permanently saved in volumes.
!
! Please exercise caution when making changes, as some alterations may not
! persist beyond the current session.
!
===============================================================================
5:34PM ??? CREATE ROLE
5:34PM ??? * Loading answer file: /root/spacewalk-answers.
5:34PM ??? ** Database: Setting up database connection for PostgreSQL backend.
5:34PM ??? ** Database: Populating database.
** Database: --clear-db option used. Clearing database.
5:34PM ??? ** Database: Shutting down spacewalk services that may be using DB.
5:34PM ??? ** Database: Services stopped. Clearing DB.
5:35PM ??? Running spacewalk-sql --select-mode-direct /usr/share/susemanager/db/postgres/deploy.sql
5:35PM ??? *** Progress: #
5:35PM ???
5:35PM ??? * Performing initial configuration.
5:35PM ??? * Configuring apache SSL virtual host.
5:35PM ??? * Creating SSL certificates.
5:35PM ??? ** SSL: Generating CA certificate.
5:35PM ??? ** SSL: Generating server certificate.
5:35PM ??? ** Database: Setting up report database.
5:35PM ??? ** Database: --clear-db option used. Clearing report database.
5:35PM ??? Running /usr/bin/uyuni-setup-reportdb create --db reportdb --user pythia_susemanager --host localhost --address * --remote 0.0.0.0/0,::/0 --password <REDACTED>
*** Progress: #
5:35PM ???
5:35PM ??? ** Database: Installation complete.
* Report DB Configured.
* Update configuration in database.
5:35PM ??? * Setting up Cobbler..
5:35PM ??? * Deploying configuration files.
5:35PM ??? * Restarting services.
5:36PM ??? Installation complete.
5:36PM ??? INFO: Database configuration has been changed.
INFO: Wrote new general configuration. Backup as /var/lib/pgsql/data/postgresql.2025-04-08-17-36-04.conf
INFO: Wrote new client auth configuration. Backup as /var/lib/pgsql/data/pg_hba.2025-04-08-17-36-04.conf
INFO: New configuration has been applied.
Database is online
System check finished
5:36PM ??? Shutting down spacewalk services...
5:36PM ??? Done.
5:36PM ??? Starting spacewalk services...
5:36PM ??? Checking DB schema and running DB schema upgrade if needed. This may take a while.
Call the following command to see progress: journalctl -f -u uyuni-check-database.service
5:36PM ??? Done.
5:36PM INF Copying the SSL CA certificate to the host
5:36PM INF Updating host trusted certificates
5:36PM INF Server set up, login on https://antony-suma.example.com with admin user

打開瀏覽器，輸入 SUSE Manager 的 FQDN

帳號 : admin 密碼 : 只有你自己知道

Registering SUSE Liberty Linux 8 Clients

Tue, 18 Feb 2025 08:37:58 +0800

Preface

本篇文章會介紹，如何成功將 SUSE Liberty Linux Client 註冊到 SUSE Manager Server

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

1. 注意事項

SUSE Liberty Linux clients 指的就是將 Red Hat Enterprise Linux 或是 CentOS 系統的 Packages Repository 換成 SUSE Liberty Linux 的套件儲存庫。

SUSE Liberty Linux clients 有時候也被稱為以下 4 種名稱

SUSE Linux Enterprise Server with Expanded Support (SLESES)

Liberty

RES

Red Hat Expanded Support.

SUSE Liberty Linux software channels 僅提供套件的更新，不提供套件本身。
要註冊 SUSE Liberty Linux Client，需要在 SUSE Manager Server 新增 SUSE Liberty Linux Product 以建立必要的基本頻道，然後將任何必需的 Red Hat 或 CentOS 套件匯入為自訂子頻道。
必須直接從 Red Hat 或 CentOS 獲得 initial packages ( 初始套件 )，然後才能套用由 SUSE Liberty Linux 軟體頻道提供的更新。

2. 在 SUSE Manager Server 新增 Software Channels

2.1. 系統要求

SUSE Manager Server 的 /var/spacewalk 目錄區剩餘空間量，必須有 300 G 以上的剩餘空間

2.2. 注意事項

SUSE Liberty Linux 的某些必需套件包含在 Red Hat Enterprise Linux 或 CentOS installation media 中，在註冊 SUSE Liberty Linux 客戶端之前，您必須先安裝這些套件。

SUSE Liberty Linux 產品由 SUSE Custom Center 提供，這也包括客戶端工具套件。
在將 SUSE Liberty Linux 客戶端註冊到 SUSE Manager Server 之前，您需要添加所需的 software channels 並同步它們。
您需要選擇兩組不同的通道，一組是 SUSE Liberty Linux，另一組是 Client Tools.。
需要與正確的 SUSE Liberty Linux channels 關聯的 activation key。

2.3. 開始新增 Software Channels

以下 WebUI 和 CLI 的操作步驟選擇其中一種執行即可

2.3.1 使用 WebUI 操作步驟

勾選要加入的 SUSE Liberty Linux (版本)
點擊 “Add product” ，然後等待同步完成

確認同步完成

在 Channels 欄位呈現綠勾勾的圖示，代表完成同步

2.3.2. 使用 CLI 操作步驟

連線至 SUSE Manager Server，並使用具有系統管理員權限的使用者帳號執行以下命令

$ sudo mgr-sync add channel rhel8-pool-x86_64

輸入 SUSE Manager 管理員的帳號密碼

螢幕輸出 :

Please enter the credentials of SUSE Manager Administrator.
Login: admin
Password:
Channel 'rhel8-pool-x86_64' has already been added
Scheduling reposync for following channels:
- rhel8-pool-x86_64

2.4. SUSE Liberty Linux 在 SUSE Manager 上的資訊

下表是 SUSE Liberty Linux 每個版本對應的 Product 名稱 :

OS Version	Product Name
SUSE Liberty Linux 7	SUSE Linux Enterprise Server with Expanded Support 7 x86_64
SUSE Liberty Linux 8	RHEL or SLES ES or CentOS 8 Base x86_64
SUSE Liberty Linux 9	RHEL and Liberty 9 Base x86_64

下表是 SUSE Liberty Linux 每個版本對應的 Base Channel 和 Client Tools Channel :

SUSE Liberty Linux	Base Channel	Tools Channel
7	RHEL Expanded Support 7	RES7-SUSE-Manager-Tools x86_64
8	RHEL or SLES ES or CentOS 8 Base	RES8-Manager-Tools-Pool for x86_64 and RES8-Manager-Tools-Updates for x86_64
9	RHEL and Liberty 9 Base	EL9-Manager-Tools-Pool for x86_64 and EL9-Manager-Tools-Updates for x86_64

2.5. 檢視 Product 下載過程

以 SUSE Liberty Linux 8 為例，這個 Product 有 5 個必要的 Channel

res-8-updates-x86_64
res-as-8-updates-x86_64
res-cb-8-updates-x86_64
res8-manager-tools-pool-x86_64
res8-manager-tools-updates-x86_64

2.5.1. 檢視下載 res-8-updates-x86_64 Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/res-8-updates-x86_64.log

螢幕輸出應該要看到類似以下資訊 :

2023/08/16 11:17:30 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'res-8-updates-x86_64', '--type', 'yum', '--non-interactive']
2023/08/16 11:17:30 +08:00 Sync of channel started.
2023/08/16 11:17:49 +08:00 Repo URL: https://updates.suse.com/SUSE/Updates/RES/8/x86_64/update/?<token>
2023/08/16 11:17:49 +08:00 Packages in repo: 16052
2023/08/16 11:18:33 +08:00 Packages already synced: 6
2023/08/16 11:18:33 +08:00 Packages to sync: 16046
2023/08/16 11:18:35 +08:00 New packages to download: 16046
2023/08/16 11:18:35 +08:00 Downloading packages:
2023/08/16 11:18:36 +08:00 1/16046 : ModemManager-1.10.4-1.el8.x86_64.rpm
...中間省略
2023/11/07 10:03:43 +08:00 Downloading packages:
2023/11/07 10:03:46 +08:00 1/5 : binutils-devel-2.30-119.el8_8.2.x86_64.rpm
2023/11/07 10:03:46 +08:00 2/5 : sos-audit-4.6.0-5.el8.noarch.rpm
2023/11/07 10:03:47 +08:00 3/5 : sos-4.6.0-5.el8.noarch.rpm
2023/11/07 10:03:48 +08:00 4/5 : binutils-2.30-119.el8_8.2.x86_64.rpm
2023/11/07 10:03:51 +08:00 5/5 : binutils-devel-2.30-119.el8_8.2.i686.rpm
2023/11/07 10:03:51 +08:00 Importing packages started.
2023/11/07 10:03:51 +08:00
2023/11/07 10:03:51 +08:00 Importing packages to DB:
2023/11/07 10:04:08 +08:00 Package batch #1 of 1 completed...
2023/11/07 10:04:08 +08:00 Importing packages finished.
2023/11/07 10:04:08 +08:00
2023/11/07 10:04:08 +08:00 Linking packages to the channel.
2023/11/07 10:04:09 +08:00 5 packages linked
2023/11/07 10:04:10 +08:00
2023/11/07 10:04:10 +08:00 Patches in repo: 2193.
2023/11/07 10:04:20 +08:00 Add Patch RHSA-2023:6236
2023/11/07 10:04:20 +08:00 Add Patch RHBA-2023:6293
2023/11/07 10:04:20 +08:00 Syncing 2 new patch(es) to channel.
2023/11/07 10:04:23 +08:00 Regenerating bootstrap repositories.
2023/11/07 10:04:24 +08:00 Sync completed.

下載完成後會在 log 檔中看到 Sync completed. 代表完成

2.5.2.檢視下載其他 Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/res-as-8-updates-x86_64.log
$ sudo tail -f /var/log/rhn/reposync/res-cb-8-updates-x86_64.log
$ sudo tail -f /var/log/rhn/reposync/res8-manager-tools-pool-x86_64.log
$ sudo tail -f /var/log/rhn/reposync/res8-manager-tools-updates-x86_64.log

2.6. Trouble Shooting

2.6.1. 透過 CLI 重新同步 Channel

$ sudo mgr-sync sync channel <channel_name>

2.6.2. 在 SCC 有新增 Product 的訂閱，但是 SUSE Manager Server 沒有認到

Refresh the local copy of products, channels, and subscriptions

$ sudo mgr-sync -d 3 refresh

2.6.3. `mgr-sync` log 檔案所在的位置

/var/log/rhn/mgr-sync.log
/var/log/rhn/rhn_web_api.log

3. 新增 Base Media

3.1. 注意事項

SUSE Liberty Linux 的 base channel 沒有任何套件，因為 SUSE 沒有提供 Red Hat Enterprise Linux 或 CentOS 的 base media。
需要從 Red Hat 或 CentOS 取得 base media，並將其新增為 SUSE Liberty Linux parent channel 的 child channel。為了確保有需要的所有套件，請使用完整的 DVD image，而不是最小或 JeOS image。
可以使用 SUSE Manager custom channels 來設定 Red Hat Enterprise Linux 或 CentOS 的 media。base media 上的所有套件都必須 mirror 到 child channel。

3.2. 建立 Custom Channels

使用 SUSE Manager Server 管理員帳號登入

$ spacecmd -- login <admin_name>
> enter admin password

建立 CentOS 8 BaseOS Custom Channel

$ spacecmd -- softwarechannel_create -n "Centos8 Media BaseOS" -l centos8-media-baseos -p rhel8-pool-x86_64 -a x86_64

-n，Custom Channel NAME
-l，Custom Channel LABEL
-p，PARENT_CHANNEL of Custom Channel
-a，ARCHITECTURE

建立 CentOS 8 AppStream Custom Channel

$ spacecmd -- softwarechannel_create -n "Centos8 Media AppStream" -l centos8-media-appstream -p rhel8-pool-x86_64 -a x86_64

3.3. 將 Base Media 加到 Custom Channels 中

在 SUSE Manager Server 的 /tmp 目錄區底下準備 CentOS 8 的 ISO 檔

$ curl -# -L https://archive.kernel.org/centos-vault/8.5.2111/isos/x86_64/CentOS-8.5.2111-x86_64-dvd1.iso -o /tmp/CentOS-8.5.2111-x86_64-dvd1.iso

螢幕輸出 :

############################################################################ 100.0%

建立一個包含 media 內容的目錄，用 sll7、sll8 或 sll9 取代 <os_name>

$ sudo mkdir -p /srv/www/htdocs/pub/<os_name>

s117 對應的是 SUSE Liberty Linux 7
s118 對應的是 SUSE Liberty Linux 8
s119 對應的是 SUSE Liberty Linux 9

將 CentOS-8 的 image 掛載到 /srv/www/htdocs/pub/s117 目錄區

$ sudo mount -o loop /tmp/CentOS-8-x86_64-DVD-2009.iso /srv/www/htdocs/pub/s118

將 BaseOS 的 Packages 匯入到先前建立的 Custom Channel 中

$ sudo spacewalk-repo-sync -c centos8-media-baseos -u file:///srv/www/htdocs/pub/s118/BaseOS/

-c，指定 channel-label
-u，指定 Repository 的 URL

螢幕輸出 :

...以上省略
14:29:08 Sync completed.
14:29:08 Total time: 0:32:04

將 AppStream 的 Packages 匯入到先前建立的 Custom Channel 中

$ sudo spacewalk-repo-sync -c centos8-media-appstream -u file:///srv/www/htdocs/pub/s118/AppStream/

-c，指定 channel-label
-u，指定 Repository 的 URL

螢幕輸出 :

...以上省略
14:29:08 Sync completed.
14:29:08 Total time: 0:32:04

4. 註冊 SUSE Liberty Linux Clients

4.1. 手動創建用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create SLE-ES8-x86_64

4.2. 創建 Activation_Key

$ spacecmd -- activationkey_create \
-n liberty-linux-8 \
-d liberty-linux-8 \
-b rhel8-pool-x86_64 \
-e virtualization_host

activationkey_create 參數介紹 :

-n ，activationkey 的名稱

-d ，activationkey 的描述

-b ，指定 activationkey 的 BASE_CHANNEL

-e ，[enterprise_entitled,virtualization_host]

4.2.1 將 Centos-8 Base 和 AppStream Media channel 加入 activation key

$ spacecmd -- activationkey_addchildchannels 1-liberty-linux-8 centos8-media-baseos centos8-media-appstream

加入其他 channel : spacecmd -- activationkey_addchildchannels 1-liberty-linux-8 res-8-updates-x86_64 res-as-8-updates-x86_64 res-cb-8-updates-x86_64 res8-manager-tools-pool-x86_64 res8-manager-tools-updates-x86_64

4.3. 創建 Bootstrap Script

$ sudo mgr-bootstrap --activation-key=1-liberty-linux-8 --script=bootstrap-liberty-linux-8.sh

4.4. 在 CentOS-8 執行 Bootstrap Script 註冊

連線到 CentOS-8 主機，並使用具有系統管理員權限的使用者帳號執行以下操作
disable the public repositories

$ sudo find /etc/yum.repos.d/ -type f -not -name susemanager*.repo | sudo xargs sed -i 's/enabled=1/enabled=0/g'

執行以下註冊命令

$ curl -k https://<SUMA_FQDN>/pub/bootstrap/bootstrap-liberty-linux-8.sh | sudo bash

螢幕輸出 :

......................以上省略
REGISTRATION
------------
* registering
Using activation key: 1-liberty-linux-8
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service → /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

4.5. 檢查 Packages Repository

執行以下命令，列出已啟用的 Packages Repository

$ sudo yum repolist enabled

螢幕輸出 :

repo id repo name
susemanager:centos8-media-appstream Centos8 Media AppStream
susemanager:centos8-media-baseos Centos8 Media BaseOS
susemanager:res-8-updates-x86_64 RES-8-Updates for x86_64
susemanager:res-as-8-updates-x86_64 RES-AS-8-Updates for x86_64
susemanager:res-cb-8-updates-x86_64 RES-CB-8-Updates for x86_64
susemanager:res8-manager-tools-pool-x86_64 RES8-Manager-Tools-Pool for x86_64
susemanager:res8-manager-tools-updates-x86_64 RES8-Manager-Tools-Updates for x86_64
susemanager:rhel8-pool-x86_64 RHEL8-Pool for x86_

確認已更換為 SUSE Liberty Linux 8 的 Packages Repository

4.5.1 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

SUSEManager > Systems > Overview

4.5.2 透過 CLI 的方式檢查 Client 系統資訊

在 SUSE Manager Server 執行以下命令

$ spacecmd -q -- system_details centos-8

螢幕輸出 :

Name: centos-8
System ID: 1000010027
UUID: 68c38167a8b849ae85ff1b5b802b9055
Locked: False
Registered: 20231120T17:05:39
Last Checkin: 20231120T17:07:14
OSA Status: unknown
Last Boot: 20231120T16:52:29
Contact Method:default
Hostname: centos-8
IP Address: x.x.x.x
Kernel: 4.18.0-348.el8.x86_64
Activation Keys
---------------
1-liberty-linux-8
Software Channels
-----------------
rhel8-pool-x86_64
|-- res8-manager-tools-updates-x86_64
|-- res8-manager-tools-pool-x86_64
|-- res-8-updates-x86_64
|-- res-cb-8-updates-x86_64
|-- centos8-media-baseos
|-- res-as-8-updates-x86_64
|-- centos8-media-appstream
Entitlements
------------
salt_entitled
System Groups
-------------

4.6. 測試系統更新

在 SUSE Manager Client 執行以下命令

$ sudo yum update --nogpgcheck

螢幕輸出 :

... 以上省略
Transaction Summary
====================================================================
Install 14 Packages
Upgrade 398 Packages
Total size: 657 M
Is this ok [y/N]: y
... 中間省略
Installed:
NetworkManager-initscripts-updown-1:1.40.16-4.el8_8.noarch ...
Complete!

4.6.1 TroubleShooting

遇到 Transaction check error

Error:
Problem: package centos-linux-repos-8-3.el8.noarch conflicts with centos-release < 8.0-0.1905.0.10 provided by sles_es-release-8.8-0.9.el8.x86_64
- cannot install the best update candidate for package centos-linux-repos-8-3.el8.noarch
- cannot install the best update candidate for package centos-gpg-keys-1:8-3.el8.noarch
(try to add '--allowerasing' to command line to replace conflicting packages or '--skip-broken' to skip uninstallable packages or '--nobest' to use not only best candidate packages)

解決辦法 : 執行以下命令，刪除 centos-release 套件

$ sudo rpm -e --nodeps centos-linux-repos-8-3.el8.noarch centos-gpg-keys-1:8-3.el8.noarch

4.6.2 重啟系統

$ sudo reboot

4.6.3. 再次更新測試

$ sudo yum update

螢幕輸出應該如下 :

...以上省略
Dependencies resolved.
Nothing to do.
Complete!

4.6.4. 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

Updates 欄位已經是綠勾勾代表系統已更新至最新

4.6.5. 檢查 Kernel 版本是否成功更新

$ uname -a

螢幕輸出應該如下 :

Linux centos-8 4.18.0-477.27.1.el8_8.x86_64 #1 SMP Thu Sep 21 11:21:00 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

5. 參考資料

SUSE Linux Enterprise Micro

Mon, 30 Dec 2024 15:42:16 +0800

Preface

本篇文章會主要會介紹 SUSE Linux Enterprise Micro 是什麼，有哪些功能…等

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 概覽

1.1. 甚麼是 SUSE Linux Enterprise Micro

SLE Micro 是一個輕量且安全的作業系統，專為 containerized 和 virtualized workloads 而建。所謂輕量，指的是它在資源需求上和容量大小上都很低。
SLE Micro 的它的設計核心是 containers，其次是 virtual machines。此外，由於其輕量特性，它的攻擊面較小，因此使其更加安全。
它利用了 SUSE Linux Enterprise 的企業級安全性及合規性組件，並將其與現代、不可變動、開發者友好的作業系統平台結合起來。這裡所謂的不變，意指系統不可更改。

1.2. SLE Micro 的優勢

小型化：移除所有不必要的套件，只有大約 100 個軟體包可用，雖然體積小，但仍達到企業級標準。
高安全性：設計為可用於關鍵任務的操作系統。
不可變作業系統：SLE Micro 基於大部分為唯讀的檔案系統，這意味著運行中的系統無法被更改。只有在修補和重啟後，變更才會生效。
低維護需求：該系統設計為維護需求最少，支持自動化修補，便於融入變更管理計劃。
開發者友好：專為支持 Containers 和 Microservices 構建，確保 Workloads 與核心檔案系統隔離，以防止惡意應用損害系統。

1.3. 為什麼要使用 SLE Micro？

SLE Micro 為邊緣和嵌入式應用程式提供了一個安全、維護成本低且易於大規模部署的平台。
SLE Micro 非常適合任何分散式運算環境，例如 edge、embedded 或物聯網部署。邊緣只是系統不在雲端或資料中心的另一種說法。
SLE Micro 可用於構建和擴展各行各業的差異化邊緣系統，包括航空、電信、汽車、國防、醫療保健、餐旅和製造業。

想像一下所有不在人們的辦公桌上也不在資料中心的電腦系統，它們基本上運行著世界上所有其他的東西，這就是邊緣的用武之地。我們相信 SLE Micro 非常適合這些應用程式。

1.4. 核心特色

基於 SUSE Linux Enterprise：SLE Micro 5.1 構建於 SUSE Linux Enterprise 15 Service Pack 3 之上。事實上，SLE Micro 中的軟體包與在 SUSE Linux Enterprise 中找到的相同，因為它們來自相同的來源
Container 為核心：該系統針對 containerized workload 進行了優化，最小化其內建軟體包數量（約 100 個），適合使用 Kubernetes 也可以直接與 Podman 一起運行，無需執行任何特殊設定即可使 Podman 運行。
基於 btrfs 檔案系統：任何更新或新軟件包要么完全應用，要么根本不應用，如果需要，可以回滾。重新開機後，更新準備就緒。如果由於某種原因更新未正確應用，則永遠不會生效。它將始終恢復到最新版本。這樣，您就不會有部分更新的系統。由於更新錯誤，您永遠不會遇到損壞的系統。
安全性：為了提高安全性，大部分檔案系統都是唯讀的，直到更新準備好應用為止。例如，如果您進入根目錄或 /usr 目錄，則無法寫入它，即使您是 root 也不能，因為檔案系統本身是唯讀的。只有一些目錄由於特定原因可寫入，例如用於寫入記錄的 /var 或用於更改配置檔案的 /etc。
工具支持：
- Cockpit：Cockpit 是一個管理網站，允許您控制和管理 SLE Micro。可以遠端控制作業系統，並且可以將多個 Cockpit 實例鏈接到一個會話中。因此，如果您有多個設備在運行 SLE Micro，您實際上只需使用一個圖形介面即可控制所有設備。
- Toolbox：讓使用者可以執行 containerized 的系統工具，並可訪問 SUSE Linux Enterprise 套件儲存庫中的軟體套件。

1.5. 系統需求

SLE Micro 的 raw disk image 大小：
- Intel x86_64：2.5 GB
- 建議硬碟空間：SLE Micro 系統為 20 GB，Container 數據為 40 GB。
- 記憶體 (RAM)：最低 1 GB，具體需求根據 Workloads 決定。
SLE Micro 可運行於：
- Intel x86_64 處理器
- ARM64 系統（如 Raspberry Pi 4）
- IBM Z (S390X) 大型主機

1.6. 虛擬化與 KVM 支持

SLE Micro 可作為單節點虛擬化主機，自動安裝 KVM 和 libvirt，安裝後即可使用，無需額外設定。它支持在虛擬機中運行尚未 containerized 的應用程式，包括傳統應用和其他作業系統（如 Windows），滿足多種應用需求。

1.7. 使用案例

單節點 Container 主機：
- SLE Micro 是一個可在輕量級環境中執行 Container Workloads 的單節點 Container 主機。
- 預設安裝的容器執行階段是 Podman。
- 可以使用 Podman CLI 或 Cockpit（內建 Podman 模組）動態管理 containers 。
Kubernetes 叢集節點：
- SLE Micro 可以輕鬆整合到 Kubernetes 叢集中，作為叢集節點。
- 它為 Kubernetes Workloads 提供不可變的作業系統。
- 支援 K3S 或 RKE2，也可以執行第三方 Kubernetes 發行版。
- Kubernetes 在 SLE Micro 上運作良好，即使檔案系統是唯讀的。
單節點 KVM 虛擬化主機：
- SLE Micro 預先安裝並啟用了 KVM 和 libvirt。
- 可以使用 virt-install 命令從命令列直接建立虛擬機器，或使用 virt-manager 工具遠端連線到 SLE Micro。
- 如果應用程式尚未準備好 containerized，可以將其安裝在 SLE Micro 上託管的虛擬機器中。
- 尚未完全基於 Container 且需要為某些傳統工作負載執行虛擬機器的 Edge 客戶可以使用此虛擬化功能。
- SLE Micro 透過提供此虛擬化工作負載功能，彌合了傳統應用程式和 containerized 應用程式之間的差距。

2. 瞭解 SLE Micro 安裝格式

2.1. SLE Micro 安裝格式

SLE Micro 提供兩種安裝格式：

ISO 格式: 這是安裝 Linux 發行套件的標準格式，您可以將 ISO 映像檔燒錄到 CD 或 USB 隨身碟，然後再使用安裝程式安裝到系統上。
Raw 格式: 這種格式會將所有預先設定好的作業系統儲存在一個檔案中，您只需將檔案複製到目標儲存裝置即可。

兩種格式的比較：

檔案內容: 兩種格式都包含建立最終安裝系統所需的檔案。
安裝過程: ISO 格式包含額外的步驟，例如安裝畫面和設定選項。Raw 格式則會直接將檔案複製到儲存裝置。

2.2. ISO 格式

主要用途:

適用於傳統伺服器和虛擬機器。
如果您不想學習新的安裝方式，可以使用 ISO 格式。
可以透過 AutoYAST 設定檔預先定義規格，將安裝 SLE Micro 的過程自動化。

其他資訊:

您可以從 SUSE 網站下載 ISO 映像檔。

2.3. Raw 格式

主要用途:

適用於大量設定的裝置。
也適用於只需設定一次且需持續運作的裝置。
Raw 格式非常適合分散式運算和邊緣裝置，因為所有設定都已預先完成。

其他資訊:

您可以使用 dd 或 Etcher 等工具將 Raw 檔案寫入儲存媒體。
在第一次開機時，可以使用 Ignition 或 Combustion 工具設定作業系統，並且檔案系統的容量大小會自動擴展到與硬碟一樣大。
Ignition 是一個基於 YAML/JSON 的工具，而 Combustion 則使用 Bash 指令碼。

2.4. 比較 ISO 與 RAW Images

項目	ISO	RAW
磁碟分割與格式化	在第一次開機前由安裝過程執行磁碟分割與格式化。	預先分割與格式化，磁碟設置已完成。
規格設定	安裝過程會根據使用者需求配置所有必要項目。	大多數應用程式和服務已預先配置。
自動化安裝工具	支援使用 AutoYAST 進行自動化安裝與設定。	部署後的任何額外設定由 Ignition 或 Combustion 在第一次啟動時完成。

2.5. ISO 與 RAW 的系統差異

ISO 和 RAW 預設不會安裝相同的套件。
ISO 方式需要使用者在安裝系統時選擇想要的套件，或是在安裝後手動安裝。
- Cockpit、Toolbox 和其他套件選項必須在安裝時手動選擇。
RAW 方法會在預設情況下安裝幾乎整個套件集。
- 只有 LDAP 用戶端等少數可選項必須手動安裝。

Install Python 3.8 on SLE Micro 5.5

Thu, 14 Nov 2024 09:33:08 +0800

Login as root user
```
$ sudo -i
```
Open up a transactional-update shell session
```
$ transactional-update shell
```
install the necessary interdependent software packages
```
$ zypper install zlib-devel make gcc
```

Download the python from www.python.org

$ curl -sO https://www.python.org/ftp/python/3.8.20/Python-3.8.20.tgz

Unzip it and Go to the folder

$ tar zxfv Python-3.8.20.tgz && \
cd Python-3.8.20/

Make a directory where you want to put your python. I called my .localpython3.8 (name it whatever you want) and make it under the home directory. Configured the Python make
```
$ mkdir /root/.localpython3.8
$ ./configure --prefix=/root/.localpython3.8
```
Make and make altinstall (see difference between install and altinstall here)
```
$ make
$ make altinstall
```
Exit the transactional-update session and reboot to the new snapshot that contains the changes you have made
```
$ exit
$ reboot
```
Login as root user again
```
$ sudo -i
```

configure PATH env and alias

$ cat <<'EOF' >> /root/.bashrc
export PATH=/root/.localpython3.8/bin:$PATH
EOF
$ cat <<'EOF' >> /root/.alias
alias python=/root/.localpython3.8/bin/python3.8
EOF
$ exit
# Login again
$ sudo -i

寫一個簡單的程式快速測試

$ cat <<'EOF' > test.py
message = "Hello, World!"
print(message)
numbers = [1, 2, 3, 4, 5]
for num in numbers:
print(num)
def add_numbers(x, y):
return x + y
result = add_numbers(2, 3)
print(result)
import datetime
now = datetime.datetime.now()
formatted_date_time = now.strftime("%Y-%m-%d %H:%M:%S")
print(formatted_date_time)
EOF

執行測試程式

$ python test.py

執行結果如下 :

Hello, World!
1
2
3
4
5
5
2024-11-14 16:06:00

參考文章

Install Python on Linux without Sudo

Install NVIDIA GPU Driver on SL Micro 6.0 in disconnected Environment

Thu, 24 Oct 2024 12:40:36 +0800

Install NVIDIA GPU Driver on SL Micro 6.0 in disconnected Environment

1. Prepare necessary packages

執行過程

Login as root user
```
$ sudo su - root
```
Create a Dir to store cache pkg
```
$ mkdir -p /root/gpu_pkg
```

Run SLES 15 SP6 Base Container

$ podman run --privileged \
-v /root/gpu_pkg:/root/gpu_pkg \
--rm -it \
registry.suse.com/bci/bci-base:15.6 bash

Install suseconnect
```
$ zypper -n install suseconnect
```
Register BCI Container with the SUSE Customer Center.
```
$ SUSEConnect -r [REGCODE] -e <email>
```

Activate Desktop Applications Module

$ suseconnect -p sle-module-desktop-applications/15.6/x86_64

Activate Development Tools Module

$ suseconnect -p sle-module-development-tools/15.6/x86_64

Activate SUSE Linux Enterprise Workstation Extension

$ suseconnect -p sle-we/15.6/x86_64 -r [ADDITIONAL REGCODE]

Refresh All Package Repositories
```
$ zypper ref
```
如果遇到 Do you want to reject the key, or trust always? 一律回答 a

獲取 6 個 SLES 15 SP6 Package Repo 的名稱和 URI

$ zypper lr -u container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Pool \
container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Updates \
container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Pool \
container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Updates \
container-suseconnect-zypp:SLE-Product-WE15-SP6-Pool \
container-suseconnect-zypp:SLE-Product-WE15-SP6-Updates \
| grep -E "Alias|URI" \
| grep -v "GPG Key URI"

執行結果應與以下類似 :

Alias : container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Pool
URI : https://updates.suse.com/SUSE/Products/SLE-Module-Basesystem/15-SP6/x86_64/product/?xxx
Alias : container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Updates
URI : https://updates.suse.com/SUSE/Updates/SLE-Module-Basesystem/15-SP6/x86_64/update/?xxx
Alias : container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Pool
URI : https://updates.suse.com/SUSE/Products/SLE-Module-Development-Tools/15-SP6/x86_64/product/?xxx
Alias : container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Updates
URI : https://updates.suse.com/SUSE/Updates/SLE-Module-Development-Tools/15-SP6/x86_64/update/?xxx
Alias : container-suseconnect-zypp:SLE-Product-WE15-SP6-Pool
URI : https://updates.suse.com/SUSE/Products/SLE-Product-WE/15-SP6/x86_64/product/?xxx
Alias : container-suseconnect-zypp:SLE-Product-WE15-SP6-Updates
URI : https://updates.suse.com/SUSE/Updates/SLE-Product-WE/15-SP6/x86_64/update/?xxx

離開 BCI Container
```
$ exit
```
Open up a transactional-update shell session
```
$ transactional-update shell
```

add an additional package repository from NVIDIA

$ zypper ar https://download.nvidia.com/suse/sle15sp6/ nvidia-sle15sp6-main

add an NVIDIA Container Toolkit repository

$ zypper ar https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo

add additional package repositories from SLES 15 SP6

以下 zypper ar 後面接的 URI 請替換為步驟 10 得到的 URI

15.1. SLE-Module-Basesystem15-SP6-Pool for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Products/SLE-Module-Basesystem/15-SP6/x86_64/product/?xxx container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Pool

15.2. SLE-Module-Basesystem15-SP6-Updates for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Updates/SLE-Module-Basesystem/15-SP6/x86_64/update/?xxx container-suseconnect-zypp:SLE-Module-Basesystem15-SP6-Updates

15.3. SLE-Module-DevTools15-SP6-Pool for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Products/SLE-Module-Development-Tools/15-SP6/x86_64/product/?xxx container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Pool

15.4. SLE-Module-DevTools15-SP6-Updates for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Updates/SLE-Module-Development-Tools/15-SP6/x86_64/update/?xxx container-suseconnect-zypp:SLE-Module-DevTools15-SP6-Updates

15.5. SLE-Product-WE15-SP6-Pool for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Products/SLE-Product-WE/15-SP6/x86_64/product/?xxx container-suseconnect-zypp:SLE-Product-WE15-SP6-Pool

15.6. SLE-Product-WE15-SP6-Updates for sle-15-x86_64

$ zypper ar https://updates.suse.com/SUSE/Updates/SLE-Product-WE/15-SP6/x86_64/update/?xxx container-suseconnect-zypp:SLE-Product-WE15-SP6-Updates

下載必要的相依檔和套件

$ zypper --pkg-cache-dir /root/gpu_pkg \
install --auto-agree-with-licenses --download-only \
nvidia-driver-G06-kmp-default=550.90.07_k6.4.0_150600.21-150600.23.1 \
nvidia-compute-utils-G06=550.90.07 \
libOpenCL1 \
nvidia-container-toolkit

離開 transactional-update session
```
$ exit
```
將所有必要的相依檔和套件壓縮至 /root/gpu_pkg.tar.gz
```
$ cd /root; tar -czvf gpu_pkg.tar.gz gpu_pkg
```

2. Start install NVIDIA GPU Driver, `nvidia-compute-utils` and `nvidia-container-toolkit`

執行過程

將 gpu_pkg.tar.gz 傳送至 VM 中。

$ scp /PATH/TO/gpu_pkg.tar.gz user@<VM IP>:/home/user/gpu_pkg.tar.gz

將 gpu_pkg.tar.gz 搬移至 /root 目錄中
```
$ sudo mv "$HOME"/gpu_pkg.tar.gz /root
```
切換成 root 使用者
```
$ sudo su - root
```
解壓縮
```
$ tar -zxvf gpu_pkg.tar.gz
```
Open up a transactional-update shell session
```
$ transactional-update shell
```
將位於 /root/gpu_pkg 的本地 software repo 添加到系統中，並將其命名為 gpu_pkg
```
$ zypper ar /root/gpu_pkg gpu_pkg
```

安裝 nvidia-driver-G06-kmp-default, nvidia-compute-utils-G06=550.90.07 和 nvidia-container-toolkit

$ zypper --no-gpg-checks install \
--auto-agree-with-licenses \
--repo gpu_pkg \
nvidia-driver-G06-kmp-default=550.90.07_k6.4.0_150600.21-150600.23.1 \
nvidia-compute-utils-G06=550.90.07 \
nvidia-container-toolkit

執行結果 :

...
Problem: the to be installed nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 requires 'kernel-default-devel', but this requirement cannot be provided
not installable providers: kernel-default-devel-6.4.0-150600.23.25.1.x86_64[gpu_pkg]
Solution 1: Following actions will be done:
downgrade of libelf1-0.189-4.143.x86_64 to libelf1-0.185-150400.5.3.1.x86_64
downgrade of libcrypt1-4.4.36-1.134.x86_64 to libcrypt1-4.4.15-150300.4.7.1.x86_64
Solution 2: do not install nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64
Solution 3: break nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 by ignoring some of its dependencies
Choose from above solutions by number or skip, retry or cancel [1/2/3/s/r/c/d/?] (c): 1
Problem: the to be installed nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 requires 'nvidia-compute-G06', but this requirement cannot be provided
not installable providers: nvidia-compute-G06-550.90.07-150600.23.1.x86_64[gpu_pkg]
Solution 1: Following actions will be done:
downgrade of perl-base-5.38.2-1.52.x86_64 to perl-base-5.26.1-150300.17.17.1.x86_64
downgrade of libcrypt1-4.4.36-1.134.x86_64 to libcrypt1-4.4.15-150300.4.7.1.x86_64
Solution 2: do not install nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64
Solution 3: break nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 by ignoring some of its dependencies
Choose from above solutions by number or skip, retry or cancel [1/2/3/s/r/c/d/?] (c): 1
Resolving dependencies...
Resolving package dependencies...
The following package is going to be upgraded:
perl-Bootloader
The following 3 packages are going to be downgraded:
libcrypt1 libelf1 perl-base
The following 42 NEW packages are going to be installed:
binutils cpp cpp7 dwarves gcc gcc7 glibc-devel hwdata info kernel-default-devel kernel-devel kernel-macros libasan4 libatomic1 libcilkrts5
libctf-nobfd0 libctf0 libdwarves1 libelf-devel libgdbm4 libisl15 libitm1 liblsan0 libmpc3 libmpx2 libmpxwrappers2 libnvidia-container-tools
libnvidia-container1 libtsan0 libubsan0 libxcrypt-devel libzio1 linux-glibc-devel make nvidia-compute-G06 nvidia-compute-utils-G06
nvidia-container-toolkit nvidia-container-toolkit-base nvidia-driver-G06-kmp-default pciutils perl zlib-devel
1 package to upgrade, 3 to downgrade, 42 new.
Overall download size: 159.6 MiB. Already cached: 6.8 MiB. After the operation, additional 636.7 MiB will be used.
Continue? [y/n/v/...? shows all options] (y): y

Loading repository data...
Reading installed packages...
Resolving package dependencies...
2 Problems:
Problem: the to be installed nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 requires 'kernel-default-devel', but this requirement cannot be provided
Problem: the to be installed nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 requires 'nvidia-compute-G06', but this requirement cannot be provided
Problem: the to be installed nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 requires 'kernel-default-devel', but this requirement cannot be provided
not installable providers: kernel-default-devel-6.4.0-150600.23.25.1.x86_64[gpu_pkg]
Solution 1: Following actions will be done:
downgrade of libelf1-0.189-4.143.x86_64 to libelf1-0.185-150400.5.3.1.x86_64
downgrade of libcrypt1-4.4.36-1.134.x86_64 to libcrypt1-4.4.15-150300.4.7.1.x86_64
Solution 2: do not install nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64
Solution 3: break nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 by ignoring some of its dependencies
Choose from above solutions by number or skip, retry or cancel [1/2/3/s/r/c/d/?] (c): 1
Problem: the to be installed nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 requires 'nvidia-compute-G06', but this requirement cannot be provided
not installable providers: nvidia-compute-G06-550.90.07-150600.23.1.x86_64[gpu_pkg]
Solution 1: Following actions will be done:
downgrade of perl-base-5.38.2-1.52.x86_64 to perl-base-5.26.1-150300.17.17.1.x86_64
downgrade of libcrypt1-4.4.36-1.134.x86_64 to libcrypt1-4.4.15-150300.4.7.1.x86_64
Solution 2: do not install nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64
Solution 3: break nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 by ignoring some of its dependencies
Choose from above solutions by number or skip, retry or cancel [1/2/3/s/r/c/d/?] (c): 1
Resolving dependencies...
Resolving package dependencies...
The following package is going to be upgraded:
perl-Bootloader
The following 3 packages are going to be downgraded:
libcrypt1 libelf1 perl-base
The following 42 NEW packages are going to be installed:
binutils cpp cpp7 dwarves gcc gcc7 glibc-devel hwdata info kernel-default-devel kernel-devel kernel-macros libasan4 libatomic1 libcilkrts5
libctf-nobfd0 libctf0 libdwarves1 libelf-devel libgdbm4 libisl15 libitm1 liblsan0 libmpc3 libmpx2 libmpxwrappers2 libnvidia-container-tools
libnvidia-container1 libtsan0 libubsan0 libxcrypt-devel libzio1 linux-glibc-devel make nvidia-compute-G06 nvidia-compute-utils-G06
nvidia-container-toolkit nvidia-container-toolkit-base nvidia-driver-G06-kmp-default pciutils perl zlib-devel
1 package to upgrade, 3 to downgrade, 42 new.
Overall download size: 159.6 MiB. Already cached: 6.8 MiB. After the operation, additional 636.7 MiB will be used.
Continue? [y/n/v/...? shows all options] (y): y
In cache libasan4-7.5.0+r278197-150000.4.41.1.x86_64.rpm (1/46), 364.2 KiB
In cache libcilkrts5-7.5.0+r278197-150000.4.41.1.x86_64.rpm (2/46), 67.8 KiB
In cache libcrypt1-4.4.15-150300.4.7.1.x86_64.rpm (3/46), 104.9 KiB
In cache libelf1-0.185-150400.5.3.1.x86_64.rpm (4/46), 67.9 KiB
In cache libgdbm4-1.12-1.418.x86_64.rpm (5/46), 76.5 KiB
In cache libisl15-0.18-1.443.x86_64.rpm (6/46), 550.6 KiB
In cache libmpc3-1.1.0-1.47.x86_64.rpm (7/46), 49.6 KiB
In cache libmpx2-8.2.1+r264010-150000.1.6.4.x86_64.rpm (8/46), 19.4 KiB
In cache libmpxwrappers2-8.2.1+r264010-150000.1.6.4.x86_64.rpm (9/46), 18.1 KiB
In cache libtsan0-11.3.0+git1637-150000.1.11.2.x86_64.rpm (10/46), 328.9 KiB
In cache libubsan0-7.5.0+r278197-150000.4.41.1.x86_64.rpm (11/46), 141.1 KiB
In cache libzio1-1.06-2.20.x86_64.rpm (12/46), 25.0 KiB
In cache linux-glibc-devel-6.4-150600.2.17.x86_64.rpm (13/46), 1.2 MiB
In cache kernel-macros-6.4.0-150600.23.25.1.noarch.rpm (14/46), 3.4 MiB
In cache libatomic1-14.2.0+git10526-150000.1.3.3.x86_64.rpm (15/46), 21.1 KiB
In cache libctf-nobfd0-2.43-150100.7.49.1.x86_64.rpm (16/46), 158.0 KiB
In cache libitm1-14.2.0+git10526-150000.1.3.3.x86_64.rpm (17/46), 37.2 KiB
In cache liblsan0-14.2.0+git10526-150000.1.3.3.x86_64.rpm (18/46), 194.3 KiB
Retrieving: nvidia-container-toolkit-base-1.16.2-1.x86_64 (gpu_pkg) (19/46), 5.6 MiB
nvidia-container-toolkit-base-1.16.2-1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
nvidia-container-toolkit-base-1.16.2-1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
warning: /root/gpu_pkg/nvidia-container-toolkit/nvidia-container-toolkit-base-1.16.2-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Looking for gpg key ID F796ECB0 in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: perl-base-5.26.1-150300.17.17.1.x86_64 (gpu_pkg) (20/46), 1.3 MiB
Retrieving: libxcrypt-devel-4.4.15-150300.4.7.1.x86_64 (gpu_pkg) (21/46), 32.6 KiB
Retrieving: libnvidia-container1-1.16.2-1.x86_64 (gpu_pkg) (22/46), 999.8 KiB
libnvidia-container1-1.16.2-1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
libnvidia-container1-1.16.2-1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
Looking for gpg key ID F796ECB0 in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: libdwarves1-1.25-150600.1.4.x86_64 (gpu_pkg) (23/46), 89.5 KiB
Retrieving: cpp7-7.5.0+r278197-150000.4.41.1.x86_64 (gpu_pkg) (24/46), 7.9 MiB
Retrieving: info-6.5-4.17.x86_64 (gpu_pkg) (25/46), 172.6 KiB
Retrieving: kernel-devel-6.4.0-150600.23.25.1.noarch (gpu_pkg) (26/46), 18.3 MiB
Retrieving: perl-5.26.1-150300.17.17.1.x86_64 (gpu_pkg) (27/46), 6.5 MiB
Retrieving: perl-Bootloader-1.8.2-150600.3.3.1.x86_64 (gpu_pkg) (28/46), 41.2 KiB
Retrieving: glibc-devel-2.38-150600.14.14.2.x86_64 (gpu_pkg) (29/46), 648.6 KiB
Retrieving: libnvidia-container-tools-1.16.2-1.x86_64 (gpu_pkg) (30/46), 39.3 KiB
libnvidia-container-tools-1.16.2-1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
libnvidia-container-tools-1.16.2-1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
Looking for gpg key ID F796ECB0 in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: dwarves-1.25-150600.1.4.x86_64 (gpu_pkg) (31/46), 113.4 KiB
Retrieving: cpp-7-3.9.1.x86_64 (gpu_pkg) (32/46), 9.4 KiB
Retrieving: libctf0-2.43-150100.7.49.1.x86_64 (gpu_pkg) (33/46), 157.0 KiB
Retrieving: binutils-2.43-150100.7.49.1.x86_64 (gpu_pkg) (34/46), 6.8 MiB
Retrieving: make-4.2.1-7.3.2.x86_64 (gpu_pkg) (35/46), 281.7 KiB
Retrieving: hwdata-0.380-150000.3.68.1.noarch (gpu_pkg) (36/46), 1.5 MiB
Retrieving: zlib-devel-1.2.13-150500.4.3.1.x86_64 (gpu_pkg) (37/46), 121.3 KiB
Retrieving: nvidia-container-toolkit-1.16.2-1.x86_64 (gpu_pkg) (38/46), 1.2 MiB
nvidia-container-toolkit-1.16.2-1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
V4 RSA/SHA512 Signature, key ID ddcae044f796ecb0: NOKEY
nvidia-container-toolkit-1.16.2-1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
Looking for gpg key ID F796ECB0 in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: gcc7-7.5.0+r278197-150000.4.41.1.x86_64 (gpu_pkg) (39/46), 19.7 MiB
Retrieving: pciutils-3.5.6-150300.13.6.1.x86_64 (gpu_pkg) (40/46), 71.1 KiB
Retrieving: libelf-devel-0.185-150400.5.3.1.x86_64 (gpu_pkg) (41/46), 741.7 KiB
Retrieving: gcc-7-3.9.1.x86_64 (gpu_pkg) (42/46), 10.4 KiB
Retrieving: kernel-default-devel-6.4.0-150600.23.25.1.x86_64 (gpu_pkg) (43/46), 6.8 MiB
Retrieving: nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 (gpu_pkg) (44/46), 39.7 MiB
nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
warning: /root/gpu_pkg/nvidia-sle15sp6-main/x86_64/nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Looking for gpg key ID DB27FD5A in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: nvidia-compute-G06-550.90.07-150600.23.1.x86_64 (gpu_pkg) (45/46), 40.1 MiB
nvidia-compute-G06-550.90.07-150600.23.1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
nvidia-compute-G06-550.90.07-150600.23.1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
Looking for gpg key ID DB27FD5A in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Retrieving: nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 (gpu_pkg) (46/46), 674.4 KiB
nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64.rpm:
Header V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
V4 RSA/SHA512 Signature, key ID b1d0d788db27fd5a: NOKEY
nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 (gpu_pkg): Signature verification failed [4-Signatures public key is not available]
Accepting package despite the error. (--no-gpg-checks)
Looking for gpg key ID DB27FD5A in cache /var/cache/zypp/pubkeys.
Repository gpu_pkg does not define additional 'gpgkey=' URLs.
Checking for file conflicts: ..............................................................................................................[done]
( 1/46) Installing: libasan4-7.5.0+r278197-150000.4.41.1.x86_64 ...........................................................................[done]
( 2/46) Installing: libcilkrts5-7.5.0+r278197-150000.4.41.1.x86_64 ........................................................................[done]
( 3/46) Installing: libcrypt1-4.4.15-150300.4.7.1.x86_64 ..................................................................................[done]
( 4/46) Installing: libelf1-0.185-150400.5.3.1.x86_64 .....................................................................................[done]
( 5/46) Installing: libgdbm4-1.12-1.418.x86_64 ............................................................................................[done]
( 6/46) Installing: libisl15-0.18-1.443.x86_64 ............................................................................................[done]
( 7/46) Installing: libmpc3-1.1.0-1.47.x86_64 .............................................................................................[done]
( 8/46) Installing: libmpx2-8.2.1+r264010-150000.1.6.4.x86_64 .............................................................................[done]
( 9/46) Installing: libmpxwrappers2-8.2.1+r264010-150000.1.6.4.x86_64 .....................................................................[done]
(10/46) Installing: libtsan0-11.3.0+git1637-150000.1.11.2.x86_64 ..........................................................................[done]
(11/46) Installing: libubsan0-7.5.0+r278197-150000.4.41.1.x86_64 ..........................................................................[done]
(12/46) Installing: libzio1-1.06-2.20.x86_64 ..............................................................................................[done]
(13/46) Installing: linux-glibc-devel-6.4-150600.2.17.x86_64 ..............................................................................[done]
(14/46) Installing: kernel-macros-6.4.0-150600.23.25.1.noarch .............................................................................[done]
(15/46) Installing: libatomic1-14.2.0+git10526-150000.1.3.3.x86_64 ........................................................................[done]
(16/46) Installing: libctf-nobfd0-2.43-150100.7.49.1.x86_64 ...............................................................................[done]
(17/46) Installing: libitm1-14.2.0+git10526-150000.1.3.3.x86_64 ...........................................................................[done]
(18/46) Installing: liblsan0-14.2.0+git10526-150000.1.3.3.x86_64 ..........................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-container-toolkit/nvidia-container-toolkit-base-1.16.2-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
(19/46) Installing: nvidia-container-toolkit-base-1.16.2-1.x86_64 .........................................................................[done]
(20/46) Installing: perl-base-5.26.1-150300.17.17.1.x86_64 ................................................................................[done]
(21/46) Installing: libxcrypt-devel-4.4.15-150300.4.7.1.x86_64 ............................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-container-toolkit/libnvidia-container1-1.16.2-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
(22/46) Installing: libnvidia-container1-1.16.2-1.x86_64 ..................................................................................[done]
(23/46) Installing: libdwarves1-1.25-150600.1.4.x86_64 ....................................................................................[done]
(24/46) Installing: cpp7-7.5.0+r278197-150000.4.41.1.x86_64 ...............................................................................[done]
install-info: No such file or directory for /usr/share/info/info-stnd.info.gz
(25/46) Installing: info-6.5-4.17.x86_64 ..................................................................................................[done]
(26/46) Installing: kernel-devel-6.4.0-150600.23.25.1.noarch ..............................................................................[done]
(27/46) Installing: perl-5.26.1-150300.17.17.1.x86_64 .....................................................................................[done]
(28/46) Installing: perl-Bootloader-1.8.2-150600.3.3.1.x86_64 .............................................................................[done]
(29/46) Installing: glibc-devel-2.38-150600.14.14.2.x86_64 ................................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-container-toolkit/libnvidia-container-tools-1.16.2-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
(30/46) Installing: libnvidia-container-tools-1.16.2-1.x86_64 .............................................................................[done]
(31/46) Installing: dwarves-1.25-150600.1.4.x86_64 ........................................................................................[done]
(32/46) Installing: cpp-7-3.9.1.x86_64 ....................................................................................................[done]
(33/46) Installing: libctf0-2.43-150100.7.49.1.x86_64 .....................................................................................[done]
update-alternatives: using /usr/bin/ld.bfd to provide /usr/bin/ld (ld) in auto mode
install-info: No such file or directory for /usr/share/info/as.info.gz
install-info: No such file or directory for /usr/share/info/bfd.info.gz
install-info: No such file or directory for /usr/share/info/binutils.info.gz
install-info: No such file or directory for /usr/share/info/gprof.info.gz
install-info: No such file or directory for /usr/share/info/ld.info.gz
(34/46) Installing: binutils-2.43-150100.7.49.1.x86_64 ....................................................................................[done]
install-info: No such file or directory for /usr/share/info/make.info.gz
(35/46) Installing: make-4.2.1-7.3.2.x86_64 ...............................................................................................[done]
(36/46) Installing: hwdata-0.380-150000.3.68.1.noarch .....................................................................................[done]
(37/46) Installing: zlib-devel-1.2.13-150500.4.3.1.x86_64 .................................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-container-toolkit/nvidia-container-toolkit-1.16.2-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
(38/46) Installing: nvidia-container-toolkit-1.16.2-1.x86_64 ..............................................................................[done]
(39/46) Installing: gcc7-7.5.0+r278197-150000.4.41.1.x86_64 ...............................................................................[done]
(40/46) Installing: pciutils-3.5.6-150300.13.6.1.x86_64 ...................................................................................[done]
(41/46) Installing: libelf-devel-0.185-150400.5.3.1.x86_64 ................................................................................[done]
(42/46) Installing: gcc-7-3.9.1.x86_64 ....................................................................................................[done]
(43/46) Installing: kernel-default-devel-6.4.0-150600.23.25.1.x86_64 ......................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-sle15sp6-main/x86_64/nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
make: Entering directory '/usr/src/linux-6.4.0-150600.23.25-obj/x86_64/default'
MODPOST /usr/src/kernel-modules/nvidia-550.90.07-default/Module.symvers
make: Leaving directory '/usr/src/linux-6.4.0-150600.23.25-obj/x86_64/default'
/usr/src/kernel-modules/nvidia-550.90.07-default /
make[1]: Entering directory '/usr/src/linux-6.4.0-150600.23.25'
make[2]: Entering directory '/usr/src/linux-6.4.0-150600.23.25-obj/x86_64/default'
warning: the compiler differs from the one used to build the kernel
The kernel was built by: gcc (SUSE Linux) 7.5.0
You are using: cc (SUSE Linux) 7.5.0
SYMLINK /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-kernel.o
SYMLINK /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nv-modeset-kernel.o
CONFTEST: hash__remap_4k_pfn
CONFTEST: set_pages_uc
CONFTEST: list_is_first
CONFTEST: set_memory_uc
CONFTEST: set_memory_array_uc
CONFTEST: set_pages_array_uc
CONFTEST: ioremap_cache
CONFTEST: ioremap_wc
CONFTEST: ioremap_driver_hardened
CONFTEST: ioremap_driver_hardened_wc
CONFTEST: ioremap_cache_shared
CONFTEST: pci_get_domain_bus_and_slot
CONFTEST: get_num_physpages
CONFTEST: pde_data
CONFTEST: xen_ioemu_inject_msi
CONFTEST: phys_to_dma
CONFTEST: get_dma_ops
CONFTEST: dma_attr_macros
CONFTEST: dma_map_page_attrs
CONFTEST: write_cr4
CONFTEST: of_find_node_by_phandle
CONFTEST: of_node_to_nid
CONFTEST: pnv_pci_get_npu_dev
CONFTEST: of_get_ibm_chip_id
CONFTEST: pci_bus_address
CONFTEST: pci_stop_and_remove_bus_device
CONFTEST: pci_rebar_get_possible_sizes
CONFTEST: wait_for_random_bytes
CONFTEST: register_cpu_notifier
CONFTEST: cpuhp_setup_state
CONFTEST: dma_map_resource
CONFTEST: get_backlight_device_by_name
CONFTEST: timer_setup
CONFTEST: pci_enable_msix_range
CONFTEST: kernel_read_has_pointer_pos_arg
CONFTEST: kernel_write_has_pointer_pos_arg
CONFTEST: dma_direct_map_resource
CONFTEST: tegra_get_platform
CONFTEST: tegra_bpmp_send_receive
CONFTEST: flush_cache_all
CONFTEST: vmf_insert_pfn
CONFTEST: jiffies_to_timespec
CONFTEST: ktime_get_raw_ts64
CONFTEST: ktime_get_real_ts64
CONFTEST: full_name_hash
CONFTEST: pci_enable_atomic_ops_to_root
CONFTEST: vga_tryget
CONFTEST: cc_platform_has
CONFTEST: seq_read_iter
CONFTEST: follow_pfn
CONFTEST: drm_gem_object_get
CONFTEST: drm_gem_object_put_unlocked
CONFTEST: add_memory_driver_managed
CONFTEST: device_property_read_u64
CONFTEST: devm_of_platform_populate
CONFTEST: of_dma_configure
CONFTEST: of_property_count_elems_of_size
CONFTEST: of_property_read_variable_u8_array
CONFTEST: of_property_read_variable_u32_array
CONFTEST: i2c_new_client_device
CONFTEST: i2c_unregister_device
CONFTEST: of_get_named_gpio
CONFTEST: devm_gpio_request_one
CONFTEST: gpio_direction_input
CONFTEST: gpio_direction_output
CONFTEST: gpio_get_value
CONFTEST: gpio_set_value
CONFTEST: gpio_to_irq
CONFTEST: icc_get
CONFTEST: icc_put
CONFTEST: icc_set_bw
CONFTEST: dma_buf_export_args
CONFTEST: dma_buf_ops_has_kmap
CONFTEST: dma_buf_ops_has_kmap_atomic
CONFTEST: dma_buf_ops_has_map
CONFTEST: dma_buf_ops_has_map_atomic
CONFTEST: dma_buf_has_dynamic_attachment
CONFTEST: dma_buf_attachment_has_peer2peer
CONFTEST: dma_set_mask_and_coherent
CONFTEST: devm_clk_bulk_get_all
CONFTEST: get_task_ioprio
CONFTEST: mdev_set_iommu_device
CONFTEST: offline_and_remove_memory
CONFTEST: crypto_tfm_ctx_aligned
CONFTEST: wait_on_bit_lock_argument_count
CONFTEST: radix_tree_empty
CONFTEST: radix_tree_replace_slot
CONFTEST: pnv_npu2_init_context
CONFTEST: cpumask_of_node
CONFTEST: ioasid_get
CONFTEST: mm_pasid_drop
CONFTEST: mmget_not_zero
CONFTEST: mmgrab
CONFTEST: iommu_sva_bind_device_has_drvdata_arg
CONFTEST: vm_fault_to_errno
CONFTEST: find_next_bit_wrap
CONFTEST: iommu_is_dma_domain
CONFTEST: acpi_video_backlight_use_native
CONFTEST: drm_dev_unref
CONFTEST: drm_reinit_primary_mode_group
CONFTEST: get_user_pages_remote
CONFTEST: get_user_pages
CONFTEST: pin_user_pages_remote
CONFTEST: pin_user_pages
CONFTEST: drm_gem_object_lookup
CONFTEST: drm_atomic_state_ref_counting
CONFTEST: drm_driver_has_gem_prime_res_obj
CONFTEST: drm_atomic_helper_connector_dpms
CONFTEST: drm_connector_funcs_have_mode_in_name
CONFTEST: drm_connector_has_vrr_capable_property
CONFTEST: drm_framebuffer_get
CONFTEST: drm_dev_put
CONFTEST: drm_format_num_planes
CONFTEST: drm_connector_for_each_possible_encoder
CONFTEST: drm_rotation_available
CONFTEST: drm_vma_offset_exact_lookup_locked
CONFTEST: nvhost_dma_fence_unpack
CONFTEST: dma_fence_set_error
CONFTEST: fence_set_error
CONFTEST: sync_file_get_fence
CONFTEST: drm_aperture_remove_conflicting_pci_framebuffers
CONFTEST: drm_fbdev_generic_setup
CONFTEST: drm_connector_attach_hdr_output_metadata_property
CONFTEST: drm_helper_crtc_enable_color_mgmt
CONFTEST: drm_crtc_enable_color_mgmt
CONFTEST: drm_atomic_helper_legacy_gamma_set
CONFTEST: is_export_symbol_gpl_of_node_to_nid
CONFTEST: is_export_symbol_gpl_sme_active
CONFTEST: is_export_symbol_present_swiotlb_map_sg_attrs
CONFTEST: is_export_symbol_present_swiotlb_dma_ops
CONFTEST: is_export_symbol_present___close_fd
CONFTEST: is_export_symbol_present_close_fd
CONFTEST: is_export_symbol_present_get_unused_fd
CONFTEST: is_export_symbol_present_get_unused_fd_flags
CONFTEST: is_export_symbol_present_nvhost_get_default_device
CONFTEST: is_export_symbol_present_nvhost_syncpt_unit_interface_get_byte_offset
CONFTEST: is_export_symbol_present_nvhost_syncpt_unit_interface_get_aperture
CONFTEST: is_export_symbol_present_tegra_dce_register_ipc_client
CONFTEST: is_export_symbol_present_tegra_dce_unregister_ipc_client
CONFTEST: is_export_symbol_present_tegra_dce_client_ipc_send_recv
CONFTEST: is_export_symbol_present_dram_clk_to_mc_clk
CONFTEST: is_export_symbol_present_get_dram_num_channels
CONFTEST: is_export_symbol_present_tegra_dram_types
CONFTEST: is_export_symbol_present_pxm_to_node
CONFTEST: is_export_symbol_present_screen_info
CONFTEST: is_export_symbol_gpl_screen_info
CONFTEST: is_export_symbol_present_i2c_bus_status
CONFTEST: is_export_symbol_present_tegra_fuse_control_read
CONFTEST: is_export_symbol_present_tegra_get_platform
CONFTEST: is_export_symbol_present_pci_find_host_bridge
CONFTEST: is_export_symbol_present_tsec_comms_send_cmd
CONFTEST: is_export_symbol_present_tsec_comms_set_init_cb
CONFTEST: is_export_symbol_present_tsec_comms_clear_init_cb
CONFTEST: is_export_symbol_present_tsec_comms_alloc_mem_from_gscco
CONFTEST: is_export_symbol_present_tsec_comms_free_gscco_mem
CONFTEST: is_export_symbol_present_memory_block_size_bytes
CONFTEST: crypto
CONFTEST: is_export_symbol_present_follow_pte
CONFTEST: is_export_symbol_present_int_active_memcg
CONFTEST: is_export_symbol_present_migrate_vma_setup
CONFTEST: dma_ops
CONFTEST: swiotlb_dma_ops
CONFTEST: noncoherent_swiotlb_dma_ops
CONFTEST: vm_fault_has_address
CONFTEST: vm_insert_pfn_prot
CONFTEST: vmf_insert_pfn_prot
CONFTEST: vm_ops_fault_removed_vma_arg
CONFTEST: kmem_cache_has_kobj_remove_work
CONFTEST: sysfs_slab_unlink
CONFTEST: proc_ops
CONFTEST: timespec64
CONFTEST: vmalloc_has_pgprot_t_arg
CONFTEST: mm_has_mmap_lock
CONFTEST: pci_channel_state
CONFTEST: pci_dev_has_ats_enabled
CONFTEST: remove_memory_has_nid_arg
CONFTEST: add_memory_driver_managed_has_mhp_flags_arg
CONFTEST: num_registered_fb
CONFTEST: pci_driver_has_driver_managed_dma
CONFTEST: vm_area_struct_has_const_vm_flags
CONFTEST: memory_failure_has_trapno_arg
CONFTEST: foll_longterm_present
CONFTEST: bus_type_has_iommu_ops
CONFTEST: backing_dev_info
CONFTEST: mm_context_t
CONFTEST: vm_fault_t
CONFTEST: mmu_notifier_ops_invalidate_range
CONFTEST: mmu_notifier_ops_arch_invalidate_secondary_tlbs
CONFTEST: migrate_vma_added_flags
CONFTEST: migrate_device_range
CONFTEST: handle_mm_fault_has_mm_arg
CONFTEST: handle_mm_fault_has_pt_regs_arg
CONFTEST: mempolicy_has_unified_nodes
CONFTEST: mempolicy_has_home_node
CONFTEST: mpol_preferred_many_present
CONFTEST: mmu_interval_notifier
CONFTEST: drm_bus_present
CONFTEST: drm_bus_has_bus_type
CONFTEST: drm_bus_has_get_irq
CONFTEST: drm_bus_has_get_name
CONFTEST: drm_driver_has_device_list
CONFTEST: drm_driver_has_legacy_dev_list
CONFTEST: drm_driver_has_set_busid
CONFTEST: drm_crtc_state_has_connectors_changed
CONFTEST: drm_init_function_args
CONFTEST: drm_helper_mode_fill_fb_struct
CONFTEST: drm_master_drop_has_from_release_arg
CONFTEST: drm_driver_unload_has_int_return_type
CONFTEST: drm_atomic_helper_crtc_destroy_state_has_crtc_arg
CONFTEST: drm_atomic_helper_plane_destroy_state_has_plane_arg
CONFTEST: drm_mode_object_find_has_file_priv_arg
CONFTEST: dma_buf_owner
CONFTEST: drm_connector_list_iter
CONFTEST: drm_atomic_helper_swap_state_has_stall_arg
CONFTEST: drm_driver_prime_flag_present
CONFTEST: drm_gem_object_has_resv
CONFTEST: drm_crtc_state_has_async_flip
CONFTEST: drm_crtc_state_has_pageflip_flags
CONFTEST: drm_crtc_state_has_vrr_enabled
CONFTEST: drm_format_modifiers_present
CONFTEST: drm_vma_node_is_allowed_has_tag_arg
CONFTEST: drm_vma_offset_node_has_readonly
CONFTEST: drm_display_mode_has_vrefresh
CONFTEST: drm_driver_master_set_has_int_return_type
CONFTEST: drm_driver_has_gem_free_object
CONFTEST: drm_prime_pages_to_sg_has_drm_device_arg
CONFTEST: drm_driver_has_gem_prime_callbacks
CONFTEST: drm_crtc_atomic_check_has_atomic_state_arg
CONFTEST: drm_gem_object_vmap_has_map_arg
CONFTEST: drm_plane_atomic_check_has_atomic_state_arg
CONFTEST: drm_device_has_pdev
CONFTEST: drm_crtc_state_has_no_vblank
CONFTEST: drm_mode_config_has_allow_fb_modifiers
CONFTEST: drm_has_hdr_output_metadata
CONFTEST: dma_resv_add_fence
CONFTEST: dma_resv_reserve_fences
CONFTEST: reservation_object_reserve_shared_has_num_fences_arg
CONFTEST: drm_connector_has_override_edid
CONFTEST: drm_master_has_leases
CONFTEST: drm_file_get_master
CONFTEST: drm_modeset_lock_all_end
CONFTEST: drm_connector_lookup
CONFTEST: drm_connector_put
CONFTEST: drm_driver_has_dumb_destroy
CONFTEST: fence_ops_use_64bit_seqno
CONFTEST: drm_aperture_remove_conflicting_pci_framebuffers_has_driver_arg
CONFTEST: drm_mode_create_dp_colorspace_property_has_supported_colorspaces_arg
CONFTEST: drm_unlocked_ioctl_flag_present
CONFTEST: dom0_kernel_present
CONFTEST: nvidia_vgpu_kvm_build
CONFTEST: nvidia_grid_build
CONFTEST: nvidia_grid_csp_build
CONFTEST: pm_runtime_available
CONFTEST: pci_class_multimedia_hd_audio
CONFTEST: drm_available
CONFTEST: vfio_pci_core_available
CONFTEST: mdev_available
CONFTEST: cmd_uphy_display_port_init
CONFTEST: cmd_uphy_display_port_off
CONFTEST: memory_failure_mf_sw_simulated_defined
CONFTEST: drm_atomic_available
CONFTEST: is_export_symbol_gpl_refcount_inc
CONFTEST: is_export_symbol_gpl_refcount_dec_and_test
CONFTEST: drm_alpha_blending_available
CONFTEST: is_export_symbol_present_drm_gem_prime_fd_to_handle
CONFTEST: is_export_symbol_present_drm_gem_prime_handle_to_fd
CONFTEST: ib_peer_memory_symbols
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pci.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-dmabuf.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-nano-timer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-acpi.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-cray.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-dma.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-i2c.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-mmap.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-p2p.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pat.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-procfs.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-usermap.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-vm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-vtophys.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-interface.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-mlock.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-pci.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-registry.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-usermap.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-modeset-interface.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pci-table.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-kthread-q.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-memdbg.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-ibmnpu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-report-err.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-rsync.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-msi.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-caps.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-caps-imex.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv_uvm_interface.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_aead.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_ecc.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hkdf.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rand.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_shash.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rsa.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_aead_aes_gcm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_sha.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hmac_sha.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_internal_crypt_lib.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hkdf_sha.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_ec.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_x509.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rsa_ext.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nvlink_linux.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nvlink_caps.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/linux_nvswitch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/procfs_nvswitch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/i2c_nvswitch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ats_sva.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_conf_computing.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_sec2_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_sec2.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper_sec2.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_common.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_linux.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/nvstatus.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/nvCpuUuid.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/nv-kthread-q.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/nv-kthread-q-selftest.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_tools.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_global.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_isr.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_procfs.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_space.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_space_mm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_semaphore.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_mem.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_rm_mem.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_channel.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_lock.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hal.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_processors.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_tree.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_rb_tree.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_allocator.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_range.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_policy.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_block.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_group.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_replayable_faults.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_non_replayable_faults.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_access_counters.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_events.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_module.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pte_batch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_tlb_batch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_push.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pushbuffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_thread_context.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_tracker.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_ce.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_fault_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_maxwell_access_counter_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pascal.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pascal_ce.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pascal_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pascal_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pascal_fault_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta_ce.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta_fault_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_volta_access_counter_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_turing.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_turing_access_counter_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_turing_fault_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_turing_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_turing_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ampere.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ampere_ce.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ampere_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ampere_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper_fault_buffer.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper_ce.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper_host.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hopper_mmu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ada.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_policy.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_utils.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_kvmalloc.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pmm_sysmem.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pmm_gpu.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_migrate.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_populate_pageable.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_migrate_pageable.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_map_external.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_user_channel.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_hmm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_heuristics.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_thrashing.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_prefetch.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ats.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ats_ibm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ats_faults.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_test_rng.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_tree_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_allocator_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_gpu_semaphore_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_mem_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_rm_mem_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_page_tree_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_tracker_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_push_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_channel_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_ce_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_host_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_lock_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_utils_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_kvmalloc_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pmm_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_pmm_sysmem_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_events_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_perf_module_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_get_rm_ptes_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_fault_buffer_flush_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_peer_identity_mappings_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_va_block_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_range_group_tree_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_thread_context_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm/uvm_rb_tree_test.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nvidia-modeset-linux.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nv-kthread-q.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-drv.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-utils.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-crtc.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-encoder.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-connector.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-gem.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-fb.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-modeset.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-fence.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-helper.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nv-kthread-q.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nv-pci-table.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-gem-nvkms-memory.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-gem-user-memory.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-gem-dma-buf.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-format.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-os-interface.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm/nvidia-drm-linux.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem/nvidia-peermem.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset.o
ld.bfd -r -o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-interface.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pci.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-dmabuf.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-nano-timer.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-acpi.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-cray.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-dma.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-i2c.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-mmap.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-p2p.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pat.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-procfs.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-usermap.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-vm.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-vtophys.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-interface.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-mlock.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-pci.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-registry.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/os-usermap.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-modeset-interface.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-pci-table.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-kthread-q.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-memdbg.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-ibmnpu.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-report-err.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-rsync.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-msi.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-caps.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv-caps-imex.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nv_uvm_interface.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_aead.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_ecc.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hkdf.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rand.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_shash.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rsa.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_aead_aes_gcm.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_sha.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hmac_sha.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_internal_crypt_lib.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_hkdf_sha.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_ec.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_x509.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/libspdm_rsa_ext.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nvlink_linux.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/nvlink_caps.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/linux_nvswitch.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/procfs_nvswitch.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia/i2c_nvswitch.o
ld.bfd -r -o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nv-modeset-interface.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nvidia-modeset-linux.o /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset/nv-kthread-q.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem.o
MODPOST /usr/src/kernel-modules/nvidia-550.90.07-default/Module.symvers
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia.mod.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm.mod.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset.mod.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm.mod.o
CC [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem.mod.o
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia.ko
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm.ko
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset.ko
BTF [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset.ko
Skipping BTF generation for /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-modeset.ko due to unavailability of vmlinux
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm.ko
BTF [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm.ko
Skipping BTF generation for /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-drm.ko due to unavailability of vmlinux
BTF [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia.ko
Skipping BTF generation for /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia.ko due to unavailability of vmlinux
LD [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem.ko
BTF [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm.ko
Skipping BTF generation for /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-uvm.ko due to unavailability of vmlinux
BTF [M] /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem.ko
Skipping BTF generation for /usr/src/kernel-modules/nvidia-550.90.07-default/nvidia-peermem.ko due to unavailability of vmlinux
make[2]: Leaving directory '/usr/src/linux-6.4.0-150600.23.25-obj/x86_64/default'
make[1]: Leaving directory '/usr/src/linux-6.4.0-150600.23.25'
ld.bfd -T /usr/src/linux-obj/x86_64/default/scripts/module.lds -r -o nv-linux.o \
nvidia.mod.o nvidia/nv-interface.o
/
depmod: WARNING: could not open modules.order at /usr/lib/modules/6.4.0-150600.23.25-default: No such file or directory
depmod: WARNING: could not open modules.builtin at /usr/lib/modules/6.4.0-150600.23.25-default: No such file or directory
depmod: WARNING: could not open modules.builtin.modinfo at /usr/lib/modules/6.4.0-150600.23.25-default: No such file or directory
/usr/src/kernel-modules/nvidia-550.90.07-default /
rm -f -r conftest
make[1]: *** /lib/modules/6.4.0-18-default/build: No such file or directory. Stop.
make: *** [Makefile:85: clean] Error 2
/
EFI variables are not supported on this system
update-alternatives: using /usr/lib/nvidia/alternate-install-present-default to provide /usr/lib/nvidia/alternate-install-present (alternate-install-present) in auto mode
Modprobe blacklist files have been created at /etc/modprobe.d to prevent Nouveau from loading. This can be reverted by deleting /etc/modprobe.d/nvidia-*.conf.
*** Reboot your computer and verify that the NVIDIA graphics driver can be loaded. ***
WARNING: nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1 does not contain any kernel modules
cat: /var/tmp/weak-modules2.uSa5FP/krel-nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1: No such file or directory
/usr/lib/module-init-tools/weak-modules2: line 146: /var/tmp/weak-modules2.uSa5FP/modules-nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1: No such file or directory
/usr/lib/module-init-tools/weak-modules2: line 658: /var/tmp/weak-modules2.uSa5FP/basenames-nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1: No such file or directory
warning: %post(nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64) scriptlet failed, exit status 1
(44/46) Installing: nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64 ...........................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-sle15sp6-main/x86_64/nvidia-compute-G06-550.90.07-150600.23.1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
update-alternatives: using /usr/lib64/nvidia/libOpenCL.so.1 to provide /usr/lib64/libOpenCL.so.1 (libOpenCL.so.1) in auto mode
(45/46) Installing: nvidia-compute-G06-550.90.07-150600.23.1.x86_64 .......................................................................[done]
warning: /var/cache/zypp/packages/gpu_pkg/nvidia-sle15sp6-main/x86_64/nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Running in chroot, ignoring command 'daemon-reload'
Created symlink /etc/systemd/system/multi-user.target.wants/nvidia-powerd.service -> /usr/lib/systemd/system/nvidia-powerd.service.
(46/46) Installing: nvidia-compute-utils-G06-550.90.07-150600.23.1.x86_64 .................................................................[done]
%posttrans(nvidia-container-toolkit-1.16.2-1.x86_64) script output:
Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Header SHA256 digest: OK
Header SHA1 digest: OK
%posttrans(nvidia-driver-G06-kmp-default-550.90.07_k6.4.0_150600.21-150600.23.1.x86_64) script output:
dracut[I]: Executing: /usr/bin/dracut --kver=6.4.0-18-default -f
dracut[I]: Module 'systemd-networkd' will not be installed, because command 'networkctl' could not be found!
dracut[I]: Module 'systemd-networkd' will not be installed, because command '/usr/lib/systemd/systemd-networkd' could not be found!
dracut[I]: Module 'systemd-networkd' will not be installed, because command '/usr/lib/systemd/systemd-networkd-wait-online' could not be found!
dracut[I]: Module 'systemd-pcrphase' will not be installed, because command '/usr/lib/systemd/systemd-pcrphase' could not be found!
dracut[I]: Module 'systemd-portabled' will not be installed, because command 'portablectl' could not be found!
dracut[I]: Module 'systemd-portabled' will not be installed, because command '/usr/lib/systemd/systemd-portabled' could not be found!
dracut[I]: Module 'systemd-repart' will not be installed, because command 'systemd-repart' could not be found!
dracut[I]: Module 'systemd-resolved' will not be installed, because command 'resolvectl' could not be found!
dracut[I]: Module 'systemd-resolved' will not be installed, because command '/usr/lib/systemd/systemd-resolved' could not be found!
dracut[I]: Module 'modsign' will not be installed, because command 'keyctl' could not be found!
dracut[I]: Module 'dbus-broker' will not be installed, because command 'dbus-broker' could not be found!
dracut[I]: Module 'rngd' will not be installed, because command 'rngd' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmand' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmanctl' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmand-wait-online' could not be found!
dracut[I]: 35network-legacy: Could not find any command of 'dhclient wicked'!
dracut[I]: 62bluetooth: Could not find any command of '/usr/lib/bluetooth/bluetoothd /usr/libexec/bluetooth/bluetoothd'!
dracut[I]: Module 'dmraid' will not be installed, because command 'dmraid' could not be found!
dracut[I]: Module 'dmsquash-live-ntfs' will not be installed, because command 'ntfs-3g' could not be found!
dracut[I]: Module 'pcsc' will not be installed, because command 'pcscd' could not be found!
dracut[I]: Module 'cifs' will not be installed, because command 'mount.cifs' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsi-iname' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsiadm' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsid' could not be found!
dracut[I]: 95nfs: Could not find any command of 'rpcbind portmap'!
dracut[I]: Module 'nvmf' will not be installed, because command 'nvme' could not be found!
dracut[I]: Module 'nvmf' will not be installed, because command 'jq' could not be found!
dracut[I]: Module 'memstrack' will not be installed, because command 'memstrack' could not be found!
dracut[I]: memstrack is not available
dracut[I]: If you need to use rd.memdebug>=4, please install memstrack and procps-ng
dracut[I]: Module 'squash' will not be installed, because command 'mksquashfs' could not be found!
dracut[I]: Module 'squash' will not be installed, because command 'unsquashfs' could not be found!
dracut[I]: Module 'systemd-pcrphase' will not be installed, because command '/usr/lib/systemd/systemd-pcrphase' could not be found!
dracut[I]: Module 'systemd-portabled' will not be installed, because command 'portablectl' could not be found!
dracut[I]: Module 'systemd-portabled' will not be installed, because command '/usr/lib/systemd/systemd-portabled' could not be found!
dracut[I]: Module 'systemd-repart' will not be installed, because command 'systemd-repart' could not be found!
dracut[I]: Module 'systemd-resolved' will not be installed, because command 'resolvectl' could not be found!
dracut[I]: Module 'systemd-resolved' will not be installed, because command '/usr/lib/systemd/systemd-resolved' could not be found!
dracut[I]: Module 'modsign' will not be installed, because command 'keyctl' could not be found!
dracut[I]: Module 'dbus-broker' will not be installed, because command 'dbus-broker' could not be found!
dracut[I]: Module 'rngd' will not be installed, because command 'rngd' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmand' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmanctl' could not be found!
dracut[I]: Module 'connman' will not be installed, because command 'connmand-wait-online' could not be found!
dracut[I]: 35network-legacy: Could not find any command of 'dhclient wicked'!
dracut[I]: 62bluetooth: Could not find any command of '/usr/lib/bluetooth/bluetoothd /usr/libexec/bluetooth/bluetoothd'!
dracut[I]: Module 'dmraid' will not be installed, because command 'dmraid' could not be found!
dracut[I]: Module 'dmsquash-live-ntfs' will not be installed, because command 'ntfs-3g' could not be found!
dracut[I]: Module 'pcsc' will not be installed, because command 'pcscd' could not be found!
dracut[I]: Module 'cifs' will not be installed, because command 'mount.cifs' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsi-iname' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsiadm' could not be found!
dracut[I]: Module 'iscsi' will not be installed, because command 'iscsid' could not be found!
dracut[I]: 95nfs: Could not find any command of 'rpcbind portmap'!
dracut[I]: Module 'nvmf' will not be installed, because command 'nvme' could not be found!
dracut[I]: Module 'nvmf' will not be installed, because command 'jq' could not be found!
dracut[I]: Module 'memstrack' will not be installed, because command 'memstrack' could not be found!
dracut[I]: memstrack is not available
dracut[I]: If you need to use rd.memdebug>=4, please install memstrack and procps-ng
dracut[I]: Module 'squash' will not be installed, because command 'mksquashfs' could not be found!
dracut[I]: Module 'squash' will not be installed, because command 'unsquashfs' could not be found!
dracut[I]: *** Including module: systemd ***
dracut[I]: *** Including module: systemd-initrd ***
dracut[I]: *** Including module: i18n ***
dracut[I]: *** Including module: drm ***
dracut[I]: *** Including module: health-checker ***
dracut[I]: *** Including module: transactional-update ***
dracut[I]: *** Including module: btrfs ***
dracut[I]: *** Including module: kernel-modules ***
dracut[I]: *** Including module: kernel-modules-extra ***
dracut[I]: *** Including module: rootfs-block ***
dracut[I]: *** Including module: suse-btrfs ***
dracut[I]: *** Including module: suse-xfs ***
dracut[I]: *** Including module: terminfo ***
dracut[I]: *** Including module: udev-rules ***
dracut[I]: *** Including module: biosdevname ***
dracut[I]: *** Including module: dracut-systemd ***
dracut[I]: *** Including module: selinux-microos ***
dracut[I]: *** Including module: usrmount ***
dracut[I]: *** Including module: base ***
dracut[I]: *** Including module: fs-lib ***
dracut[I]: *** Including module: shutdown ***
dracut[I]: *** Including module: suse ***
dracut[I]: *** Including module: suse-initrd ***
dracut[I]: *** Including modules done ***
dracut-install: Failed to find module 'nvidia_drm'
dracut[E]: FAILED: /usr/lib/dracut/dracut-install -D /var/tmp/dracut.NCrOls/initramfs -N ^i2o_scsi$ --kerneldir /lib/modules/6.4.0-18-default/ -m nvidia nvidia_drm nvidia-modeset nvidia-uvm
dracut[I]: *** Installing kernel module dependencies ***
dracut[I]: *** Installing kernel module dependencies done ***
dracut[I]: *** Resolving executable dependencies ***
dracut[I]: *** Resolving executable dependencies done ***
dracut[I]: *** Hardlinking files ***
dracut[I]: *** Hardlinking files done ***
dracut[I]: *** Generating early-microcode cpio image ***
dracut[I]: *** Constructing GenuineIntel.bin ***
dracut[I]: *** Store current command line parameters ***
dracut[I]: Stored kernel commandline:
dracut[I]: rd.driver.pre=btrfs
dracut[I]: rd.driver.pre=overlay
dracut[I]: root=UUID=20915b08-9a5a-4ad3-942e-1427a20648e6 rootfstype=btrfs rootflags=rw,relatime,seclabel,space_cache=v2,subvolid=270,subvol=/@/.snapshots/4/snapshot,subvol=@/.snapshots/4/snapshot
dracut[I]: *** Stripping files ***
dracut[I]: *** Stripping files done ***
dracut[I]: *** Creating image file '/boot/initrd-6.4.0-18-default' ***
dracut[I]: *** Creating initramfs image file '/boot/initrd-6.4.0-18-default' done ***
Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Header SHA256 digest: OK
Header SHA1 digest: OK
%posttrans(nvidia-compute-G06-550.90.07-150600.23.1.x86_64) script output:
Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Header SHA256 digest: OK
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Header SHA256 digest: OK
Header SHA1 digest: OK
Header V4 RSA/SHA512 Signature, key ID db27fd5a: NOKEY
Header SHA256 digest: OK
Header SHA1 digest: OK
Running post-transaction scripts ..........................................................................................................[done]

Exit the transactional-update session and reboot to the new snapshot that contains the changes you have made
```
$ exit
$ reboot
```

3. Ref

Installing NVIDIA GPU drivers on SUSE Linux Micro - SUSE Docs

Registering and Upgrade RHEL 8

Tue, 24 Sep 2024 04:55:02 +0800

Preface

本篇文章會介紹，如何成功將 RHEL 8 註冊為 SUSE Manager 的 Red Hat Clients 端，並在離線的環境下透過 SUSE Manager 將 RHEL 8 升級至 RHEL 9

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

PreRequest

SUSE Manager Server

一台正在運作的 SUSE Manager 4.3

SUSE Manager Client

已準備一台尚未註冊的 RHEL 8 機器
8 GB 記憶體或更多
2 core 以上的 vcpu

1. Import Entitlements and Certificates

# 1. SSH 連線至 RHEL 8 主機
$ ssh xxx@<ip address>
# 2. 與 Red Hat CDN 註冊 (此步驟需要上網)
$ sudo subscription-manager register
Registering to: subscription.rhsm.redhat.com:443/subscription
Username: xxx
Password:
The system has been registered with ID: bf0de019-8ba0-4442-b1b6-30e6e0ff1466
The registered system name is: localhost.localdomain
# 3. 自動將相容的訂閱附加到該系統
$ sudo subscription-manager attach
All installed products are covered by valid entitlements. No need to update subscriptions at this time.
# 4. 顯示這台主機可以存取的 subscriptions
$ sudo subscription-manager list --available
# 5. 列出系統已啟用且已知的套件儲存庫
$ sudo subscription-manager repos --list-enabled
+----------------------------------------------------------+
Available Repositories in /etc/yum.repos.d/redhat.repo
+----------------------------------------------------------+
Repo ID: rhel-8-for-x86_64-baseos-rpms
Repo Name: Red Hat Enterprise Linux 8 for x86_64 - BaseOS (RPMs)
Repo URL: https://cdn.redhat.com/content/dist/rhel8/$releasever/x86_64/baseos/os
Enabled: 1
Repo ID: rhel-8-for-x86_64-appstream-rpms
Repo Name: Red Hat Enterprise Linux 8 for x86_64 - AppStream (RPMs)
Repo URL: https://cdn.redhat.com/content/dist/rhel8/$releasever/x86_64/appstream/os
Enabled: 1
# 6. 安裝必要套件
$ sudo yum install vim yum-utils createrepo
# 7. 將權限憑證和金鑰從用戶端系統複製可以連到 SUSE Manager Web UI 的主機：
$ scp -r/etc/pki/entitlement/ user@x.x.x.x:~
# 8. 將 Red Hat CA 憑證檔案從用戶端系統複製到與權利證書和金鑰相同的位置：
$ scp /etc/rhsm/ca/redhat-uep.pem user@x.x.x.x:~

若要在您的 Red Hat 用戶端上管理儲存庫，您需要將 CA 和權利憑證匯入 SUSE Manager Server。這需要您執行三次匯入程序，以建立三個項目：entitlement certificate (權利憑證)、entitlement key (權利金鑰) 和 Red Hat certificate (憑證) 各一個。

1.1. Importing Certificates to the Server

在 SUSE Manager Server Web UI 上，點選到 Systems > Autoinstallation > GPG and SSL Keys.
點選 Create Stored Key/Cert 並為權限憑證設定這些參數
- 在 Description 欄位中，輸入 Entitlement-Cert-date。
- 在 Type 欄位中，選擇 SSL。
- 在 Select file to upload 欄位中，瀏覽到儲存權限憑證的位置，然後選擇 .pem 憑證檔案。
- 點選 Create Key 按鈕

2. 在 SUSE Manager Server 上管理 Red Hat Enterprise Linux 的 Software Channel

2.1. 系統要求

SUSE Manager Server 的 /var/spacewalk 目錄區剩餘空間量，必須有 300 G 以上的剩餘空間

2.2. 開始新增 Software Channels

2.3.1 使用 WebUI 操作步驟

勾選要加入的 SUSE Liberty Linux (版本)
點擊 “Add product” ，然後等待同步完成

確認同步完成

在 Channels 欄位呈現綠勾勾的圖示，代表完成同步

SUSE Manager curl API integration

Tue, 13 Aug 2024 02:28:00 +0800

Preface

本篇文章主要會一步一步介紹如何透過 HTTP curl API 的方式，來呼叫 SUSE Manager Server 排程對 Client 端的作業系統進行 Patch 更新。

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Step 1. Login

以下是使用 HTTP over JSON API 的身分驗證 Token 登入流程。

HTTP over JSON API 使用身分驗證 Token 進行存取。Token 會在呼叫 auth.login endpoint 的回應中，以名為 pxt-session-cookie 的 cookie 傳送。auth.login endpoint 接受帶有 JSON body 的 POST 請求，該 JSON body 在 top-level object 中包含 login 和 password 屬性。

Using the request body

# Define Var
$ SUMA_URL='suma.example.com'
$ AC="admin"
$ PW="sumaadmin"
$ API="https://${SUMA_URL}/rhn/manager/api"
# Run Command
$ curl -k -H "Content-Type: application/json" \
-d "{'login': "$AC", "password": "$PW"}" \
-i $API/auth/login

執行結果如下 :

HTTP/1.1 200 200
...
Set-Cookie: pxt-session-cookie=18876x02e2026a1d61069d8ac6a8ce9ef965ad90832c8337cea54aebc1947ebfdb5eb6; Max-Age=3600; Expires=Fri, 31 May 2024 08:03:21 GMT; Path=/; Secure; HttpOnly;HttpOnly;Secure
...
{"success":true}

之後 Call API 需使用 Max-Age=3600 的 Set-Cookie 值 :
pxt-session-cookie=18876x02e2026a1d61069d8ac6a8ce9ef965ad90832c8337cea54aebc1947ebfdb5eb6
登入成功後，得到的 cookie 必須加入到後續每次認證存取的請求中。

Step 2. Get system ID

列出 test1 這台 Client 的系統 id

# Define Var
$ system='test1'
$ cookie='pxt-session-cookie=1448x8837510e9115fee45d7cf5df49709c9967634003ada35b120bd86ed6e4717ea3'
# Run Command
$ curl -s -k -H "Content-Type: application/json" \
--cookie "${cookie}" \
$API/system/getId?name=${system}| jq

執行結果如下 :

{
"success": true,
"result": [
{
"name": "test1",
"id": 1000010001,
"last_checkin": "Aug 12, 2024, 3:35:24 PM",
"outdated_pkg_count": 218
}
]
}

Step 3. 列出系統需要套用的所有 Patch 更新

傳回與系統相關的所有 Patch 更新。

# Define Var
# id 是上一個步驟的 result.id
$ id='1000010001'
# Run Command
$ curl -s -H "Content-Type: application/json" \
--cookie "${cookie}" \
$API/system/getRelevantErrata?sid=${id} | jq

執行結果如下 :

{
"success": true,
"result": [
{
"date": "2024-08-10",
"advisory_name": "SUSE-15-SP6-2024-2869",
"advisory_type": "Security Advisory",
"advisory_status": "stable",
"id": 4008,
"advisory_synopsis": "important: Security update for ca-certificates-mozilla",
"update_date": "2024-08-10"
},
...以下省略

Step 4. Get Patch Name

# Define Var
# AN is stand for Advisory Name
$ AN='SUSE-15-SP6-2024-2869'
# Run Command
$ curl -s -k -H "Content-Type: application/json" \
--cookie "${cookie}" \
$API/errata/getDetails?advisoryName=${AN} | jq

執行結果如下 :

{
 "success": true,
 "result": {
 "id": 4008,
 "issue_date": "8/10/24",
 "update_date": "8/10/24",
 "last_modified_date": "2024-08-10 02:11:37.071418",
 "release": 1,
 "advisory_status": "stable",
 "vendor_advisory": "https://www.suse.com/support/update/announcement/2024/suse-su-20242869-1/",
 "product": "SUSE Updates SLE-Module-Basesystem 15-SP6 x86 64",
 "errataFrom": "maint-coord@suse.de",
 "solution": " ",
 "description": "This update for ca-certificates-mozilla fixes the following issues:\n\n- Updated to 2.68 state of Mozilla SSL root CAs (bsc#1227525)\n - Added: FIRMAPROFESIONAL CA ROOT-A WEB\n - Distrust: GLOBALTRUST 2020\n\n- Updated to 2.66 state of Mozilla SSL root CAs (bsc#1220356)\n Added:\n - CommScope Public Trust ECC Root-01\n - CommScope Public Trust ECC Root-02\n - CommScope Public Trust RSA Root-01\n - CommScope Public Trust RSA Root-02\n - D-Trust SBR Root CA 1 2022\n - D-Trust SBR Root CA 2 2022\n - Telekom Security SMIME ECC Root 2021\n - Telekom Security SMIME RSA Root 2023\n - Telekom Security TLS ECC Root 2020\n - Telekom Security TLS RSA Root 2023\n - TrustAsia Global Root CA G3\n - TrustAsia Global Root CA G4\n Removed:\n - Autoridad de Certificacion Firmaprofesional CIF A62634068\n - Chambers of Commerce Root - 2008\n - Global Chambersign Root - 2008\n - Security Communication Root CA\n - Symantec Class 1 Public Primary Certification Authority - G6\n - Symantec Class 2 Public Primary Certification Authority - G6\n - TrustCor ECA-1\n - TrustCor RootCert CA-1\n - TrustCor RootCert CA-2\n - VeriSign Class 1 Public Primary Certification Authority - G3\n - VeriSign Class 2 Public Primary Certification Authority - G3\n",
 "synopsis": "important: Security update for ca-certificates-mozilla",
 "topic": " ",
 "references": "",
 "notes": "",
 "type": "Security Advisory",
 "severity": "Important",
 "reboot_suggested": false,
 "restart_suggested": false
 }
}

Step 5. Apply Patch(es) to a system

$ id=1000010001
$ errataIds='3800, 3804'
$ curl -s -k -H "Content-Type: application/json" \
--cookie "${cookie}" \
-d "{'sid': ${id},'errataIds': [${errataIds}]}" \
$API/system/scheduleApplyErrata | jq

執行結果如下 :

{
 "success": true,
 "result": [
 25
 ]
}

Step 6. Get Event Details

Using the query string

$ id='1000010001'
$ eid='25'
$ curl -s -k -H "Content-Type: application/json" \
--cookie "${cookie}" \
"$API/system/getEventDetails?sid=${id}&eid=${eid}" | jq

Using the request body

$ curl -s -k -H "Content-Type: application/json" \
--cookie "${cookie}" \
"$API/system/getEventDetails" -X GET -d "{
'sid': ${id},
'eid': ${eid}}" | jq

執行結果如下 :

{
 "success": true,
 "result": {
 "summary": "Combined Patch Update: SUSE-15-SP6-2024-1762 - important: Security update for perl (and 1 more patches) scheduled by sumaadmin",
 "result_msg": "saltutil_|-sync_states_|-sync_states_|-sync_states:\n name: sync_states\n changes: {\n }\n result: true\n comment: No updates to sync\n __sls__: util.syncstates\n __run_num__: 0.0\n start_time: '17:43:54.368173'\n duration: 180.305\n __id__: sync_states\npkg_|-mgr_absent_ca_package_|-rhn-org-trusted-ssl-cert_|-removed:\n name: rhn-org-trusted-ssl-cert\n changes: {\n }\n result: true\n comment: All specified packages are already absent\n __sls__: certs\n __run_num__: 1.0\n start_time: '17:43:55.489188'\n duration: 8.562\n __id__: mgr_absent_ca_package\nfile_|-mgr_ca_cert_|-/etc/pki/trust/anchors/RHN-ORG-TRUSTED-SSL-CERT_|-managed:\n changes: {\n }\n comment: File /etc/pki/trust/anchors/RHN-ORG-TRUSTED-SSL-CERT is in the correct state\n name: /etc/pki/trust/anchors/RHN-ORG-TRUSTED-SSL-CERT\n result: true\n __sls__: certs\n __run_num__: 2.0\n start_time: '17:43:55.499805'\n duration: 35.932\n __id__: mgr_ca_cert\ncmd_|-update-ca-certificates_|-/usr/sbin/update-ca-certificates_|-run:\n changes: {\n }\n result: true\n duration: 0.007\n start_time: '17:43:55.536567'\n comment: State was not run because none of the onchanges reqs changed\n __state_ran__: false\n __run_num__: 3.0\n __sls__: certs\n __id__: update-ca-certificates\n name: /usr/sbin/update-ca-certificates\nfile_|-mgr_proxy_ca_cert_symlink_|-/usr/share/rhn/RHN-ORG-TRUSTED-SSL-CERT_|-symlink:\n result: true\n name: /usr/share/rhn/RHN-ORG-TRUSTED-SSL-CERT\n changes: {\n }\n comment: onlyif condition is false\n __sls__: certs\n __id__: mgr_proxy_ca_cert_symlink\n skip_watch: true\n __run_num__: 4.0\n start_time: '17:43:55.536656'\n duration: 385.179\nfile_|-mgr_deploy_tools_uyuni_key_|-/etc/pki/rpm-gpg/uyuni-tools-gpg-pubkey-0d20833e.key_|-managed:\n changes: {\n }\n comment: File /etc/pki/rpm-gpg/uyuni-tools-gpg-pubkey-0d20833e.key is in the correct state\n name: /etc/pki/rpm-gpg/uyuni-tools-gpg-pubkey-0d20833e.key\n result: true\n __sls__: channels.gpg-keys\n __run_num__: 5.0\n start_time: '17:43:55.921947'\n duration: 34.159\n __id__: mgr_deploy_tools_uyuni_key\nfile_|-mgr_deploy_suse_addon_key_|-/etc/pki/rpm-gpg/suse-addon-97a636db0bad8ecc.key_|-managed:\n changes: {\n }\n comment: File /etc/pki/rpm-gpg/suse-addon-97a636db0bad8ecc.key is in the correct state\n name: /etc/pki/rpm-gpg/suse-addon-97a636db0bad8ecc.key\n result: true\n __sls__: channels.gpg-keys\n __run_num__: 6.0\n start_time: '17:43:55.956262'\n duration: 34.735\n __id__: mgr_deploy_suse_addon_key\nfile_|-mgrchannels_repo_|-/etc/zypp/repos.d/susemanager:channels.repo_|-managed:\n changes: {\n }\n comment: File /etc/zypp/repos.d/susemanager:channels.repo is in the correct state\n name: /etc/zypp/repos.d/susemanager:channels.repo\n result: true\n __sls__: channels\n __run_num__: 7.0\n start_time: '17:43:55.991156'\n duration: 123.044\n __id__: mgrchannels_repo\nproduct_|-mgrchannels_install_products_|-mgrchannels_install_products_|-all_installed:\n name: mgrchannels_install_products\n changes: {\n }\n result: true\n comment: All subscribed products are already installed\n __sls__: channels\n __run_num__: 8.0\n start_time: '17:43:56.114639'\n duration: 466.036\n __id__: mgrchannels_install_products\npkg_|-mgrchannels_inst_suse_build_key_|-suse-build-key_|-installed:\n name: suse-build-key\n changes: {\n }\n result: true\n comment: All specified packages are already installed\n __sls__: channels\n __run_num__: 9.0\n start_time: '17:43:56.581182'\n duration: 4321.058\n __id__: mgrchannels_inst_suse_build_key\npkg_|-mgr_regular_patches_|-mgr_regular_patches_|-patch_installed:\n name: mgr_regular_patches\n changes:\n perl-base:\n old:\n - version: 5.26.1\n install_date_time_t: 1.719820515E9\n release: 150300.17.14.1\n epoch: null\n arch: x86_64\n new:\n - version: 5.26.1\n install_date_time_t: 1.723455849E9\n release: 150300.17.17.1\n epoch: null\n arch: x86_64\n perl:\n old:\n - version: 5.26.1\n install_date_time_t: 1.719820534E9\n release: 150300.17.14.1\n epoch: null\n arch: x86_64\n new:\n - version: 5.26.1\n install_date_time_t: 1.72345585E9\n release: 150300.17.17.1\n epoch: null\n arch: x86_64\n perl-core-DB_File:\n old:\n - version: 5.26.1\n install_date_time_t: 1.719820534E9\n
 release: 150300.17.14.1\n epoch: null\n arch: x86_64\n new:\n - version: 5.26.1\n install_date_time_t: 1.72345585E9\n release: 150300.17.17.1\n epoch: null\n
 arch: x86_64\n ucode-intel:\n old:\n - version: '20240312'\n install_date_time_t: 1.719820562E9\n release: 150200.38.1\n epoch: null\n arch: x86_64\n new:\n - version: '20240514'\n install_date_time_t: 1.723455848E9\n release: 150200.41.1\n
 epoch: null\n arch: x86_64\n result: true\n comment: ''\n __sls__: packages.patchinstall\n __run_num__: 10.0\n start_time: '17:44:00.902568'\n duration: 28536.465\n __id__: mgr_regular_patches\n",
 "picked_up": "Aug 12, 2024, 5:43:44 PM",
 "earliest_action": "Aug 12, 2024, 5:43:44 PM",
 "additional_info": [
 {
 "detail": "SUSE-15-SP6-2024-1762 (important: Security update for perl)"
 },
 {
 "detail": "SUSE-15-SP6-2024-1771 (important: Security update for ucode-intel)"
 }
 ],
 "created": "Aug 12, 2024, 5:43:44 PM",
 "history_type": "Patch Update",
 "result_code": 0,
 "id": 25,
 "completed": "Aug 12, 2024, 5:44:21 PM",
 "status": "Completed"
 }
}

參考文件

Quick Start Rootless SLE OCI Container Registry

Mon, 08 Jul 2024 14:05:30 +0800

PreRequest

Podman version: 4.7 以上 (must)
可以執行 Rootless Podman
系統需可以上網 Pull Image，或是先準備好 registry.suse.com/suse/registry:latest 這片 Container Image

1. 建立一個永存目錄區

$ sudo mkdir /etc/registry && \
sudo mkdir /var/lib/docker-registry && \
sudo chown "$(id -u)":"$(id -g)" /etc/registry /var/lib/docker-registry

目錄區的擁有者和群組必須與當前使用者相同。

/etc/registry，存放 registry 的設定檔 (config.yml)

/var/lib/docker-registry，存放 Container image

2. 設定 Registry

$ cat <<EOF | sudo tee /etc/registry/config.yml
---
version: 0.1
log:
level: info
storage:
filesystem:
rootdirectory: /var/lib/docker-registry
http:
addr: 0.0.0.0:5000
EOF

2. 啟動 SLE OCI Container Image Registry

$ podman run -d -p 5000:5000 \
--uidmap "+499:@$(id -u):1" \
--gidmap "+486:@$(id -g):1" \
-v /etc/registry/config.yml:/etc/registry/config.yml \
-v /var/lib/docker-registry:/var/lib/docker-registry \
--name registry \
registry.suse.com/suse/registry:latest

3. 檢視 Registry 運作狀態

$ podman ps -a

螢幕輸出 :

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
011a050e9087 registry.suse.com/suse/registry:2.8 serve /etc/regist... 6 minutes ago Up 6 minutes 0.0.0.0:5000->5000/tcp registry

4. 更改 Image Tag

$ podman tag quay.io/hahappyman/alpine 192.168.61.128:5000/alpine

5. 測試 Push Container Image

$ podman push --tls-verify=false 192.168.61.128:5000/alpine

螢幕輸出 :

Getting image source signatures
Copying blob b2d5eeeaba3a done |
Copying config 6dbb9cc540 done |
Writing manifest to image destination

Pacemaker 解析

Tue, 18 Jun 2024 08:24:48 +0800

1. Introduction

1.1. 甚麼是 Pacemaker

Pacemaker 是一個高可用的 cluster resource manager (叢集資源管理器)，通俗的說法就是一個軟體跑在叢集的每一台 node 上，目的是為了保持所需服務的資料完整性和最小化降低(資源)停機的時間。

It is maintained by the ClusterLabs community.

Pacemaker 的核心功能 :

檢測節點級 (node-level) 和服務級 (service-level) 故障並從中恢復
能夠透過隔離 (fencing) 故障節點來確保資料完整性
每一個叢集支援 1 台或多台 node
支援多種 resource interface standards (任何可以編寫腳本的內容都可以 clustered)
支援 shared storage (不是必須)
支援幾乎任何 redundancy 的設定 (active/passive, N+1, etc.)
自動複製設定，可以從任何節點更新
可以在叢集內指定服務之間的多係，像是 ordering、colocation 和 anti-colocation
支援高級的 Service 種類，像是 clones(在多個 node 上的服務同時 active)，promotable clones(clones that can run in one of two roles)，和 containerized services
Unified, scriptable cluster management tools

:bulb: Fencing

Fencing，也稱為 STONITH (Shoot The Other Node In The Head 的縮寫)，是確保節點不可能運作服務的能力。這是透過 fence devices (隔離設備)來實現的，例如切斷目標電源的智慧電源開關，或切斷目標對本地網路的存取的智慧網路開關。

Pacemaker 將 fence devices 標示為一種特別的資源。

如果沒有 fencing，叢集無法從某些故障條件（例如無回應的節點）中安全地恢復。

1.1.1. Cluster Architecture

在較高的層次上，叢集可以被視為具有以下部分（它們通常一起稱為 cluster stack）：

Resources: 這就是叢集存在的原因，服務需要保持高可用性。
Resource agents: 這些腳本或作業系統元件可根據一組資源參數啟動、停止和監控資源。它們在 Pacemaker 和託管服務之間提供了統一的介面。
Fence agents: 這些腳本可根據 target (目標)和 fence device 參數執行節點 fencing 的操作。
Cluster membership layer: 該元件提供有關叢集的可靠訊息傳遞、成員資格和法定人數資訊。目前，Pacemaker 支援 Corosync 作為該層。
Cluster resource manager: Pacemaker 是處理叢集中發生的事件並做出反應的大腦。這些事件可能包括節點加入或離開叢集；故障、維護或規劃活動導致的資源事件；以及其他管理作業。為實現所需的可用性，Pacemaker 可啟動和停止資源並 fence 節點。
Cluster tools: 它們為使用者提供與叢集互動的介面。提供各種命令列和圖形 (GUI) 介面。

大多數託管服務本身並不具備叢集感知能力。不過，許多流行的開源叢集檔案系統都使用通用的 Distributed Lock Manager（DLM），它直接使用 Corosync 的訊息傳遞和成員功能，以及 Pacemaker 的 fence 節點功能。

What is a Distributed Lock Manager? A Distributed Lock Manager (DLM) is a software component that controls and synchronizes access to shared resources across multiple nodes in a distributed computing system. It ensures that no two processes access or change shared data simultaneously, thereby preventing issues like data corruption. DLMs are widely employed in databases, distributed file systems, and other data management systems.

1.1.2. Pacemaker Architecture

Pacemaker 本身由多個一起工作 Daemons 組成

pacemakerd
pacemaker-attrd
pacemaker-based
pacemaker-controld
pacemaker-execd
pacemaker-fenced
pacemaker-schedulerd

Pacemaker 的主程序（pacemakerd）會啟動所有其他背景程序，並在它們意外退出時重新啟動。

叢集資訊庫（Cluster Information Base，CIB）是叢集設定檔以及所有節點和資源狀態的 XML 表示形式。 CIB manager（pacemaker-based）負責保持整個叢集的 CIB 同步，並處理修改 CIB 的請求。

attribute manager（pacemaker-attrd）維護所有節點的屬性 (attributes) 資料庫，使其在整個叢集中保持同步，並處理修改這些屬性的請求。這些屬性通常記錄在 CIB 中。

scheduler（pacemaker-schedulerd）將 CIB 的快照作為輸入，確定需要採取哪些行動才能實現叢集的理想狀態。

local executor（pacemaker-execd）處理在本機叢集節點上執行 resource agents 程式的請求，並傳回結果。

fencer（pacemaker-fenced）處理 fence 節點的請求。給定一個目標節點後，fencer 會決定哪個叢集節點應執行哪個 fencing device(s)，並呼叫必要的 fencing agents（直接呼叫或透過向其他節點上的 fencer 對節點發出請求），然後傳回結果。

controller（pacemaker-controld）是 Pacemaker 的 coordinator (協調器)，負責維護群集成員的一致視圖並協調所有其他元件。

Pacemaker 透過選舉其中一個 controller 作為 Designated Controller（DC）來集中管理叢集決策。如果當選的 DC 程序（或其所在的節點）發生故障，新的 DC 程序會迅速建立。 DC 透過取得 CIB 的目前快照對叢集事件做出回應，並將其回饋給 scheduler，然後要求 executors（直接在本機節點上執行，或透過向其他節點上的 controller 對等節點發出請求）和 fencer 執行任何必要的操作。

1.1.3. Node Redundancy Designs

Pacemaker 幾乎支援任何 node redundancy configuration，包含 Active/Active, Active/Passive, N+1, N+M, N-to-1, 和 N-to-N.

在許多情況下，使用 Pacemaker 和 DRBD 的兩個（或更多）節點的 Active/Passive 叢集是一種經濟高效的高可用性解決方案。其中一個節點提供所需的服務，如果它發生故障，另一個節點將接替它。

Install and Setup SLE HAE 15 SP5 Cluster

Mon, 17 Jun 2024 06:44:24 +0800

Preface

本篇文章會主要會採取 Step by Step 和 ScreenShot 的方式介紹，如何搭建與設定 SUSE Linux Enterprise High Availability Extension 15 SP5 Cluster

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 系統要求

1.1. 硬體要求

Server

伺服器可以是裸機或虛擬機器，它們不需要完全相同的硬體（記憶體、磁碟空間等），但必須具有相同的架構，不支援跨平台集群。

Network

每個群集節點至少有兩張網卡。
網路設備必須支援要用於群集通訊的通訊方式： multicast or unicast。
網卡應支援 100 Mbit/s 或更高的資料傳輸速率。
對於支援的群集設置，需要兩個或更多的 communication paths ( 通訊路徑 )，可以透過以下方式實現 :
- Network Device Bonding（首選）。
- A second communication channel in Corosync.

Node fencing/STONITH

為避免出現 “大腦分裂 “的情況，集群需要一種 node fencing mechanism ( 節點隔離機制 )。

在 “split-brain ( 分腦 )“情況下，叢集節點會被分成兩個或多個互不相識（由於硬體或軟體故障或網路連線被切斷）的群組，隔離機制可隔離相關節點（通常是透過重設或關閉節點電源），這也被稱為 STONITH（“向其他節點頭部開槍”）。

節點隔離機制既可以是實體設備（電源開關），也可以是一種類似於 SBD（磁碟 STONITH）的機制，與看門狗相結合。使用 SBD 需要共享儲存空間。

除非使用 SBD，否則高可用性群集中的每個節點必須至少有一個 STONITH 設備。我們強烈建議每個節點配備多個 STONITH 設備。

Important: No Support Without STONITH

You must have a node fencing mechanism for your cluster.
The global cluster options stonith-enabled and startup-fencing must be set to true. When you change them, you lose support.

1.2. 軟體要求

在叢集中的所有 Node 至少需要以下 modules ( 模組 ) 和 extensions ( 擴充 )：

Basesystem Module 15 SP5
Server Applications Module 15 SP5
SUSE Linux Enterprise High Availability Extension 15 SP5

根據在安裝過程中選擇的 system role ( 系統角色 )，預設安裝以下 software patterns：

HA Node system role

High Availability (sles_ha) Enhanced Base System (enhanced_base)

HA GEO Node system role

Geo Clustering for High Availability (ha_geo) Enhanced Base System (enhanced_base)

1.3. 存儲要求

某些服務需要共享儲存。如果使用外部 NFS 共享，則所有群集節點必須透過網路能夠存取。
為使資料具有高可用性，建議叢集使用 shared disk system ( 共用磁碟系統 [儲存區域網路或 SAN] ）。
如果使用 shared disk subsystem ( 共享磁碟子系統 )，請確保以下幾點：
- 按照製造商的說明正確設定共享磁碟系統並使其正常運作。
- 共用磁碟系統中包含的磁碟應配置為使用映像或 RAID，以增加共用磁碟系統的容錯性。
- 如果使用 iSCSI 存取共用磁碟系統，請確保已正確設定 iSCSI 啟動程式和目標。
- 使用 DRBD* 實作 mirroring RAID 系統（將資料分散到兩台機器）時，請確保只存取 DRBD 提供的設備，而不是 backing ( 後備 ) 設備。要充分達到高可用性，可以使用與群集其他部分相同的 NICs ( 網卡 )。

1.4. 其他要求和建議

若要實現受支援且有用的高可用性設置，請考慮以下建議：

cluster nodes 數量

對於有兩個以上節點的群集，強烈建議使用奇數個群集節點來達到法定人數。
普通群集最多可包含 32 個節點。
使用 pacemaker_remote 服務，高可用性群集可擴展至包含超出此限制的其他節點。

時間同步

群集節點必須同步到叢集外的 NTP Server。
自 SUSE Linux Enterprise High Availability Extension 15 以來，NTP 的預設實作是 chrony。

Network Interface Card (NIC) names

所有節點上必須相同。

Host name and IP address

使用靜態 IP 位址。
只支援私有 IP 位址。
在 /etc/hosts 檔案中列出所有叢集節點，並註明其完全合格的主機名稱和簡短主機名稱
- 群集成員必須能透過名稱找到彼此，如果名稱不可用，群集內部通訊就會失敗。

SSH

所有叢集節點必須能夠透過 SSH 互相存取。
crm report（用於故障排除）和 Hawk2 的歷史記錄資源管理器等工具要求節點之間免密碼 SSH 訪問，否則它們只能從當前節點收集資料。
如果使用引導腳本設定群集，將自動建立和複製 SSH 金鑰。

2. 安裝前環境設定

2.1. 軟體設定

安裝的 ISO 檔

SLE-15-SP5-Full-x86_64-GM-Media1.iso

這片 ISO 檔，可以不用註冊碼就能安裝 SLE HAE，如果要訂閱的話，必須在註冊的時候，同時輸入 SLES 15 SP5 和 SLE HAE 的註冊碼，才能訂閱成功。

將加入叢集的所有節點上都至少需安裝以下模組和擴充：
- Basesystem Module 15 SP5
- Server Applications Module 15 SP5
- SUSE Linux Enterprise High Availability Extension 15 SP5
確認模組和擴充

$ zypper lr

螢幕輸出 :

Repository priorities are without effect. All enabled repositories share the same priority.
# | Alias | Name | Enabled | GPG Check | Refresh
--+-----------------------------------+--------------------------------+---------+-----------+--------
1 | Basesystem-Module_15.5-0 | sle-module-basesystem | Yes | (r ) Yes | No
2 | SLEHA15-SP5_15.5-0 | sle-ha | Yes | (r ) Yes | No
3 | Server-Applications-Module_15.5-0 | sle-module-server-applications | Yes | (r ) Yes | No

2.1. 網路架構

主機名	心跳網路	App 網路	儲存網路	虛擬 IP 位址
sle-ha-1	10.13.0.31	192.168.11.171	10.12.2.11	192.168.11.170
sle-ha-2	10.13.0.32	192.168.11.172	10.12.2.12
sle-ha-storage		192.168.11.173	10.12.2.13

2.1. 設定網路

$ sudo yast2 lan

sle-ha-1 網路設定資訊

## IP info
$ sudo yast2 lan list
id name bootproto
0 eth2 10.13.0.31/24
1 eth0 192.168.11.171/24
2 eth1 10.12.2.11/24
# Route info
$ ip r s
default via 192.168.xx.xx dev eth0

sle-ha-2 網路設定資訊

## IP info
$ sudo yast2 lan list
id name bootproto
0 eth2 10.13.0.32/24
1 eth0 192.168.11.172/24
2 eth1 10.12.2.12/24
# Route info
$ ip r s
default via 192.168.xx.xx dev eth0

sle-ha-storage 網路設定資訊

## IP info
$ sudo yast2 lan list
id name bootproto
0 eth0 192.168.11.173/24
1 eth1 10.12.2.13/24
# Route info
$ ip r s
default via 192.168.xx.xx dev eth0

2.2. 永久禁用 IPv6

在叢集中的每一台 Node 都要執行

$ echo $'net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1' | sudo tee -a /etc/sysctl.conf

2.3. 編輯 /etc/hosts 檔案

在叢集中的每一台 Node 都要執行

$ sudo nano /etc/hosts

新增的檔案內容如下 :

192.168.11.171 sle-ha-1
192.168.11.172 sle-ha-2
192.168.11.173 sle-ha-storage

2.4. 設定 SSH 免密碼

在叢集中的每一台 Node 都要執行

## 產生金鑰 (如果已經有了，可以跳過這個步驟)
$ ssh-keygen -t rsa -P ''
## 編輯 sshd 設定檔，設定允許透過公鑰認證
$ sudo sed -i 's|#PubkeyAuthentication yes|PubkeyAuthentication yes|g' /etc/ssh/sshd_config
## 重啟 SSHD Service
$ sudo systemctl restart sshd.service
## 在 sle-ha-2 主機 ，將 sle-ha-2 的公鑰複製到 sle-ha-1 主機
$ ssh-copy-id rancher@sle-ha-1
## 在 sle-ha-1 主機 ，將 sle-ha-1 的公鑰複製到 sle-ha-2 主機
$ ssh-copy-id rancher@sle-ha-2

2.5. 設定 NTP

在叢集中的每一台 Node 都要執行

$ sudo yast2 ntp-client

設定資訊如下 :

Start NTP Daemon:
(x) Now and on Boot
Configuration Source:
Static
Synchronization Servers:
time.google.com

2.6. 安裝與設定 iSCSI LIO Target Server

連線至 sle-ha-storage 做以下設定

2.6.1. 安裝 iSCSI LIO Target Server

$ sudo zypper in -y yast2-iscsi-lio-server

2.6.2. 規劃儲存空間

$ lsblk /dev/{sdb,sdc,sdd,sde,sdf}

螢幕輸出 :

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 1G 0 disk
sdc 8:32 0 1G 0 disk
sdd 8:48 0 1G 0 disk
sde 8:64 0 100G 0 disk
sdf 8:80 0 100G 0 disk

3 顆 1 GB 的硬碟規劃給 SDB 使用
2 顆 100 GB 的 Disk 規劃給 Application 使用

2.6.3. 設定 iSCSI LIO Target Server

啟動 YaST 設定 iSCSI LIO Target S

$ sudo yast2 iscsi-lio-server

切換到 Service 區塊
設定開機自動啟動 iSCSI Targets 服務

┌Service Configuration─────────────────────────────────────────┐
│Current status: Inactive │
│After writing configuration: │
│Start▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒↓ │
│After reboot: │
│Start on boot▒↓ │
└──────────────────────────────────────────────────────────────┘
[Finish]

After writing configuration: Start
After reboot: Start on boot

切換到 Targets 區塊
選擇 Add，然後定義給 SDB 用的 iSCSI LIO target group 和 devices:
- Target: iqn.2023-11.com.example
- Identifier: sbd-disk1
- Portal Group: 1
- IP Address: 10.12.2.13
- Port Number: 3260
- [x] Bind all IP addresses

新增 Disk
- 在 Lun 區塊下點擊 add
- LUN Path: /dev/sdb

重複以上兩個步驟，新增 sdb-disk2 和 sdb-disk3 這兩個 iSCSI LIO target
選擇 Add，然後定義給 APP 用的 iSCSI LIO target group 和 devices:
- Target: iqn.2023-11.com.example
- Identifier: app-disk1
- Portal Group: 1
- IP Address: 10.12.2.13
- Port Number: 3260
- [x] Bind all IP addresses

新增 Disk
- 在 Lun 區塊下點擊 add
- LUN Path: /dev/sde

重複以上兩個步驟，新增 app-disk2 這兩個 iSCSI LIO target
點擊 Finish 儲存並應用設定

2.7. 安裝與設定 iSCSI initiator

在 sle-ha-1 和 sle-ha-2 做以下設定
安裝 iSCSI initiator 套件

$ sudo zypper in -y open-iscsi yast2-iscsi-client

啟動 YaST 設定開機自動啟動服務

$ sudo yast2 iscsi-client

After writing configuration: start
After reboot: Start on boot

切換到 Discovered Targets 區塊，並點選 Discovery

輸入 IP 資訊
- IP Address: 10.12.2.13
- Port: 3260
- 點選 Next

與 Targets 連線

Startup and Authentication

Startup: automatic
Next

重複以上兩個步驟與剩餘的 4 個 Target 連線
確認 Connected Targets

確認都沒問題後點擊 OK

檢查是否成功將遠端的 Disk 映射過來

# lsscsi

螢幕輸出

[0:0:0:0] disk QEMU QEMU HARDDISK 2.5+ /dev/sda
[2:0:0:0] cd/dvd QEMU QEMU DVD-ROM 2.5+ /dev/sr0
[3:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdb
[4:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdc
[5:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdd
[6:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sde
[7:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdf

2.7. 安裝與啟動 multipathd Service

$ sudo zypper -n in multipath-tools
$ sudo modprobe dm-multipath path
$ sudo systemctl enable multipathd.service --now

2.8. 編輯多路徑設定檔

$ cat <<EOF | sudo tee /etc/multipath.conf
defaults {
user_friendly_names yes
}
devices {
device {
vendor "(LIO-ORG|SUSE)"
product "IBLOCK"
path_grouping_policy "multibus"
}
}
EOF

新增檔案內容如下 :

defaults {
user_friendly_names yes
}
devices {
device {
vendor "(LIO-ORG|SUSE)"
product "IBLOCK"
path_grouping_policy "multibus"
}
}

2.8.1. 重啟服務套用設定檔

$ sudo systemctl restart multipathd.service

2.9. 查看多路徑狀態，確認多條連結處於 running 狀態

$ sudo multipath -ll

螢幕輸出

mpathd (360014053be325d33ebb4e7e966df3a4f) dm-0 LIO-ORG,IBLOCK
size=100G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 3:0:0:0 sdb 8:16 active ready running
mpathe (36001405ee25a89d7a8a4df09f6a3a5f0) dm-1 LIO-ORG,IBLOCK
size=100G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 4:0:0:0 sdc 8:32 active ready running
mpathf (36001405c2d16cc2065f4004ac0a1c188) dm-2 LIO-ORG,IBLOCK
size=1.0G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 5:0:0:0 sdd 8:48 active ready running
mpathg (36001405e9b0b982a26f493e97b88ca61) dm-3 LIO-ORG,IBLOCK
size=1.0G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 6:0:0:0 sde 8:64 active ready running
mpathh (3600140552d947e312e24a4f8a9a0f9b1) dm-4 LIO-ORG,IBLOCK
size=1.0G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 7:0:0:0 sdf 8:80 active ready running

2.10. 查看 Disk

$ sudo lvmdiskscan

螢幕輸出 :

 /dev/mapper/mpathb [ 100.00 GiB]
/dev/sda1 [ 8.00 MiB]
/dev/mapper/mpathe [ 1.00 GiB]
/dev/sda2 [ 199.99 GiB]
/dev/mapper/mpathf [ 1.00 GiB]
/dev/mapper/mpathd [ 1.00 GiB]
/dev/mapper/mpathc [ 100.00 GiB]
5 disks
2 partitions
0 LVM physical volume whole disks
0 LVM physical volumes

3. 部屬 SUSE Linux Enterprise HAE Cluster

3.1. 部屬概述

本章節將介紹使用 crm shell 提供的 bootstrap script ( 引導腳本 ) 設定一個非常基本的雙節點叢集，其中包括將 virtual IP 位址設定為叢集資源，以及在共用儲存上使用 SBD 作為節點隔離機制。

3.2. 部屬前環境確認

設定好 NTP
已分配好 3 塊 SBD 硬碟
具有系統管理員權限的使用者帳號及密碼
叢集 Init 之前必須啟動 Watchdog

3.3. 開始部屬第一台節點

安裝 High Availability 套件

$ sudo zypper install -t pattern ha_sles

每一台 Node 都要安裝
設定和管理群集的 packages 包含在 High Availability 的 pattern 中，此 pattern 僅在安裝 SUSE Linux Enterprise High Availability Extension 後可用。

為 SBD 啟用 softdog watchdog

2.1. 啟用 softdog watchdog：

## 啟用 softdog 檢查包
$ echo softdog | sudo tee /etc/modules-load.d/watchdog.conf
$ sudo systemctl restart systemd-modules-load
$ echo "modprobe softdog" | sudo tee -a /etc/init.d/boot.local
$ sudo modprobe softdog

2.2. 測試 softdog 模組是否正確載入：

$ lsmod | grep dog

螢幕輸出 :

softdog 16384 0

2.3. 確認 softdog Device 是否可用且工作：

$ sudo ls -l /dev/watchdog* && sudo sbd query-watchdog

螢幕輸出 :

crw------- 1 root root 10, 130 Nov 15 09:51 /dev/watchdog
crw------- 1 root root 247, 0 Nov 15 09:51 /dev/watchdog0
Discovered 2 watchdog devices:
[1] /dev/watchdog
Identity: Software Watchdog
Driver: softdog
CAUTION: Not recommended for use with sbd.
[2] /dev/watchdog0
Identity: Software Watchdog
Driver: softdog
CAUTION: Not recommended for use with sbd.

2.4. 確認 softdog device 是否運作 :

$ sudo sbd -w /dev/watchdog test-watchdog

螢幕輸出 :

WARNING: This operation is expected to force-reboot this system
without following any shutdown procedures.
Proceed? [NO/Proceed]

輸入 : Proceed

螢幕輸出 :

Initializing /dev/watchdog with a reset countdown of 5 seconds ...
NOTICE: The watchdog device is expected to reset the system
in 5 seconds. If system remains active beyond that time,
watchdog may not be functional.
Reset countdown ... 5 seconds
Reset countdown ... 4 seconds
Reset countdown ... 3 seconds
Reset countdown ... 2 seconds
System expected to reset any moment ...

確認 5 秒倒數後，系統會直接被重新開機。

初始化一個新的 HA Cluaster

$ sudo crm cluster init --name topgun -u -i eth2 -M -S

--name，設定叢集名稱
-u，設定 corosync 使用單播 (udpu) 進行通信
-i，指定心跳網路使用的網卡
-M，使用第二條心跳線設定 corosync
如果需要在 Cluster 通訊中使用 multicast 而不是 unicast（預設），請使用選項 --multicast (or -U)。
腳本會檢查 NTP 設定和硬體看門狗服務。如果需要，它會產生用於 SSH 存取和 Csync2 同步的 SSH 公鑰和私鑰，並啟動相應服務。

螢幕輸出 :

INFO: Loading "default" profile from /etc/crm/profiles.yml
INFO: SSH key for root does not exist, hence generate it now
INFO: The user 'hacluster' will have the login shell configuration changed to /bin/bash
Continue (y/n)? y
INFO: SSH key for hacluster does not exist, hence generate it now
INFO: Configuring csync2
INFO: Starting csync2.socket service on sle-ha-1
INFO: BEGIN csync2 checking files
INFO: END csync2 checking files
INFO: Configure Corosync (unicast):
This will configure the cluster messaging layer. You will need
to specify a network address over which to communicate (default
is eth2's network, but you can use the network address of any
active interface).
Address for ring0 [10.13.0.31]
Port for ring0 [5405]
Add another heartbeat line (y/n)? y
Address for ring1 [192.168.11.171]
Port for ring1 [5407]
WARNING: Diskless SBD requires cluster with three or more nodes. If you want to use diskless SBD for 2-node cluster, should be combined with QDevice.
INFO: Configuring diskless SBD
INFO: Hawk cluster interface is now running. To see cluster status, open:
INFO: https://10.13.0.31:7630/
INFO: Log in with username 'hacluster', password 'linux'
WARNING: You should change the hacluster password to something more secure!
INFO: BEGIN Waiting for cluster
............
INFO: END Waiting for cluster
INFO: Loading initial cluster configuration
INFO: Configure Administration IP Address:
Optionally configure an administration virtual IP
address. The purpose of this IP address is to
provide a single IP that can be used to interact
with the cluster, rather than using the IP address
of any specific cluster node.
Do you wish to configure a virtual IP address (y/n)? y
Virtual IP []192.168.11.170
INFO: BEGIN Configuring virtual IP (192.168.11.170)
.
INFO: END Configuring virtual IP (192.168.11.170)
INFO: Configure Qdevice/Qnetd:
QDevice participates in quorum decisions. With the assistance of
a third-party arbitrator Qnetd, it provides votes so that a cluster
is able to sustain more node failures than standard quorum rules
allow. It is recommended for clusters with an even number of nodes
and highly recommended for 2 node clusters.
Do you want to configure QDevice (y/n)? n

檢查叢集狀態

$ sudo crm status

螢幕輸出 :

Status of pacemakerd: 'Pacemaker is running' (last updated 2023-11-17 09:41:03 +08:00)
Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-1 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Fri Nov 17 09:41:04 2023
* Last change: Fri Nov 17 09:40:30 2023 by root via cibadmin on sle-ha-1
* 1 node configured
* 1 resource instance configured
Node List:
* Online: [ sle-ha-1 ]
Full List of Resources:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-1

手動設定 SBD 前的要求

儲存隔離機制最多可使用三個 SBD 設備。使用一至三個設備時，共用儲存必須可從所有節點存取。
一個 SBD 設備可以在不同的集群之間共用，只要共用設備的節點不超過 255 個即可。
對於有兩個以上節點的群集，也可以在無磁碟 ( diskless ) 模式下使用 SBD。
在使用 bootstrap script 設定 SBD 之前，必須在每個叢集節點上啟用 watchdog。
SUSE Linux Enterprise Server 隨附的幾個核心模組提供了特定於硬體的 watchdog ( 看門狗 ) 驅動程式，High Availability Extension 核心模組使用 SBD 背景程序作為 " feeds ( 餵食 )” 看門狗的軟體元件。

重要：Softdog 限制

softdog 驅動程式假定至少有一個 CPU 仍在運作。如果所有 CPU 都卡死，softdog 驅動程式中重新啟動系統的程式碼將永遠無法執行。相較之下，hardware watchdogs 即使在所有 CPU 都卡死的情況下也能繼續工作。

在 production 環境中使用叢集之前，我們強烈建議使用最適合您硬體的硬體模組來取代 softdog 模組。

不過，如果沒有與硬體相符的看門狗，也可以將 softdog 用作 kernel watchdog 模組。

初始化 SBD DEVICES

6.1. 決定將以下 Block Devices 用於 SBD

/dev/mapper/mpathd
/dev/mapper/mpathe
/dev/mapper/mpathf

6.2. 使用以下命令初始化 SBD DEVICES

$ sudo sbd -d /dev/mapper/mpathd \
-d /dev/mapper/mpathe \
-d /dev/mapper/mpathf \
-4 60 -1 30 create

-4 參數，用於指定 msgwait 逾時幾秒。
-1 參數，用於指定 watchdog 逾時幾秒，最小值是 15 秒。

6.3. 備份 sbd 設定檔

$ sudo cp /etc/sysconfig/sbd /etc/sysconfig/sbd.bak

6.4. 編輯 SBD 設定檔

$ sudo sed -i '9i SBD_DEVICE="/dev/mapper/mpathd;/dev/mapper/mpathe;/dev/mapper/mpathf"' /etc/sysconfig/sbd

6.5. ENABLING SBD 服務

$ sudo systemctl enable sbd

6.6. 重啟 Cluster

$ sudo crm cluster restart

6.7. 確認 SBD 程序已啟動

$ ps -eaf | grep sbd

螢幕輸出 :

root 7737 1 0 09:49 ? 00:00:00 sbd: inquisitor
root 7739 7737 0 09:49 ? 00:00:00 sbd: watcher: /dev/mapper/mpathd - slot: 0 - uuid: 8fe16007-8fcc-45d6-867f-2a1fd24d5e4b
root 7740 7737 0 09:49 ? 00:00:00 sbd: watcher: /dev/mapper/mpathe - slot: 0 - uuid: 32929898-fa8d-45b5-8030-b406002d5cf4
root 7741 7737 0 09:49 ? 00:00:00 sbd: watcher: /dev/mapper/mpathf - slot: 0 - uuid: 682f03ee-cf7d-4378-b0ca-f293b72efb20
root 7742 7737 0 09:49 ? 00:00:00 sbd: watcher: Pacemaker
root 7743 7737 0 09:49 ? 00:00:00 sbd: watcher: Cluster
rancher 7765 4523 0 09:50 pts/0 00:00:00 grep --color=auto sbd

3.4. 開始部屬第二台節點

安裝 High Availability 套件

$ sudo zypper install -t pattern ha_sles

每一台 Node 都要安裝
設定和管理群集的 packages 包含在 High Availability 的 pattern 中，此 pattern 僅在安裝 SUSE Linux Enterprise High Availability Extension 後可用。

為 SBD 啟用 softdog watchdog

2.1. 啟用 softdog watchdog：

## 啟用 softdog 檢查包
$ echo softdog | sudo tee /etc/modules-load.d/watchdog.conf
$ sudo systemctl restart systemd-modules-load
$ echo "modprobe softdog" | sudo tee -a /etc/init.d/boot.local
$ sudo modprobe softdog

2.2. 測試 softdog 模組是否正確載入：

$ lsmod | grep dog

螢幕輸出 :

softdog 16384 0

2.3. 確認 softdog Device 是否可用且工作：

$ sudo ls -l /dev/watchdog* && sudo sbd query-watchdog

螢幕輸出 :

crw------- 1 root root 10, 130 Nov 15 09:51 /dev/watchdog
crw------- 1 root root 247, 0 Nov 15 09:51 /dev/watchdog0
Discovered 2 watchdog devices:
[1] /dev/watchdog
Identity: Software Watchdog
Driver: softdog
CAUTION: Not recommended for use with sbd.
[2] /dev/watchdog0
Identity: Software Watchdog
Driver: softdog
CAUTION: Not recommended for use with sbd.

2.4. 確認 softdog device 是否運作 :

$ sudo sbd -w /dev/watchdog test-watchdog

螢幕輸出 :

WARNING: This operation is expected to force-reboot this system
without following any shutdown procedures.
Proceed? [NO/Proceed]

輸入 : Proceed

螢幕輸出 :

Initializing /dev/watchdog with a reset countdown of 5 seconds ...
NOTICE: The watchdog device is expected to reset the system
in 5 seconds. If system remains active beyond that time,
watchdog may not be functional.
Reset countdown ... 5 seconds
Reset countdown ... 4 seconds
Reset countdown ... 3 seconds
Reset countdown ... 2 seconds
System expected to reset any moment ...

確認 5 秒倒數後，系統會直接被重新開機。

確認給 SDB 用的 Disk 資訊與第一台 Node 相同

$ sudo lvmdiskscan

螢幕輸出 :

/dev/mapper/mpathb [ 100.00 GiB]
/dev/sda1 [ 8.00 MiB]
/dev/mapper/mpathe [ 1.00 GiB]
/dev/sda2 [ 199.99 GiB]
/dev/mapper/mpathf [ 1.00 GiB]
/dev/mapper/mpathd [ 1.00 GiB]
/dev/mapper/mpathc [ 100.00 GiB]
5 disks
2 partitions
0 LVM physical volume whole disks
0 LVM physical volumes

重要 : 如果給 SDB 使用的這三顆硬碟，名稱與第一台節點不同，再將第二台節點加入叢集時會失敗。

3.1. 在第一台 Node 匯出 multipath 當前的設定檔

$ sudo multipath -T

螢幕輸出 :

...以上省略
multipaths {
multipath {
wwid "360014053be325d33ebb4e7e966df3a4f"
# alias "mpathb"
}
multipath {
wwid "36001405ee25a89d7a8a4df09f6a3a5f0"
# alias "mpathc"
}
multipath {
wwid "36001405c2d16cc2065f4004ac0a1c188"
# alias "mpathd"
}
multipath {
wwid "36001405e9b0b982a26f493e97b88ca61"
# alias "mpathe"
}
multipath {
wwid "3600140552d947e312e24a4f8a9a0f9b1"
# alias "mpathf"
}
}

3.2. 修改第二台節點 multipath 的設定檔

$ sudo nano /etc/multipath.conf

將上個步驟在設定檔中得到的 multipath 區塊複製到第二台節點 multipath 的設定檔，並把 alias 前面的 # 刪除

...以上省略
multipaths {
multipath {
wwid "360014053be325d33ebb4e7e966df3a4f"
alias "mpathb"
}
multipath {
wwid "36001405ee25a89d7a8a4df09f6a3a5f0"
alias "mpathc"
}
multipath {
wwid "36001405c2d16cc2065f4004ac0a1c188"
alias "mpathd"
}
multipath {
wwid "36001405e9b0b982a26f493e97b88ca61"
alias "mpathe"
}
multipath {
wwid "3600140552d947e312e24a4f8a9a0f9b1"
alias "mpathf"
}
}

3.3. 重啟 multipath 服務

$ sudo systemctl restart multipathd.service

3.4. 檢查是否符合預期

$ sudo lvmdiskscan

螢幕輸出 :

 /dev/mapper/mpathd [ 1.00 GiB]
/dev/sda1 [ 8.00 MiB]
/dev/mapper/mpathe [ 1.00 GiB]
/dev/sda2 [ 199.99 GiB]
/dev/mapper/mpathf [ 1.00 GiB]
/dev/mapper/mpathb [ 100.00 GiB]
/dev/mapper/mpathc [ 100.00 GiB]
5 disks
2 partitions
0 LVM physical volume whole disks
0 LVM physical volumes

將第二台節點加入叢集

$ sudo crm cluster join -i eth2 -i eth0 -c rancher@sle-ha-1 -y

-i，指定網卡
-c，指定登入現有群集節點的使用者和主機
-y，自動回答 yes

螢幕輸出 :

INFO: Configuring csync2
INFO: Starting csync2.socket service
INFO: BEGIN csync2 syncing files in cluster
INFO: END csync2 syncing files in cluster
INFO: Merging known_hosts
INFO: BEGIN Probing for new partitions
INFO: END Probing for new partitions
WARNING: IP 192.168.11.172,10.13.0.32 was already configured
INFO: Got SBD configuration
INFO: Hawk cluster interface is now running. To see cluster status, open:
INFO: https://10.13.0.32:7630/
INFO: Log in with username 'hacluster', password 'linux'
WARNING: You should change the hacluster password to something more secure!
INFO: BEGIN Waiting for cluster
..
INFO: END Waiting for cluster
INFO: BEGIN Adjusting sbd related timeout values
WARNING: "stonith-timeout" in crm_config is set to 119, it was 60
INFO: END Adjusting sbd related timeout values
INFO: BEGIN Reloading cluster configuration
INFO: END Reloading cluster configuration
INFO: Done (log saved to /var/log/crmsh/crmsh.log)

檢查叢集狀態

$ sudo crm status

螢幕輸出 :

Status of pacemakerd: 'Pacemaker is running' (last updated 2023-11-17 11:45:37 +08:00)
Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-1 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Fri Nov 17 11:45:38 2023
* Last change: Fri Nov 17 11:08:36 2023 by root via cibadmin on sle-ha-2
* 2 nodes configured
* 1 resource instance configured
Node List:
* Online: [ sle-ha-1 sle-ha-2 ]
Full List of Resources:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-1

登入 HAWK2 網站

URL : https://10.13.0.31:7630/login
- 兩台主機的 7630 Port 都能登入
帳號 : hacluster
密碼 : linux

3.5. HA 叢集基礎設定

檢查是否啟用 fencing

$ sudo crm configure show type:property

允許 STONITH 設備射擊故障的節點和擁有無法停止的資源的節點。
STONITH is stands for “Shoot The Other Node in the Head”

螢幕輸出 :

property cib-bootstrap-options: \
have-watchdog=true \
dc-version="2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f" \
cluster-infrastructure=corosync \
cluster-name=topgun \
stonith-enabled=true \
stonith-watchdog-timeout=-1 \
stonith-timeout=119

如果發現 stonith-enabled 的值等於 false，那麼請執行以下命令 : $ sudo crm configure property stonith-enabled=true

STONITH 這個動作由 pacemaker-fenced 這個背景程序執行，這個程序會在叢集中的每一台 Node 的背景中運作，在 DC 節點的 pacemaker-fenced 負責接收來自 pacemaker-controld 的 fencing 請求，由 DC 節點的 pacemaker-fenced 和其他節點的 pacemaker-fenced 程式來執行所需的 fencing 操作。

將 SBD 設定為 Cluster Resource

$ sudo crm configure primitive sbd stonith:external/sbd params sbd_device="/dev/mapper/mpathe;/dev/mapper/mpathf;/dev/mapper/mpathd" op start timeout=20 interval=0 op stop timeout=15 interval=0 op monitor timeout=20

在 /etc/sysconfig/sbd 中有設定 SBD_STARTMODE=always 的話，代表在叢集中的節點被 Fence 之後，會在主機重開機後，自動 Join 回叢集中; 如果把 SBD_STARTMODE 的值設為 clean 的話，主機重開機後，就"不會"自動 Join 回叢集中。

主機被 Fence 之後，手動 Join 回叢集的步驟如下 :

sudo sbd -d /dev/sda list，檢查哪一台 Node 是 reset

把 reset 的 node 改回 clear，sudo sbd -d /dev/sda message <node name> clear

啟動 pacemaker 服務，sudo systemctl start pacemaker.service

檢查叢集狀態 sudo crm status

4. 參考資料

SLES Troubleshooting

Thu, 30 May 2024 01:42:32 +0800

execute zypper with lib error

錯誤訊息

/usr/bin/zypper: /usr/local/lib64/libcrypto.so.1.0.0: no version information available (required by /usr/lib64/libcurl.so.4)
/usr/bin/zypper: /usr/local/lib64/libssl.so.1.0.0: no version information available (required by /usr/lib64/libcurl.so.4)
/usr/bin/zypper: /usr/local/lib64/libcrypto.so.1.0.0: no version information available (required by /usr/lib64/libssh.so.4)
/usr/bin/zypper: /usr/local/lib64/libssl.so.1.0.0: no version information available (required by /usr/lib64/libldap-2.4.so.2)
/usr/bin/zypper: /usr/local/lib64/libcrypto.so.1.0.0: no version information available (required by /usr/lib64/libldap-2.4.so.2)

解決辦法

# 將錯誤路徑的相依檔移到別的目錄區
$ mv /usr/local/lib64/libssl* /tmp
$ mv /usr/local/lib64/libcrypto* /tmp
# 更新 zypper 命令需要的系統相依檔的位置，讓它重新連結到對的路徑。
$ ldconfig /usr/bin/zypper

Root Cause

這個問題是由於 zypper 的相依檔案存取位置錯誤導致，預設 libcrypto 和 libssl 在 /lib64 目錄，而這台主機是在 /usr/local/lib64 目錄，將 /usr/local/lib64 裡的 libcrypto 和 libssl 相關檔案移走後執行 ldconfig，系統恢復正常。

Installing multiple kernel versions on SLES 15

Tue, 28 May 2024 09:21:32 +0800

Preface

SUSE Linux Enterprise Server 支援同時安裝多個 Kernel 版本。安裝第二個 Kernel 時，會自動建立啟動項目和 initrd，因此無需進一步手動設定。重新啟動電腦時，新加入的核心可作為附加啟動參數。

在 SLES 12 以後的版本，預設都有啟用安裝多版本的 Kernel 軟體套件。

1. Enabling and configuring multiversion support

1.1. 檢查設定

$ sudo cat /etc/zypp/zypp.conf | grep "^multi"

執行結果如下 :

multiversion = provides:multiversion(kernel)
multiversion.kernels = latest,latest-1,running

multiversion = provides:multiversion(kernel)

這行的開頭沒有註解，代表作業系統在升級 Kernel 時會保留多版本的 Kernel。

如果把這行註解掉，再升級 Kernel 的時候，就會把舊的 Kernel 刪除。

multiversion.kernels = latest,latest-1,running

保留最後兩個 Kernel 版本和目前正在運行的 Kernel。(在大部分的情況下就是只保留前一版的 Kernel)

latest : keep the kernel with the highest version number

running : keep the running kernel

latest 和 running 的版本基本上會是一樣的。

latest-N : keep the kernel with the Nth highest version number

如果把這行註解掉，但上面那行有設定，代表所有的 Kernel 版本都會被保留。

2. 設定保留要保留前三版的 Kernel

$ sudo nano /etc/zypp/zypp.conf

要更改的設定如下 :

## 新增 latest-2, latest-3
multiversion.kernels = latest,latest-1,latest-2,latest-3,running

3. 實測升級 Kernel 版本並保留 3 份舊版本的 Kernel

3.1. 檢查有哪些可升級的 Kernel

# 1. 檢查當前 Kernel 版本
$ uname -r
5.3.18-57-default
# 2. 查看可升級的 Kernel 版本
$ sudo zypper se -s 'kernel-default' 2> /dev/null | cut -d "|" -f 2,4
...
Loading repository data...
Reading installed packages...
Name | Version
---+----------------------+------------+
kernel-default | 5.3.18-150300.59.161.1
kernel-default | 5.3.18-150300.59.158.1
kernel-default | 5.3.18-150300.59.153.2
kernel-default | 5.3.18-150300.59.150.1
kernel-default | 5.3.18-150300.59.147.2
kernel-default | 5.3.18-150300.59.144.1
kernel-default | 5.3.18-150300.59.141.2
kernel-default | 5.3.18-150300.59.138.1
kernel-default | 5.3.18-150300.59.133.1
...
$ ls /boot | grep 57
config-5.3.18-57-default
initrd-5.3.18-57-default
initrd-5.3.18-57-default-kdump
symvers-5.3.18-57-default.gz
sysctl.conf-5.3.18-57-default
System.map-5.3.18-57-default
vmlinux-5.3.18-57-default.gz
vmlinuz-5.3.18-57-default

3.2. 升級 Kernel 到指定版本

# 1. 安裝 5.3.18-150300.59.49.1 版本的 Kernel
$ sudo zypper in kernel-default-5.3.18-150300.59.49.1
# 2. 重新開機
$ sudo init 6
# 3. 檢查 Kernel 版本
$ uname -r
5.3.18-150300.59.49-default
# 4. 檢查是否有保留上一版的 Kernel
$ ls /boot/ | grep 57
config-5.3.18-57-default
initrd-5.3.18-57-default
initrd-5.3.18-57-default-kdump
symvers-5.3.18-57-default.gz
sysctl.conf-5.3.18-57-default
System.map-5.3.18-57-default
vmlinux-5.3.18-57-default.gz
vmlinuz-5.3.18-57-default
$ sudo cat /boot/grub2/grub.cfg | grep 57
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-57-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-57-default

3.3. 第二次升級 Kernel 到指定版本

# 1. 安裝 5.3.18-150300.59.63.1 版本的 Kernel
$ sudo zypper in kernel-default-5.3.18-150300.59.63.1
# 2. 重新開機
$ sudo init 6
# 3. 檢查 Kernel 版本
$ uname -r
5.3.18-150300.59.63-default
# 4. 檢查是否有保留上上一版的 Kernel
$ ls /boot/ | grep 57
config-5.3.18-57-default
initrd-5.3.18-57-default
initrd-5.3.18-57-default-kdump
symvers-5.3.18-57-default.gz
sysctl.conf-5.3.18-57-default
System.map-5.3.18-57-default
vmlinux-5.3.18-57-default.gz
vmlinuz-5.3.18-57-default
$ sudo cat /boot/grub2/grub.cfg | grep 57
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-57-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-57-default
# 5. 檢查是否有保留上一版的 Kernel
$ ls /boot/ | grep 49
config-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default-kdump
symvers-5.3.18-150300.59.49-default.gz
sysctl.conf-5.3.18-150300.59.49-default
System.map-5.3.18-150300.59.49-default
vmlinux-5.3.18-150300.59.49-default.gz
vmlinuz-5.3.18-150300.59.49-default
$ sudo cat /boot/grub2/grub.cfg | grep 49
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.49-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-150300.59.49-default

3.3. 第三次升級 Kernel 到指定版本

# 1. 安裝 5.3.18-150300.59.109.1 版本的 Kernel
$ sudo zypper in kernel-default-5.3.18-150300.59.109.1
# 2. 重新開機
$ sudo init 6
# 3. 檢查 Kernel 版本
$ uname -r
5.3.18-150300.59.109-default
# 4. 檢查是否有保留最原始的 Kernel
$ ls /boot/ | grep 57
config-5.3.18-57-default
initrd-5.3.18-57-default
initrd-5.3.18-57-default-kdump
symvers-5.3.18-57-default.gz
sysctl.conf-5.3.18-57-default
System.map-5.3.18-57-default
vmlinux-5.3.18-57-default.gz
vmlinuz-5.3.18-57-default
$ sudo cat /boot/grub2/grub.cfg | grep 57
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-57-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-57-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-57-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-57-default ...'
linux /boot/vmlinuz-5.3.18-57-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-57-default
# 5. 檢查是否有保留第一次升級後的 Kernel
$ ls /boot/ | grep 49
config-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default-kdump
symvers-5.3.18-150300.59.49-default.gz
sysctl.conf-5.3.18-150300.59.49-default
System.map-5.3.18-150300.59.49-default
vmlinux-5.3.18-150300.59.49-default.gz
vmlinuz-5.3.18-150300.59.49-default
$ sudo cat /boot/grub2/grub.cfg | grep 49
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.49-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-150300.59.49-default
# 6. 檢查是否保留第二次升級後的 Kernel
$ ls /boot/ | grep 63
config-5.3.18-150300.59.63-default
initrd-5.3.18-150300.59.63-default
initrd-5.3.18-150300.59.63-default-kdump
symvers-5.3.18-150300.59.63-default.gz
sysctl.conf-5.3.18-150300.59.63-default
System.map-5.3.18-150300.59.63-default
vmlinux-5.3.18-150300.59.63-default.gz
vmlinuz-5.3.18-150300.59.63-default
$ sudo cat /boot/grub2/grub.cfg | grep '59.63'
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.63-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.63-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.63-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.63-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.63-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.63-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.63-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.63-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.63-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-150300.59.63-default

3.4. 第四次升級 Kernel 到指定版本

# 1. 安裝 5.3.18-150300.59.147.2 版本的 Kernel
$ sudo zypper in kernel-default-5.3.18-150300.59.147.2
# 2. 重新開機
$ sudo init 6
# 3. 檢查 Kernel 版本
$ uname -r
5.3.18-150300.59.147-default
# 4. 檢查原始的 Kernel 版本是否被刪除
$ ls /boot/ | grep 57
$ sudo cat /boot/grub2/grub.cfg | grep '57'
# 5. 檢查第一次升級的 Kernel 版本是否保留
$ ls /boot/ | grep 49
config-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default
initrd-5.3.18-150300.59.49-default-kdump
symvers-5.3.18-150300.59.49-default.gz
sysctl.conf-5.3.18-150300.59.49-default
System.map-5.3.18-150300.59.49-default
vmlinux-5.3.18-150300.59.49-default.gz
vmlinuz-5.3.18-150300.59.49-default
$ sudo cat /boot/grub2/grub.cfg | grep 49
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.49-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.49-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.49-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.49-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.49-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-150300.59.49-default
# 6. 檢查第二次升級的 Kernel 版本是否保留
$ ls /boot/ | grep 63
config-5.3.18-150300.59.63-default
initrd-5.3.18-150300.59.63-default
initrd-5.3.18-150300.59.63-default-kdump
symvers-5.3.18-150300.59.63-default.gz
sysctl.conf-5.3.18-150300.59.63-default
System.map-5.3.18-150300.59.63-default
vmlinux-5.3.18-150300.59.63-default.gz
vmlinuz-5.3.18-150300.59.63-default
$ sudo cat /boot/grub2/grub.cfg | grep '59.63'
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.63-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.63-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.63-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.63-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.63-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.63-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.63-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.63-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.63-default root=/dev/mapper/system-root ${extra_cmdline}
initrd /boot/initrd-5.3.18-150300.59.63-default
# 7. 檢查第三次升級的 Kernel 版本是否保留
$ ls /boot | grep 109
config-5.3.18-150300.59.109-default
initrd-5.3.18-150300.59.109-default
initrd-5.3.18-150300.59.109-default-kdump
symvers-5.3.18-150300.59.109-default.gz
sysctl.conf-5.3.18-150300.59.109-default
System.map-5.3.18-150300.59.109-default
vmlinux-5.3.18-150300.59.109-default.gz
vmlinuz-5.3.18-150300.59.109-default
$ sudo cat /boot/grub2/grub.cfg | grep 109
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.109-default' --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.109-default-advanced-6500a139-6f62-4060-b6fe-c6314ddc9ab5' { echo 'Loading Linux 5.3.18-150300.59.109-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.109-default root=/dev/mapper/system-root ${extra_cmdline} splash=silent mitigations=auto quiet crashkernel=195M,high crashkernel=72M,low
initrd /boot/initrd-5.3.18-150300.59.109-default
menuentry 'SLES 15-SP3, with Linux 5.3.18-150300.59.109-default (recovery mode)' --hotkey=1 --class sles --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-5.3.18-150300.59.109-default-recovery-6500a139-6f62-4060-b6fe-c6314ddc9ab5' {
echo 'Loading Linux 5.3.18-150300.59.109-default ...'
linux /boot/vmlinuz-5.3.18-150300.59.109-default root=/dev/mapper/system-root ${extra_cmdline} initrd /boot/initrd-5.3.18-150300.59.109-default

4. TroubleShooting

4.1. 問題描述

不小心在升級前，把 /etc/zypp/zypp.conf 檔案裡面的 multiversion = provides:multiversion(kernel) 和 multiversion.kernels = latest,latest-1,running 都註解掉，導致之前所保留的 Kernel 都被刪除了，該如何救回來 ???

4.2. 問題解答 : 裝回舊版的 Kernel

# 將保留多個 kernel 版本的設定啟用，並保留所有的 kernel 版本
$ sudo nano /etc/zypp/zypp.conf
...
multiversion = provides:multiversion(kernel)
#multiversion.kernels = latest,latest-1,latest-2,latest-3,running
$ sudo zypper in --oldpackage --download-only kernel-default-5.3.18-150300.59.109.1
$ sudo init 6
## 開機選單選 Advanced options for SLES 15-SP3 -> 選舊版本的 Kernel
$ uname -r
5.3.18-150300.59.109-default
$ sudo zypper in --oldpackage kernel-default-5.3.18-150300.59.63.1
$ sudo init 6
## 開機選單選 Advanced options for SLES 15-SP3 -> 選舊版本的 Kernel
$ uname -r
5.3.18-150300.59.63-default

Setup SSH File Transfer Protocol on SLES 12

Mon, 27 May 2024 02:54:52 +0800

1. 確認 SFTP 是否已啟用

$ cat /etc/ssh/sshd_config | grep 'sftp-server'
Subsystem sftp /usr/lib/ssh/sftp-server

SFTP server function 預設會啟用, 如果沒有的話，新增
Subsystem sftp /usr/lib/ssh/sftp-server
到 /etc/ssh/sshd_config 中。

2. 測試上傳和下載檔案

# 1. 連線到 Clinet 主機
$ ssh rancher@192.168.11.29
# 2. 登入 SFTP Server
$ sftp root@192.168.11.32
Password:
Connected to 192.168.11.32.
sftp>
# 3. 顯示在 SFTP Server 上當前所在的目錄
sftp> pwd
Remote working directory: /root
# 4. 顯示在本地機器上當前所在的目錄
sftp> !pwd
/home/rancher
# 5. 顯示 FTP Server 上目前目錄中的文件
sftp> ls -l
drwxr-xr-x 1 root root 226 Apr 26 11:29 Desktop
...
# 6. 顯示本地機器上目前目錄下的文件
sftp> !ls -l
total 51648
drwxr-xr-x 1 rancher users 0 Mar 15 2022 bin
...
# 7. 切換在 SFTP Server 上的工作目錄
sftp> cd Desktop/
sftp> pwd
Remote working directory: /root/Desktop
# 8. 把檔案上傳到 SFTP Server 德 /root/Desktop 目錄底下
sftp> put haha
Uploading haha to /root/Desktop/haha
haha 100% 0 0.0KB/s 00:00
# 9. 從 SFTP Server 下載檔案
sftp> get haha
Fetching /root/Desktop/haha to haha
sftp> !ls -l haha
-rw-r--r-- 1 rancher users 0 May 27 10:21 haha
# 10. 在 SFTP Server 上建立目錄
sftp> mkdir test
sftp> ls -l
...
drwxr-xr-x 1 root root 0 May 27 10:23 test
# 11. 在 SFTP Server 上刪除空目錄
sftp> rmdir test
sftp> ls -l
# 12. 在 SFTP Server 上刪除檔案
sftp> rm haha
Removing /root/Desktop/haha
# 13. 在本地執行命令
sftp> !touch hehe
sftp> !ls -l hehe
-rw-r--r-- 1 rancher users 0 May 27 10:30 hehe

3. Test internal-sftp

internal-sftp 是一個設定關鍵字，它告訴 OpenSSH sshd 使用內建於 sshd 二進位檔案中的程序內 SFTP Server。這表示 sshd 無需執行外部程序（如 sftp-server）來處理 SFTP 請求。相反，它會使用自己的程式碼來處理。

使用 internal-sftp 相較於 sftp-server 有一些優點。首先是簡單性。我們不需要安裝或維護一個獨立的 sftp-server 程式。然而，這是以靈活性為代價的。internal-sftp 不允許自訂或細緻地控制 SFTP 的行為或參數。

要在 sshd_config 設定檔中配置 internal-sftp，我們使用 Subsystem 指令並加上 internal-sftp 關鍵字：

Subsystem sftp internal-sftp

我們也可以使用關鍵字 internal-sftp 的 ForceCommand 指令，強制所有 SSH 連線使用 SFTP。

3.1. 功能上與 SFTP 有什麼不同?

internal-sftp 和 sftp-server 在功能上幾乎是相同的。它們都實現了相同的協議並支持相同的功能。它們也都是從相同的源碼構建的，因此應該具有一致性和可靠性。

然而，它們之間有一些小的差異可能會影響某些特殊情況。例如，internal-sftp 完全不涉及登入 shell，而 sftp-server 會。這意味著 internal-sftp 會繞過任何 shell 配置或對某些使用者的限制，例如：

aliases
environment variables
login scripts

儘管 internal-sftp 支持與 sftp-server 相同的選項，但 internal-sftp 在較舊版本的 OpenSSH 中可能不支持某些功能。因此，當與依賴於較舊 SSH 版本的系統互動時，sftp-server 可能會是更好的選擇。

3.2. Security

在選擇 internal-sftp 和 sftp-server 時，安全性是另一個重要的考量因素。這兩個子系統都通過 SSH 協議提供加密、認證和完整性功能。

然而，internal-sftp 可以與 ChrootDirectory 指令一起使用。這讓我們可以把 SFTP 使用者限制在伺服器上的特定目錄中。這樣增強了使用者的安全性和隔離性，因為他們無法訪問或修改 chroot 目錄外的任何檔案。

此外，internal-sftp 不需要任何外部檔案或可執行檔來運作。這降低了攻擊面和被入侵的風險。例如，如果攻擊者獲得了 sftp-server 的可執行檔或修改了它，他們可能會在伺服器上執行任意代碼或命令。這個可執行檔也可能存在漏洞或錯誤，進而危害系統安全。

值得注意的是，sftp-server 支持將 SFTP 活動記錄到檔案或 syslog 中，以便進行稽核和監控。這有助於偵測或防止未授權或惡意的行為。

3.3. Use Cases and Recommendations

根據需求和偏好，internal-sftp 或 sftp-server 可能更適合不同的情境：

internal-sftp 建議用於安全性和隔離性很重要的情況，例如將使用者 chroot 到特定目錄。例如，一家網頁代管公司可能會使用 internal-sftp 來為其客戶提供安全的文件傳輸服務。他們會將每個客戶 chroot 到自己的網站目錄，並限制他們對伺服器上其他檔案或目錄的訪問。
sftp-server 適合需要高級功能或自訂的複雜且靈活的 SFTP 設置。它也是在兼容性很重要的情況下的首選，包括支持更多 SFTP 功能或擴展，或處理大規模部署或高流量環境。

3.4. 實作測試 internal-sftp 只允許特定群組使用

# 1. 修改 SSHD 設定檔
$ nano /etc/ssh/sshd_config
...
#Subsystem sftp /usr/lib/ssh/sftp-server ## 註解這行
## 新增以下 4 行字串
Match Group root,psftp
ChrootDirectory %h
ForceCommand internal-sftp -f AUTH -l INFO
Match
# 2. 重啟 SSHD 服務
$

SUMA Server Configration

Tue, 14 May 2024 07:47:02 +0800

檢驗主機名稱

~> hostname -f && hostname -s && hostname -I

螢幕輸出

suma.example.com
suma
192.168.11.69

注意，第一個 hostname -f 命令須返回 FDQN FQDN，全名 : Fully Qualified Domain Name，一個網際網路上的完整網域名稱，包括主機名稱和完整的網域名稱

檢驗工作目錄

執行以下命令

ls -ld /var/lib/pgsql /var/spacewalk

有關權限的部分，螢幕輸出應該是要跟以下一樣

drwxr-x--- 1 postgres postgres /var/lib/pgsql
drwxrwxr-x 1 wwwrun www /var/spacewalk

如果需要，請用這些命令改變權限：

chmod 750 /var/lib/pgsql
chmod 775 /var/spacewalk

And owners with:

chown postgres:postgres /var/lib/pgsql
chown wwwrun:www /var/spacewalk

以下特定目錄容量要求是官網給的建議，可視情況客製化目錄大小

![](https://i.imgur.com/b4fGVAf.png =60%x)

執行以下命令，確認特定目錄的大小是否符合預期

~> lsblk

螢幕輸出

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 250G 0 disk
├─sda1 8:1 0 8M 0 part
└─sda2 8:2 0 250G 0 part
├─system-root 254:0 0 25G 0 lvm /var
│ /usr/local
│ /tmp
│ /opt
│ /root
│ /home
│ /boot/grub2/i386-pc
│ /boot/grub2/x86_64-efi
│ /.snapshots
│ /
├─system-swap 254:1 0 3G 0 lvm [SWAP]
├─system-srv 254:2 0 44G 0 lvm /srv
├─system-var_cache 254:3 0 6G 0 lvm /var/cache
├─system-var_lib_pgsql 254:4 0 54G 0 lvm /var/lib/pgsql
└─system-var_spacewalk 254:5 0 118G 0 lvm /var/spacewalk
sr0 11:0 1 15.4G 0 ro

用戶端管理

SUMA 支援多種用戶端註冊管理方式（Traditional Clients / Salt Clients /SSH），下面以 Salt Client 方式為例，進行客戶端管理。主要是以下步驟：

針對產品版本，創建“用戶端倉庫”
創建Activation Key
創建用戶端註冊腳本
用戶端上的註冊操作

創建用戶端倉庫

在軟體倉庫中完成了某個產品(如 SLES15-SP4 )通道的導入後， SUMA 即具備了創建此產品的用戶端倉庫的選項。

有時這個倉庫也會稱為啟動倉庫，提供用戶端接受SUMA管理的最小軟體元件集合。

使用以下命令創建指定產品的用戶端倉庫：

先檢查 SUMA 目前可用的用戶端倉庫

 mgr-create-bootstrap-repo -l

-l，列出可用的用戶端倉庫

螢幕輸出

1. SLE-12-SP5-x86_64
2. SLE-15-SP3-x86_64
3. SLE-15-SP4-x86_64

創建用戶端倉庫

mgr-create-bootstrap-repo --create SLE-15-SP4-x86_64

注意：必須完成軟體通道的導入後，才可創建，否則可能會因 rpm 檔不全而失敗！

螢幕輸出

Creating bootstrap repo for SLE-15-SP4-x86_64
copy 'dbus-1-glib-0.108-1.29.x86_64'
copy 'glib2-tools-2.70.5-150400.3.3.1.x86_64'
...中間省略
Directory walk started
Directory walk done - 81 packages
Temporary output repo path: /srv/www/htdocs/pub/repositories/sle/15/4/bootstrap.tmp/.repodata/
Preparing sqlite DBs
Pool started (with 5 workers)
Pool finished

創建 Activation_Key

Activation_Key 是一系列配置的集合，用來定義

用戶端在註冊時訂閱什麼軟體倉庫，需要額外定義什麼套裝軟體等

因此通常使用不同的 Activation_key 來區分不同的軟體倉庫，還可包括用戶端數量，這一點對於合規性來說，也是很有用的。

比如，用戶有 2 個 SLES 12 SP4 訂閱和 2 個 SLES 12 SP5 訂閱，分別用在 WEB 和 DB 兩類伺服器上，則可以生成：

Activation_Key=“1-sles12-sp4-web”，包含基本產品通道，限制數量 = 2
Activation_Key=“1-sles12-sp5-db”，包含基本產品通道，限制數量 = 2

創建註冊腳本範本

完整的操作分成兩步：

創建註冊腳本的範本，此範本不能直接運行。
創建註冊腳本的實例，根據 Activation_Key 綁定具體的訂閱。

在 4.3 版本的 SUMA 中，“Enable SSL” 的選項被移除 Bootstrap using Salt，此選項用於指定是否使用 Salt 進行用戶端管理

創建成功後，會在網頁的上緣顯示以下訊息

切換到工作目錄

# cd /srv/www/htdocs/pub/bootstrap/

檢視創建註冊腳本的範本

# ll
total 52
-rw-r--r-- 1 root root 39168 Apr 20 10:51 bootstrap.sh
-rw-r--r-- 1 root root 575 Apr 20 10:51 client-config-overrides.txt
-rwxr-xr-x 1 root root 6331 Jan 27 14:28 client_config_update.py

拷貝一份特定 Chanel 的註冊腳本

cp bootstrap.sh bootstrap-SLES15SP4.sh

編輯註冊腳本

88 ACTIVATION_KEYS=1-SLE-15-SP4

在第 88 行，填入對應的 ACTIVATION_KEYS

如果沒有 DNS 環境的處理

在 bootstrap 腳本的“HOSTNAME”下一行，增加以下腳本內容:

OLDIFS=$IFS
IFS=''
SUMAHOSTRECORD='192.168.11.69'$'\t'$HOSTNAME
grep $SUMAHOSTRECORD /etc/hosts > /dev/null || {
sed -i "/$HOSTNAME/d" /etc/hosts
echo $SUMAHOSTRECORD >> /etc/hosts
}
IFS=$OLDIFS

此腳本將在用戶端註冊時，在 Clients 端的 /etc/hosts 檔案中創建正確的 SUMA 伺服器項目，請注意 IP 位址不要寫錯

用戶端註冊操作

CentOS 8 客戶端為例

以下命令須以 root 身分執行以下命令

將 SUMA 的 Domain Name 加到 /etc/hosts

$ nano /etc/hosts

新增以下內容

192.168.11.69 suma.example.com

執行註冊腳本

$ curl -k https://suma.example.com/pub/bootstrap/bootstrap-centos-8-x86_64.sh | bash

正確的螢幕輸出

 % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0SUSE Manager Server Client bootstrap script v2022.08
MINOR MANUAL EDITING OF THIS FILE MAY BE REQUIRED!
If this bootstrap script was created during the initial installation
of a SUSE Manager Server, the ACTIVATION_KEYS, and ORG_GPG_KEY values will
probably *not* be set (see below). If this is the case, please do the
following:
- copy this file to a name specific to its use.
(e.g., to bootstrap-SOME_NAME.sh - like bootstrap-web-servers.sh.)
- on the website create an activation key or keys for the system(s) to
be registered.
- edit the values of the VARIABLES below (in this script) as
appropriate:
- ACTIVATION_KEYS needs to reflect the activation key(s) value(s)
from the website. XKEY or XKEY,YKEY
Please note that if you are using this script to boostrap minions,
only the FIRST activation key will be used. Multiple activation keys
are not supported with salt
- ORG_GPG_KEY needs to be set to the name(s) of the corporate public
GPG key filename(s) (residing in /srv/www/htdocs/pub) if appropriate. XKEY or XKEY,YKEY
- When reactivating Salt minion, use REACTIVATION_KEY variable
Consider using environmental variable REACTIVATION_KEY for single use reactivation keys.
Verify that the script variable settings are correct:
- CLIENT_OVERRIDES should be only set differently if a customized
client-config-overrides-VER.txt file was created with a different
name.
- ensure the value of HOSTNAME is correct.
- ensure the value of ORG_CA_CERT is correct.
Enable this script: comment (with #'s) this block (or, at least just
the exit below, if present)
100 39378 100 39378 0 0 610k 0 --:--:-- --:--:-- --:--:-- 610k
UPDATING RHN_REGISTER/UP2DATE CONFIGURATION FILES
-------------------------------------------------
* downloading necessary files
client_config_update.py...
2023-04-20 03:16:26 URL:https://suma.example.com/pub/bootstrap/client_config_update.py [6331/6331] -> "client_config_update.py" [1]
FINISHED --2023-04-20 03:16:26--
Total wall clock time: 0.07s
Downloaded: 1 files, 6.2K in 0s (159 MB/s)
client-config-overrides.txt...
2023-04-20 03:16:26 URL:https://suma.example.com/pub/bootstrap/client-config-overrides.txt [575/575] -> "client-config-overrides.txt" [1]
FINISHED --2023-04-20 03:16:26--
Total wall clock time: 0.06s
Downloaded: 1 files, 575 in 0s (9.21 MB/s)
PREPARE GPG KEYS AND CORPORATE PUBLIC CA CERT
-------------------------------------------------
* no organizational GPG keys to import
* attempting to install corporate public CA cert
2023-04-20 03:16:27 URL:https://suma.example.com/pub/RHN-ORG-TRUSTED-SSL-CERT [1696/1696] -> "RHN-ORG-TRUSTED-SSL-CERT" [1]
FINISHED --2023-04-20 03:16:27--
Total wall clock time: 0.06s
Downloaded: 1 files, 1.7K in 0s (50.9 MB/s)
* update certificates
CLEANING UP OLD SUSE MANAGER REPOSITORIES
-------------------------------------------------
CHECKING THE REGISTRATION STACK
-------------------------------------------------
* check for necessary packages being installed...
* client codebase is centos-8
2023-04-20 03:16:27 URL:https://suma.example.com/pub/repositories/centos/8/bootstrap/repodata/repomd.xml [3087/3087] -> "repomd.xml.1" [1]
FINISHED --2023-04-20 03:16:27--
Total wall clock time: 0.05s
Downloaded: 1 files, 3.0K in 0s (94.5 MB/s)
adding client software repository at https://suma.example.com/pub/repositories/centos/8/bootstrap
adding 'module_hotfixes' flag to the repository config
2023-04-20 03:16:27 URL:https://suma.example.com/pub/repositories/centos/8/bootstrap/venv-enabled-x86_64.txt [113/113] -> "venv-enabled-x86_64.txt" [1]
FINISHED --2023-04-20 03:16:27--
Total wall clock time: 0.05s
Downloaded: 1 files, 113 in 0s (300 MB/s)
Bootstrap repo 'https://suma.example.com/pub/repositories/centos/8/bootstrap' contains salt bundle.
package venv-salt-minion is not installed
* going to install missing packages...
CentOS Linux 8 - AppStream 6.1 MB/s | 8.4 MB 00:01
CentOS Linux 8 - BaseOS 7.8 MB/s | 4.6 MB 00:00
CentOS Linux 8 - Extras 106 kB/s | 10 kB 00:00
susemanager:bootstrap 2.1 MB/s | 104 kB 00:00
Dependencies resolved.
=====================================================================================================================
Package Architecture Version Repository Size
=====================================================================================================================
Installing:
venv-salt-minion x86_64 3004-1.25.1 susemanager:bootstrap 26 M
Transaction Summary
=====================================================================================================================
Install 1 Package
Total download size: 26 M
Installed size: 103 M
Downloading Packages:
venv-salt-minion-3004-1.25.1.x86_64.rpm 33 MB/s | 26 MB 00:00
---------------------------------------------------------------------------------------------------------------------
Total 33 MB/s | 26 MB 00:00
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
Preparing : 1/1
Running scriptlet: venv-salt-minion-3004-1.25.1.x86_64 1/1
Installing : venv-salt-minion-3004-1.25.1.x86_64 1/1
Running scriptlet: venv-salt-minion-3004-1.25.1.x86_64 1/1
Verifying : venv-salt-minion-3004-1.25.1.x86_64 1/1
Installed:
venv-salt-minion-3004-1.25.1.x86_64
Complete!
venv-salt-minion-3004-1.25.1.x86_64
Last metadata expiration check: 0:00:37 ago on Thu 20 Apr 2023 03:16:33 AM EDT.
Dependencies resolved.
Nothing to do.
Complete!
REGISTRATION
------------
* registering
Using activation key: centos-8-x86_64
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service → /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

Trouble Shooting

錯誤訊息

Error: Failed to download metadata for repo 'appstream': Cannot prepare internal mirrorlist: No URLs in mirrorlist
package venv-salt-minion is not installed
ERROR: Failed to install all missing packages.

解決辦法

執行以下三行命令

$ cd /etc/yum.repos.d/
$ sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
$ sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*

最後再跟 SUMA 註冊一次應該就成功了

$ curl -k https://suma.example.com/pub/bootstrap/bootstrap-centos-8-x86_64.sh | bash

SLES-12-SP5 為例

將 SUMA 的 Domain Name 加到 /etc/hosts

$ vim /etc/hosts

新增以下內容

192.168.11.69 suma.example.com

執行註冊腳本

$ curl -k https://suma.example.com/pub/bootstrap/bootstrap-SLE-12-SP5.sh | bash

正確的螢幕輸出

 % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 39380 100 39380 0 0 1373k 0 --:--:-- --SUSE Manager Server Client bootstrap script v2022.08
:--:-- --:--:-- 1373k
MINOR MANUAL EDITING OF THIS FILE MAY BE REQUIRED!
If this bootstrap script was created during the initial installation
of a SUSE Manager Server, the ACTIVATION_KEYS, and ORG_GPG_KEY values will
probably *not* be set (see below). If this is the case, please do the
following:
- copy this file to a name specific to its use.
(e.g., to bootstrap-SOME_NAME.sh - like bootstrap-web-servers.sh.)
- on the website create an activation key or keys for the system(s) to
be registered.
- edit the values of the VARIABLES below (in this script) as
appropriate:
- ACTIVATION_KEYS needs to reflect the activation key(s) value(s)
from the website. XKEY or XKEY,YKEY
Please note that if you are using this script to boostrap minions,
only the FIRST activation key will be used. Multiple activation keys
are not supported with salt
- ORG_GPG_KEY needs to be set to the name(s) of the corporate public
GPG key filename(s) (residing in /srv/www/htdocs/pub) if appropriate. XKEY or XKEY,YKEY
- When reactivating Salt minion, use REACTIVATION_KEY variable
Consider using environmental variable REACTIVATION_KEY for single use reactivation keys.
Verify that the script variable settings are correct:
- CLIENT_OVERRIDES should be only set differently if a customized
client-config-overrides-VER.txt file was created with a different
name.
- ensure the value of HOSTNAME is correct.
- ensure the value of ORG_CA_CERT is correct.
Enable this script: comment (with #'s) this block (or, at least just
the exit below, if present)
hostname: Name or service not known
UPDATING RHN_REGISTER/UP2DATE CONFIGURATION FILES
-------------------------------------------------
* downloading necessary files
client_config_update.py...
WARNING: cannot verify suma.example.com's certificate, issued by ‘/C=TW/ST=Taiwan/L=Taipei City/O=Taishinbank/OU=IT/CN=suma.example.com’:
Unable to locally verify the issuer's authority.
2023-04-20 15:01:10 URL:https://suma.example.com/pub/bootstrap/client_config_update.py [6331/6331] -> "client_config_update.py" [1]
FINISHED --2023-04-20 15:01:10--
Total wall clock time: 0.1s
Downloaded: 1 files, 6.2K in 0s (3.72 GB/s)
client-config-overrides.txt...
WARNING: cannot verify suma.example.com's certificate, issued by ‘/C=TW/ST=Taiwan/L=Taipei City/O=Taishinbank/OU=IT/CN=suma.example.com’:
Unable to locally verify the issuer's authority.
2023-04-20 15:01:10 URL:https://suma.example.com/pub/bootstrap/client-config-overrides.txt [575/575] -> "client-config-overrides.txt" [1]
FINISHED --2023-04-20 15:01:10--
Total wall clock time: 0.05s
Downloaded: 1 files, 575 in 0s (545 MB/s)
PREPARE GPG KEYS AND CORPORATE PUBLIC CA CERT
-------------------------------------------------
* no organizational GPG keys to import
* attempting to install corporate public CA cert
WARNING: cannot verify suma.example.com's certificate, issued by ‘/C=TW/ST=Taiwan/L=Taipei City/O=Taishinbank/OU=IT/CN=suma.example.com’:
Unable to locally verify the issuer's authority.
2023-04-20 15:01:11 URL:https://suma.example.com/pub/RHN-ORG-TRUSTED-SSL-CERT [1696/1696] -> "RHN-ORG-TRUSTED-SSL-CERT" [1]
FINISHED --2023-04-20 15:01:11--
Total wall clock time: 0.05s
Downloaded: 1 files, 1.7K in 0s (547 MB/s)
* update certificates
CLEANING UP OLD SUSE MANAGER REPOSITORIES
-------------------------------------------------
CHECKING THE REGISTRATION STACK
-------------------------------------------------
* check for necessary packages being installed...
* client codebase is sle-12-sp5
2023-04-20 15:01:11 URL:https://suma.example.com/pub/repositories/sle/12/5/bootstrap/venv-enabled-x86_64.txt [113/113] -> "venv-enabled-x86_64.txt" [1]
FINISHED --2023-04-20 15:01:11--
Total wall clock time: 0.05s
Downloaded: 1 files, 113 in 0s (121 MB/s)
Bootstrap repo 'https://suma.example.com/pub/repositories/sle/12/5/bootstrap' contains salt bundle.
package venv-salt-minion is not installed
* going to install missing packages...
2023-04-20 15:01:11 URL:https://suma.example.com/pub/repositories/sle/12/5/bootstrap/repodata/repomd.xml [3095/3095] -> "repomd.xml" [1]
FINISHED --2023-04-20 15:01:11--
Total wall clock time: 0.05s
Downloaded: 1 files, 3.0K in 0s (995 MB/s)
adding client software repository at https://suma.example.com/pub/repositories/sle/12/5/bootstrap
Retrieving repository 'susemanager:bootstrap' metadata ........................................................[done]
Building repository 'susemanager:bootstrap' cache .............................................................[done]
Specified repositories have been refreshed.
Loading repository data...
Reading installed packages...
Resolving package dependencies...
The following NEW package is going to be installed:
venv-salt-minion
The following package has no support information from it's vendor:
venv-salt-minion
1 new package to install.
Overall download size: 21.9 MiB. Already cached: 0 B. After the operation, additional 100.6 MiB will be used.
Continue? [y/n/...? shows all options] (y): y
Retrieving package venv-salt-minion-3004-3.25.1.x86_64 (1/1), 21.9 MiB (100.6 MiB unpacked)
Retrieving: venv-salt-minion-3004-3.25.1.x86_64.rpm ...............................................[done (7.4 MiB/s)]
Checking for file conflicts: ..................................................................................[done]
(1/1) Installing: venv-salt-minion-3004-3.25.1.x86_64 .........................................................[done]
venv-salt-minion-3004-3.25.1.x86_64
Loading repository data...
Reading installed packages...
No update candidate for 'openssl-1.0.2p-1.13.noarch'. The highest available version is already installed.
No update candidate for 'venv-salt-minion-3004-3.25.1.x86_64'. The highest available version is already installed.
Resolving package dependencies...
The following 3 packages are going to be upgraded:
libsolv-tools libzypp zypper
The following 3 packages have no support information from their vendor:
libsolv-tools libzypp zypper
3 packages to upgrade.
Overall download size: 3.8 MiB. Already cached: 0 B. After the operation, additional 126.8 KiB will be used.
Continue? [y/n/...? shows all options] (y): y
Retrieving package libsolv-tools-0.6.39-2.39.2.x86_64 (1/3), 583.9 KiB ( 4.7 MiB unpacked)
Retrieving: libsolv-tools-0.6.39-2.39.2.x86_64.rpm ............................................................[done]
Retrieving package libzypp-16.22.5-39.1.x86_64 (2/3), 2.0 MiB ( 7.4 MiB unpacked)
Retrieving: libzypp-16.22.5-39.1.x86_64.rpm ...................................................................[done]
Retrieving package zypper-1.13.62-21.46.5.x86_64 (3/3), 1.2 MiB ( 6.8 MiB unpacked)
Retrieving: zypper-1.13.62-21.46.5.x86_64.rpm .................................................................[done]
Checking for file conflicts: ..................................................................................[done]
(1/3) Installing: libsolv-tools-0.6.39-2.39.2.x86_64 ..........................................................[done]
(2/3) Installing: libzypp-16.22.5-39.1.x86_64 .................................................................[done]
(3/3) Installing: zypper-1.13.62-21.46.5.x86_64 ...............................................................[done]
REGISTRATION
------------
* registering
Using activation key: SLE-12-SP5-x86_64
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink from /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service to /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

Trouble Shooting

如果 Client 端的 VM 是複製出來的 Machine ID 會一樣，導致 Activation Key 激活後，擠掉同 Machine ID 的 VM，如果用 sudo journalctl -u venv-salt-minion.service，可以查看以下錯誤訊息

The Salt Master has cached the public key for this node, this salt minion will wait for 10 seconds before attempting to re-authenticate
...

解決辦法 :

在 Client 端上，執行以下命令

$ rm /etc/machine-id && \
rm /var/lib/dbus/machine-id && \
dbus-uuidgen --ensure && \
systemd-machine-id-setup

再去檢查 Machine ID 就會變成不一樣的了，此時再重啟服務

$ sudo systemctl restart venv-salt-minion.service

然後到 SUMA 去接受 Key 就 OK 拉 ~

Add Product 出現 sync failed

可以到 /var/log/rhn/reposync/ 目錄底下看 log 檔

suma 4.2.14 以上的版本，要加 SLES 15 SP3 的 Client 端，需要 LTSS 的 Channel，這樣在建立 Bootstrap Repo 才不會因為缺少套件而失敗

錯誤訊息如下

error: package "python3-looseversion" not found

SUMA Client 註冊失敗，並出現 `the salt master has rejected this minion's public key` 錯誤訊息

解決辦法 : 移除 Client 有關 Salt 的檔案，並停止 Salt-minion 的服務，到 SUMA 上清除 Client 的 Salt Key

接受 Salt 用戶端

在 SUMA 的 WEB 介面上，進入 [SUSE Manager] > Systems > System List > All 頁面，可以看到新註冊的用戶端系統。

如果是 Salt 用戶端，[SUSE Manager] > Salt > Keys，首先需要在 WEB 介面的 Salt 功能表，接受新的 Salt-Key 方能讓新用戶端系統進入 System 清單中。

示意圖

接受以後

最後就可以在 System OverView 上看到用戶端拉 ~

單個用戶端全量補丁

”Select All" ，按鈕選擇所有補丁
“Apply Patchs” ，按鈕會提示升級補丁的時間安排：

選擇時間後，再提交操作請求。

提交後，可以到 Events 的 History 下，檢查 Patch 後的狀態

有關補丁的部分還可以完成

單個用戶端特定補丁
按特定 CVE 實施補丁
- [SUSE Manager] > Audit > CVE Audit 頁面，在搜尋框輸入 CVE 編號
批量用戶端應用補丁

移除註冊 Client

1. 先在 SUMA Server 上執行

sudo spacecmd system_delete FQDN
sudo salt-key -d FQDN
spacecmd -- clear_caches

2. 在 Client 端上執行

請依 system type 選擇刪除方法

2.1 Salt Bundle Client - Manual Registration Cleanup

$ sudo systemctl stop venv-salt-minion.service; \
sudo rm /etc/zypp/repos.d/susemanager\:channels.repo /etc/venv-salt-minion/*; \
zypper rm -y venv-salt-minion; \
sudo rm -r /etc/venv-salt-minion/*

2.2 Deleting SLES 12 and 15 Salt Clients

$ systemctl stop salt-minion; \
rm /etc/zypp/repos.d/susemanager\:channels.repo; \
rm -r /etc/sysconfig/rhn/; \
rm -r /etc/salt/; \
zypper rm salt salt-minion python*-salt sle-manager-tools-release

透過 spacecmd 指令管理 SUMA

Login

$ spacecmd -- login

螢幕輸出 :

Spacewalk Username: admin
Spacewalk Password:
INFO: Connected to https://suma.example.com/rpc/api as admin

填入 Username 和 Password (與 SUMA Web Console 登入的帳密相同)

列出 SUMA 中已安裝的 base channel

$ spacecmd -- softwarechannel_listbasechannels -v

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
sle-product-sles15-sp3-pool-x86_64 : SUSE Linux Enterprise Server 15 SP3 x86_64
sle-product-sles15-sp4-pool-x86_64 : SUSE Linux Enterprise Server 15 SP4 x86_64
sle-product-sles15-sp5-pool-x86_64 : SUSE Linux Enterprise Server 15 SP5 x86_64

列出 SUMA 中已安裝的 Child Channel

$ spacecmd -- softwarechannel_listchildchannels sle-product-sles15-sp4-pool-x86_64 -v

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
sle-manager-tools15-pool-x86_64-sp4 : SUSE Manager Client Tools for SLE 15 x86_64
sle-manager-tools15-updates-x86_64-sp4 : SUSE Manager Client Tools for SLE 15 x86_64
sle-module-basesystem15-sp4-pool-x86_64 : Basesystem Module 15 SP4 x86_64
sle-module-basesystem15-sp4-updates-x86_64 : Basesystem Module 15 SP4 x86_64
sle-module-containers15-sp4-pool-x86_64 : Containers Module 15 SP4 x86_64
sle-module-containers15-sp4-updates-x86_64 : Containers Module 15 SP4 x86_64
sle-module-desktop-applications15-sp4-pool-x86_64 : Desktop Applications Module 15 SP4 x86_64
sle-module-desktop-applications15-sp4-updates-x86_64 : Desktop Applications Module 15 SP4 x86_64
sle-module-packagehub-subpackages15-sp4-pool-x86_64 : SUSE Package Hub 15 SP4 x86_64
sle-module-packagehub-subpackages15-sp4-updates-x86_64 : SUSE Package Hub 15 SP4 x86_64
sle-module-python3-15-sp4-pool-x86_64 : Python 3 Module 15 SP4 x86_64
sle-module-python3-15-sp4-updates-x86_64 : Python 3 Module 15 SP4 x86_64
sle-module-server-applications15-sp4-pool-x86_64 : Server Applications Module 15 SP4 x86_64
sle-module-server-applications15-sp4-updates-x86_64 : Server Applications Module 15 SP4 x86_64
sle-module-transactional-server15-sp4-pool-x86_64 : Transactional Server Module 15 SP4 x86_64
sle-module-transactional-server15-sp4-updates-x86_64 : Transactional Server Module 15 SP4 x86_64
sle-product-sles15-sp4-updates-x86_64 : SUSE Linux Enterprise Server 15 SP4 x86_64
sle15-sp4-installer-updates-x86_64 : SUSE Linux Enterprise Server 15 SP4 x86_64
suse-packagehub-15-sp4-backports-pool-x86_64 : SUSE Package Hub 15 SP4 x86_64
suse-packagehub-15-sp4-pool-x86_64 : SUSE Package Hub 15 SP4 x86_64

創建 Activation key

usage: activationkey_create [options]
options:
-n NAME
-d DESCRIPTION
-b BASE_CHANNEL
-u set key as universal default
-e [enterprise_entitled,virtualization_host]

Example

$ spacecmd -- activationkey_create \
-n sles-15-sp4 \
-d sles-15-sp4 \
-b sle-product-sles15-sp4-pool-x86_64 \
-e virtualization_host

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
INFO: Created activation key 1-sles-15-sp4

Set the usage limit of an activation key

can be a number or unlimited.

usage: activationkey_setusagelimit KEY <usage limit>
usage: activationkey_setusagelimit KEY unlimited

Example

$ spacecmd -- activationkey_setusagelimit 1-sles-15-sp4 30

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
INFO: Created activation key 1-sles-15-sp4

Set the base channel for an activation key

usage: activationkey_setbasechannel KEY CHANNEL

Example

$ spacecmd -- activationkey_setbasechannel sles-15-sp4 sle-product-sles15-sp4-pool-x86_64

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin

Add child channels to an activation key

usage: activationkey_addchildchannels KEY <CHANNEL ...>

Example

## Set a var which has include all child channel of sle 15 sp4 base channel
channel=$(spacecmd -- softwarechannel_listchildchannels sle-product-sles15-sp4-pool-x86_64 2> /dev/null)
$ spacecmd -- activationkey_addchildchannels 1-sles-15-sp4 $channel

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin

Remove child channels from an activation key

usage: activationkey_removechildchannels KEY <CHANNEL ...>

Example

$ spacecmd -- activationkey_removechildchannels 1-sles-15-sp4 sle-module-containers15-sp4-pool-x86_64 sle-module-containers15-sp4-updates-x86_64 sle-module-desktop-applications15-sp4-pool-x86_64 sle-module-desktop-applications15-sp4-updates-x86_64 sle-module-transactional-server15-sp4-pool-x86_64 sle-module-server-applications15-sp4-updates-x86_64

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin

List the base channel associated with an activation key

usage: activationkey_listbasechannel KEY

Example

$ spacecmd -- activationkey_listbasechannel 1-sles-15-sp4

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
sle-product-sles15-sp4-pool-x86_64

List child channels associated with an activation key

usage: activationkey_listchildchannels KEY

Example

$ spacecmd -- activationkey_listchildchannels 1-sles-15-sp4

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
sle-manager-tools15-pool-x86_64-sp4
sle-manager-tools15-updates-x86_64-sp4
sle-module-basesystem15-sp4-pool-x86_64
sle-module-basesystem15-sp4-updates-x86_64
sle-module-packagehub-subpackages15-sp4-pool-x86_64
sle-module-packagehub-subpackages15-sp4-updates-x86_64
sle-module-python3-15-sp4-pool-x86_64
sle-module-python3-15-sp4-updates-x86_64
sle-module-server-applications15-sp4-pool-x86_64
sle-module-transactional-server15-sp4-updates-x86_64
sle-product-sles15-sp4-updates-x86_64
sle15-sp4-installer-updates-x86_64
suse-packagehub-15-sp4-backports-pool-x86_64
suse-packagehub-15-sp4-pool-x86_64

Delete an existing activation key

usage: activationkey_delete KEY

Example

$ spacecmd -- activationkey_delete 1-sles-15-sp4

螢幕輸出 :

INFO: Connected to https://suma.example.com/rpc/api as admin
1-sles-15-sp4
Delete activation key(s) [y/N]: y

輸入 y，確認刪除

List all existing activation keys

usage: activationkey_list

Example

$ spacecmd -q -- activationkey_list

螢幕輸出 :

1-liberty-linux-centos-7
1-liberty-linux-rhel-7
1-oracle-linux-7

Set the contact method to use for systems registered with a specific key

usage: activationkey_setcontactmethod KEY CONTACT_METHOD

The following contact methods are available for use with traditional spacecmd: [‘default’, ‘ssh-push’, ‘ssh-push-tunnel’]

Example

$ spacecmd -q -- activationkey_setcontactmethod 1-liberty-linux-rhel-7 ssh-push

SUMA 從 SUSE Custom Center 同步 Products

Tue, 16 Apr 2024 09:13:46 +0800

1. SUMA 從 SUSE Custom Center 同步 Products

1.1. 新增 Organization Credentials

在 SUSE Manager Web UI, 選擇 Admin -> Setup Wizard
從 Setup Wizard 頁面選擇 Organization Credentials
點選 Add a new credential

輸入 Username 和 Password，確認沒問題後按 Save

在 SCC 的 Users -> Organization Credentials 可以看到使用者帳號和密碼

1.2. 確認組織憑證已新增成功

1.3. 列出可加入的 Products

點選 Products

SUSE Linux Enterprise HAE

Wed, 13 Mar 2024 01:29:48 +0800

Preface

本篇文章會主要會介紹，什麼是 SUSE Linux Enterprise HAE，並且介紹它的架構

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Introduction to SUSE Linux Enterprise HA

SLE HA Product Overview

SUSE Linux Enterprise High Availability 可作為 SLE15 的 Extension ( 擴充 ) 來提供
它由多項 open source clustering technologies 組合而成，包括主要的兩個技術：
- Pacemaker
  - 資源管理器，用來管理在叢集中的資源，例如: VIP、檔案系統、Apache、資料庫…等，都可以透過它來管理，來防止服物被中斷
- Corosync
  - 確保在叢集中的 Node 之間的資訊進行同步，假設有一台 Node 故障，能夠快速發現，並且要恢復時，能夠把節點快速加回叢集中。
藉由 SLE HAE 使您能夠在虛擬機、在雲端上的虛擬機和實體機實施的高可用性解決方案

SLE HAE 目標

消除單點故障，以 HANA 為例，它本身就是一種克隆資源，第二台節點本身會去跟第一台主節點同步所有的資料，一但第一台節點當機，第二台節點能夠立即提供服務。
確保服務的高可用性，一旦有服務在本機發生故障，它能夠幫你把服務檢測，一但在本機不可恢復就會遷移到其他節點上繼續提供服務。
實現 critical network resources ( 關鍵網路資源 ) 的管理
- 確保 Data ( 數據 ) 能夠一直被存取
- 確保 Applications ( 應用 ) 能夠跑的長長久久、穩穩當當
- Services ( 服務 )

建立 SLE HAE 的好處

讓服務能夠變成高可用
- 朝著零停機時間邁進
降低故障恢復所需的時間
減少計劃更新所需的停機時間
- 將服務移轉至另一台節點上
- 更新 Node 的系統
- 再將服務移轉回來

Cluster Types

SUSE Linux Enterprise HA supports:
- Local Clusters
- Metro Clusters
- Geo Clusters
Local Cluster
- 單一個 Cluster 在一個地點
- 例如，叢集的所有節點都在一個 Datacenter ( 資料中心 ) 內
Metro Cluster
- 單一個 Cluster 分佈在多棟建築物中
Geo Cluster
- 多個 local clusters ，在地理位置上相互遠離

Geo Clustering

A Geo Cluster consists of:
- Multiple geographically dispersed sites ( 多個地理分散的地點 )
- A local cluster on each site ( 每個不同的地點都會有一個 local cluster )
A subscription for SUSE Linux Enterprise HA Extension includes Geo Clustering for SLE HA
Geo Clustering 提供跨不同地點的故障切換

以 SUSE Linux Enterprise High Availability Extension 為基礎建立的 Geo clusters 可以被視為 “overlay” clusters ，每一個 cluster 在傳統的 cluster 中對應的是一個 node，overlay cluster 由 booth cluster ticket manager 管理
Geo Cluster 中的每一個 Local Cluster 都執行一個 booth 背景程序。它連接到其他不同地點的 Cluster 中運行的 booth 背景程序，並交換連線詳情。
booth 背景程序依賴 ticket (在 Cluster 中的一個物件) 來實現叢集資源跨地點的高可用性。 ticket 會決定要在哪一個地點的 Cluster 上要執行哪些 Application。 booth 保證每張 ticket 一次只能授予一個地點的 Cluster。

如果兩個 booth 程序之間的通訊中斷，Application 的轉移會由誰決策?

可能是因為兩個 Cluster 所在的地點之間的網路故障，也可能是因為某個 Cluster 所在的地點網路被中斷，在這種情況下，你需要一個額外的實例 ( 第三個不同地點的 Cluster 或是一個 arbitrator [仲裁器]）來就跨地點的資源故障轉移等決策達成共識。

Arbitrator ( 仲裁器 )

是叢集之外的單一台 Node，以特殊模式執行 booth 服務。每個 Geo Cluster 可以有一個或多個 arbitrator。

最常見的情況可能是一個 Geo Cluster 有兩個地點，在第三個地點上有一個 arbitrator。這就需要三個 booth 服務。

也可以運行一個在兩個地點的 Geo Cluster 但是沒有 arbitrator。在這種情況下，Geo Cluster 的管理員需要手動管理 ticket。如果要同時向多個地點的 Cluster 授予 ticket， booth 會顯示警告。

Primary Components of SLE HA

HA Base Components

Corosync (負責管理叢集的心跳)
Pacemaker (資源管理器和策略控制器)
crm shell ( crm 命令來管理叢集)
Hawk (Web 介面來管理叢集)

Storage Components (可選的)

以下是能做為 HAE Storage 的技術
- Clustered NFS
- cLVM
- OCFS2 (可以給 Active/Active 的服務使用)
- GFS2 (可以給 Active/Active 的服務使用)
- Cluster Managed MDRAID
- DRBD (只能給 Active/Standby 的服務使用，Active 那台主機可以 rw，Standby 的那台主機只能 read)
- Samba
- Ceph (SES)

Network Load Balancing

Linux IP Virtual Server (LVS)
- Operates at OSI layer 4 (Transport)
HAProxy
- Operates at OSI layer 7 (Application)
Conntracked
- User state tools for stateful packet inspection for iptables
Rear
- Disaster Recovery, Relax and Recover (Rear)

SLE HA Licensing

Required subscriptions
- SLE 15
- SLE 15 HA
  - Includes geo clustering

Questions and Answers

Q. A SUSE Linux Enterprise HA subscription is included with a SLE15 subscription, True or false?

A. False, a SLE HA scbscription is required

Q. What are the two open source clustering technologies used by SLE HA?

A. Pacemaker and Corosync

Q. SUSE Linux Enterprise HA supports which types of cluster?

A. Local Clusters, Metro Clusters and Geo Clusters

Q. A subscription for Geo Clustering for SLE HA is included with the SLE HA Extension subscription, true or false?

A. True

Terms

RTO - Rcovery Time Objective
- 故障後恢復正常運行的目標時間
RPO - Recovery Point Objective
- 可能遺失的資料量

Cluster Terminology

High Availability Cluster

高可用性叢集的設計主要是為了確保服務的最高可用性。

Node

任何電腦，無論是真實電腦還是虛擬電腦，都是 Cluster 的成員。

CCM

Consensus Cluster Membership ( 共識叢集成員資格 )。

這是決定哪些 Node 組成叢集，並把這個資訊分享給叢集中的所有 Node 。每個叢集的 Node 都運行一個 CCM module。

Quorum

如果一個 cluster partition 擁有多數節點 (或投票權)，就被定義為具有仲裁的能力 (quorate)

A cluster partition is defined to have quorum (is “quorate”) if it has the majority of nodes (or votes)

Epoch

cluster configuration/status 的版本號

Split Brain

cluster nodes 被分為兩個或多個群組，而這些群組彼此不知道對方的存在。

發生 Split Brain 的原因有可能只是因為機器跟機器之間網路斷線，在只有 2 個節點的情況下，HA 本身不具備要殺死 A 節點還是 B 節點的能力，理論上雙方都會認為自己是存活的一方，此時為了保證共享資源的完整性，雙方都會調用 Fencing 的機制，這時候就會啟動 SDB，就有可能出現一種狀況，那就是 Double Fencing，雙方同時要 Fencing 對方，為了避免這種情況發生，HA 之中可以設定一種參數，來防止雙方同時發出 Fencing。

Fencing

防止在 Cluster 中被隔離或 failing 的 Node 存取 shared resource ( 共享資源 ) 。

何時會觸發這種機制? 答: 在叢集發生 Split Brain 和啟動/停止服務的動作超過預設的時間時會觸發 Fencing。

Active/Passive

active node 上運行一個或多個服務，而 Passive node 則等待 active node 發生故障後再接管服務。

Active/Active

每個 node 同時都是 active 和 passive 的。例如，一個 node 上有一些服務在運行，但它也可以接手另一個 node 上的其他服務。

SLE 15 HA Architecture

Membership and messaging layer (Corosync)

此元件負責在叢集內傳遞訊息、確保叢集成員資格的一致性，以及計算足夠節點的數量。這些資訊由群組通訊系統 Corosync cluster engine 處理。

Sends out messages
- Example: “I am alive”
Can use unicast (單播) or multicast (多播)
- Unicast
  - More secure if multiple cluster share the same network infrastructure
  - 當叢集中新增或刪除節點時，需要重新配置 corosync
  - cloud hosted HA clusters 需要
- Multicast
  - Easy to add nodes with reconfiguring all the existing nodes
Corosync is a seperate systemd service - Cloud hosted HA clusters 不能使用 multicast

Resource Allocation Layer

The Resource Allocation Layer is provided by Pacemaker

Components

Cluster Resource Manager - CRM
Cluster Information DataBase - CIB
Designated Coordinator - DC
Policy Engine - PE
Local Resource Manager - LRM
STONITH

Cluster Resouce Manager (Pacemaker)

Pacemaker 作為叢集資源管理器，是叢集中所有事件的「大腦」。它以 pacemaker-controld 的形式實現，它是叢集控制器，負責協調所有動作。

事件可以是節點加入或退出叢集、資源故障，或者計劃的活動，例如維護等。

在 Resouce Allocation layer 和更高層的通訊都是透過 CRM 去溝通
維運和管理 Cluster Information Base - CIB
在 Cluster 中的其中一個 CRM 會晉升為 Designated Coordinator – DC
Local CRM 會在叢集中的每一個 Node 上跑

Cluster Information Database (CIB)

Pacemaker 會在每一台 node 上維護 cluster information database。
它是一個 XML 的叢集設定檔，包含 :
- All cluster options
- nodes
- resources
- constraints
- the relationship to each other
它不僅是叢集的設定檔，也會反映叢集目前的狀態
每個叢集節點都會儲存一個 CIB 的副本，並且會在叢集中同步
pacemaker-based 背景程序，負責讀取和寫入 Cluster 的設定和狀態。
設定檔的版本儲存在每個 Node 的硬碟上

Designated Coordinator (DC)

在 Cluster 的所有 Node 上，其中一個 CRM 會透過選舉晉升為 Designated Coordinator
- 當 Cluster 中沒有 DC 存在時，會進行選舉
- 如果當前 DC 因任何原因離開 Cluster 時，也會進行選舉
決定是否必須在整個叢集範圍內進行變更
- 範例
  - 移動資源
  - 封鎖一個節點
Maintains the master copy of the CIB

Policy Engine (PE)

Policy Engine 在每個 Node 上運行，但 DC 上的引擎是 active 的。
以 pacemaker-schedulerd 背景程序的形式實現。
當需要進行 cluster transition 時，pacemaker-schedulerd 會根據目前狀態和設定計算叢集的下一個狀態。
它決定需要安排哪些操作來實現下一狀態。

描述

根據 CIB 的信息，Policy Engine 會計算出 Cluster 的理想狀態以及實現該狀態的方法。 PE 向 DC 發送指令清單。 DC 透過 Corosync 發送指令，其他節點上的 crmd 對等節點會接收到這些指令。每個 crmd 使用其 LRM 執行資源修改。 lrmd 不具備叢集感知能力，可直接與資源代理程式互動。

Local resource manager (LRM)

負責接收 CRM 的請求
呼叫 local Resource Agents
- CRM → LRM → RA
Task performed on Resource Agents:
- Start
- Stop
- Monitor
Is authoritative ( 有權威性的 ) about the state of resouces on the local node

STONITH

STONITH 是一種隔離技術，用來隔離故障的節點，防止它繼續造成影響。 STONITH 的英文全名是 Shoot-The-Other-Node-In-The-Head。

STONITH 通常使用遠端電源開關來實現。當 Pacemaker 偵測到某個節點故障時，會發出命令給 STONITHd，要求它隔離故障節點。STONITHd 會根據 CIB 中的設定，選擇合適的 STONITH 裝置，並對它發出指令，將故障節點關機或斷電。

在 Pacemaker 中，STONITH 裝置被當作資源來管理，以便於對其故障進行監控，而STONITHd 則負責了解 STONITH 拓撲 (裝置的類型、名稱、位置等資訊)，因此其客戶端只需請求對節點進行圍欄，剩下的就交給 STONITHd 了。

Summary

CIB 使用 XML 格式記錄叢集的設定和所有資源的狀況，所有叢集的節點都會自動同步 CIB 的內容，讓 PEngine 可以根據這些資料來計算出叢集的理想狀態，並想出達成理想狀態的方法。

PEngine 會把一連串指示交給 DC，DC 可以想像成是指揮官，負責指揮整個叢集的運作。 Pacemaker 會選出一個 CRMd 當成 DC，由它來統一做決策。如果選出來的 CRMd 失效了，就會趕快選出另一個來接手。

DC 會按照 PEngine 的指示，指揮其他節點上的 LRMd 或 CRMd 工作。它會透過叢集的通訊系統發送指令，叫這些節點照著做。

所有節點都會把自己的工作結果回報給 DC。 DC 會比對預期結果和實際結果，如果有問題，就會請 PEngine 重新計算理想狀態，想出解決辦法。

有時候，為了保護資料或讓資源復原，可能需要強制關閉某些節點。這時 Pacemaker 就會用 STONITHd 來處理。

Resource Layer

包含一個或多個 Resource Agents
Examples of resources include:
- IPaddr2
  - An ip address resource
- STONITH
  - A fencing resource

Resource Agent

Resouce Agents 就是程式
- 通常是 shell scripts
Resource Agents can:
- Start
- Stop
- Monitor
致力於特定類型的服務
- Example: IPaddr2
會被 Local Resouce Manager 呼叫
- 回傳值會傳回 CRM

Resource Agent Providers

以下是多個 Resource Agent providers
- OCF
  - Open Cluster Framework
  - Recommended to use OCF providers if available
- LSB
  - Linux Standards Base
  - Provided by the operating system and found in /etc/init.dge
- systemd
  - Directly manage systemd services
- service
  - Sopports systemd, init and upstart
    - Useful if the cluster has a mix of service types
- STONITH
  - Used exclusivly for fencing related resources

Third Party Resource Agents

Third parties can include custom Resouce Agents
- These provide out of the box cluster integration for third party applications

STONITH

全名 : “Shoot The Other Node In The Head”
Pacemaker provides STONITH
Provides a node level fencing mechanism
Fencing is required if a problem occurs and a node must be denied access to a cluster resource
- Example: A node is denied access to a filesystem so it can be loaded on another node

Distributed Lock Manager

Provides generic cluster wide locking facilities
- Allow the use of active/active storage
Utilizes Pacemaker cluster membership services that run in user space
- Therefore runs as a reources on each node

Cluster Logical Volume Manager

Uses the daemon lvmlockd
- Replaces clvmd
- lvmlockd introduced with SLE15 HA
Used with LVM2 in a cluster enviroment
Protects the LVM metadata on shared storage

Questions and Answers

Q. Name three components of the Resource Allocation Layer

A. Cluster Resource Manager, Cluster Information Base, Designated Coordinator, Policy Engine, Local Resource Manager

Q. What does SLE HA use as its Cluster Resource Manager?

A. Pacemaker

Q. What does SLE HA use as its Messaging component?

A. Corosync

Q. What type of tasks does a Resource Agent perform, give three examples?

A. Start, Stop and Monitor resouces

Cluster Managed Storage

Wed, 13 Mar 2024 01:24:38 +0800

Preface

本篇文章會主要會採取 Step by Step 和 ScreenShot 的方式介紹，如何建立與管理 Cluster Managed Storage

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 設定 sle-ha-1 存取 san 上用於 DRBD 的 storage

Task 1: Connect sle-ha-1 to the iSCSI device to be used for the DRBD

SSH 連線至 sle-ha-1
啟動 Yast 的 iSCSI initiator module

$ sudo yast2 iscsi-client

After writing configuration 的值改成 : Restart

選擇 Connected Targets 選項
選擇 Add

輸入以下訊息 :

IP Address: 10.12.2.13
Port: 3260
No Discovery Authentication: Box checked

選擇 Next

在 iSCSI Initiator Discovery 螢幕中會看到多個 targets

選擇 iqn.2023-11.com.example:app-disk1
選擇 Connect

把 Startup 選項的值改成 : automatic
選擇 Next → Next

In the iSCSI Initiator Overview screens Connected Targets tab check the Start-up is set to automatic
點選 OK

Task 2: Check the iscsi configuration

檢查總共有 4 個連接，3 個是 sbd，另外一個是給 DRBD

$ sudo iscsiadm -m session

螢幕輸出 :

tcp: [11] 10.12.2.13:3260,1 iqn.2023-11.com.example:sbd-disk1 (non-flash)
tcp: [12] 10.12.2.13:3260,1 iqn.2023-11.com.example:sdb-disk2 (non-flash)
tcp: [13] 10.12.2.13:3260,1 iqn.2023-11.com.example:sdb-disk3 (non-flash)
tcp: [14] 10.12.2.13:3260,1 iqn.2023-11.com.example:app-disk1 (non-flash)

列出 scsi disks

$ lsscsi

螢幕輸出 :

[0:0:0:0] disk QEMU QEMU HARDDISK 2.5+ /dev/sda
[2:0:0:0] cd/dvd QEMU QEMU DVD-ROM 2.5+ /dev/sr0
[3:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdb
[4:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdc
[5:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdd
[6:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sde

檢查 persistent device names 和空間大小

$ lsblk

螢幕輸出 :

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 200G 0 disk
├─sda1 8:1 0 8M 0 part
└─sda2 8:2 0 200G 0 part /boot/grub2/x86_64-efi
/home
/boot/grub2/i386-pc
/root
/var
/opt
/tmp
/usr/local
/srv
/.snapshots
/
sdb 8:16 0 1G 0 disk
└─mpathd 254:0 0 1G 0 mpath
sdc 8:32 0 1G 0 disk
└─mpathe 254:3 0 1G 0 mpath
sdd 8:48 0 1G 0 disk
└─mpathf 254:1 0 1G 0 mpath
sde 8:64 0 100G 0 disk
└─mpathb 254:2 0 100G 0 mpath
sr0 11:0 1 13.5G 0 rom

2. Configure sle-ha-2 access to storage for DRBD

Task 1: Connect sle-ha-2 to the iSCSI device to be used for the DRBD

SSH 連線至 sle-ha-2
啟動 Yast 的 iSCSI initiator module

$ sudo yast2 iscsi-client

After writing configuration 的值改成 : Restart

選擇 Connected Targets 選項
選擇 Add

輸入以下訊息 :

IP Address: 10.12.2.13
Port: 3260
No Discovery Authentication: Box checked

選擇 Next

在 iSCSI Initiator Discovery 螢幕中會看到多個 targets

選擇 iqn.2023-11.com.example:app-disk2
選擇 Connect

把 Startup 選項的值改成 : automatic
選擇 Next → Next

In the iSCSI Initiator Overview screens Connected Targets tab check the Start-up is set to automatic
點選 OK

Task 2: Check the iscsi configuration

檢查總共有 4 個連接，3 個是 sbd，另外一個是給 DRBD

$ sudo iscsiadm -m session

螢幕輸出 :

tcp: [11] 10.12.2.13:3260,1 iqn.2023-11.com.example:sbd-disk1 (non-flash)
tcp: [12] 10.12.2.13:3260,1 iqn.2023-11.com.example:sdb-disk2 (non-flash)
tcp: [13] 10.12.2.13:3260,1 iqn.2023-11.com.example:sdb-disk3 (non-flash)
tcp: [14] 10.12.2.13:3260,1 iqn.2023-11.com.example:app-disk2 (non-flash)

列出 scsi disks

$ lsscsi

螢幕輸出 :

[0:0:0:0] disk QEMU QEMU HARDDISK 2.5+ /dev/sda
[2:0:0:0] cd/dvd QEMU QEMU DVD-ROM 2.5+ /dev/sr0
[3:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdb
[4:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdc
[5:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdd
[6:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sde

檢查 persistent device names 和空間大小

$ lsblk

螢幕輸出 :

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 200G 0 disk
├─sda1 8:1 0 8M 0 part
└─sda2 8:2 0 200G 0 part /var
/tmp
/home
/root
/usr/local
/srv
/boot/grub2/i386-pc
/boot/grub2/x86_64-efi
/.snapshots
/opt
/
sdb 8:16 0 1G 0 disk
└─mpathd 254:1 0 1G 0 mpath
sdc 8:32 0 1G 0 disk
└─mpathe 254:2 0 1G 0 mpath
sdd 8:48 0 1G 0 disk
└─mpathf 254:3 0 1G 0 mpath
sde 8:64 0 100G 0 disk
└─mpathc 254:0 0 100G 0 mpath
sr0 11:0 1 13.5G 0 rom

3. Create cluster IPaddr2 resources for DRBD

Task 1: Create the first IP address resource

SSH 連線至 sle-ha-1
open the crm shell in the configure context

$ sudo crm configure

建立 IPaddr2 Resource

$ primitive p-IP_20 IPaddr2 \
params ip=10.12.2.20 nic=eth1 cidr_netmask=24 \
op start timeout=20 \
op stop timeout=20 \
op monitor interval=10 timeout=20

Commit the changes:

$ commit

Change to the resource context

$ cd ../resource

Show the status of the new resource

$ status p-IP_20

螢幕輸出 :

resource p-IP_20 is running on: sle-ha-2

Task 2: Create the second IP address resource

In the crm shell change back to the configure context:

$ cd ../configure

建立 IPaddr2 Resource

$ primitive p-IP_21 IPaddr2 \
params ip=10.12.2.21 nic=eth1 cidr_netmask=24 \
op start timeout=20 \
op stop timeout=20 \
op monitor interval=10 timeout=20

Commit the changes:

$ commit

Change to the resource context

$ cd ../resource

Show the status of the new resource

$ status p-IP_21

螢幕輸出 :

resource p-IP_21 is running on: sle-ha-2

Exit the crm shell:

$ q

4. Configure and test DRBD outside the cluster environment

Task 1: Create mount points for DRBD

在 sle-ha-1 上執行以下建立目錄的命令

$ sudo mkdir /drbdvol

在 sle-ha-2 上執行以下建立目錄的命令

$ sudo mkdir /drbdvol

Task 2: Configure DRBD using YaST

在 sle-ha-1 節點上找出測試 DRBD 用的 Disk 對應的 ID

$ sudo multipath -ll mpathb

螢幕輸出 :

mpathb (360014053be325d33ebb4e7e966df3a4f) dm-2 LIO-ORG,IBLOCK
size=100G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 6:0:0:0 sde 8:64 active ready running

透過 ID 列出 Disk

$ ls -l /dev/disk/by-id/scsi-3600*

螢幕輸出應該和以下類似 :

/dev/disk/by-id/scsi-360014053be325d33ebb4e7e966df3a4f -> ../../dm-2
/dev/disk/by-id/scsi-3600140552d947e312e24a4f8a9a0f9b1 -> ../../dm-1
/dev/disk/by-id/scsi-36001405c2d16cc2065f4004ac0a1c188 -> ../../dm-0
/dev/disk/by-id/scsi-36001405e9b0b982a26f493e97b88ca61 -> ../../dm-3

確認 /dev/disk/by-id/scsi-360014053be325d33ebb4e7e966df3a4f 對應的是測試 DRBD 用的 Disk

Configure DRBD on sle-ha-1 using yast:

$ sudo yast2 drbd

At the Warning screen click YES

讓 Booting option 保留預設值: Off - Server Only Starts Manually ，因為不要透過 systemd 去管理 DRBD

在左側選單選 Resource Configuration
選擇 Add 開始新增 DRBD configuration

輸入以下內容 :

Resource Name: r0
Address Port: 10.12.2.20:7788
Device: /dev/drbd0
Disk: <enter the disk by id noted in step 2 above>
- for example: /dev/disk/by-id/scsi-360014053be325d33ebb4e7e966df3a4f
Meta-disk: internal

點選 Save

開始新增 sle-ha-2 到 DRBD configuration
在 sle-ha-2 節點上找出測試 DRBD 用的 Disk 對應的 ID

$ sudo multipath -ll mpathc

螢幕輸出 :

mpathc (36001405ee25a89d7a8a4df09f6a3a5f0) dm-0 LIO-ORG,IBLOCK
size=100G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
`- 6:0:0:0 sde 8:64 active ready running

透過 ID 列出 Disk

$ ls -l /dev/disk/by-id/scsi-3600*

螢幕輸出應該和以下類似 :

/dev/disk/by-id/scsi-3600140552d947e312e24a4f8a9a0f9b1 -> ../../dm-3
/dev/disk/by-id/scsi-36001405c2d16cc2065f4004ac0a1c188 -> ../../dm-1
/dev/disk/by-id/scsi-36001405e9b0b982a26f493e97b88ca61 -> ../../dm-2
/dev/disk/by-id/scsi-36001405ee25a89d7a8a4df09f6a3a5f0 -> ../../dm-0

確認 /dev/disk/by-id/scsi-36001405ee25a89d7a8a4df09f6a3a5f0 對應的是測試 DRBD 用的 Disk

Continue configuring DRBD using yast. in the DRBD - Resource Basic Configuration screen click Add
Complete the form using the details below:

Name: sle-ha-2

點選 OK，再輸入以下內容 :

Resource Name: r0
Address Port: 10.12.2.21:7788
Device: /dev/drbd0
Disk: <enter the disk by id noted in step 12 above>
- for example: /dev/disk/by-id/scsi-36001405ee25a89d7a8a4df09f6a3a5f0
Meta-disk: internal

點選 Save

點選 OK -> Finish
View the content of the r0.res file

$ sudo cat /etc/drbd.d/r0.res

螢幕輸出 :

resource r0 {
disk {
on-io-error pass_on;
}
net {
protocol C;
}
connection-mesh {
hosts sle-ha-1 sle-ha-2;
}
on sle-ha-1 {
address 10.12.2.20:7788;
device /dev/drbd0;
disk /dev/disk/by-id/scsi-360014053be325d33ebb4e7e966df3a4f;
meta-disk internal;
node-id 0;
}
on sle-ha-2 {
address 10.12.2.21:7788;
device /dev/drbd0;
disk /dev/disk/by-id/scsi-36001405ee25a89d7a8a4df09f6a3a5f0;
meta-disk internal;
node-id 1;
}
}

把設定檔同步到 sle-ha-2

$ sudo csync2 -xv

螢幕輸出 :

Marking file as dirty: /etc/sysconfig/nfs
Marking file as dirty: /etc/lvm/lvm.conf
Marking file as dirty: /etc/drbd.d/r0.res
Marking file as dirty: /etc/drbd.d/global_common.conf.YaST2save
Marking file as dirty: /etc/drbd.d/global_common.conf
Marking file as dirty: /etc/drbd.conf
Connecting to host sle-ha-2 (SSL) ...
Connect to 192.168.11.172:30865 (sle-ha-2).
Updating /etc/drbd.conf on sle-ha-2 ...
Updating /etc/drbd.d/global_common.conf on sle-ha-2 ...
Updating /etc/drbd.d/global_common.conf.YaST2save on sle-ha-2 ...
Updating /etc/drbd.d/r0.res on sle-ha-2 ...
Updating /etc/lvm/lvm.conf on sle-ha-2 ...
Updating /etc/sysconfig/nfs on sle-ha-2 ...
File is already up to date on peer.
Connection closed.
Finished with 0 errors.

Task 3: Complete the configuration of DRBD

把 10.12.2.20 這個 IP 設定在 sle-ha-1 主機上，並且設定 10.12.2.21 在 sle-ha-2 主機上

$ sudo crm configure
$ location loc_p-IP_20 p-IP_20 -inf: sle-ha-2
$ location loc_p-IP_21 p-IP_21 -inf: sle-ha-1

Ensure the resources are running on the required nodes:

$ cd ../resource
$ stop p-IP_20
$ stop p-IP_21
$ start p-IP_20
$ locate p-IP_20
resource p-IP_20 is running on: sle-ha-1
$ start p-IP_21
$ locate p-IP_21
resource p-IP_21 is running on: sle-ha-2

Exit the crm shell:

$ q

在 sle-ha-1 上建立 DRBD Resource

$ sudo drbdadm create-md r0

螢幕輸出 :

initializing activity log
initializing bitmap (3200 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.

Bring up r0

$ sudo drbdadm up r0

螢幕輸出 :

 --== Thank you for participating in the global usage survey ==--
The server's response is:
you are the 116812th user to install this version

You will now repeat some steps on sle-ha-2
在 sle-ha-2 上建立 DRBD Resource

$ sudo drbdadm create-md r0

螢幕輸出 :

initializing activity log
initializing bitmap (3200 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.

Bring up r0

$ sudo drbdadm up r0

螢幕輸出 :

 --== Thank you for participating in the global usage survey ==--
The server's response is:
you are the 116812th user to install this version

To finalize and test the DRBD configuration you need to temporarily start the service. Do NOT enable the DRBD service because it will be managed by the cluster. Start the drbd service on nodes 1 and 2. Note: The startup on the first node will wait to contact the drbd service on the second node
先在 sle-ha-2 啟動 drbd 服務

$ ssh rancher@sle-ha-2 sudo systemctl start drbd &

螢幕輸出 :

[1] 23818

在 sle-ha-1 啟動 drbd 服務

$ sudo systemctl start drbd

螢幕輸出 :

[1]+ Done ssh rancher@sle-ha-2 sudo systemctl start drbd

Check the status of drbd resource r0 on sle-ha-2:

$ ssh rancher@sle-ha-2 sudo drbdadm status r0

螢幕輸出 :

r0 role:Secondary
disk:Inconsistent
sle-ha-1 role:Secondary
peer-disk:Inconsistent

Check the status of drbd resource r0 on sle-ha-1:

$ sudo drbdadm status r0

螢幕輸出 :

r0 role:Secondary
disk:Inconsistent
sle-ha-2 role:Secondary
peer-disk:Inconsistent

force sle-ha-1 to be the primary and initiate a synchronization

$ sudo drbdadm primary --force r0

View the status:

$ sudo drbdadm status r0

螢幕輸出 :

r0 role:Primary
disk:UpToDate
sle-ha-2 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:0.29

Note the last line, the disks are preforming and initial synchronization. Do NOT continue until synchronization has completed
When synchronization has completed the output of the command drbdadm status r0 should look like this:

r0 role:Primary
disk:UpToDate
sle-ha-2 role:Secondary
peer-disk:UpToDate

Create a file system on the DRBD r0 resource:

$ sudo mkfs.xfs /dev/drbd0

螢幕輸出 :

meta-data=/dev/drbd0 isize=512 agcount=4, agsize=6553398 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=0 bigtime=0 inobtcount=0
data = bsize=4096 blocks=26213591, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=12799, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0

Task 4: Test the DRBD configuration

在 sle-ha-1 上 mount the filesystem:

$ sudo mount /dev/drbd0 /mnt

Create a file:

$ sudo touch /mnt/file.txt && ls -l /mnt

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt

Unmount the filesystem:

$ sudo umount /mnt

Demote sle-ha-1 to secondary

$ sudo drbdadm secondary r0

promote sle-ha-2 to primary

$ ssh sle-ha-2 'sudo drbdadm primary r0'

View the status of the DRBD device

$ sudo drbdadm status r0

螢幕輸出 :

r0 role:Secondary
disk:UpToDate
sle-ha-2 role:Primary
peer-disk:UpToDate

在 sle-ha-2 上 Mount the filesystem，並查看檔案是否存在

$ ssh sle-ha-2 'sudo mount /dev/drbd0 /mnt && ls -l /mnt'

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt

在 sle-ha-2 上 Create a file

$ ssh sle-ha-2 'sudo touch /mnt/node2.txt && ls -l /mnt'

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt
-rw-r--r-- 1 root root 0 Jan 2 18:32 node2.txt

在 sle-ha-2 上 Unmount the filesystem:

$ ssh sle-ha-2 'sudo umount /mnt'

在 sle-ha-2 上 Demote this node to secondary:

$ ssh sle-ha-2 'sudo drbdadm secondary r0'

the primary is going to be managed by the cluster. So we do not want either of these to be a primary when it’s under cluster control.

Confirm node2 r0 is a secondary:

$ sudo drbdadm status r0

螢幕輸出 :

r0 role:Secondary
disk:UpToDate
sle-ha-2 role:Secondary
peer-disk:UpToDate

Stop the DRBD service on sle-ha-1 and sle-ha-2

$ sudo systemctl stop drbd && ssh sle-ha-2 'sudo systemctl stop drbd'

5. Create and configure cluster resources required for DRBD

Task 1: Create a DRBD cluster resource and a make it a multistate resource

在 sle-ha-1 執行 crm shell in the configure context:

$ sudo crm configure

螢幕輸出 :

crm(live/sle-ha-1)configure#

建立 DRBD Primitive Reources

$ primitive p-drbd0 ocf:linbit:drbd \
params drbd_resource=r0 drbdconf="/etc/drbd.conf" \
op monitor interval=29s role=Master \
op monitor interval=31s role=Slave

建立 DRBD Multi-State resource

$ clone ms-drbd0 p-drbd0 meta master-max=1 master-node-max=1 \
clone-max=2 clone-node-max=1 notify=true promotable=true

Commit the changes

$ commit

Task 2: Create a file system cluster resource for the drbd volume, a colocation constraint and an order constraint

在 sle-ha-1 執行 crm shell in the configure context:

$ sudo crm configure

螢幕輸出 :

crm(live/sle-ha-1)configure#

create a filesystem resource for the DBRD device:

$ primitive p-drbdvol Filesystem \
params device="/dev/drbd0" directory="/drbdvol" fstype=xfs \
op start timeout=60 \
op stop timeout=60 \
op monitor timeout=40 interval=20

Create an order constraint to ensure that the DRBD Multi-State resource is promoted to master before the filesystem resource is started (mounted):

$ order drbdvol_after_ms-drbd0 inf: ms-drbd0:promote \
p-drbdvol:start

Create a colocation constraint to mount the filesystem on the node running the DRBD Multi-State master:

$ colocation coloc_ms-drbd0_p-drbdvol inf: p-drbdvol \
ms-drbd0:Master

Commit the changes:

$ commit

Exit the crm shell

$ q

Task 3: Check the resources and constrains are correctly configured

In Firefox access the Hawk Web UI, the url is https://172.17.11.10:7630
If required from the left select Monitoring -> Status
Check that the ms-drbd0 and its child resource p-drbd0 are running, to see the child resource click on the + icon next to the ms-drbd0 resource

Check the p-drbdvol cluster resource is running

Notice which node is the Master for the ms-drbd0 resource, it is displayed in bold

在 sle-ha-1 上列出 /drbdvol 目錄區的內容

$ ls -l /drbdvol

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt
-rw-r--r-- 1 root root 0 Jan 2 18:32 node2.txt

The files named file.txt and node2.txt are listed

Using the Hawk Web UI check the resources constraints are correctly configured, first stop the ms-drbd0 resource: In the Status screen make sure the Resources tab is selected

Click OK to confirm

在 sle-ha-1 上列出 /drbdvol 目錄區的內容

$ ls -l /drbdvol

螢幕輸出 :

total 0

The files are not listed because the volume is not mounted

Using the Hawk Web UI start the ms-drbd0 resource by clicking the Play icon

Click OK to start the resources

Check the ms-drbd-r0, p-drbd-r0 and p-drbdvol resources are active

在 sle-ha-1 上列出 /drbdvol 目錄區的內容

$ ls -l /drbdvol

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt
-rw-r--r-- 1 root root 0 Jan 2 18:32 node2.txt

The test files are listed

Summary

本章節建立了 drbd cluster resource，然後建立了 multistate parent resource。

接著，為 drbd volume 創建了一個 cluster resource，並創建了一個 colocation constraint，以確保它在 multistate master 的主機上運作，還創建了一個 order constrain，以確保 drbdvol resource 在 multistate drbd resource promoted 之後被激活。

檢查掛載點的內容以確保 Cluster Resource 已啟動，然後停止 multistate resource 並測試 constraints.

最後再次啟動 multistate resource，檢查 resources 和檔案系統掛載點的內容。

6. Test failover of clustered DRBD

Task 1: Test DRBD configuration in a failover situation

建立測試檔案

$ sudo touch /drbdvol/isthisfilehere.txt

檢查檔案是否建立

$ ls -l /drbdvol/

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt
-rw-r--r-- 1 root root 0 Jan 3 13:32 isthisfilehere.txt
-rw-r--r-- 1 root root 0 Jan 2 18:32 node2.txt

在沒有運作 master 的節點 (sle-ha-2) 上，執行 cluster monitor

$ sudo crm_mon

螢幕輸出 :

Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-1 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Wed Jan 3 13:49:25 2024
* Last change: Wed Jan 3 13:03:50 2024 by hacluster via cibadmin on sle-ha-1
* 2 nodes configured
* 8 resource instances configured
Node List:
* Online: [ sle-ha-1 sle-ha-2 ]
Active Resources:
* sbd (stonith:external/sbd): Started sle-ha-1
* Resource Group: Group-mysql:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-1
* mysql (systemd:mariadb): Started sle-ha-1
* p-IP_20 (ocf::heartbeat:IPaddr2): Started sle-ha-1
* p-IP_21 (ocf::heartbeat:IPaddr2): Started sle-ha-2
* Clone Set: ms-drbd0 [p-drbd0] (promotable):
* Masters: [ sle-ha-1 ]
* Slaves: [ sle-ha-2 ]
* p-drbdvol (ocf::heartbeat:Filesystem): Started sle-ha-1

關閉執行 ms-drbd0 master 程式的節點 (sle-ha-1)：

$ sudo poweroff

View the cluster monitor session, the cluster will reconfigure to restore the services. In this test we are only interested in DRBD failing over
Because you have a two node cluster the ms-drbd0 resource will have the Master running on this node, confirm this from crm_mon

Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-2 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Wed Jan 3 13:52:58 2024
* Last change: Wed Jan 3 13:03:50 2024 by hacluster via cibadmin on sle-ha-1
* 2 nodes configured
* 8 resource instances configured
Node List:
* Online: [ sle-ha-2 ]
* OFFLINE: [ sle-ha-1 ]
Active Resources:
* sbd (stonith:external/sbd): Started sle-ha-2
* Resource Group: Group-mysql:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-2
* mysql (systemd:mariadb): Started sle-ha-2
* p-IP_21 (ocf::heartbeat:IPaddr2): Started sle-ha-2
* Clone Set: ms-drbd0 [p-drbd0] (promotable):
* Masters: [ sle-ha-2 ]
* p-drbdvol (ocf::heartbeat:Filesystem): Started sle-ha-2

Cancel crm_mon:

CTRL +c

List the contents of /drbdvol

$ ls -l /drbdvol

螢幕輸出 :

total 0
-rw-r--r-- 1 root root 0 Jan 2 18:26 file.txt
-rw-r--r-- 1 root root 0 Jan 3 13:32 isthisfilehere.txt
-rw-r--r-- 1 root root 0 Jan 2 18:32 node2.txt

The test files are listed

在 SLES 12 SP5 安裝和設定 SELinux

Fri, 01 Mar 2024 03:28:14 +0800

安裝 SELinux Packages

$ sudo zypper in policycoreutils setools-console selinux-policy selinux-policy-devel setools-tcl mcstrans ruby-selinux selinux-doc selinux-policy-minimum setools-gui setools-java

啟動 SElinux

切換為 permissive mode

sudo sed -i "s|`cat /etc/selinux/config | grep '^SELINUX='`|SELINUX=permissive|g" /etc/selinux/config

切換為 enforce mode

sudo sed -i "s|`cat /etc/selinux/config | grep '^SELINUX='`|SELINUX=enforcing|g" /etc/selinux/config

設定 GRUB 開機選單

Application > System Tools > YaST > System › Boot Loader › Kernel Parameters.

將以下參數新增至可選的核心命令列參數：

security=selinux selinux=1 enforcing=0

重啟電腦

$ sudo reboot

觀察目前的 SELinux 模式

$ getenforce

螢幕輸出 :

Permissive

顯示詳細的 SELinux 設定值

$ sestatus

螢幕輸出 :

SELinux status: enabled
SELinuxfs mount: /sys/fs/selinux
SELinux root directory: /etc/selinux
Loaded policy name: minimum
Current mode: permissive
Mode from config file: permissive
Policy MLS status: enabled
Policy deny_unknown status: allowed
Max kernel policy version: 30

檢查目前的核心是否有 SELinux 的參數

$ cat /proc/cmdline

螢幕輸出 :

BOOT_IMAGE=/boot/vmlinuz-4.12.14-120-default root=UUID=1f1bc5cf-d039-4291-a353-ad891228007c resume=/dev/sda1 splash=silent quiet showopts crashkernel=165M,high crashkernel=72M,low security=selinux selinux=1 enforcing=0 mitigations=auto

SELinux boolean

$ sudo setsebool -P ssh_sysadm_login on
$ sudo semanage boolean -l | tail -n 4
ssh_sysadm_login (on , on) Allow ssh to sysadm login
logging_syslogd_use_tty (on , on) Allow logging to syslogd use tty
nfs_export_all_ro (on , on) Allow nfs to export all ro
cron_can_relabel (off , off) Allow cron to can relabel

SUSE Manager Basic Operations

Wed, 24 Jan 2024 05:41:28 +0800

Preface

本篇文章會實作 SUSE Manager 各項管理功能

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

PreRequest

已完成建置 SUSE Manager Server

Monitoring with Prometheus and Grafana

1. Prometheus and Grafana

可以使用 Prometheus 和 Grafana 監控 SUSE Manager 環境。 SUSE Manager Server 能夠提供自我健康檢查指標。也可以在 Salt 用戶端上安裝和管理多個 Prometheus exporters。

Prometheus 和 Grafana 軟體包包含在 SUSE Manager Client Tools ：

SUSE Linux Enterprise 12
SUSE Linux Enterprise 15
openSUSE Leap 15.x

需要將 Prometheus 和 Grafana 安裝在獨立於 SUSE Manager Server 的機器上。我們建議使用受管 Salt SUSE Client 作為 monitoring server，不支援將其他類型的客戶端用作 monitoring server。

Prometheus 使用 pull mechanism 來取得 metrics ( 指標 )，因此伺服器必須能夠與受監控的用戶端建立 TCP 連線。客戶端必須有相應的開放端口，並且可以透過網路連接。或者，也可以使用反向代理建立連線。

You must have a monitoring add-on subscription for each client you want to monitor. Visit the SUSE Customer Center to manage your SUSE Manager subscriptions.

1.1. Prometheus

Prometheus 是一款開源監控工具，用於在時間序列資料庫中記錄即時指標。指標透過 HTTP pull，具有高效能和可擴展性。

1.2. Prometheus Exporters

Exporters 是一種函式庫，可協助從第三方系統匯出指標作為 Prometheus 可以用的指標。如果無法直接使用 Prometheus 指標對特定應用程式或系統進行檢測，Exporters 就非常有用。在一台受監控的主機上可以執行多個 Exporters 來匯出本機指標。

1.3. Grafana

Grafana 是一款用於資料視覺化、監控和分析的工具。它用於建立帶有面板的儀表板，顯示設定時間段內的特定指標。 Grafana 通常與 Prometheus 一起使用，但也支援 ElasticSearch、MySQL、PostgreSQL 和 Influx DB 等其他資料來源。

2. Set up the Monitoring Server

設定 monitoring server，需要安裝 Prometheus 和 Grafana 並設定它們。

Ansible integration

1. Feature Overview

SUSE Manager 使系統管理員能夠操作他們的 Ansible Control Nodes。支援的功能有 :

inspection of inventory files
discovery of playbooks
execution of playbooks

2. Requirements and basic configuration

若要使用 Ansible 功能，您需要將現有的 Ansible Control Node 註冊為 SUSE Manager Server 的 Salt 用戶端。

在 Web UI 中，點選已註冊系統的 System Details > Properties 頁面上，勾選 Add-on System Types 中的 Ansible Control Node 系統類型，最後點選 Update Properties。

開啟 Ansible Control Node 系統類型，會確保透過將 ansible 套件加入 highstate 中來安裝在系統上，並在「System Details」下的 Ansible 標籤啟動 Ansible 功能。

下一步，在 “系統詳細資料 Ansible 控制節點 “頁面上設定 Ansible 清單和 playbook 檔案的路徑。作為清單路徑，可以使用標準的 Ansible 清單路徑 /etc/ansible/hosts。作為 playbook 目錄，可以使用控制節點上儲存 playbook 檔案的任何目錄。一個 playbook 目錄既可以包含 .yml 文件，也可以包含包含 .yml 文件的子目錄。

Install SUSE Linux Enterprise Server 15 SP5

Fri, 19 Jan 2024 06:28:52 +0800

Preface

本篇文章會介紹，

如何安裝 SUSE Linux Enterprise Server 15 SP5

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

下載安裝 SLES 的 ISO 檔

使用以下來源網站的 SLE-15-SP5-Full-ARCH-GM-media1.iso image 安裝，可以不用先註冊且安裝時不用上網

https://www.suse.com/download/sles/

SLE ISO 檔名介紹

SLE-15-SP5-Full-x86_64-GM-Media1.iso

SLE，代表 “SUSE Linux Enterprise” 的縮寫
15，是主要的版本
SP5，代表 Service Pack 更新到第五版

Service Pack（服務包）是指一個包含了多個軟體更新和補丁的集合，用於更新 SUSE Linux 版本。這些更新和補丁通常包括新的功能、修正錯誤、改善安全性等。
Full，表示可以全離線安裝; 跟它相反的是 online ，意思是需要能上網才能成功安裝作業系統

GM(General Media)，首次發行時提供的套件(package)，建議第一次安裝時，使用此版本; 與之不同的是 QU(Quarterly Updated) ，它包含初始版本發布時的套件，再加上所有的維護更新套件，當你需要再安裝後立即獲得最新更新的安裝版本，就選擇 QU

Feature	GM	QU
packages 的版本	首次發行時提供的套件	初始版本發布時的套件，再加上所有的維護更新
建議使用	對於第一次安裝	對於需要立即取得最新更新的安裝

兩種版本的安裝過程是相同的。

“x86_64” 的文件適用於 AMD64 和 Intel* 64 平台。
- 名稱中帶有“s390x”的文件適用於 IBM* z System 或 LinuxONE
- 名稱中帶有“ppc64le”的文件適用於 IBM* Power LE 平台
- 名稱中帶有“aarch64”的文件適用於 Arm* 64 平台
Media1，代表在安裝過程中，會包含需要的二進制套件的檔案。
- Media2，通常 SLES 安裝媒體會分成多個部分，例如 DVD 或 USB 隨身碟。Media2 就是其中的第二個部分，包含了額外的軟體套件、驅動程式或其他擴充功能。這些額外的內容不會包含在主要的安裝媒體中，因此如果需要安裝這些額外的軟體或功能，就需要使用 Media2。

System Requirements

Minimum Linux server system requirements for installation

Local installation: 1024 MiB RAM, 512 MiB Swap recommended
2 GiB available disk space (more recommended, 8.5 GiB for all patterns)
32 GiB for snapshot/rollback of the OS

Recommendations for specific uses

1 GiB to 8 GiB RAM, at least 512 MiB per CPU
8 GiB hard-disk space, 32 GiB for snapshot/rollback of the OS
Network interface

Boot options

多個設定之間是用一個空格做分隔

設定網路

$ ifcfg=*="IPS_NETMASK,GATEWAYS,NAMESERVERS,DOMAINS"

實際 :

ifcfg=eth0="192.168.11.11/24,192.168.11.253,192.168.11.85,example.com"

設定主機名稱

$ hostname=host.example.com

實際 :

hostname=test.example.com

開始安裝 SLES 15 SP5

Step1: Language, keyboard, and product selection

選擇 “SUSE Linux Enterprise Server 15 SP5”

Step2: License agreement

勾選同意

Step3: Network settings

點選右上角的 “Network Configuration” 按鈕
點擊 “Edit”
點擊 “Statically Assigned IP Address”
- IP Address 輸入 一個 IP Address ( Example: 192.168.61.11 )
- Subnet Mask 輸入 /24
- Hostname 輸入 rmt-server
- 點擊 “Next”
點擊 “Hostname/DNS”
- Static Hostname 輸入 rmt-server
- Name Server 1 輸入 DNS Server IP Address ( Example: 8.8.8.8 )
點擊 “Routing”
- 點擊 “Add”
  - Gateway 輸入 Gateway IP Address ( Example: 192.168.61.2 )
  - 點擊 Device 的下拉選單，選擇網路卡 ( Example: eth0 )
  - 點擊 “OK”
確認網路設定完畢後，點擊 “Next”

Step4: Registration

點擊 “Skip registration”
點擊 “Next”

Step5: Extension and module selection

勾選要安裝的 module
- Containers Module
- Legacy Module
- 選好後，點擊 “Next”

Step6: Add-on product

如果要新增 Software 安裝來源可以點 “Add”
沒有的話，點擊 “Next”

Step7: System role

使用預設 “Text Mode”
直接點擊 “Next”

Step8: Suggested partitioning

點擊 “Export Paritioner” 展開下拉式選單
- 點擊 “Start with Current Proposal”
點擊 “sda4”，刪除 swap 空間
- 點擊 “Delete”
- 點擊 “Yes”
點擊 “sda3”，刪除 /home
- 點擊 “Delete”
- 點擊 “Yes”
點擊 “sda2”
- 點擊 “Device”
  - 點擊 “Resize”
  - 選擇 “Maximum Size”
  - 點擊 “Next”
點擊 “Add Subvolume”
- Path 輸入 @/home
確認硬碟都規劃好以後，點擊 “Accept”
再次確認，點擊 “Next”

Step9: Clock and time zone

點地圖上台灣的位置
點擊 “Next”

Step10: Local user

User’s Full Name 輸入 使用者名稱 ( Example: test )
Username 輸入 使用者名稱 ( Example: test )
Password 輸入 使用者密碼 ( Example: test123 )
Confirm Password 輸入 使用者密碼 ( Example: test123 )
勾選 “Use this password for system administrator”
點擊 “Next”

Step11: Installation settings

Firewall will be enabled 點擊 “disable”
點擊 “Install”
Confirm Installation
- 點擊 “Install”

Step12: The installation process

Step13: 訂閱 SLES 15

$ sudo SUSEConnect -e "Your Email" -r "Registration Code"

螢幕輸出 :

Using E-Mail:antony.chen@suse.com
Announcing system to https://scc.suse.com ...
Activating SLES 15.5 x86_64 ...
-> Adding service to system ...
Activating sle-module-basesystem 15.5 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Activating sle-module-server-applications 15.5 x86_64 ...
-> Adding service to system ...
-> Installing release package ...
Successfully registered system

Step14: Update Installed Packages

Refersh SUSE repository from the Internet or local server

$ sudo zypper refresh

螢幕輸出 :

Retrieving repository 'SLE-Module-Basesystem15-SP5-Pool' metadata .............................................[done]
Building repository 'SLE-Module-Basesystem15-SP5-Pool' cache ..................................................[done]
Retrieving repository 'SLE-Module-Basesystem15-SP5-Updates' metadata ..........................................[done]
Building repository 'SLE-Module-Basesystem15-SP5-Updates' cache ...............................................[done]
Retrieving repository 'SLE-Product-SLES15-SP5-Pool' metadata ..................................................[done]
Building repository 'SLE-Product-SLES15-SP5-Pool' cache .......................................................[done]
Retrieving repository 'SLE-Product-SLES15-SP5-Updates' metadata ...............................................[done]
Building repository 'SLE-Product-SLES15-SP5-Updates' cache ....................................................[done]
Retrieving repository 'SLE-Module-Server-Applications15-SP5-Pool' metadata ....................................[done]
Building repository 'SLE-Module-Server-Applications15-SP5-Pool' cache .........................................[done]
Retrieving repository 'SLE-Module-Server-Applications15-SP5-Updates' metadata .................................[done]
Building repository 'SLE-Module-Server-Applications15-SP5-Updates' cache ......................................[done]
All repositories have been refreshed.

upgrade all installed packages on SUSE Linux system

$ sudo zypper update

sudo zypper list-updates，可以檢查有哪些套件需要更新

Reboot the system

$ sudo reboot

可能會需要的安裝套件

安裝 nano

$ wget -q https://download.opensuse.org/repositories/editors/openSUSE_Leap_15.4/x86_64/nano-7.2-lp154.179.1.x86_64.rpm && sudo rpm -i nano-7.2-lp154.179.1.x86_64.rpm && rm nano-7.2-lp154.179.1.x86_64.rpm

參考網址: https://software.opensuse.org/download/package?package=nano&project=editors

安裝 ping

$ sudo zypper in -y iputils

Repository : sle-module-basesystem Description : This package contains some small network tools for IPv4 and IPv6 like rdisc, ping, arping and tracepath.

安裝 Yast 的 Network modules

$ sudo zypper in -y yast2-network

Repository : sle-module-basesystem Description : This package contains the YaST2 component for network configuration.

安裝 sudo

$ sudo zypper in -y sudo

Repository : sle-module-basesystem

安裝 wget

$ sudo zypper in -y wget

Repository : sle-module-basesystem

安裝 Netcat

$ sudo zypper in -y netcat-openbsd

Repository : sle-module-basesystem

安裝 ifconfig, route

$ sudo zypper in -y net-tools-deprecated

Repository : sle-module-basesystem Description : This package contains the deprecated network utilities arp, ifconfig, netstat and route,which have been replaced by tools from the iproute2 package: * arp -> ip [-r] neigh * ifconfig -> ip a * netstat -> ss [-r] * route -> ip r

Registering SUSE Liberty Linux 7 Clients

Mon, 15 Jan 2024 06:43:22 +0800

Preface

本篇文章會介紹，如何成功將 SUSE Liberty Linux 7 Client 註冊到 SUSE Manager Server

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

1. 注意事項

SUSE Liberty Linux clients 指的就是將 Red Hat Enterprise Linux 或是 CentOS 系統的 Packages Repository 換成 SUSE Liberty Linux 的套件儲存庫。

SUSE Liberty Linux clients 有時候也被稱為以下 4 種名稱

SUSE Linux Enterprise Server with Expanded Support (SLESES)

Liberty

RES

Red Hat Expanded Support.

SUSE Liberty Linux software channels 僅提供套件的更新，不提供套件本身。
要註冊 SUSE Liberty Linux Client，需要在 SUSE Manager Server 新增 SUSE Liberty Linux Product 以建立必要的基本頻道，然後將任何必需的 Red Hat 或 CentOS 套件匯入為自訂子頻道。
必須直接從 Red Hat 或 CentOS 獲得 initial packages ( 初始套件 )，然後才能套用由 SUSE Liberty Linux 軟體頻道提供的更新。

2. 在 SUSE Manager Server 新增 Software Channels

2.1. 系統要求

SUSE Manager Server 的 /var/spacewalk 目錄區剩餘空間量，必須有 600 G 以上的剩餘空間

2.2. 注意事項

SUSE Liberty Linux 的某些必需套件包含在 Red Hat Enterprise Linux 或 CentOS installation media 中，在註冊 SUSE Liberty Linux 客戶端之前，您必須先安裝這些套件。

SUSE Liberty Linux 產品由 SUSE Custom Center 提供，這也包括客戶端工具套件。
在將 SUSE Liberty Linux 客戶端註冊到 SUSE Manager Server 之前，您需要添加所需的 software channels 並同步它們。
您需要選擇兩組不同的通道，一組是 SUSE Liberty Linux，另一組是 Client Tools.。
需要與正確的 SUSE Liberty Linux channels 關聯的 activation key。

2.3. 開始新增 Software Channels

以下 WebUI 和 CLI 的操作步驟選擇其中一種執行即可

2.3.1 使用 WebUI 操作步驟

勾選要加入的 SUSE Liberty Linux (版本)
點擊 “Add product” ，然後等待同步完成

確認同步完成

在 Channels 欄位呈現綠勾勾的圖示，代表完成同步

2.3.2. 使用 CLI 操作步驟

連線至 SUSE Manager Server，並使用具有系統管理員權限的使用者帳號執行以下命令

$ sudo mgr-sync add channel rhel-x86_64-server-7

輸入 SUSE Manager 管理員的帳號密碼

螢幕輸出 :

Please enter the credentials of SUSE Manager Administrator.
Login: admin
Password:
Added 'rhel-x86_64-server-7' channel
Scheduling reposync for following channels:
- rhel-x86_64-server-7

2.4. SUSE Liberty Linux 在 SUSE Manager 上的資訊

下表是 SUSE Liberty Linux 每個版本對應的 Product 名稱 :

OS Version	Product Name
SUSE Liberty Linux 7	SUSE Linux Enterprise Server with Expanded Support 7 x86_64
SUSE Liberty Linux 8	RHEL or SLES ES or CentOS 8 Base x86_64
SUSE Liberty Linux 9	RHEL and Liberty 9 Base x86_64

下表是 SUSE Liberty Linux 每個版本對應的 Base Channel 和 Client Tools Channel :

SUSE Liberty Linux	Base Channel	Tools Channel
7	RHEL Expanded Support 7	RES7-SUSE-Manager-Tools x86_64
8	RHEL or SLES ES or CentOS 8 Base	RES8-Manager-Tools-Pool for x86_64 and RES8-Manager-Tools-Updates for x86_64
9	RHEL and Liberty 9 Base	EL9-Manager-Tools-Pool for x86_64 and EL9-Manager-Tools-Updates for x86_64

2.5. 檢視 Product 下載過程

以 SUSE Liberty Linux 7 為例，這個 Product 有 3 個必要的 Channel

res7-suse-manager-tools-x86_64
res7-x86_64
rhel-x86_64-server-7

2.5.1. 檢視下載 res7-suse-manager-tools-x86_64 Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/res7-suse-manager-tools-x86_64.log

螢幕輸出應該要看到類似以下資訊 :

2023/11/06 10:13:14 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'res7-suse-manager-tools-x86_64', '--type', 'yum', '--non-interactive']
2023/11/06 10:13:14 +08:00 Sync of channel started.
2023/11/06 10:13:23 +08:00 Repo URL: https://updates.suse.com/repo/$RCE/RES7-SUSE-Manager-Tools/x86_64/?<token>
2023/11/06 10:13:23 +08:00 Packages in repo: 1667
2023/11/06 10:13:28 +08:00 Packages already synced: 572
2023/11/06 10:13:28 +08:00 Packages to sync: 1095
2023/11/06 10:13:29 +08:00 New packages to download: 1095
2023/11/06 10:13:29 +08:00 Downloading packages:
2023/11/06 10:13:31 +08:00 1/1095 : golang-github-QubitProducts-exporter_exporter-0.4.0-4.1.x86_64.rpm
...中間省略
2023/11/06 10:17:55 +08:00 1093/1095 : zeromq-devel-4.0.5-14.1.x86_64.rpm
2023/11/06 10:17:55 +08:00 1094/1095 : zeromq-devel-4.0.5-5.1.x86_64.rpm
2023/11/06 10:17:55 +08:00 1095/1095 : zeromq-devel-4.0.5-8.1.x86_64.rpm
...中間省略
2023/11/06 10:17:56 +08:00 Importing packages started.
2023/11/06 10:17:56 +08:00
2023/11/06 10:17:56 +08:00 Importing packages to DB:
2023/11/06 10:21:40 +08:00 Package batch #1 of 55 completed...
...中間省略
2023/11/06 10:28:52 +08:00 Syncing 107 new patch(es) to channel.
2023/11/06 10:28:56 +08:00 Regenerating bootstrap repositories.
2023/11/06 10:30:19 +08:00 Sync completed.

下載完成後會在 log 檔中看到 Sync completed. 代表完成

2.5.2.檢視下載 res7-x86_64 Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/res7-x86_64.log

這個 Channel 同步的時間花了整整 24 個小時又 22 分鐘，Disk 使用的空間約 500G

螢幕輸出應該要看到類似以下資訊 :

2023/11/06 09:32:29 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'res7-x86_64', '--type', 'yum', '--non-interactive']2023/11/06 09:32:29 +08:00 Sync of channel started.
2023/11/06 10:30:20 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'res7-x86_64', '--type', 'yum', '--non-interactive']
2023/11/06 10:30:20 +08:00 Sync of channel started.
2023/11/06 10:30:47 +08:00 Repo URL: https://updates.suse.com/repo/$RCE/RES7/x86_64/?<token>
2023/11/06 10:30:47 +08:00 Packages in repo: 582792023/11/06 10:33:39 +08:00 Packages already synced: 02023/11/06 10:33:39 +08:00 Packages to sync: 582792023/11/06 10:33:43 +08:00 New packages to download: 582792023/11/06 10:33:43 +08:00 Downloading packages:
2023/11/06 10:33:45 +08:00 1/58279 : 389-ds-base-1.3.1.6-26.el7_0.x86_64.rpm
...中間省略
2023/11/07 09:54:06 +08:00 Add Patch RHSA-2023:5761
2023/11/07 09:54:06 +08:00 Syncing 6299 new patch(es) to channel.
2023/11/07 09:56:37 +08:00 Regenerating bootstrap repositories.
2023/11/07 09:57:04 +08:00 Sync completed.

2.5.3.檢視下載 rhel-x86_64-server-7 Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/rhel-x86_64-server-7.log

螢幕輸出應該要看到類似以下資訊 :

2023/11/06 09:32:26 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'rhel-x86_64-server-7', '--type', 'yum', '--non-interactive']
2023/11/06 09:32:26 +08:00 Sync of channel started.
2023/11/06 09:32:27 +08:00 Repo URL: http://localhost/pub/repositories/empty/
2023/11/06 09:32:27 +08:00 Packages in repo: 0
2023/11/06 09:32:27 +08:00 No new packages to sync.
2023/11/06 09:32:27 +08:00
2023/11/06 09:32:27 +08:00 Patches in repo: 0.
2023/11/06 09:32:28 +08:00 Sync completed.

2.6. Trouble Shooting

2.6.1. 透過 CLI 重新同步 Channel

$ sudo mgr-sync sync channel <channel_name>

2.6.2. 在 SCC 有新增 Product 的訂閱，但是 SUSE Manager Server 沒有認到

Refresh the local copy of products, channels, and subscriptions

$ sudo mgr-sync -d 3 refresh

2.6.3. `mgr-sync` log 檔案所在的位置

/var/log/rhn/mgr-sync.log
/var/log/rhn/rhn_web_api.log

3. 新增 Base Media

3.1. 注意事項

SUSE Liberty Linux 的 base channel 沒有任何套件，因為 SUSE 沒有提供 Red Hat Enterprise Linux 或 CentOS 的 base media。
需要從 Red Hat 或 CentOS 取得 base media，並將其新增為 SUSE Liberty Linux parent channel 的 child channel。為了確保有需要的所有套件，請使用完整的 DVD image，而不是最小或 JeOS image。
可以使用 SUSE Manager custom channels 來設定 Red Hat Enterprise Linux 或 CentOS 的 media。base media 上的所有套件都必須 mirror 到 child channel。

3.2. 建立 CentOS 7 Custom Channels

使用 SUSE Manager Server 管理員帳號登入

$ spacecmd -- login <admin_name>
> enter admin password

建立 CentOS 7 Custom Channel

$ spacecmd -- softwarechannel_create -n "Centos7 Media" -l centos7-media -p rhel-x86_64-server-7 -a x86_64

-n，Custom Channel NAME
-l，Custom Channel LABEL
-p，PARENT_CHANNEL of Custom Channel
-a，ARCHITECTURE

3.3. 將 CentOS 7 的 Base Media 加到 Custom Channels 中

在 SUSE Manager Server 的 /tmp 目錄區底下準備 CentOS 7 的 ISO 檔

$ curl -# -L http://ftp.twaren.net/Linux/CentOS/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso -o /tmp/CentOS-7-x86_64-DVD-2009.iso

螢幕輸出 :

############################################################################ 100.0%

建立一個包含 media 內容的目錄，用 sll7、sll8 或 sll9 取代 <os_name>

$ sudo mkdir -p /srv/www/htdocs/pub/<os_name>

s117 對應的是 SUSE Liberty Linux 7
s118 對應的是 SUSE Liberty Linux 8
s119 對應的是 SUSE Liberty Linux 9

將 CentOS-7 的 image 掛載到 /srv/www/htdocs/pub/sll7 目錄區

$ sudo mount -o loop /tmp/CentOS-7-x86_64-DVD-2009.iso /srv/www/htdocs/pub/sll7

將 Packages 匯入到先前建立的 Custom Channel 中

$ sudo spacewalk-repo-sync -c centos7-media -u file:///srv/www/htdocs/pub/sll7/

-c，指定 channel-label
-u，指定 Repository 的 URL

螢幕輸出 :

...以上省略
14:29:08 Sync completed.
14:29:08 Total time: 0:32:04

umont /srv/www/htdocs/pub/sll7

$ umount /srv/www/htdocs/pub/sll7

3.4. 建立 RHEL 7 Custom Channels

建立 RHEL 7 Custom Channel

$ spacecmd -- softwarechannel_create -n "RHEL Media" -l rhel-media -p rhel-x86_64-server-7 -a x86_64

-n，Custom Channel NAME
-l，Custom Channel LABEL
-p，PARENT_CHANNEL of Custom Channel
-a，ARCHITECTURE

3.3. 將 RHEL 7 的 Base Media 加到 Custom Channels 中

在 SUSE Manager Server 的 /tmp 目錄區底下準備 RHEL 7 的 ISO 檔

$ ls -l /tmp/rhel-server-7.9-x86_64-dvd.iso

螢幕輸出 :

-rw-r--r-- 1 root root 4526702592 Jan 11 14:20 /tmp/rhel-server-7.9-x86_64-dvd.iso

建立一個包含 media 內容的目錄，用 sll7、sll8 或 sll9 取代 <os_name>

$ sudo mkdir -p /srv/www/htdocs/pub/<os_name>

sll7 對應的是 SUSE Liberty Linux 7
sll8 對應的是 SUSE Liberty Linux 8
sll9 對應的是 SUSE Liberty Linux 9

將 CentOS-7 的 image 掛載到 /srv/www/htdocs/pub/sll7 目錄區

$ sudo mount -o loop /tmp/rhel-server-7.9-x86_64-dvd.iso /srv/www/htdocs/pub/sll7

將 Packages 匯入到先前建立的 Custom Channel 中

$ sudo spacewalk-repo-sync -c rhel-media -u file:///srv/www/htdocs/pub/sll7/

-c，指定 channel-label
-u，指定 Repository 的 URL

螢幕輸出 :

...以上省略
15:42:34 Linking packages to the channel.
15:42:41 1000 packages linked
15:43:03 2000 packages linked
15:43:50 3000 packages linked
15:43:52 4000 packages linked
15:43:54 5000 packages linked
15:43:55 5230 packages linked
15:43:55
15:43:55 Patches in repo: 0.
15:43:56 Regenerating bootstrap repositories.
Generating bootstrap repos for all available products which had changes.
Nothing to do.
15:43:58 Sync completed.
15:43:58 Total time: 0:07:42

4. 將 CentOS 7 註冊為 SUSE Liberty Linux Clients

4.1. 手動創建用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create RES7-x86_64

4.2. 創建 Activation_Key

$ spacecmd -- activationkey_create \
-n liberty-linux-centos-7 \
-d liberty-linux-centos-7 \
-b rhel-x86_64-server-7 \
-e virtualization_host

activationkey_create 參數介紹 :

-n ，activationkey 的名稱

-d ，activationkey 的描述

-b ，指定 activationkey 的 BASE_CHANNEL

-e ，[enterprise_entitled,virtualization_host]

4.2.1 將 Centos-7 Base Media channel 加入 activation key

$ spacecmd -- activationkey_addchildchannels 1-liberty-linux-centos-7 centos7-media

4.3. 創建 Bootstrap Script

$ sudo mgr-bootstrap --activation-key=1-liberty-linux-centos-7 --script=bootstrap-liberty-linux-centos-7.sh

4.4. 在 CentOS-7 執行 Bootstrap Script 註冊

請連線到 CentOS 7 的主機，執行以下命令

$ curl -k https://<SUMA_FQDN>/pub/bootstrap/bootstrap-liberty-linux-centos-7.sh | sudo bash

螢幕輸出 :

......................以上省略
REGISTRATION
------------
* registering
Using activation key: 1-liberty-linux-7
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink from /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service to /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

4.5. 在 SUSE Manager Web UI 上同意 Salt Key

點擊左側選單 Salt -> Keys

4.6. 檢查 Packages Repository

執行以下命令，列出已啟用的 Packages Repository

$ sudo yum repolist enabled

螢幕輸出 :

Loaded plugins: fastestmirror, langpacks, susemanagerplugin, venv-yumnotify
Loading mirror speeds from cached hostfile
repo id repo name status
susemanager:centos7-media Centos7 Media 4,070
susemanager:res7-suse-manager-tools-x86_64 RES7 SUSE-Manager-Tools x86_64 1,111
susemanager:res7-x86_64 RES7 for x86_64 58,516
susemanager:rhel-x86_64-server-7 RHEL x86_64 Server 7 0
repolist: 63,697

確認已更換為 SUSE Liberty Linux 7 的 Packages Repository

4.6.1 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

SUSEManager > Systems > Overview

4.6.2 透過 CLI 的方式檢查 Client 系統資訊

在 SUSE Manager Server 執行以下命令

$ spacecmd -q -- system_details centos7

螢幕輸出 :

Name: centos7
System ID: 1000010026
UUID: f8167264b57240cd950413eb2dfbe7f8
Locked: False
Registered: 20231109T16:10:22
Last Checkin: 20231109T16:12:13
OSA Status: unknown
Last Boot: 20231109T16:01:58
Contact Method:default
Hostname: centos7
IP Address: x.x.x.x
Kernel: 3.10.0-1160.el7.x86_64
Activation Keys
---------------
1-liberty-linux-7
Software Channels
-----------------
rhel-x86_64-server-7
|-- res7-x86_64
|-- res7-suse-manager-tools-x86_64
|-- centos7-media
Entitlements
------------
salt_entitled
System Groups
-------------

4.7. 測試系統更新

在 SUSE Manager Client 執行以下命令

$ sudo yum update

螢幕輸出 :

... 以上省略
Transaction Summary
==================================================================
Install 1 Package (+1 Dependent package)
Upgrade 153 Packages
Total download size: 289 M
Is this ok [y/d/N]: y
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
(1/155): NetworkManager-libnm-1.18.8-2.el7_9.x86_64.rpm | 1.7 MB 00:00:00
... 中間省略
------------------------------------------------------------------
Total 40 MB/s | 289 MB 00:00:07
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
... 中間省略
Installed:
kernel.x86_64 0:3.10.0-1160.102.1.el7
Dependency Installed:
sles_es-release-server.x86_64 0:7.9-6.el7
Updated:
NetworkManager.x86_64 1:1.18.8-2.el7_9 ...
Complete!

4.7.1 TroubleShooting

遇到 Transaction check error

Transaction check error:
file /usr/share/redhat-release from install of sles_es-release-server-7.9-6.el7.x86_64 conflicts with file from package centos-release-7-9.2009.0.el7.centos.x86_64

解決辦法 : 執行以下命令，刪除 centos-release 套件

$ sudo rpm -e --nodeps centos-release-7-9.2009.0.el7.centos.x86_64

4.7.2 重啟系統

$ sudo reboot

4.7.3. 再次更新測試

$ sudo yum update

螢幕輸出應該如下 :

...以上省略
No packages marked for update

4.7.4. 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

Updates 欄位已經是綠勾勾代表系統已更新至最新

5. 將 RHEL 7 註冊為 SUSE Liberty Linux Clients

5.1. 手動刷新用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create RES7-x86_64

5.1. 創建 Activation_Key

$ spacecmd -- activationkey_create \
-n liberty-linux-rhel-7 \
-d liberty-linux-rhel-7 \
-b rhel-x86_64-server-7 \
-e virtualization_host

activationkey_create 參數介紹 :

-n ，activationkey 的名稱

-d ，activationkey 的描述

-b ，指定 activationkey 的 BASE_CHANNEL

-e ，[enterprise_entitled,virtualization_host]

5.1.1 將 RHEL 7 Base Media channel 加入 activation key

$ spacecmd -- activationkey_addchildchannels 1-liberty-linux-rhel-7 rhel-media

5.2. 創建 Bootstrap Script

$ sudo mgr-bootstrap --activation-key=1-liberty-linux-rhel-7 --script=bootstrap-liberty-linux-rhel-7.sh

5.3. 在 RHEL 7 執行 Bootstrap Script 註冊

請連線到 RHEL 7 的主機，執行以下命令

$ curl -k https://<SUMA_FQDN>/pub/bootstrap/bootstrap-liberty-linux-rhel-7.sh | sudo bash

螢幕輸出 :

......................以上省略
REGISTRATION
------------
* registering
Using activation key: 1-liberty-linux-rhel-7
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink from /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service to /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

5.4. 在 SUSE Manager Web UI 上同意 Salt Key

點擊左側選單 Salt -> Keys

5.5. 檢查 Packages Repository

執行以下命令，列出已啟用的 Packages Repository

$ sudo yum repolist enabled

螢幕輸出 :

Loaded plugins: fastestmirror, langpacks, susemanagerplugin, venv-yumnotify
Loading mirror speeds from cached hostfile
repo id repo name status
susemanager:res7-suse-manager-tools-x86_64 RES7 SUSE-Manager-Tools x86_64 1,111
susemanager:res7-x86_64 RES7 for x86_64 58,516
susemanager:rhel-media RHEL Media 5,230
susemanager:rhel-x86_64-server-7 RHEL x86_64 Server 7 0
repolist: 64,857

確認已更換為 SUSE Liberty Linux 7 的 Packages Repository

5.5.1 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

SUSEManager > Systems > Overview

5.5.2 透過 CLI 的方式檢查 Client 系統資訊

在 SUSE Manager Server 執行以下命令

$ spacecmd -q -- system_details rhel7

如果 Web UI 上有顯示，但命令沒有，可能是 Cache 住了，執行以下命令清除
$ spacecmd -q -- clear_caches

螢幕輸出 :

Name: rhel7
System ID: 1000010001
UUID: cec08a0cad1348889a9465513f00fd2b
Locked: False
Registered: 20240111T16:34:25
Last Checkin: 20240111T16:36:21
OSA Status: unknown
Last Boot: 20240111T15:49:11
Contact Method:default
Hostname: rhel7
IP Address: 192.168.11.95
Kernel: 3.10.0-1160.el7.x86_64
Activation Keys
---------------
1-liberty-linux-rhel-7
Software Channels
-----------------
rhel-x86_64-server-7
|-- res7-suse-manager-tools-x86_64
|-- res7-x86_64
|-- rhel-media
Entitlements
------------
salt_entitled

5.6. 測試系統更新

在 SUSE Manager Client 執行以下命令

$ sudo yum update

螢幕輸出 :

... 以上省略
Transaction Summary
======================================================================================================================================
Install 9 Packages (+33 Dependent packages)
Upgrade 124 Packages
Total download size: 296 M
Is this ok [y/d/N]: y
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
(1/166): NetworkManager-1.18.8-2.el7_9.x86_64.rpm | 1.9 MB 00:00:00
... 中間省略
------------------------------------------------------------------
Total 40 MB/s | 289 MB 00:00:07
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
... 中間省略
Replaced:
python-hwdata.noarch 0:1.7.3-4.el7 redhat-logos.noarch 0:70.7.0-1.el7 redhat-release-eula.noarch 0:7.8-0.el7
redhat-release-server.x86_64 0:7.9-3.el7 rhn-check.x86_64 0:2.0.2-24.el7 rhn-client-tools.x86_64 0:2.0.2-24.el7
rhn-setup.x86_64 0:2.0.2-24.el7 rhnlib.noarch 0:2.5.65-8.el7 rhnsd.x86_64 0:5.0.13-10.el7
Complete!

5.7.1 TroubleShooting

遇到 Transaction check error

Public key for spacewalk-client-setup-4.3.17-141.1.noarch.rpm is not installed

原因 : 傳統的 Red Hat Enterprise Linux 7 和 SLES Expanded Support 7 用戶端需要一些未簽署的軟體套件才能與 SUSE Manager 正常運作，因此這些用戶端類型的通道通常會取消設定該標誌 gpgcheck

解決辦法 1 : 新增參數 : --nogpgcheck

$ sudo yum update --nogpgcheck

解決辦法 2 : 在 SUMA Manager Web UI 上關閉 Software Channel 的 GPGCheck

Software -> Channel List -> 展開 RHEL x86_64 Server 7，將 RHEL x86_64 Server 7、RES7 for x86_64、RES7 SUSE-Manager-Tools x86_64 和 RHEL Media 這 4 個 Software Channel 的 GPG Check 取消勾選並點擊 Update 按鈕

5.7.2 重啟系統

$ sudo reboot

5.7.3. 再次更新測試

$ sudo yum update

螢幕輸出應該如下 :

...以上省略
No packages marked for update

5.7.4. 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

Updates 欄位已經是綠勾勾代表系統已更新至最新

6. 參考資料

Registering Oracle Linux Clients

Mon, 15 Jan 2024 05:43:10 +0800

Preface

本篇文章會介紹，如何成功將 Oracle Linux 7 Client 註冊到 SUSE Manager Server

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

1. 注意事項

Oracle Linux 套件存儲庫 URL 可從 SUSE Custom Center 獲取
Packages 和 Metadata 由 Oracle 提供而非 SUSE
Oracle Linux base media 儲存庫可從 https://yum.oracle.com/ 免費下載
有關支持的產品，請參閱支持表和發行說明
目前不支援將 Unbreakable Linux Network (ULN) 資源庫與 SUSE Manager 直接同步。必須使用用於 ULN 的 Oracle 本地發行版。
Traditional clients 在 Oracle Linux 9 and 8 不適用，Oracle Linux 9 和 Oracle Linux 8 clients 只支援 Salt clients.

2. 在 SUSE Manager Server 新增 Software Channels

2.1. 系統要求

SUSE Manager Server 的 /var/spacewalk 目錄區剩餘空間量，必須有 150 G 以上的剩餘空間 ( 150 G 是最基礎的，如果可選的 Channels 都要加，保守估計 300 GB 以上)

2.2. 開始新增 Software Channels

以下 WebUI 和 CLI 的操作步驟選擇其中一種執行即可

2.2.1 使用 WebUI 操作步驟

勾選要加入的 Oracle Linux 7 x86_64
點擊 “Add product” ，然後等待同步完成

確認同步完成

在 Channels 欄位呈現綠勾勾的圖示，代表完成同步

2.3.2. 使用 CLI 操作步驟

連線至 SUSE Manager Server，並使用具有系統管理員權限的使用者帳號執行以下命令

$ sudo mgr-sync add channel oraclelinux7-x86_64

輸入 SUSE Manager 管理員的帳號密碼

螢幕輸出 :

Please enter the credentials of SUSE Manager Administrator.
Login: sumaadmin
Password:
Channel 'oraclelinux7-x86_64' has already been added
Scheduling reposync for following channels:
- oraclelinux7-x86_64

2.3. Oracle Linux 在 SUSE Manager 上的資訊

下表是 Oracle Linux 每個版本對應的 Product 名稱 :

OS Version	Product Name
Oracle Linux 9	Oracle Linux 9 x86_64
Oracle Linux 8	Oracle Linux 8 x86_64
Oracle Linux 7	Oracle Linux 7 x86_64

2.4. 檢查是否同步成功

2.4.1. 檢視下載 `oraclelinux7-x86_64` Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/oraclelinux7-x86_64.log

螢幕輸出應該要看到類似以下資訊 :

2024/01/11 19:02:00 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'oraclelinux7-x86_64', '--type', 'yum', '--non-interactive']
2024/01/11 19:02:00 +08:00 Sync of channel started.
2024/01/11 19:02:17 +08:00
2024/01/11 19:02:17 +08:00 Importing comps file bbe5fe5a8fc06e1d34af14daa449db87f7fc3755-comps.xml.
2024/01/11 19:02:17 +08:00 Renaming non-standard filename bbe5fe5a8fc06e1d34af14daa449db87f7fc3755-comps.xml to comps.xml.
2024/01/11 19:02:17 +08:00 *** NOTE: Importing comps file for the channel 'oraclelinux7-x86_64'. Previous comps will be discarded.
2024/01/11 19:02:18 +08:00 Repo URL: https://yum.oracle.com/repo/OracleLinux/OL7/latest/x86_64/
2024/01/11 19:02:18 +08:00 Packages in repo: 26473
2024/01/11 19:03:37 +08:00 Packages already synced: 5236
2024/01/11 19:03:37 +08:00 Packages to sync: 21237
2024/01/11 19:03:39 +08:00 New packages to download: 21237
2024/01/11 19:03:39 +08:00 Downloading packages:
2024/01/11 19:03:43 +08:00 1/21237 : 389-ds-base-1.3.10.1-14.el7_8.x86_64.rpm
...中間省略
2024/01/11 21:03:33 +08:00 21235/21237 : zziplib-0.13.62-9.el7.i686.rpm
2024/01/11 21:03:33 +08:00 21236/21237 : zziplib-0.13.62-9.el7.x86_64.rpm
2024/01/11 21:03:33 +08:00 21237/21237 : zsh-5.0.2-34.el7_8.2.x86_64.rp
...中間省略
2024/01/11 21:03:33 +08:00 Importing packages started.
2024/01/11 21:03:33 +08:00
2024/01/11 21:03:33 +08:00 Importing packages to DB:
2024/01/11 21:04:05 +08:00 Package batch #5 of 1062 completed..
...中間省略
2024/01/11 22:24:43 +08:00 Add Patch ELBA-2019-2067
2024/01/11 22:24:43 +08:00 Syncing 3359 new patch(es) to channel.
2024/01/11 22:25:15 +08:00 Regenerating bootstrap repositories.
2024/01/11 22:25:16 +08:00 Sync completed

下載完成後會在 log 檔中看到 Sync completed. 代表完成

2.4.2. 檢視下載 `res-7-suse-manager-tools-x86_64-ol7` Channel 的 log 資訊

$ sudo tail -f /var/log/rhn/reposync/res-7-suse-manager-tools-x86_64-ol7.log

螢幕輸出應該要看到類似以下資訊 :

2024/01/11 22:25:58 +08:00 Command: ['/usr/bin/spacewalk-repo-sync', '--channel', 'res-7-suse-manager-tools-x86_64-ol7', '--type', 'yum', '--non-interactive']
2024/01/11 22:25:58 +08:00 Sync of channel started.
2024/01/11 22:26:10 +08:00 Repo URL: https://updates.suse.com/repo/$RCE/RES7-SUSE-Manager-Tools/x86_64/?<token>
2024/01/11 22:26:10 +08:00 Packages in repo: 1689
2024/01/11 22:26:14 +08:00 Packages already synced: 578
2024/01/11 22:26:14 +08:00 Packages to sync: 1111
2024/01/11 22:26:14 +08:00 New packages to download: 0
2024/01/11 22:26:14 +08:00 Downloading packages:
2024/01/11 22:26:14 +08:00 Importing packages started.
2024/01/11 22:26:14 +08:00
2024/01/11 22:26:14 +08:00 Importing packages to DB:
2024/01/11 22:26:14 +08:00 Package batch #1 of 56 completed...
...中間省略
2024/01/11 22:26:29 +08:00 Add Patch client-tools-201811-13899
2024/01/11 22:26:29 +08:00 Add Patch client-tools-201811-13900
2024/01/11 22:26:29 +08:00 Add Patch salt-201811-13898
2024/01/11 22:26:29 +08:00 Syncing 111 new patch(es) to channel.
2024/01/11 22:26:33 +08:00 Regenerating bootstrap repositories.
2024/01/11 22:26:38 +08:00 Sync completed.

2.5. Trouble Shooting

2.5.1. 透過 CLI 重新同步 Channel

$ sudo mgr-sync sync channel <channel_name>

2.5.2. 在 SCC 有新增 Product 的訂閱，但是 SUSE Manager Server 沒有認到

Refresh the local copy of products, channels, and subscriptions

$ sudo mgr-sync -d 3 refresh

2.5.3. `mgr-sync` log 檔案所在的位置

/var/log/rhn/mgr-sync.log
/var/log/rhn/rhn_web_api.log

3. 建立 Activation Key

3.1. 手動創建 bootstrap 倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create oracle-7-x86_64

3.2. 創建 Activation_Key

$ spacecmd -- activationkey_create \
-n oracle-linux-7 \
-d oracle-linux-7 \
-b oraclelinux7-x86_64 \
-e virtualization_host

activationkey_create 參數介紹 :

-n ，activationkey 的名稱

-d ，activationkey 的描述

-b ，指定 activationkey 的 BASE_CHANNEL

-e ，[enterprise_entitled,virtualization_host]

3.3. 創建 Bootstrap Script

$ sudo mgr-bootstrap \
--activation-key=1-oracle-linux-7 \
--gpg-key=/srv/www/htdocs/pub/ol67-gpg-pubkey-72F97B74EC551F03.key \
--script=bootstrap-oracle-linux-7.sh

4. 將 Orcale Linux 7 註冊為 Client

4.1. SSH 連線至 Orcale Linux 7 主機

4.2. 禁用 Public 套件儲存庫

$ find /etc/yum.repos.d/ -type f -not -name susemanager*.repo | xargs sed -i 's/enabled=1/enabled=0/g'

4.3. 禁用與 susemanager 不相關的 yum plugin

$ find /etc/yum/pluginconf.d/ -type f -not -name susemanager*.conf | xargs sed -i 's/enabled = 1/enabled = 0/g'
$ find /etc/yum/pluginconf.d/ -type f -not -name susemanager*.conf | xargs sed -i 's/enabled=1/enabled=0/g'

4.3. 執行 Bootstrap Script 註冊

$ curl -k https://<SUMA_FQDN>/pub/bootstrap/bootstrap-oracle-linux-7.sh | sudo bash

螢幕輸出 :

......................以上省略
REGISTRATION
------------
* registering
Using activation key: 1-liberty-linux-7
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink from /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service to /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

4.4. 在 SUSE Manager Web UI 上同意 Salt Key

點擊左側選單 Salt -> Keys

4.5. 檢查 Packages Repository

執行以下命令，列出已啟用的 Packages Repository

$ sudo yum repolist enabled

螢幕輸出 :

repo id repo name status
susemanager:oraclelinux7-x86_64 oraclelinux7 for x86_64 21,237
susemanager:res-7-suse-manager-tools-x86_64-ol7 RES-7-SUSE-Manager-Tools for x86_64 OL7 1,111
repolist: 22,348

確認Packages Repository 已更換

4.6. 檢查 Client 端基本資訊

4.6.1 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

SUSEManager > Systems > Overview

4.6.2 透過 CLI 的方式檢查 Client 系統資訊

在 SUSE Manager Server 執行以下命令

$ spacecmd -q -- system_details orcale7

螢幕輸出 :

Name: orcale7
System ID: 1000010007
UUID: af9895b6a5db40ee90920743d1f1b33d
Locked: False
Registered: 20240112T14:44:40
Last Checkin: 20240112T14:47:20
OSA Status: unknown
Last Boot: 20240112T13:57:02
Contact Method:default
Hostname: orcale7
IP Address: xxx.xxx.xxx.xxx
Kernel: 5.4.17-2102.201.3.el7uek.x86_64
Activation Keys
---------------
1-oracle-linux-7
Software Channels
-----------------
oraclelinux7-x86_64
|-- res-7-suse-manager-tools-x86_64-ol7
|-- oracle7v2-media
Entitlements
------------
salt_entitled

4.7. 測試系統更新

在 SUSE Manager Client 執行以下命令

$ sudo yum update

螢幕輸出 :

... 以上省略
Transaction Summary
====================================================================
Install 7 Packages (+39 Dependent packages)
Upgrade 138 Packages
Total download size: 533 M
Is this ok [y/d/N]: y
Downloading packages:
Delta RPMs disabled because /usr/bin/applydeltarpm not installed.
(1/184): NetworkManager-config-server-1.18.8-2.0.1.el7_9.noarch.rpm | 151 kB 00:00:00
... 中間省略
------------------------------------------------------------------
Total 36 MB/s | 533 MB 00:00:14
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Updating : 1:grub2-common-2.02-0.87.0.25.el7.9.11.noarch 1/328
... 中間省略
Installed:
kernel.x86_64 0:3.10.0-1160.105.1.0.1.el7 ...
Dependency Installed:
iwlax2xx-firmware.noarch 999:20231102-999.29.el7 ...
Updated:
NetworkManager.x86_64 1:1.18.8-2.0.1.el7_9 ...
Replaced:
python-hwdata.noarch 0:1.7.3-4.el7 ...
Complete!

4.7.2 重啟系統

$ sudo reboot

4.7.3. 再次更新測試

$ sudo yum update

螢幕輸出應該如下 :

Loaded plugins: susemanagerplugin, venv-yumnotify
No packages marked for update

4.7.4. 在 SUSE Manager Server Web UI 檢視 Client 端的資訊

Updates 欄位已經是綠勾勾代表系統已更新至最新

Basic HA Troubleshooting

Wed, 03 Jan 2024 08:54:44 +0800

Preface

本篇文章會主要會介紹在 SLE HAE v15 上如何進行基本的故障修復

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

General Troubleshooting

Cluster nodes are SLE 15 servers
- Standard SLE troubleshooting techniques and tools can be used
Check the basics:
- 時間有沒有校時
- 名稱解析
Monitor bonded network interfaces
- The system may be using its last working interface
A cluster is inherently less stable than a single server:
- It is running SBD/Watchdog and could self fence
- Other nodes are monitoring it with the intention of shooting it

Maintanance Tasks

The following tasks will enable you to potentially catch a potential problem early
Perform regular health checks
Follow documented procedures to clean up after a failure
Using Maintanance mode
Manage logs
Patching nodes

Command Line Troubleshooting Tools

Clean up after Resouce Failures

當 resource 失敗達到叢集屬性 migration-threshold 指定的次數時，它將被遷移到不同的節點

將為失敗的節點建立一個 -INFINITY 的分數
To display the scores:
- crm resource scores
- 請記住，分數也會被 constraints 設定
- To view constraints:
  - crm resources constraints <resouce-name>
Before cleaning up resources:
- 調查問題原因
- 尋找解決方案
- 解決問題

如果要通知叢集可以再次在該節點上執行資源：

crm resource cleanup <resource-name> [node]
可以提供一個可選的節點參數，以便僅在該節點上執行 cleanup 程序。
如果未指定可選節點，則會清除所有節點上資源的 fail counts ( 失敗計數 ) 和 negative scores ( 負分數 )

Remove Relocation Constraints created by a move or ban

The following create relocation constraints:
- crm resource move
- crm resource ban
To clear the constraint created by a move:
- crm resource clear <resouce-name>
To clear the constraint created by a ban:
- crm resource unban <resouce-name>

Resouce Agent Tracing

A resource agent can be placed into trace mode
Syntax:
crm <resource-name> [<op> [<interval>] ]
To enable a simple trace for all operations:
crm resouce trace <resouce-name>
When enabled, trace mode will create debug level log files for every action
- Saved to /var/lib/heartbeat/trace_ra/
  - If the folder trace_ra does not exist it is created
- Log files are stored on the node where operations happen
Filename format:
- name.operation.date:time
  - E.g. p-IP_101.monitor.2019-01-23.11:59:08
If the resource has a monitor operation a large number of files will be generated
Use trace mode for as short a time as possible
To stop a trace:
- crm resource untrace <resource-name>
- This does not remove the trace files

Maintenance Mode

Maintenance mode 用於暫停正常的叢集操作，像是:
- Resource monitoring
- Failover
- Node fencing
允許管理員在不受群集幹擾的情況下手動停止或啟動服務
Maintenance Mode can be applied at different levels:
- Resouce
- Node
- Cluster
Useful when:
- Applying patches
- Performing planned maintenance tasks
不當的使用 cluster maintenance mode 可能導致資料 loss/corruption
- Nodes cannot be fenced

Maintenance Mode Targets

Level	Result
Resource	- 這個資源將被設定為 unmanaged ( 不管理 )，並且監控的動作會被暫停，在底層運作的項目 (service, IP address/filesystem) 可以被手動啟動或停止
Node	- 節點上的所有資源都設定為 unmanaged ( 不管理 ) - 不會為該節點分配資源
Cluster	- 在叢集中的所有資源全部設定為 unmanaged ( 不管理 ) - 叢集不會進行資源分配 - Poison Pills/STONITH 將被暫停

Managing Maintenance Mode

Resource
- crm resource meta <resource-name> set maintenance true
- crm resource meta <resource-name> set maintenance false
Node
- crm node maintenance <node>
- crm node ready <node>
Cluster
- crm configure property maintenance-mode=true
- crm configure property maintenance-mode=false

Cluster Health Check

A general healthcheck command is available:
- crm cluster health > /path/to/and/filename
產生的檔案將提供叢集狀態報告，並顯示最近出現的錯誤

Cluster Report

The hb_report 或 crm report 命令可用於收集所有相關的叢集資訊/日誌/等，以進行故障排除
Basic Syntax:
- hb_report -f START_TIME [-t END_TIME] FILENAME
- Note: END_TIME defaults to ’now’ if not specified
Examples:
- hb_report -f "2018/11/21 01:00" report_2018-11-21
- File created: ./report_2018-11-21.tar.bz2

hb_report 目前快被廢棄了，但是考試的時候，如果看到這兩個選項放在一起，要選 hb_report

Cluster Report Content

Cluster Report 檔案包含有關叢集和單一節點的信息

收集報告

$ sudo crm report -f "2024/1/3 12:00" report_2024-1-3

螢幕輸出 :

sle-ha-2: INFO: The report is saved in ./report_2024-1-3.tar.bz2
sle-ha-2: INFO: Report timespan: 01/03/24 12:00:00 - 01/03/24 15:43:32
sle-ha-2: INFO: Thank you for taking time to create this report.

$ mkdir log

$ sudo tar -xvjf report_2024-1-3.tar.bz2 -C log/

螢幕輸出 :

report_2024-1-3/
report_2024-1-3/journal.log
...以下省略

$ ls -l log/report_2024-1-3/

螢幕輸出 :

total 604
-rw-r--r-- 1 root root 17339 Jan 3 15:43 analysis.txt
-rw-r--r-- 1 root root 937 Nov 17 11:08 corosync.conf
-rw-r--r-- 1 root root 953 Jan 3 15:43 crm_mon.txt
-rw-r--r-- 1 root root 5144 Jan 3 15:43 description.txt
-rw-r--r-- 1 root root 802 Jan 3 15:43 events.txt
-rw-r--r-- 1 root root 329585 Jan 3 15:43 ha-log.txt
-rw-r--r-- 1 root root 25 Jan 3 15:43 ha-log.txt.info
-rw-r--r-- 1 root root 231691 Jan 3 15:43 journal.log
-rw-r--r-- 1 root root 18 Jan 3 15:43 members.txt
drwxr-xr-x 1 root root 656 Jan 3 15:43 sle-ha-1
drwxr-xr-x 1 root root 644 Jan 3 15:43 sle-ha-2
-rw-r--r-- 1 root root 2116 Jan 3 15:43 sysinfo.txt

sle-ha-1 和 sle-ha-2 為包含節點特定詳細資料的目錄

Cluster Report Node Specific Details

Cluster Report 在每個節點的目錄中儲存節點的具體詳細信息

$ ls -l log/report_2024-1-3/sle-ha-1

螢幕輸出 :

total 2032
-rw-r--r-- 1 root root 22743 Jan 3 15:43 cib.xml
lrwxrwxrwx 1 root root 16 Jan 3 15:43 corosync.conf -> ../corosync.conf
-rw-r--r-- 1 root root 3301 May 18 2023 crm.conf
-rw-r--r-- 1 root root 22 Jan 3 15:43 crm.conf.info
lrwxrwxrwx 1 root root 14 Jan 3 15:43 crm_mon.txt -> ../crm_mon.txt
-rw-r--r-- 1 root root 63899 Jan 3 15:43 crmsh.log
-rw-r--r-- 1 root root 30 Jan 3 15:43 crmsh.log.info
-rw-r--r-- 1 root root 0 Jan 3 15:43 crm_verify.txt
-rw-r--r-- 1 root root 71 Jan 3 15:43 dlm_dump.txt
-rw-r--r-- 1 root root 117 Jan 2 17:32 drbd.conf
drwxr-xr-x 1 root root 104 Jan 2 17:34 drbd.d
-rw-r--r-- 1 root root 0 Jan 3 15:43 events.txt
-rw-r--r-- 2 root root 485436 Jan 3 15:43 ha-log.txt
-rw-r--r-- 1 root root 24 Jan 3 15:43 ha-log.txt.info
-rw-r--r-- 1 root root 184740 Jan 3 15:43 journal.log
lrwxrwxrwx 1 root root 14 Jan 3 15:43 members.txt -> ../members.txt
-rw-r--r-- 2 root root 485436 Jan 3 15:43 messages
-rw-r--r-- 1 root root 25 Jan 3 15:43 ocfs2.txt
-rw-r--r-- 1 root root 689875 Jan 3 15:43 pacemaker.log
-rw-r--r-- 1 root root 40 Jan 3 15:43 pacemaker.log.info
drwxr-xr-x 1 root root 960 Jan 3 15:43 pengine
-rw-r--r-- 1 root root 147 Jan 3 15:43 permissions.txt
-rw-r--r-- 1 root root 986 May 18 2023 profiles.yml
-rw-r--r-- 1 root root 25 Jan 3 15:43 profiles.yml.info
-rw-r--r-- 1 root root 0 Jan 3 15:43 RUNNING
-rw-r--r-- 1 root root 4274 Nov 17 11:08 sbd
-rw-r--r-- 1 root root 1164 Jan 3 15:43 sbd.txt
lrwxrwxrwx 1 root root 14 Jan 3 15:43 sysinfo.txt -> ../sysinfo.txt
-rw-r--r-- 1 root root 55689 Jan 3 15:43 sysstats.txt
-rw-r--r-- 1 root root 39 Jan 3 15:43 time.txt
drwxr-xr-x 1 root root 14 Jan 3 15:43 trace_ra

Cluster File Differences

The crm command can check whether a file is the same on all nodes:
- crm cluster diff <filename>
- Any differences will be shown
- Optional parameter --checksum
After checking why the files are different
- Use csync2 to re-sync the file

Log Files

Cluster Logging

By default the cluster stack logs via rsyslog
- rsyslog has no rules for cluster messages, so they end up in /var/log/messages
- Hard to find all cluster logs
- Hard to find anything else
Two choices:
- Configure rsyslog rules to put all cluster messages in a separate file
  - Need to enable logrotate
- Turn off syslog and log directly to a file
  - No option for logrotate
Don’t forget that troubleshooting a problem will probably require logs from all nodes
- Use hb_report to gather them
- Use -l <path> option if you have moved the cluster logs

systemd Logs

systemd keeps its own binary log
- It preserves metadata much better than text logs
Searchable using journalctl
Warning: The systemd journal is not stored on disk by
default
- Will be lost after a reboot
- Change this behaviour by reconfiguring systemd for persistent journal storage

journalctl

Syntax: journalctl OPTIONS

Mode	Description
-x	Add message explanations where available
-r	反向輸出，以便先顯示最新的 Log 資訊。
-u corosync	Cluster communication issues
-u pacemaker	Pacemaker related details
-u sbd	Startup issues if SBD_STARTMODE=‘clean’
-f	Follow the journal
–since=DATE	Show entries not older than the specified date
–until=DATE	Show entries not newer than the specified date

Managing the Epoch

The Cluster Epoch

The epoch is the cluster “version” number
The cluster increments the epoch value every time the configuration is updated
- Usually as a result of the administrator making changes
When the epoch changes the CRMs communicate the change to all nodes
- Network communication issues can stop these messages getting through
Any node that does not update will be fenced
To view the current value of the epoch:
- sudo cibadmin --query --local | tr -s " " "\n" | grep -w epoch
  - The option --local should only be used for queries

Updating the Cluster Epoch

If you discover a node is not keeping up with CIB updates then you can force an increment of the epoch value
Use cibadmin to do this:
- sudo cibadmin -B
- 在正常的節點上執行此命令

## on sle-ha-2 node
$ sudo cibadmin --query --local | tr -s " " "\n" | grep -w epoch
epoch="49"
$ sudo cibadmin -B
$ sudo cibadmin --query --local | tr -s " " "\n" | grep -w epoch
epoch="50"
## on sle-ha-1 node
$ sudo cibadmin --query --local | tr -s " " "\n" | grep -w epoch
epoch="50"

SBD Startup Behavior

SBD Behaviour

A feature of the SBD daemon is the ability to prevent a node from re-joining the cluster after it has been fenced
- Introduced in SLE12 HA
- Previously, the only option was to set the cluster stack to manual start
- After a normal reboot the node will rejoin the cluster
To enable this behaviour, edit /etc/sysconfig/sbd and set SBD_STARTMODE="clean"
If the node is fenced via the SBD, the SBD daemon will not clear its slot at startup
- An administrator must clear the node’s slot in all SBDs
- sbd -d DEV1 [-d DEV2 -d DEV3] message <node-name> clear
The corosync service must then be restarted

Working with the CIB

Shadow CIBs

Pacemaker supports shadow CIBs
- Used to create and test cluster configuration without touching the live CIB
A Shadow CIB is a direct copy of the live CIB
Shadow CIBs can be:
- Created
- Modified
- Saved
- Deleted
A Shadow CIB can be committed to the live CIB when you are satisfied with its behaviour
The ptest command can be used within a shadow CIB to see the effect of changes to the cluster
It generates:
- Log messages
- Cluster status
- A transition graph
  - Displayed using Graphviz if X windows is available

Configure and Create Cluster Resources

Thu, 28 Dec 2023 08:45:00 +0800

Preface

本篇文章會主要會採取 Step by Step 和 ScreenShot 的方式介紹，如何在 SUSE Linux Enterprise High Availability Extension 15 SP5 Cluster 中建立和設定 Cluster Resources。

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Overview of Cluster Resouces

What is Cluster Resource?

由 Cluster 管理的 Linux Process 或 Resource
- Cluster 不會使用本機的 systemd 來管理 Cluster Resouces
Examples:
- IP Address
- Daemons/Services
- Filesystems
- Web Server
- Database
- VM
- 任何其他 server-based 的 applications 或 Service
Cluster Resouces 被定義在 Cluster Information Database (CIB) 中
Cluster 會使用 Resouce Agent scripts 來管理
Active/Passive
- 一次在一個節點上運行
Active/Active
- 同時在多個節點上運作，甚至是所有的節點

描述

假設把網站伺服器、IP Address 和 DataBase 都定義成 Cluster Resource，並將他們組成一個 Group ( 群組 )，此時 Cluster 會管理這些服務之間的關係，以及發生故障時如何管理這些服務。

Cluster Resource 命名規則

A cluster resource naming convention is recommended
Examples:
- p-apache2_1
  - 程序名稱: apache2, 序號一 ( 本尊 )
- g-apache2_1
  - 群組名稱: apache2, 序號一 ( 本尊 )
  - 群組可能包含一個 ip address, apache2 和 database, for example:
    - p-IP_177
    - p-apache2_1
    - p-mariadb_1
- loc_g-apache2_1_on_node4
  - 限制 apache2_1 這個群組包含的所有 Cluster Resource 都只能在 node4 上運作

Cluster Resources 的種類

Primitives

Primitive Resource 是在 SLE HAE 中最基本的資源類型，Process 在任何時間點都只在一台節點上執行，Process 沒有分身。

由 resource agent 管理和監控，因此叢集可以監控並確保它正在運行，如果它運作失敗、停止運作或因某種原因沒有回應，你就可以對其進行設定，例如嘗試重啟一次或重啟兩次。然後，在同一個節點上，我們會考慮將它移到另一個節點上。這些都是設定參數，其中包括 Timeout ( 超時 ) 的設定，譬如可以在設定檔中定義 Process 的啟動、停止和監控，超過某一段時間都沒有回應的時間。

要建立 Primitive Resource，需要定義一個 ID 和指定一些參數，像是 class, provider 和 type。

Groups

將一個或多個 Primitive 類型的 Cluster Resource 合併為一個 entity ( 實體 )
Groups 包含一組需要一起定位、依序啟動和以相反順序停止的資源。
只要資源分組後，必須直接對群組來管理，而不是單一組員資源進行管理。
如果在群組中的一個資源在啟動時發生錯誤，排在後面的資源將不會運作。
可以為 group 設定 Constraints，而不是單獨設定在各個成員上。
Stickiness score = 所有群組組員資源的得分總和

舉例

假設要建立一個網站伺服器需要一個 IP address 和一個 file system

在 SLE HAE 叢集中，可以設定這 3 個獨立的 Primitive Resource :

The Web server
IP address
File system

再將以上 3 個獨立的 Primitive Resource 組一個 Group Resource

這樣做的好處是，如果發生軟體或硬體故障，Group Resource 將切換到另一個叢集中的節點上繼續運作，類似於單一叢集資源的 failing over

Clones

在多個節點上同時運作的 Cluster Resource
Clone types:
- Anonymous
  - 每個節點上同時運作相同的 primitive Cluster Resource
- Globally Unique
  - 每個節點上同時運作不相同的 primitive Cluster Resource
  - Example: IP address
The number of clones per cluster can be limited
- Typically the same as the number of nodes
To avoid all clones being stopped or started together use the option:
- interleave=true

Multi-state Resource

A specialized type of clone resource
Instances are in one of two states
- Active
- Passive
resources 會同時在不同的 Node 上，不過只有 Active 狀態的 resources 會正在運作，Passive 狀態的 resources 不會運作。
可以使用 colocation rules 跟其他 resources 連接。
Have additional operations:
- Promote ( 把 Passive 狀態的 resources 變成 Active )
- Demote ( 把 Active 狀態的 resources 變成 Passive )
To avoid all clones being stopped or started together use the option:
- interleave=true
  - Like clone resources

Promotable Resource

Promotable resources are a specialization of clones.
They allow the instances to be in one of two operating modes. When first starting up, the resource is considered promotable. A subset of instances can subsequently be promoted.
To create a promotable resource, define an ID and select the child resource that you want to use for the promotable resource

Supported resource agent classes

對於新增的每個叢集資源，都需要定義 resource agent 所遵循的標準，resource agent 將它們提供的服務抽象為叢集可以理解的資訊，從而使叢集對其管理的資源不作承諾，叢集依靠 resource agent 在收到啟動、停止或監控命令時做出適當反應。

Resource Agent 通常以 shell script 的形式出現。

SUSE Linux Enterprise High Availability 支援以下類別的 resource agents:

Open Cluster Framework (OCF) resource agents

這個 agents 通常在 /usr/lib/ocf/resource.d/ 目錄區中，所有的 OCF Resource Agents 都必須至少具備 start, stop, status, monitor 和 meta-data 的 action，meta-data action 可取得有關如何設定 resource agents 的資訊。

Linux Standards Base (LSB) scripts

LSB resource agent 通常由作業系統提供，可在 /etc/init.d 中找到。例如，它們必須執行若干操作，至少包括 start, stop, restart, reload, force-reload 和 status。

這些服務的設定並沒有標準化。如果您打算在高可用性中使用 LSB 腳本，請確保您了解相關腳本的配置方式。通常可以在 /usr/share/doc/packages/PACKAGENAME 中的相關套件檔案中找到相關資訊。

systemd

Pacemaker 可以管理 systemd 的服務。 systemd 有 unit files，而不是 init scripts。一般來說，服務（或 unit files）由作業系統提供。

Service

目前有多種類型的系統服務同時存在： LSB （屬於 System V init ）、systemd 和 upstart。因此，Pacemaker 支援一種特殊的 alias ( 別名 )，它能找出特定叢集節點適用的系統服務。當叢集包含 systemd、upstart 和 LSB 服務時，這一點尤其有用。 Pacemaker 會依照以下順序尋找已命名的服務：LSB (SYS-V) 啟動腳本、systemd unit file 或 upstart job。

Nagios

Monitoring plugins（以前稱為 Nagios plugins）允許監控遠端主機上的服務。

STONITH (fencing) resource agents

此類別專用於與 fencing 相關的資源。

Timeout values

resource 的超時值可受下列參數影響：

op_defaults （ global timeout for operations ）
resource template 中，特定定義的超時值
為 resource 定義的特定超時值

如果為 resource 定義了特定值，則該值優先於全域預設值，資源的特定值也優先於 resource template 中定義的值。

正確設定超時值非常重要。設定過低的超時值會導致大量（不必要的）fencing 操作，原因如下：

如果資源逾時，則會發生故障，叢集會嘗試停止該資源。
如果停止資源也失敗（例如，由於停止超時設定過低），叢集就會 fences 該節點，叢集會認為發生這種情況的節點已失控。

您可以使用 crmsh 和 Hawk2 調整操作的全域預設值，並設定任何特定的逾時值。確定和設定超時值的最佳做法如下：

檢查資源啟動和停止所需的時間。
如果需要，請新增 op_defaults 參數並相應設定（預設）逾時值：
- 例如，將 op_defaults 設定為 60 秒：
```
$ sudo crm configure op_defaults timeout=60
```
- 對於需要較長時間的資源，可定義單獨的逾時值。
為資源設定操作時，新增單獨的 start 和 stop 操作。使用 Hawk2 設定操作時，它會為這些操作提供有用的超時建議。

建立 primitive resources

在群集中使用資源之前，必須先設定。例如，要將 Apache 伺服器用作群集資源，請先設定 Apache 伺服器並完成 Apache 配置，然後再啟動群集中的相應資源。

如果資源有特定的環境要求，請確保所有群集節點上都有相同的環境需求。 SUSE Linux Enterprise High Availability 無法管理此類配置。您必須自己完成這項工作。

您可以使用 Hawk2 或 crmsh 建立原始資源。

如果需要在服務已在叢集控制下執行測試或維護任務，請確保在手動觸控其中任何一個之前將資源、節點或整個叢集設為 maintenance 模式。
Cluster resources 和 cluster nodes 的命名應有所不同。否則，Hawk2 將失效。

Set up SUSE Manager Synchronization with RMT Server

Thu, 07 Dec 2023 14:16:02 +0800

Preface

本篇文章會介紹，如何將 RMT Server 到 SCC 下載的套件儲存庫同步到 SUSE Mangaer Server

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

實作目標

在全離線的 SUSE Manager 環境中，透過 RMT Server 使用外部網路連線到 SUSE Customer Center 下載套件。

所有 software channels 和 repositories 都匯出到 RMT Server 上的 NFS Share Storage 上，然後 SUSE Manager Server 透過掛載 NFS 的共享目錄區來同步套件。

環境介紹

一台機器同時扮演 RMT Server 和 NFS Server 的角色
NFS Server 的目錄區會獨自使用一顆 Disk 並且做成 LVM
一台 SUSE Manager Server

1. 環境準備

1.1. 建立 LVM

## 建立 PV
$ sudo pvcreate /dev/sdb
## 建立 VG
$ sudo vgcreate nfsvg /dev/sdb
## 建立 LV
$ sudo lvcreate -n nfslv -l +100%FREE nfsvg
## 將 LVM 格式化為 XFS 檔案系統
$ sudo mkfs.xfs /dev/nfsvg/nfslv

1.2. 建立共享目錄區

$ sudo mkdir /var/nfs_repo && sudo chown _rmt:nginx /var/nfs_repo/

此目錄區會儲存 RMT Server 上網到 SCC 下載的所有套件，並會使用 NFS 透過網路將資料共享給 SUSE Manager Server 使用

1.3. 將 LV 掛載到 `/var/nfs_repo` 目錄

$ echo '/dev/nfsvg/nfslv /var/nfs_repo xfs defaults 0 0' | sudo tee -a /etc/fstab
$ sudo mount -a

1.4. 安裝 NFS Server

$ sudo zypper -n install nfs-kernel-server

1.5. 設定共享資料夾

$ echo '/var/nfs_repo 192.168.11.100/24(rw,sync,no_subtree_check,no_root_squash)' | sudo tee /etc/exports

1.6. 啟動 NFS Server 並設為開機自動啟動

$ sudo systemctl enable nfs-server --now

1.7. 檢查是否設定正確

$ lsblk /dev/sdb
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 500G 0 disk
└─nfsvg-nfslv 254:0 0 500G 0 lvm /var/nfs_repo
$ df -hT /var/nfs_repo
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/nfsvg-nfslv xfs 500G 542M 500G 1% /var/nfs_repo

1.7. 在 SUSE Manager Server 上掛載 NFS Share Folder

在 SUSE Manager Server 執行以下命令 :

$ sudo mkdir /var/nfs_repo
$ sudo mount -t nfs 192.168.11.100:/var/nfs_repo /var/nfs_repo
$ echo 'haha' > /var/nfs_repo/test

1.8. 回到 NFS Server 的機器確認

$ cat /var/nfs_repo/test && sudo rm /var/nfs_repo/test

螢幕輸出

haha

2. Synchronize RMT Server

2.1. PreRequest

已建立 RMT Server

RMT Server 建置手冊

2.2. 檢視已同步的 Package Repositories

$ sudo rmt-cli repos list

螢幕輸出 :

+------+-----------------------------+------------+---------+-------------------------+
| ID | Product | Mandatory? | Mirror? | Last mirrored |
+------+-----------------------------+------------+---------+-------------------------+
| 3878 | RES-8-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:35:55 UTC |
| 3921 | RES-AS-8-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:37:16 UTC |
| 3924 | RES-CB-8-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:37:30 UTC |
| 5963 | SLL-9-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:38:12 UTC |
| 5966 | SLL-AS-9-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:38:42 UTC |
| 5969 | SLL-CB-9-Updates for x86_64 | Mandatory | Mirror | 2023-11-28 00:38:52 UTC |
+------+-----------------------------+------------+---------+-------------------------+
Only enabled repositories are shown by default. Use the '--all' option to see all repositories.

2.3. Export the synchronized data to NFS Share storage

$ sudo rmt-cli export data /var/nfs_repo

Store SCC data in files at /var/nfs_repo Folder

螢幕輸出 :

I, [2023-12-07T19:45:51.716586 #1900] INFO -- : Exporting data from SCC to /var/nfs_repo
I, [2023-12-07T19:45:51.716843 #1900] INFO -- : Exporting products
I, [2023-12-07T19:46:29.160945 #1900] INFO -- : Exporting repositories
I, [2023-12-07T19:46:40.768586 #1900] INFO -- : Exporting subscriptions
I, [2023-12-07T19:46:41.701698 #1900] INFO -- : Exporting orders

2.4. Export the enabled repositories to NFS Share storage

$ sudo rmt-cli export settings /var/nfs_repo/ && sudo rmt-cli export repos /var/nfs_repo/

Store repository settings and Mirror repos at /var/nfs_repo Folder

螢幕輸出 :

...以上省略
I, [2023-12-07T22:09:16.418825 #1924] INFO -- : ↓ ruby-libguestfs-1.50.1-6.el9.x86_64.rpm

3. Synchronize a Disconnected Server

SSH 連線至 SUSE Manager Server

Install and Setup MySQL on SLE HAE

Wed, 29 Nov 2023 07:28:16 +0800

Preface

本篇文章會主要會介紹，如何在 SUSE Linux Enterprise HAE 上安裝和設定 MySQL，並將 MySQL 創建為 HAE 中的 Cluster Resource ，目標是模擬 MySQL 服務所在的機器完全故障時，如何實現 MySQL 服務會在故障時自動移轉，來繼續提供服務。

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

環境準備

機器 3 台，兩台是 HAE 叢集，另外一台在叢集外部提供 Share Storage 的服務

安裝和設定 NFS Server

ssh 連線至提供 Share Storage 服務的機器
安裝 NFS Server

$ sudo zypper in -y yast2-nfs-server

啟動和設定 NFS Server

$ sudo yast2 nfs_server

設定啟動 NFS Server

設定好後 Next

選擇 [Add Directory] ，新增要共享的目錄，輸入 /var/lib/mysql

將權限調整為 rw

設定好後 OK

確認設定都正確後，選 [Finish]

建立 MySQL 使用者

$ /usr/sbin/useradd -r -c MySQL database admin -d /var/lib/mysql -U -u 60 mysql -s /usr/sbin/nologin

更改 /var/lib/mysql 的目錄擁有者和群組為 mysql

$ sudo chown -R mysql:mysql /var/lib/mysql

安裝和設定 NFS Client

在兩台 SLE HAE 叢集的 Node 上安裝 NFS Client
執行以下命令安裝 NFS Client

$ sudo zypper in -y yast2-nfs-client

設定 NFS Client

$ sudo yast2 nfs

點選 Add 新增 NFS Server 的資訊

NFS Server Hostname: 192.168.11.173
Remote Directory: /var/lib/mysql
Mount Point (local): /var/lib/mysql

設定好後，點選 OK

確認資訊都正確後，點選 OK

ssh 連線至另一台機器做同樣的安裝和設定操作

安裝和設定 MySQL Server 和 Client

在兩台 SLE HAE 叢集的機器上都要安裝 MySQL Server 和 Client 端
連線至第一台機器，執行以下安裝命令

$ sudo zypper in -y mysql mysql-client

設定任意 IP 都可以連線到 MySQL

$ sudo nano /etc/my.cnf

修改檔案內容如下 :

bind-address = 0.0.0.0

將 bind-address 的值設定為 0.0.0.0

啟動 MySQL

$ sudo systemctl start mariadb

安全性設定

$ sudo mysql_secure_installation

設定內容如下 :

Enter current password for root (enter for none):
（輸入現有root密碼,enter）
Switch to unix_socket authentication [Y/n]
（ y，啟用unix_socket 身份驗證）
Change the root password? [Y/n]
（ y，更換 root 密碼）
New password: root
Re-enter new password: root
Remove anonymous users? [Y/n]
（ Y，移除匿名登入）
Disallow root login remotely? [Y/n]
（ Y，移除遠端 root 登入權限）
Remove test database and access to it? [Y/n]
（ Y，移除測試資料庫及帳號）
Reload privilege tables now? [Y/n]
（ Y，重新載入權限表）

關閉 MySQL 服務

$ sudo systemctl stop mariadb

連線至第二台機器執行以上同樣安裝和設定步驟
在 MySQL 建立使用者，並允許透過任何網路登入

## 登入 MySQL
$ sudo mysql
## 建立 bigred 使用者並且設定最高權限
$ GRANT ALL PRIVILEGES ON *.* TO 'bigred'@'%' IDENTIFIED BY 'bigred' WITH GRANT OPTION;
Query OK, 0 rows affected (0.007 sec)
## 立刻生效
$ FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.001 sec)
## 檢查
$ SELECT user,host FROM mysql.user;
+-------------+-----------+
| User | Host |
+-------------+-----------+
| bigred | % |
| mariadb.sys | localhost |
| mysql | localhost |
| root | localhost |
+-------------+-----------+
4 rows in set (0.007 sec)
## 離開
$ \q
Bye

使用 bigred 使用者透過網路登入 MySQL

$ mysql -u bigred -pbigred -h 192.168.11.172 -P 3306

將 MySQL 設定為 Cluster Resource

執行以下命令將 MySQL 設定為 Cluster Resource

$ sudo crm configure primitive mysql systemd:mariadb op start timeout=100 interval=0 op stop timeout=100 interval=0 op monitor timeout=100 interval=60 meta target-role=Stopped

透過 crm 啟動 MySQL

$ sudo crm resource start mysql

檢查 MySQL Cluster Resource 的狀態

$ sudo crm status

螢幕輸出 :

Status of pacemakerd: 'Pacemaker is running' (last updated 2023-11-29 13:39:04 +08:00)
Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-1 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Wed Nov 29 13:39:05 2023
* Last change: Wed Nov 29 11:03:19 2023 by root via cibadmin on sle-ha-2
* 2 nodes configured
* 3 resource instances configured
Node List:
* Online: [ sle-ha-1 sle-ha-2 ]
Full List of Resources:
* sbd (stonith:external/sbd): Started sle-ha-1
* Resource Group: Group-mysql:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-1
* mysql (systemd:mariadb): Started sle-ha-1

將 MySQL 和 VIP 組成群組

$ sudo crm configure group Group-mysql admin-ip mysql meta target-role=Stopped

將群組資源啟動

$ sudo crm resource start Group-mysql

透過 VIP 登入 MySQL 測試

$ mysql -u bigred -pbigred -h 192.168.11.170 -P 3306

建立資料庫、資料表和匯入資料

## 建立 haha Database
> create database haha;
## 進入 Database
> use haha;
## 建 customer 資料表
> CREATE TABLE customer (
ID int NOT NULL,
NAME varchar(100) NOT NULL,
AGE int,
ADDRESS varchar(255),
SALARY DECIMAL(10,2),
PRIMARY KEY (ID)
);
## 新增 7 筆資料
> INSERT INTO customer
VALUES (1,'Ramesh',32,'Ahmedabad','2000.00'),
(2,'Khilan',25,'Delhi','1500.00'),
(3,'kaushik',23,'kota','2000.00'),
(4,'Chaitali',25,'Mumbai','6500.00'),
(5,'Hardik',27,'Bhopal','8500.00'),
(6,'Komal',22,'MP','4500.00'),
(7,'Muffy',24,'Indore','10000.00');
## 顯示 customer 的所有資料
> select * from customer;
+----+----------+------+-----------+----------+
| ID | NAME | AGE | ADDRESS | SALARY |
+----+----------+------+-----------+----------+
| 1 | Ramesh | 32 | Ahmedabad | 2000.00 |
| 2 | Khilan | 25 | Delhi | 1500.00 |
| 3 | kaushik | 23 | kota | 2000.00 |
| 4 | Chaitali | 25 | Mumbai | 6500.00 |
| 5 | Hardik | 27 | Bhopal | 8500.00 |
| 6 | Komal | 22 | MP | 4500.00 |
| 7 | Muffy | 24 | Indore | 10000.00 |
+----+----------+------+-----------+----------+
7 rows in set (0.001 sec)
## 離開
> \q

故障模擬測試

目標

將 MySQL 服務所在的 Node 關閉，並測試 SLE HAE 是否會自動執行服務故障轉移到叢集中健康的 Node 上。

實作

由於當前 MySQL 在叢集中的第一台 Node 上，故將第一台 Node 關閉

$ sudo poweroff

檢視 MySQL 服務與 VIP 這兩個 Cluster Resources 是否被移轉

$ sudo crm status

螢幕輸出 :

Status of pacemakerd: 'Pacemaker is running' (last updated 2023-11-29 14:45:47 +08:00)
Cluster Summary:
* Stack: corosync
* Current DC: sle-ha-2 (version 2.1.5+20221208.a3f44794f-150500.4.9-2.1.5+20221208.a3f44794f) - partition with quorum
* Last updated: Wed Nov 29 14:45:48 2023
* Last change: Wed Nov 29 11:03:19 2023 by root via cibadmin on sle-ha-2
* 2 nodes configured
* 3 resource instances configured
Node List:
* Online: [ sle-ha-2 ]
* OFFLINE: [ sle-ha-1 ]
Full List of Resources:
* sbd (stonith:external/sbd): Started sle-ha-2
* Resource Group: Group-mysql:
* admin-ip (ocf::heartbeat:IPaddr2): Started sle-ha-2
* mysql (systemd:mariadb): Started sle-ha-2

可以看到在 Node List 區塊中，第一台 Node 已離線
在 Full List of Resources 區塊中，MySQL 服務與 VIP 已被移轉至第二台 Node 上

測試能否透過 VIP 連接 MySQL

$ mysql -u bigred -pbigred -h 192.168.11.170 -P 3306

螢幕輸出 :

Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 10.6.12-MariaDB MariaDB package
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]>

檢查資料是否還存在

> show databases;
+--------------------+
| Database |
+--------------------+
| haha |
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
> select * from haha.customer;
+----+----------+------+-----------+----------+
| ID | NAME | AGE | ADDRESS | SALARY |
+----+----------+------+-----------+----------+
| 1 | Ramesh | 32 | Ahmedabad | 2000.00 |
| 2 | Khilan | 25 | Delhi | 1500.00 |
| 3 | kaushik | 23 | kota | 2000.00 |
| 4 | Chaitali | 25 | Mumbai | 6500.00 |
| 5 | Hardik | 27 | Bhopal | 8500.00 |
| 6 | Komal | 22 | MP | 4500.00 |
| 7 | Muffy | 24 | Indore | 10000.00 |
+----+----------+------+-----------+----------+
7 rows in set (0.003 sec)

擴充 SUSE Manager Database 儲存空間

Thu, 23 Nov 2023 07:49:46 +0800

Preface

SUSE Manager 要升級時，遇到 PostgrasSQL 使用的/var/lib/pgsql 目錄區空間不夠辣。

本篇會介紹，如何擴充 LVM 做出來的 /var/lib/pgsql 目錄區的空間。

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

Step1: 環境準備

檢查 /var/lib/pgsql 在哪一顆 Disk 上

$ lsblk

螢幕輸出 :

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 600G 0 disk
├─sda1 8:1 0 8M 0 part
└─sda2 8:2 0 500G 0 part
...中間省略
├─system-var_lib_pgsql 254:4 0 60G 0 lvm /var/lib/pgsql
...以下省略

由以上訊息得知，/var/lib/pgsql 在 /dev/sda 這顆硬碟上
目前 /var/lib/pgsql 這個目錄的 SIZE 是 60G，目標要擴充至 110G

關機
加 /dev/sda 這顆硬碟空間
對整台虛擬機建立 SnapShot
開機
將 SUSE Manager 的所有 Service 關閉

$ sudo spacewalk-service stop

檢查是否 Service 是否都關閉

$ sudo spacewalk-service status

Step2: Resize Disk Partition

$ sudo fdisk /dev/sda
# 輸入 p 顯示當前 Disk 的 Partition 資訊
Command (m for help): p
...
Device Start End Sectors Size Type
/dev/sda1 2048 18431 16384 8M BIOS boot
/dev/sda2 18432 1048575966 1048557535 500G Linux LVM
# 輸入 d 刪除 Partition，並輸入 2 指定刪除第 2 個 Partition
Command (m for help): d
Partition number (1,2, default 2): 2
Partition 2 has been deleted.
# 輸入 n 新增 Partition，並輸入 2 指定新增第 2 個 Partition
## First sector 以及 Last sector 直接按 Enter 使用預設值
Command (m for help): n
Partition number (2-128, default 2):
First sector (18432-1258291166, default 18432):
Last sector, +/-sectors or +/-size{K,M,G,T,P} (18432-1258291166, default 1258291166):
Created a new partition 2 of type 'Linux filesystem' and of size 600 GiB.
Partition #2 contains a LVM2_member signature.
# 輸入 N (大寫)，不要刪除 signature
Do you want to remove the signature? [Y]es/[N]o: N
# 輸入 p 顯示當前 Disk 的 Partition 資訊，檢查 /dev/sda2 已 RESIZE 為 600G
Command (m for help): p
...中間省略
Device Start End Sectors Size Type
/dev/sda1 2048 18431 16384 8M BIOS boot
/dev/sda2 18432 1258291166 1258272735 600G Linux filesystem
# 輸入 w ，將以上動作寫入儲存
Command (m for help): w
The partition table has been altered.
Syncing disks.

Step3: 將 PV RESIZE

檢查 /var/lib/pgsql 在哪個 PV

1.1 要先檢查在哪個 LV

$ sudo lvscan

螢幕輸出 :

...
ACTIVE '/dev/system/var_lib_pgsql' [60.00 GiB] inherit
...

1.2 再查看使用哪個 VG

$ sudo lvdisplay /dev/system/var_lib_pgsql

螢幕輸出 :

...以上省略
VG Name system
...以下省略

1.3 最後再檢查使用哪個 PV

$ sudo pvscan

螢幕輸出 :

 PV /dev/sda2 VG system lvm2 [499.99 GiB / 7.99 GiB free]
Total: 1 [499.99 GiB] / in use: 1 [499.99 GiB] / in no VG: 0 [0 ]

將 /dev/sda2 這個 PV RESIZE

$ sudo pvresize /dev/sda2

螢幕輸出 :

 Physical volume "/dev/sda2" changed
1 physical volume(s) resized or updated / 0 physical volume(s) not resized

檢查 PV 是否有 RESIZE 成功

$ sudo pvdisplay /dev/sda2

螢幕輸出 :

 --- Physical volume ---
PV Name /dev/sda2
VG Name system
PV Size 599.99 GiB / not usable 1.98 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 153597
Free PE 27645
Allocated PE 125952
PV UUID 1rnqQf-hgXH-mNCO-ZLSU-nOPY-xsfd-kzi1Nc

PV SIZE 已從 500 GiB RESIZE 為 600 GiB

檢查 VG 是否已經擴充

$ sudo vgdisplay system

螢幕輸出 :

 --- Volume group ---
VG Name system
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 8
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 6
Open LV 6
Max PV 0
Cur PV 1
Act PV 1
VG Size 599.99 GiB
PE Size 4.00 MiB
Total PE 153597
Alloc PE / Size 125952 / 492.00 GiB
Free PE / Size 27645 / 107.99 GiB
VG UUID o1Ru8g-QiEv-grT3-wyfv-s7MB-2lsY-zp8A0W

PV SIZE 已從 500 GiB RESIZE 為 600 GiB

Step4: 將 LV 擴充 50% 可用空間

執行以下命令

$ sudo lvresize -l +50%FREE /dev/system/var_lib_pgsql

螢幕輸出 :

 Size of logical volume system/var_lib_pgsql changed from 60.00 GiB (15360 extents) to 114.00 GiB (29183 extents).
Logical volume system/var_lib_pgsql successfully resized.

檢查是否擴充成功

$ sudo lvdisplay /dev/system/var_lib_pgsql

螢幕輸出 :

 --- Logical volume ---
LV Path /dev/system/var_lib_pgsql
LV Name var_lib_pgsql
VG Name system
LV UUID 2SuUkw-6TjW-78l2-48KQ-vNUM-km4B-AX8CaE
LV Write Access read/write
LV Creation host, time suma, 2023-10-06 13:45:16 +0800
LV Status available
# open 1
LV Size 114.00 GiB
Current LE 29183
Segments 2
Allocation inherit
Read ahead sectors auto
- currently set to 1024
Block device 254:4

Step5: 擴展 XFS 檔案系統

執行以下命令

$ sudo xfs_growfs /dev/system/var_lib_pgsql

螢幕輸出 :

meta-data=/dev/mapper/system-var_lib_pgsql isize=512 agcount=4, agsize=3932160 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=0, rmapbt=0
= reflink=0 bigtime=0 inobtcount=0
data = bsize=4096 blocks=15728640, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=7680, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data blocks changed from 15728640 to 29883392

檢查

$ df -hT /var/lib/pgsql

螢幕輸出 :

Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/system-var_lib_pgsql xfs 114G 29G 86G 26% /var/lib/pgsql

補充資料

如何縮小透過 LVM 做出來的 XFS 檔案系統的大小 ?

Registering SLE Micro Clients

Thu, 09 Nov 2023 07:57:38 +0800

Preface

本篇文章會介紹，如何將 SUSE Linux Enterprise Micro Client 註冊到 SUSE Manager Server

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Step1: Add Software Channels on SUSE Manager Server

在將 SLE Micro 客戶端註冊到 SUSE Manager Server 之前，需要添加所需的 software channels ( 套件通道 ) 並同步它們。

操作步驟 :

勾選要加入的 SUSE Linux Enterprise Micro (版本)
點擊 “Add product” ，然後等待同步完成

如果在 Products 的列表沒有看到 SUSE Linux Enterprise Micro 就代表在 SUMA 設定 Organization Credentials 的時候，沒有 SUSE Linux Enterprise Micro 的 subscription ( 訂閱 )，所以要重新設定一次，之後按右上角的 “Refresh” 按鈕，就會看到 SUSE Linux Enterprise Micro 出現

Step2: Checking Synchronization Progress from the Command Prompt

$ tail -f /var/log/rhn/reposync/<channel-label>.log

在同步的過程中，每個子通道都會生成自己的日誌。要檢查所有基本通道和子通道的 log 檔，以確保同步完成。

Step3: Register Clients

創建用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo -l | grep -i "micro"
4. SLE-MICRO-5.3-x86_64
$ sudo mgr-create-bootstrap-repo --create SLE-MICRO-5.3-x86_64

Activation_Key

打開瀏覽器，連線至 SUSE Manager Server

點擊 Systems > Activation Keys > Create Key

Description: SLE-MICRO-5.3-x86_64
Key: SLE-MICRO-5.3
Usage: 2
Child Channels: SLE-Micro-5.3-Pool for x86_64 (全選)

選好後按 “Create Activation Key”

創建註冊腳本

在 SUSE Manager Server 執行以下命令

切換到工作目錄

# cd /srv/www/htdocs/pub/bootstrap/

拷貝一份特定 Chanel 的註冊腳本

$ sudo cp bootstrap.sh bootstrap-sle-micro-5.3.sh

修改註冊腳本

$　sudo sed -i "s|ACTIVATION_KEYS=|ACTIVATION_KEYS=1-SLE-MICRO-5.3|g" bootstrap-sle-micro-5.3.sh

在 bootstrap 腳本的“HOSTNAME”(第 98 行)下一行，增加以下內容:

OLDIFS=$IFS
IFS=''
SUMAHOSTRECORD='192.168.11.210'$'\t'$HOSTNAME
grep $SUMAHOSTRECORD /etc/hosts > /dev/null || {
sed -i "/$HOSTNAME/d" /etc/hosts
echo $SUMAHOSTRECORD >> /etc/hosts
}
IFS=$OLDIFS

SUMAHOSTRECORD 的 IP 位址為 SUSE Manager Server 的 IP

用戶端註冊操作

將 SUMA 的 Domain Name 加到 /etc/hosts

$ sudo nano /etc/hosts

新增以下內容

192.168.11.210 antony-suma.example.com

執行註冊腳本

$ curl -k https://antony-suma.example.com/pub/bootstrap/bootstrap-sle-micro-5.3.sh | bash

接受 Salt 用戶端

在 SUMA 的 WEB 介面上，進入 [SUSE Manager] > Systems > System List > All 頁面，可以看到新註冊的用戶端系統。

如果是 Salt 用戶端，[SUSE Manager] > Salt > Keys，首先需要在 WEB 介面的 Salt 功能表，接受新的 Salt-Key 方能讓新用戶端系統進入 System 清單中。

示意圖

接受以後

最後就可以在 System OverView 上看到用戶端拉 ~

Disable automatic updates on SLE Micro

Thu, 09 Nov 2023 04:26:22 +0800

Preface

本篇文章會先介紹 SLE Micro 如何自動更新系統，並介紹如何永久關閉這個功能。

SLE Micro 如何自動更新系統

SLE Micro 會靠 transactional-update.timer 這個 systemd.timer 每天會去執行 transactional-update.service 這個服務。
這個服務會執行 /usr/sbin/transactional-update cleanup ${UPDATE_METHOD} reboot 這個命令，${UPDATE_METHOD} 預設的值是 up。
- up 參數會去 call zypper up 命令。
- reboot 參數會去追蹤如果系統有更新的話會重啟電腦。
所以代表 SLE Micro 每天都會去執行更新系統的命令，並自動重開機套用新的套件。

禁止系統自動更新

執行以下命令

$ systemctl --now disable transactional-update.timer

Getting Started, configuring iSCSI on SLES 15 SP5

Wed, 08 Nov 2023 06:32:12 +0800

Preface

本篇文章會主要會先介紹 iSCSI 是什麼，它的架構長得如何，以及它如何運作，最後實際在 SLES 15 SP5 上部屬與設定 iSCSI

可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節

1. 什麼是 iSCSI ?

iSCSI：Internet Small Computer System Interface
- iSCSI 是一種儲存網路的通訊協定，它可簡化區塊儲存設備和伺服器之間透過 TCP/IP 網路進行的 SCSI 封包傳輸。
- 讓 Server 能夠透過 TCP/IP 的技術直接存取硬碟。
- ISCSI 讓建立共享儲存網路成為可能，在這個網路中，多個伺服器和用戶端可以存取中央儲存資源，就像存取本機連線的裝置一樣。
- iSCSI 利用了 TCP/IP 的 port 860 和 3260 作為溝通的管道。

1.1. iSCSI 和 NFS 差在哪?

iSCSI 是由 IBM 發明的基於乙太網路的儲存協議，該協議與 NFS 協議都是為了解決儲存資源共享問題的解決方案。兩者意圖一致，只不過兩者是不同的實作方式，前者在客戶機上呈現的是一個 Block Device ( 區塊設備 )，而後者則是目錄樹。

iSCSI 是一種儲存設備遠端映射技術，它可以將一個遠端伺服器上的儲存設備映射到本地，並呈現為一個區塊設備（說白了就是磁碟）。從一般使用者的角度，映射過來的磁碟與本機安裝的磁碟毫無差異。

Block devices file

當透過區塊裝置檔案存取硬碟時，系統會先將資料讀取或寫入記憶體中的緩衝區，再將資料傳輸到實際的硬碟。
優點：可以改善對實體磁碟的輸入輸出效能。

Character device file

字元裝置檔案 (character device file) 也稱為原始裝置檔案 (raw device file)。
字元裝置檔案會一次傳輸一個字元到裝置。
磁帶機通常透過字元裝置檔案存取。

2. 它如何運作 ?

iSCSI 主要是透過 TCP/IP 的技術，將儲存設備端透過 iSCSI target ( iSCSI 標的 ) 功能，做成可以提供磁碟的伺服器端，再透過 iSCSI initiator ( iSCSI 初始化用戶 ) 功能，做成能夠掛載使用 iSCSI target 的用戶端，如此便能透過 iSCSI 協定來進行磁碟的應用了。

也就是說，iSCSI 這個架構主要將儲存裝置與使用的主機分為兩個部分，分別是：

iSCSI target：就是儲存設備端，存放磁碟或 RAID 的設備，目前也能夠將 Linux 主機模擬成 iSCSI target 了！目的在提供其他主機使用的『磁碟』。
iSCSI initiator：就是能夠使用 target 的用戶端，通常是伺服器。也就是說，想要連接到 iSCSI target 的伺服器，也必須要安裝 iSCSI initiator 的相關功能後才能夠使用 iSCSI target 提供的磁碟就是了。

2.1. 舉例

iSCSI LIO target server 和 iSCSI initiator servers 在區域網路 IP 層傳送 SCSI 封包進行通訊。
當 initiator server 上執行的應用程式開始查詢在 iSCSI LIO target 的 Disk 中的資料時，作業系統會產生必要的 SCSI 命令。
然後，SCSI 指令被嵌入 IP 封包，並由 iSCSI initiator 的軟體進行必要的加密。
這些資料包透過內部 IP 網路傳輸到對應的 iSCSI LIO target server。

LIO 是 Linux 的標準開源 multiprotocol SCSI target。 LIO 取代了 SCSI target 框架，成為 Linux 核心版本 2.6.38 及更高版本的標準統一儲存目標器。

3. 在 SLES 15 SP5 上部屬 iSCSI

3.1. 安裝 iSCSI initiator

在每一台 iSCSI initiator 機器執行以下命令

$ sudo zypper in -y open-iscsi yast2-iscsi-client

3.2. 安裝 iSCSI LIO Target Server

在每一台 iSCSI LIO Target Server 機器執行以下命令

$ sudo zypper in -y yast2-iscsi-lio-server

3.3. 設定 iSCSI LIO Target Server

3.3.1. 準備儲存空間

iSCSI LIO Target 可使用具有 Linux、Linux LVM 或 Linux RAID 檔案系統 ID 的未格式化分割區。

在兩台機器上多新增了兩顆 100 G 的 Disk

sle-ha-1:~ # lsblk /dev/sdb
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 100G 0 disk
sle-ha-2:~ # lsblk /dev/sdb
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 100G 0 disk

將 Disk 或 partition 設定為 iSCSI Target 後，切勿直接透過其本機路徑進行存取，不要在 target server 上掛載分割區。

3.3.2. 設定 iSCSI LIO Target Service 開機自動啟動

iSCSI LIO Target Service 預設要手動啟動，可以將服務設定為在系統啟動時自動啟動。

Start YaST and launch Network Services › iSCSI LIO Target.

$ sudo yast2 iscsi-lio-server

Switch to the Service tab
設定開機自動啟動 iSCSI Targets 服務

┌Service Configuration─────────────────────────────────────────┐
│Current status: Inactive │
│After writing configuration: │
│Start▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒↓ │
│After reboot: │
│Start on boot▒↓ │
└──────────────────────────────────────────────────────────────┘

After writing configuration: Start
After reboot: Start on boot

3.3.3. 設定 iSCSI LIO target group

Start YaST and launch Network Services › iSCSI LIO Target.
Switch to the Targets tab.
Click Add, then define a new iSCSI LIO target group and devices:
- Target: iqn.2023-11.com.example
- Identifier: ha1-disk
- Portal Group: 1
- IP Address: 10.12.2.11
- Port Number: 3260
- [x] Bind all IP addresses

Add a new initiator entry for the selected iSCSI LIO target group.
- 在 Lun 區塊下點擊 add
- LUN Path: /dev/sdb

Click Finish to save and apply the settings.

3.4. 設定 iSCSI initiator

Start YaST and launch Network Services › iSCSI Initiator.
Switch to the Service tab.
設定開機自動啟動服務

$ sudo yast2 iscsi-client

After writing configuration: Restart
After reboot: Start on boot

Switch to the Discovered Targets tab.
Connect Targets

Startup and Authentication

Startup: automatic
Next

確認 Connected Targets

確認都沒問題後點擊 OK

檢查

# lsscsi
[0:0:0:0] disk QEMU QEMU HARDDISK 2.5+ /dev/sda
[0:0:0:1] disk QEMU QEMU HARDDISK 2.5+ /dev/sdb
[2:0:0:0] cd/dvd QEMU QEMU DVD-ROM 2.5+ /dev/sr0
[3:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdc
[4:0:0:0] disk LIO-ORG IBLOCK 4.0 /dev/sdd

參考文章

NVIDIA GPU’s on SLE Micro 5.4

Mon, 30 Oct 2023 09:34:26 +0800

Prerequisites

至少一台安裝了 SLE Micro 5.3+ 的主機；可以是實體主機，也可以是虛擬主機。
您的主機已連接到訂閱，因為存取 Packages 需要訂閱。
安裝了相容的 NVIDIA GPU（或透過虛擬機器運行 SLE Micro）。
root 用戶存取權限 – 這些說明假定您是 root 用戶，並且沒有透過 sudo 升級權限。

Installation

目前，標準的 SLE Micro package repositories 中沒有 Nvidia 開放驅動程式所需的 Packages，只有 SUSE Linux Enterprise Server 才有。

因此我們需要從這些 package repositories 中提取這些 packages ，我們可以透過工具箱實用程式輕鬆地做到這一點。請注意，在未來幾週內將不需要這樣做——我們目前正在 SLE Micro 中提供這些 packages ，因此接下來的步驟將變得多餘。

在此期間，請確保您已正確設定了 mounts.conf文件，這將確保由 podman（包括工具箱實用程式）啟動的任何容器都會自動將您的 SUSE Connect 憑證注入 Container Image。這將允許存取 Packages，以便我們從 SLES 的 package repositories 下載 packages （此文件通常已在 SLE Micro 5.3 上配置，但我們還是要確認）：

$ cat << EOF > /etc/containers/mounts.conf
/etc/zypp/credentials.d/SCCcredentials:/etc/zypp/credentials.d/SCCcredentials
EOF

接下來，建立一個臨時目錄，將需要從 SLES 下載的軟體包推送到本機檔案系統中，為此我使用 /root/nvidia：

$ mkdir -p /root/nvidia

現在我們可以打開 toolbox 實用程序，它提供了其他不屬於 SLE Micro 基本作業系統的命令列工具和實用程式。在排除系統故障時，該工具非常有用，因為在這種情況下，您希望將底層作業系統的佔用空間降到最低：

$ toolbox

進入工具箱實用程式後，我們可以要求軟體套件管理員（zypper）新增 sle-module-basesystem 模組，刷新軟體來源，然後將 Nvidia 驅動程式軟體包下載到主機檔案系統中先前建立的 /root/nvidia 目錄中，注意在工具箱中的絕對路徑是 /media/root/root/nvidia。

在下面的範例中，我們特別呼叫了支援最新 GPU “G06” 世代的驅動程式，因此請確保選擇了合適的 GPU 版本。

G03 = driver v340 = legacy driver for GT8xxx/9xxx devices (via a community user, see below)
G04 = driver v390 = legacy driver for GTX4xx/5xx Fermi devices
G05 = driver v470 = driver for GeForce 600 series and GeForce 700 series (Kepler)
G06 = driver for GeForce 700 series (Maxwell, Pascal…) and up
更多資訊請參閱此處

檢查 GPU 型號

$ sudo hwinfo --short --pci
graphics card:
nVidia GP108 [GeForce GT 1030]

此外，以下的範例呼叫的是 535.104.05 驅動程式；請確保您選擇的驅動程式版本與您的 GPU 相容，並符合 CUDA 要求（如適用），請點擊此處。此外，建議您檢查 Nvidia SLE15-SP4 軟體來源，確保您選擇的驅動程式版本與具有相同版本字串的 nvidia-compute-utils-G06 軟體包相當； Nvidia 會定期刷新該軟體來源，但版本必須相符；我們在SUSE 軟體來源中的驅動程式版本有可能比 Nvidia 在其軟體來源中的版本更新（反之亦然），因此在此匹配版本非常重要。

確認上述情況後，請使用以下命令擷取適合您系統的所需軟體包：

$ ADDITIONAL_MODULES=sle-module-basesystem zypper ref
$ zypper --pkg-cache-dir /media/root/root/nvidia install -y --download-only kernel-devel gcc nvidia-open-driver-G06-signed-kmp=535.104.05

現在您已經在工具箱實用程式之外獲得了軟體包，請退出工具箱：

$ exit

現在可以在主機作業系統上安裝軟體包了，為此我們需要打開事務更新會話，創建一個新的底層作業系統讀取/寫入快照，以便對不可變平台進行更改（有關事務更新的更多說明，請參閱此）：

$ transactional-update shell

在事務更新 shell 中，新增英偉達所需的其他軟體包軟體來源；這將允許我們調入其他實用程序，如 nvidia-smi，以及存取您可能需要使用的 CUDA 軟體包：

$ zypper ar https://developer.download.nvidia.com/compute/cuda/repos/sles15/x86_64/ nvidia-sle15sp4-cuda
$ zypper ar http://download.nvidia.com/suse/sle15sp4/ nvidia-sle15sp4-main

接下來，移至 /root/nvidia 目錄，該目錄包含先前的zypper 命令以從 SLES 下載的軟體包建立的幾個目錄。然後，我們可以請求軟體包管理器安裝預置的簽章核心模組、韌體軟體包和附加實用程式軟體包：

$ cd /root/nvidia/container-suseconnect-zypp:SLE-Module-Basesystem15-SP4-Updates/x86_64
$ zypper in -y nvidia-open-driver-G06-signed-kmp-default* kernel-firmware-nvidia-gspx-G06* nvidia-compute-utils-G06

螢幕輸出

...以上省略
Do you want to reject the key, trust temporarily, or trust always? [r/t/a/?] (r): a
Building repository 'nvidia-sle15sp4-main' cache ......................................................................................................[done]
Loading repository data...
Reading installed packages...
Resolving package dependencies...
The following 4 NEW packages are going to be installed:
kernel-firmware-nvidia-gspx-G06 nvidia-compute-G06 nvidia-compute-utils-G06 nvidia-open-driver-G06-signed-kmp-default
The following 4 packages have no support information from their vendor:
kernel-firmware-nvidia-gspx-G06 nvidia-compute-G06 nvidia-compute-utils-G06 nvidia-open-driver-G06-signed-kmp-default
4 new packages to install.
Overall download size: 80.7 MiB. Already cached: 0 B. After the operation, additional 243.9 MiB will be used.
Continue? [y/n/v/...? shows all options] (y): y
Do you agree with the terms of the license? [yes/no] (no): yes
Retrieving package kernel-firmware-nvidia-gspx-G06-535.104.05-150400.9.6.1.x86_64 (1/4), 36.5 MiB ( 58.9 MiB unpacked)
Retrieving package nvidia-open-driver-G06-signed-kmp-default-535.104.05_k5.14.21_150400.24.81-150400.9.17.1.x86_64 (2/4), 5.0 MiB ( 4.9 MiB unpacked)
Retrieving package nvidia-compute-G06-535.104.05-150400.12.1.x86_64 (3/4), 38.5 MiB (178.2 MiB unpacked)
Retrieving: nvidia-compute-G06-535.104.05-150400.12.1.x86_64.rpm ..........................................................................[done (6.6 MiB/s)]
Retrieving package nvidia-compute-utils-G06-535.104.05-150400.12.1.x86_64 (4/4), 638.4 KiB ( 1.7 MiB unpacked)
Retrieving: nvidia-compute-utils-G06-535.104.05-150400.12.1.x86_64.rpm ................................................................................[done]
Checking for file conflicts: ..........................................................................................................................[done]
(1/4) Installing: kernel-firmware-nvidia-gspx-G06-535.104.05-150400.9.6.1.x86_64 ......................................................................[done]
(2/4) Installing: nvidia-open-driver-G06-signed-kmp-default-535.104.05_k5.14.21_150400.24.81-150400.9.17.1.x86_64 .....................................[done]
update-alternatives: using /usr/lib64/nvidia/libOpenCL.so.1 to provide /usr/lib64/libOpenCL.so.1 (libOpenCL.so.1) in auto mode
(3/4) Installing: nvidia-compute-G06-535.104.05-150400.12.1.x86_64 ....................................................................................[done]
(4/4) Installing: nvidia-compute-utils-G06-535.104.05-150400.12.1.x86_64 ..............................................................................[done]
Executing %posttrans scripts ..........................................................................................................................[done]
transactional update # zypper in nvidia-open-driver-G06-signed-kmp-default* kernel-firmware-nvidia-gspx-G06* nvidia-compute-utils-G06^C
transactional update # exit
exit
2023-10-05 03:32:08 Application returned with exit status 130.
2023-10-05 03:32:09 tukit 4.1.4 started
2023-10-05 03:32:09 Options: close 3
Relabeled /var/lib/YaST2 from unconfined_u:object_r:var_lib_t:s0 to unconfined_u:object_r:rpm_var_lib_t:s0
Relabeled /var/lib/YaST2/cookies from unconfined_u:object_r:var_lib_t:s0 to unconfined_u:object_r:rpm_var_lib_t:s0
2023-10-05 03:32:11 New default snapshot is #3 (/.snapshots/3/snapshot).
2023-10-05 03:32:11 Transaction completed.
Please reboot your machine to activate the changes and avoid data loss.
WARNING: This snapshot has been created from a different base (1)
than the previous default snapshot (2) and does not
contain the changes from the latter.
New default snapshot is #3 (/.snapshots/3/snapshot).
transactional-update finished

安裝 nvidia-container-runtime

# toolbox
# zypper --pkg-cache-dir /media/root/root/nvidia install -y --download-only nvidia-container-runtime
# exit
# transactional-update shell
# cd /root/nvidia/container-suseconnect-zypp:SLE-Module-Basesystem15-SP4-Updates/x86_64
# transactional update
# zypper in nvidia-container-runtime
# exit
# reboot

安裝 k3s

透過 Rancher 產生安裝命令

安裝 Nvidia gpu-operator

Step1: 在 Rancher 介面新增 gpu-operator 的 App Repositories

Cluster -> Apps -> Repositories -> Create

name: nvidia
URL: https://helm.ngc.nvidia.com/nvidia

填入資料後，點擊右下角的 Create

Step2: 開始安裝 gpu-operator

點擊 Charts 搜尋 gpu，找到並點擊 gpu-operator

點擊右上角 Install

Namespace: gpu-operator
勾選 Customize Helm options before install

新增 toolkit 的變數

 env:
- name: CONTAINERD_CONFIG
value: /var/lib/rancher/k3s/agent/etc/containerd/config.toml
- name: CONTAINERD_SOCKET
value: /run/k3s/containerd/containerd.sock

點擊 Next

點擊 Install

Getting start with AutoYast

Fri, 06 Oct 2023 06:09:32 +0800

Installion

$ sudo zypper in -y autoyast2 autoyast2-installation

Creating a new control file

Offline upgrade SLES 15 Service Pack from 1 to 5

Mon, 04 Sep 2023 02:26:28 +0800

Preface

本篇文章會採取 Step by Step 和 ScreenShot 的方式介紹，如何透過 SUSE Manager 和在 SUSE Manager Client 端執行命令的方式將 SLES 15 SP1 升級至 SLES 15 SP5

Note: 本驗測報告僅提供 OS 15 SP1 升級至 SP5，不包含其他應用、效能與第三方套件驗證，相關驗證得依實際應用整合為準。

若遭遇相關問題得依 SUSE 認定為準。

Prerequest

準備一台沒有到 SCC 註冊過的 SLES 15 SP1
在 SUSE Manager 上準備 SLES 15 SP1 和 SLES 15 SP5 的 Product

Step1: 透過 SLES 15 SP1 Bootstrap Script 註冊 SUSE Manager Client 端

創建用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create SLE-15-SP1-x86_64

創建 Activation_Key

連線至 SUSE Manager Web UI，點擊左側選單 “Activation Keys” > 點擊右上角的 “Create Key”

填入以下欄位內容

Description: SLE-15-SP1-x86_64
Key: 1-SLE-15-SP1-x86_64
Usage: `` (依需求設定)
Base Channel: 選擇 SLE-Product-SLES15-SP1-Pool for x86_64
Child Channels: 勾選 include recommended (依需求勾選)
Add-On System Types: 勾選 Virtualization Host (依環境勾選)

以上確認沒問題後，點擊 “Create Activation Key”

創建 Bootstrap Script

在 SUSE Manager Server 執行以下命令

$ sudo mgr-bootstrap --activation-key=1-SLE-15-SP1-x86_64 --script=bootstrap-SLE-15-SP1-x86_64.sh

--activation-key，指定 Bootstrap Script 使用的 Activation Key
--script，指定 Bootstrap Script 名稱，Script 會生成在 /srv/www/htdocs/pub/bootstrap/ 目錄區

螢幕輸出 :

* WARNING: if there were hand edits to the rotated (backed up) file,
some settings may need to be migrated.
* bootstrap overrides (written):
'/srv/www/htdocs/pub/bootstrap/client-config-overrides.txt'
Values written:
serverURL 'https://antony-suma.example.com/XMLRPC'
enableProxy '0'
httpProxy ''
enableProxyAuth '0'
proxyUser ''
proxyPassword ''
sslCACert '/usr/share/rhn/RHN-ORG-TRUSTED-SSL-CERT'
useGPG 1
* bootstrap script (written):
'/srv/www/htdocs/pub/bootstrap/bootstrap-SLE-15-SP1-x86_64.sh'

執行 Bootstrap Script

在 SLES 15 SP1 機器執行以下命令

$ curl -k https://antony-suma.example.com/pub/bootstrap/bootstrap-SLE-15-SP1-x86_64.sh | sudo bash

螢幕輸出 :

...以上省略
REGISTRATION
------------
* registering
Using activation key: 1-SLE-15-SP1-x86_64
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service → /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

在 SUSE Manager Web UI 接受 Client 端

[SUSE Manager] > Salt > Keys > V，接受新的 Salt-Key 讓新用戶端系統進入 System 清單中。

System OverView 檢視新註冊的 Client 端

Step2: 將 Client 端更新至最新版本

透過 Web UI 的方式更新

點擊 “sles15-sp1” 主機

點擊 “Software” > “Packages” > “Upgrade” > “Select All” > “Upgrade Packages”

點擊 “Confirm”

檢查是否更新成功

點擊 “Event” > “History”

點擊 “Package Install/Upgrade scheduled by rancher”

往下滑可以看到哪些套件從哪個版本升級到哪個版本

重啟系統

在 SLES 15 SP1 機器執行以下命令

$ sudo reboot

透過 CLI 的方式更新

更新套件儲存庫

$ sudo zypper ref

螢幕輸出 :

Repository 'SLE-Manager-Tools15-Pool for x86_64 SP1' is up to date.
Repository 'SLE-Manager-Tools15-Updates for x86_64 SP1' is up to date.
Repository 'SLE-Module-Basesystem15-SP1-Pool for x86_64' is up to date.
Repository 'SLE-Module-Basesystem15-SP1-Updates for x86_64' is up to date.
Repository 'SLE-Module-Server-Applications15-SP1-Pool for x86_64' is up to date.
Repository 'SLE-Module-Server-Applications15-SP1-Updates for x86_64' is up to date.
Repository 'SLE-Product-SLES15-SP1-Pool for x86_64' is up to date.
Repository 'SLE-Product-SLES15-SP1-Updates for x86_64' is up to date.
All repositories have been refreshed.

檢視套件儲存庫

$ sudo zypper lr

螢幕輸出 :

Repository priorities are without effect. All enabled repositories share the same priority.
# | Alias | Name | Enabled | GPG Check | Refresh
--+-----------------------------------------------------------------+---------------------------------------------------------+---------+-----------+--------
1 | SLES15-SP1-15.1-0 | SLES15-SP1-15.1-0 | No | ---- | ----
2 | susemanager:sle-manager-tools15-pool-x86_64-sp1 | SLE-Manager-Tools15-Pool for x86_64 SP1 | Yes | ( p) Yes | Yes
3 | susemanager:sle-manager-tools15-updates-x86_64-sp1 | SLE-Manager-Tools15-Updates for x86_64 SP1 | Yes | ( p) Yes | Yes
4 | susemanager:sle-module-basesystem15-sp1-pool-x86_64 | SLE-Module-Basesystem15-SP1-Pool for x86_64 | Yes | ( p) Yes | Yes
5 | susemanager:sle-module-basesystem15-sp1-updates-x86_64 | SLE-Module-Basesystem15-SP1-Updates for x86_64 | Yes | ( p) Yes | Yes
6 | susemanager:sle-module-server-applications15-sp1-pool-x86_64 | SLE-Module-Server-Applications15-SP1-Pool for x86_64 | Yes | ( p) Yes | Yes
7 | susemanager:sle-module-server-applications15-sp1-updates-x86_64 | SLE-Module-Server-Applications15-SP1-Updates for x86_64 | Yes | ( p) Yes | Yes
8 | susemanager:sle-product-sles15-sp1-pool-x86_64 | SLE-Product-SLES15-SP1-Pool for x86_64 | Yes | ( p) Yes | Yes
9 | susemanager:sle-product-sles15-sp1-updates-x86_64 | SLE-Product-SLES15-SP1-Updates for x86_64 | Yes | ( p) Yes | Yes

檢視所有可更新的套件

$ sudo zypper lu

螢幕輸出 :

Loading repository data...
Reading installed packages...
S | Repository | Name | Current Version | Available Version | Arch
--+------------------------------------------------+------------------------------+---------------------------------+----------------------------------+-------
v | SLE-Module-Basesystem15-SP1-Updates for x86_64 | SUSEConnect | 0.3.16-5.20 | 0.3.32-7.25.1 | x86_64
v | SLE-Module-Basesystem15-SP1-Updates for x86_64 | aaa_base | 84.87+git20180409.04c9dae-3.6.1 | 84.87+git20180409.04c9dae-3.45.1 | x86_64
v | SLE-Module-Basesystem15-SP1-Updates for x86_64 | bash | 4.4-9.7.1 | 4.4-9.10.1 | x86_64
...以下省略

測試更新

$ ZYPP_LOGFILE=/root/zypper-15sp1-test-upgrade.log sudo zypper -vv dup --details --dry-run --no-force-resolution --no-recommends --no-allow-vendor-change --no-allow-arch-change

--dry-run，模擬升級過程軟體安裝是否有相依性或者其他錯誤，確認模擬升級測試成功，才開始運行升級指令。

螢幕輸出 :

...以上省略
174 packages to upgrade, 7 new, 1 to remove.
Overall download size: 228.1 MiB. Already cached: 0 B. After the operation, additional 312.7 MiB will be used.
Note: System reboot required.
Continue? [y/n/v/...? shows all options] (y): y
committing (dry run)
CommitResult (total 181, done 0, error 0, skipped 181, updateMessages 0)

Note:

確認 error 為 0 再執行更新
ZYPP_LOGFILE，設定 log 檔的絕對路徑和檔名
如果有錯誤的詳細資訊可以檢視 ZYPP_LOGFILE 的內容

執行以下命令開始正式升級

$ ZYPP_LOGFILE=/root/zypper-15sp1-upgrade.log sudo zypper -vv dup --details --no-force-resolution --no-recommends --no-allow-vendor-change --no-allow-arch-change

可以看到那些 packages 要升級\哪些會降級\哪些會新安裝\那些會移除輸入「y」開始升級安裝

螢幕輸出 :

...以上省略
CommitResult (total 181, done 181, error 0, skipped 0, updateMessages 0)
...
Core libraries or services have been updated.
Reboot is required to ensure that your system benefits from these updates.

確認升級成功且 error 為 0

重啟系統

$ sudo reboot

檢查 OS Kernel 是否為 4.12.14-197.78-default

$ uname -r

螢幕輸出 :

4.12.14-197.78-default

再次檢查所有可更新的套件

$ zypper lu

注意，此時應不會顯示有套件需要更新

螢幕輸出 :

Loading repository data
Reading installed packages
No updates found.

Step3: 移除 Client 端

在 Client 端上執行以下命令

$ for i in {1..20} ; do zypper rr 1 ; done
$ systemctl stop salt-minion.service
$ rm /etc/zypp/repos.d/susemanager\:channels.repo
$ rm -r /etc/salt/
$ rpm -e salt salt-minion python2-salt

在 SUMA 上執行以下命令

$ sudo spacecmd system_delete FQDN
$ sudo salt-key -d FQDN

Step4: 透過 SLES 15 SP5 Bootstrap Script 註冊 SUSE Manager Client 端

創建用戶端倉庫

在 SUSE Manager Server 執行以下命令

$ sudo mgr-create-bootstrap-repo --create SLE-15-SP5-x86_64

創建 Activation_Key

連線至 SUSE Manager Web UI，點擊左側選單 “Activation Keys” > 點擊右上角的 “Create Key”

填入以下欄位內容

Description: SLE-15-SP5-x86_64
Key: 1-SLE-15-SP5-x86_64
Usage: `` (依需求設定)
Base Channel: 選擇 SLE-Product-SLES15-SP5-Pool for x86_64
Child Channels: 勾選 include recommended (依需求勾選)
Add-On System Types: 勾選 Virtualization Host (依環境勾選)

以上確認沒問題後，點擊 “Create Activation Key”

創建 Bootstrap Script

在 SUSE Manager Server 執行以下命令

$ sudo mgr-bootstrap --activation-key=1-SLE-15-SP5-x86_64 --script=bootstrap-SLE-15-SP5-x86_64.sh

--activation-key，指定 Bootstrap Script 使用的 Activation Key
--script，指定 Bootstrap Script 名稱，Script 會生成在 /srv/www/htdocs/pub/bootstrap/ 目錄區

螢幕輸出 :

* WARNING: if there were hand edits to the rotated (backed up) file,
some settings may need to be migrated.
* bootstrap overrides (written):
'/srv/www/htdocs/pub/bootstrap/client-config-overrides.txt'
Values written:
serverURL 'https://antony-suma.example.com/XMLRPC'
enableProxy '0'
httpProxy ''
enableProxyAuth '0'
proxyUser ''
proxyPassword ''
sslCACert '/usr/share/rhn/RHN-ORG-TRUSTED-SSL-CERT'
useGPG 1
* bootstrap script (written):
'/srv/www/htdocs/pub/bootstrap/bootstrap-SLE-15-SP1-x86_64.sh'

執行 Bootstrap Script

在 SLES 15 SP1 機器執行以下命令

$ curl -k https://antony-suma.example.com/pub/bootstrap/bootstrap-SLE-15-SP5-x86_64.sh | sudo bash

螢幕輸出 :

...以上省略
REGISTRATION
------------
* registering
Using activation key: 1-SLE-15-SP5-x86_64
* removing TLS certificate used for bootstrap
(will be re-added via salt state)
* starting salt daemon and enabling it during boot
Created symlink /etc/systemd/system/multi-user.target.wants/venv-salt-minion.service → /usr/lib/systemd/system/venv-salt-minion.service.
-bootstrap complete-

在 SUSE Manager Web UI 接受 Client 端

[SUSE Manager] > Salt > Keys > V，接受新的 Salt-Key 讓新用戶端系統進入 System 清單中。

System OverView 檢視新註冊的 Client 端
- 注意到，此時 Base Channel 以更變為 SLE-Product-SLES15-SP5-Pool for x86_64

Step5: 在 Client 端使用指令將 Service Pack 升級至 SP5

檢查 OS 和 Kernel 版本為 SLES SP1

在 Client 端執行以下命令

查看 OS 版本

$ cat /etc/os-release

螢幕輸出 :

NAME="SLES"
VERSION="15-SP1"
VERSION_ID="15.1"
PRETTY_NAME="SUSE Linux Enterprise Server 15 SP1"
ID="sles"
ID_LIKE="suse"
ANSI_COLOR="0;32"
CPE_NAME="cpe:/o:suse:sles:15:sp1"

查看 Kernel 版本

$ uname -r

螢幕輸出 :

4.12.14-197.78-default

檢查 Package Repository 是否為 SP5 的版本

$ zypper lr

螢幕輸出 :

Repository priorities are without effect. All enabled repositories share the same priority.
# | Alias | Name | Enabled | GPG Check | Refresh
--+-----------------------------------------------------------------+---------------------------------------------------------+---------+-----------+--------
1 | SLES15-SP1-15.1-0 | SLES15-SP1-15.1-0 | No | ---- | ----
2 | susemanager:sle-manager-tools15-pool-x86_64-sp5 | SLE-Manager-Tools15-Pool for x86_64 SP5 | Yes | ( p) Yes | Yes
3 | susemanager:sle-manager-tools15-updates-x86_64-sp5 | SLE-Manager-Tools15-Updates for x86_64 SP5 | Yes | ( p) Yes | Yes
4 | susemanager:sle-module-basesystem15-sp5-pool-x86_64 | SLE-Module-Basesystem15-SP5-Pool for x86_64 | Yes | ( p) Yes | Yes
5 | susemanager:sle-module-basesystem15-sp5-updates-x86_64 | SLE-Module-Basesystem15-SP5-Updates for x86_64 | Yes | ( p) Yes | Yes
6 | susemanager:sle-module-server-applications15-sp5-pool-x86_64 | SLE-Module-Server-Applications15-SP5-Pool for x86_64 | Yes | ( p) Yes | Yes
7 | susemanager:sle-module-server-applications15-sp5-updates-x86_64 | SLE-Module-Server-Applications15-SP5-Updates for x86_64 | Yes | ( p) Yes | Yes
8 | susemanager:sle-product-sles15-sp5-pool-x86_64 | SLE-Product-SLES15-SP5-Pool for x86_64
| Yes | ( p) Yes | Yes
9 | susemanager:sle-product-sles15-sp5-updates-x86_64 | SLE-Product-SLES15-SP5-Updates for x86_64 | Yes | ( p) Yes | Yes

檢視所有可更新的套件

$ sudo zypper lu

螢幕輸出 :

Loading repository data...
Reading installed packages...
S | Repository | Name | Current Version | Available Version | Arch
--+------------------------------------------------+------------------------------+----------------------------------+-----------------------------------------+-------
v | SLE-Module-Basesystem15-SP5-Pool for x86_64 | aaa_base | 84.87+git20180409.04c9dae-3.45.1 | 84.87+git20180409.04c9dae-150300.10.3.1 | x86_64
v | SLE-Module-Basesystem15-SP5-Pool for x86_64 | bash-completion | 2.7-4.3.1 | 2.7-150400.13.3.1 | noarch
v | SLE-Module-Basesystem15-SP5-Pool for x86_64 | bash-doc | 4.4-9.10.1 | 4.4-150400.25.22 | noarch
...以下省略

執行以下命令進行升級測試

$ ZYPP_LOGFILE=/root/zypper-15sp5-test-upgrade.log sudo zypper -vv dup --details --dry-run --no-force-resolution --no-recommends --no-allow-vendor-change --no-allow-arch-change

--dry-run，模擬升級過程軟體安裝是否有相依性或者其他錯誤，確認模擬升級測試成功，才開始運行升級指令。

螢幕輸出 :

...以上省略
CommitResult (total 355, done 0, error 0, skipped 355, updateMessages 0)

Note:

確認 error 為 0 再執行更新
ZYPP_LOGFILE，設定 log 檔的絕對路徑和檔名
如果有錯誤的詳細資訊可以檢視 ZYPP_LOGFILE 的內容

執行以下命令開始正式升級

$ ZYPP_LOGFILE=/root/zypper-15sp5-upgrade.log sudo zypper -vv dup --details --no-force-resolution --no-recommends --no-allow-vendor-change --no-allow-arch-change

螢幕輸出 :

可以看到那些 packages 要升級\哪些會降級\哪些會新安裝\那些會移除輸入「y」開始升級安裝

螢幕輸出 :

...以上省略
CommitResult (total 335, done 335, error 0, skipped 0, updateMessages 0)
...
Core libraries or services have been updated.
Reboot is required to ensure that your system benefits from these updates.

重啟系統

$ sudo reboot

檢查 OS 和 Kernel 版本是否更新成功

查看 OS 版本

$ cat /etc/os-release

螢幕輸出 :

NAME="SLES"
VERSION="15-SP5"
VERSION_ID="15.5"
PRETTY_NAME="SUSE Linux Enterprise Server 15 SP5"
ID="sles"
ID_LIKE="suse"
ANSI_COLOR="0;32"
CPE_NAME="cpe:/o:suse:sles:15:sp5"
DOCUMENTATION_URL="https://documentation.suse.com/"

查看 Kernel 版本

$ uname -r

螢幕輸出 :

5.14.21-150500.55.19-default

在 SUSE Manager Web UI 上檢視

Use SUSE Liberty Linux to update Red Hat Enterprise Linux 9

Fri, 18 Aug 2023 01:13:14 +0800

Preface

本篇文章會採取 Step by Step 和 Screenshot 的方式介紹，

如何透過 SUSE Liberty Linux 註冊和更新 Red Hat Enterprise Linux 9

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Introduction

SUSE Liberty Linux 是一款適用於混合 Linux 環境的技術和解決方案。使用 SUSE Liberty Linux 訂閱，可以註冊並接收 Red Hat Enterprise Linux 和 SUSE Linux Enterprise Server 的更新。

An optional High Availability extension is also available.

Note: CentOS Stream 沒有支援

Red Hat Enterprise Linux 9 會透過 SUSE 的 Repository Mirroring Tool ( RMT ) Server 註冊。
- 可以把 RMT Server 認為它是 SUSE Customer Center 的代理系統。
RMT Server 會向 SUSE Custom Center ( 客戶中心 ) 註冊和 Mirror SUSE Liberty Linux 的套件清單，而在網路中的其他系統則向 RMT Server 註冊，並直接從它那裡接收 Packgae ( 套件 )。

Requirements

有 SUSE Liberty Linux 的 subscription ( 訂閱 )
有 SUSE Customer Center 的帳號
要註冊的系統已經是最新的版本。因為 SUSE Liberty Linux 僅支援每個 RHEL 版本的最新發行版本。
SUSE Linux Enterprise Server (SLES) 15 與要註冊的系統安裝和運行在同一網絡中。可以使用 SUSE Liberty Linux 訂閱來註冊 SLES。
SUSE Linux Enterprise Server 有足夠的儲存空間可供 repository mirroring ( 鏡像儲存庫 )。下載的套件存放在 /usr/share/rmt/public/repo，這是指向 /var/lib/rmt/public/repo/ 的 symbolic link ( 軟連結 )。所需的儲存空間取決於 mirror ( 鏡像 ) 的儲存庫數量。
我們建議至少為所有已啟用版本庫總大小的 1.5 倍。截至最新發布日期，SUSE Liberty Linux 9 版本庫的大小約為 95 GB，如果需要 Source ( 源代碼 ) 和 Debug 版本庫，還需要額外的 185 GB。注意，這些 Package 儲存庫會隨著時間的推移而大幅增長。

Configuring the RMT server

REQUIREMENTS

已經裝好且是最新版的 SUSE Linux Enterprise Server 15。
- 安裝 SUSE Linux Enterprise Server 15 筆記連結
有一個 SUSE Customer Center 的帳號和 organization credentials ( 組織憑證 )。

Step1: 在 SUSE Linux Enterprise Server 15 上安裝 RMT Server

$ sudo zypper in -y rmt-server

Step2: 在 YaST2 中啟動 rmt module

$ sudo yast2 rmt

Step3: 輸入 Organization Credentials ( 組織憑證 )，然後按 Next。

帳號和密碼會放在 SUSE Customer Center 的 My Organization ( 選一個 ) -> Users -> Organization Credentials

Step4: 為新的 MariaDB 資料庫使用者輸入 Database Credentials ( 資料庫憑證 )，然後按 Next之後，新的使用者會被創建。

使用者帳號 : rmt
使用者密碼 : rancher

Step5: 如果 MariaDB 的 root 使用者已經設定密碼，請輸入密碼，然後按下「OK」。

如果 MariaDB 的 root 使用者沒有設定密碼，請輸入新密碼，並確認新密碼，然後按下「OK」。

New MariaDB root Password: rancher
Confirm Password: rancher

Step6: 輸入 SSL 憑證的 Common Name，然後按 Next。

Common Name: rmt-server.example.com
Common Name 是伺服器的 FQDN ( 完整網域名稱 )。

Step7: 輸入並確認 CA 私鑰的密碼，然後按「OK」。

Password: rancher
Confirm Password: rancher

Step8: 如果有啟用 `firewalld`，要打開 HTTP 和 HTTPS 的防火牆 ports，沒有的話選 “Next”。

Step9: YaST2 會顯示 RMT Service 的狀態，按 “Next”。

Step10: 檢查 RMT 設定檔的資訊有無錯誤，然後選擇 “Finish” 關閉 YaST2。

Mirroring SUSE Liberty Linux repositories with RMT

REQUIREMENTS

上一個章節「Configuring the RMT server」已完成。
RMT Server 有足夠的儲存空間可以 Mirror 儲存庫。
organization credentials ( 組織憑證 ) 已正確顯示在 /etc/rmt.conf 檔案中。
在 SUSE Custom Center 已啟用 SUSE Liberty Linux 訂閱。
- 啟用 SUSE Liberty Linux 訂閱筆記連結

Step1: 在 RMT Server 上，更新可以用的 Product ( 產品 ) 和 Repository ( 儲存庫 )的 metadata。

$ sudo rmt-cli sync

此步驟會需要網路，到 SCC 上下載資料，沒有網路的話不會噴錯，所以要特別注意
Offline 或其他的 mirror 方法連結 - SUSE Docs

螢幕輸出 :

I, [2023-08-14T13:55:12.070503 #7894] INFO -- : Downloading data from SCC
I, [2023-08-14T13:55:12.070633 #7894] INFO -- : Updating products
I, [2023-08-14T13:56:23.357512 #7894] INFO -- : Updating repositories
I, [2023-08-14T13:56:34.686989 #7894] INFO -- : Updating subscriptions

同步也會由 `rmt-server-sync.timer` 自動執行。可以執行以下命令檢查狀態和下次排程同步時間：

$ sudo systemctl status rmt-server-sync.timer

螢幕輸出 :

● rmt-server-sync.timer - RMT Sync timer
Loaded: loaded (/usr/lib/systemd/system/rmt-server-sync.timer; enabled; vendor preset: disabled)
Active: active (waiting) since Mon 2023-08-14 13:35:48 CST; 23min ago
Trigger: Tue 2023-08-15 06:39:14 CST; 16h left
Triggers: ● rmt-server-sync.service
Aug 14 13:35:48 rmt-server systemd[1]: Started RMT Sync timer.

Step2: enable SUSE Liberty Linux using the product ID 2538

$ sudo rmt-cli product enable 2538

rhel8 的 product ID 是 1921， High Availability extension 是 1922

螢幕輸出 :

Found product by target 2538: SUSE Liberty Linux 9 x86_64.
Enabling SUSE Liberty Linux 9 x86_64:
SUSE Liberty Linux 9 x86_64:
Enabled repository SLL-9-Updates.
Enabled repository SLL-AS-9-Updates.
Enabled repository SLL-CB-9-Updates.

如果在執行完以上命令後有遇到以下錯誤訊息
Product by ID 2538 not found.
Product 2538 could not be found and was not enabled.
請確定註冊 RMT Server 的組織是否有 SUSE Liberty Linux 的 subscription

如果有的話，請執行以下命令 sudo systemctl restart rmt-server-sync.timer && sudo rmt-cli sync，讓它重新 Update 資料。

Step3: If your subscription includes the High Availability extension, enable the extension using the product ID 2539

$ rmt-cli product enable 2539

執行以下命令可以檢查組織的訂閱有無包含 `High Availability extension`

$ sudo rmt-cli products list --all --name="Liberty Linux" --version=9

如果沒有包含 2539 可以跳過本步驟

Step4: If you also need the `Source` or `Debug` repositories, find and enable them with the following commands

$ sudo rmt-cli repo list --all | grep SLL-

螢幕輸出 :

| 5965 | SLL-9-Debug-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5964 | SLL-9-Source-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5963 | SLL-9-Updates for x86_64 | Mandatory | Mirror |
| 5968 | SLL-AS-9-Debug-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5967 | SLL-AS-9-Source-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5966 | SLL-AS-9-Updates for x86_64 | Mandatory | Mirror |
| 5971 | SLL-CB-9-Debug-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5970 | SLL-CB-9-Source-Updates for x86_64 | Not Mandatory | Don't Mirror |
| 5969 | SLL-CB-9-Updates for x86_64 | Mandatory | Mirror |

Enable Source or Debug repositories

$ sudo rmt-cli repo enable REPO_ID

Step5: Start package mirroring for the enabled repositories

$ sudo rmt-cli mirror

大概會需要 2 個小時
可用的儲存空間至少要有 150 GiB
如果網路不好可能會需要重新執行幾次這行命令
最後正確的螢幕輸出如下

I, [2023-08-15T15:27:03.785553 #1558] INFO -- : Mirroring SUSE Manager product tree to /usr/share/rmt/public/suma/
I, [2023-08-15T15:27:35.831000 #1558] INFO -- : ↓ product_tree.json
I, [2023-08-15T15:27:35.893025 #1558] INFO -- : Mirroring repository SLL-9-Updates to /usr/share/rmt/public/repo/SUSE/Updates/SLL/9/x86_64/update/
I, [2023-08-15T15:27:37.793159 #1558] INFO -- : → repomd.xml
I, [2023-08-15T15:27:38.678644 #1558] INFO -- : → repomd.xml.asc
I, [2023-08-15T15:27:39.587719 #1558] INFO -- : → repomd.xml.key
I, [2023-08-15T15:27:41.667986 #1558] INFO -- : → primary.xml.gz
I, [2023-08-15T15:27:41.791883 #1558] INFO -- : → filelists.xml.gz
I, [2023-08-15T15:27:41.875650 #1558] INFO -- : → other.xml.gz
I, [2023-08-15T15:27:41.892160 #1558] INFO -- : → comps.xml
I, [2023-08-15T15:27:41.902849 #1558] INFO -- : → comps.xml.gz
I, [2023-08-15T15:27:41.926459 #1558] INFO -- : → updateinfo.xml.gz
I, [2023-08-15T15:27:55.762715 #1558] INFO -- : Mirroring repository SLL-AS-9-Updates to /usr/share/rmt/public/repo/SUSE/Updates/SLL-AS/9/x86_64/update/
I, [2023-08-15T15:27:57.606671 #1558] INFO -- : → repomd.xml
I, [2023-08-15T15:27:58.538643 #1558] INFO -- : → repomd.xml.asc
I, [2023-08-15T15:27:59.442143 #1558] INFO -- : → repomd.xml.key
I, [2023-08-15T15:28:01.309343 #1558] INFO -- : → primary.xml.gz
I, [2023-08-15T15:28:01.426422 #1558] INFO -- : → filelists.xml.gz
I, [2023-08-15T15:28:01.452798 #1558] INFO -- : → other.xml.gz
I, [2023-08-15T15:28:01.476978 #1558] INFO -- : → comps.xml
I, [2023-08-15T15:28:01.490309 #1558] INFO -- : → comps.xml.gz
I, [2023-08-15T15:28:01.492242 #1558] INFO -- : → modules.yaml.gz
I, [2023-08-15T15:28:01.501528 #1558] INFO -- : → updateinfo.xml.gz
I, [2023-08-15T15:28:15.805530 #1558] INFO -- : Mirroring repository SLL-CB-9-Updates to /usr/share/rmt/public/repo/SUSE/Updates/SLL-CB/9/x86_64/update/
I, [2023-08-15T15:28:17.624244 #1558] INFO -- : ↓ repomd.xml
I, [2023-08-15T15:28:18.523775 #1558] INFO -- : ↓ repomd.xml.asc
I, [2023-08-15T15:28:19.421876 #1558] INFO -- : ↓ repomd.xml.key
I, [2023-08-15T15:28:20.489766 #1558] INFO -- : ↓ primary.xml.gz
I, [2023-08-15T15:28:20.495701 #1558] INFO -- : ↓ updateinfo.xml.gz
I, [2023-08-15T15:28:20.778624 #1558] INFO -- : ↓ other.xml.gz
I, [2023-08-15T15:28:20.909967 #1558] INFO -- : ↓ filelists.xml.gz
I, [2023-08-15T15:33:32.340497 #1558] INFO -- : ↓ dotnet-sdk-6.0-source-built-artifacts-6.0.109-3.el9.x86_64.rpm
I, [2023-08-15T15:33:33.374851 #1558] INFO -- : Mirroring complete.

Registering RHEL with RMT

Note: CentOS Stream is not supported.

REQUIREMENTS

已完成「Configuring the RMT server」章節。
已完成「Mirroring SUSE Liberty Linux repositories with RMT」章節。
RMT Server 正在執行 rmt-server 版本 2.10 或更新版本。
要註冊的系統可以 Access RMT Server。
要註冊的系統正在執行 RHEL 9 的最新發行版本。
在 SUSE Custom Center 已啟用 SUSE Liberty Linux 訂閱。
準備一個沒有訂閱過 Red Hat subscription services 的 Red Hat Enterprise Linux。
- How to Install RHEL 9 Step by Step with Screenshots - 安裝 RHEL 9 參考文章

Step1: 在 RHEL 系統上, 下載 `rmt-client-setup-res` script

$ curl http://rmt-server.example.com/tools/rmt-client-setup-res --output rmt-client-setup-res

RMT Server 的 FQDN 需要自行設定

Step2: 使用 RMT Server 的 URL 作為參數並執行 `rmt-client-setup-res` 腳本

$ sudo sh rmt-client-setup-res https://rmt-server.example.com

RMT Server 的 FQDN 需要自行設定

螢幕輸出 :

...以上省略
Successfully registered system

如果在執行完以上命令後有遇到以下錯誤訊息
Your Registration Proxy server doesn't support this function. Please update it and try again.
請執行以下命令檢視 log 檔
$ cat /var/log/nginx/rmt_https_error.log
查看是否有類似以下錯誤訊息
2023/08/16 17:48:10 [error] 1309#1309: *29 "/usr/share/rmt/public/repo/keys/index.html" is not found (2: No such file or directory), client: cidr, server: rmt, request: "GET /repo/keys/ HTTP/1.1", host: "rmt_server_domain"
如果是的話，請執行以下命令
$ sudo chown '_rmt':"nginx" /usr/share/rmt/config/secrets.yml.key
再到 Client 端，重新註冊一次應該就會成功了。

Step3: 確認已安裝的 product 是否有註冊成功

$ sudo SUSEConnect --status-text

螢幕輸出 :

------------------------------------------
SUSE Liberty Linux release file
(SLL/9/x86_64)
Registered
------------------------------------------

Step4: 確認可用的 Repositories

$ sudo dnf repolist

螢幕輸出 :

Updating Subscription Management repositories.
Unable to read consumer identity
This system is not registered with an entitlement server. You can use subscription-manager to register.
repo id repo name
SUSE_Liberty_Linux_x86_64:SLL-9-Updates SLL-9-Updates
SUSE_Liberty_Linux_x86_64:SLL-AS-9-Updates SLL-AS-9-Updates
SUSE_Liberty_Linux_x86_64:SLL-CB-9-Updates SLL-CB-9-Updates

You should see SLL-9-Updates, SLL-AS-9-Updates, and SLL-CB-9-Updates.

If your subscription includes the High Availability extension, activate it with the following command:
$ SUSEConnect -p SLL-HA/9/x86_64
To check whether the extension is available, run the SUSEConnect --list-extensions command.

Step5: 執行以下更新命令，確認可以順利更新

$ sudo dnf update -y

螢幕輸出 :

...以上省略
Complete!

參考文章

在 SUSE Custom Center 啟用 SUSE Liberty Linux 訂閱

Mon, 14 Aug 2023 09:39:14 +0800

Preface

本篇文章會介紹，

如何在 SUSE Custom Center 啟用 SUSE Liberty Linux 訂閱

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

啟用 SUSE Liberty Linux 訂閱

連線到 SUSE Customer Center
登入帳號
在左側菜單的 “INTERNAL TOOLS” 底下，點選 “Products”
在上方搜尋欄，輸入 : SUSE Liberty Linux

點擊 “SUSE Liberty Linux” -> “x86_64” -> “Employee subscriptions”

點擊 “Generate registration code”，產生註冊的代碼

點擊 “Don’t forget to activate this subscription on one of your organizations.” 連結

7-1. 勾選 “I accept the terms and conditions” 7-2. 點擊 “Manually Activate Subscription”

選擇要訂閱的組織後，按 “Activate”

檢視已啟動的訂閱

9-1. 點擊 My Organization ( 選一個 ) 9-2. 點擊 “Subscriptions”

此時就會看到 SUSE Liberty Linux 的訂閱

SUSE - 實作面試

Tue, 06 Jun 2023 05:45:58 +0800

題目

安裝 Rancher 與 K8S 叢集，Rancher 版本為 2.7.1, K8S 為 1.23，CRI 為 RKE2，CNI 為 Calico。
安裝 NeuVector 在 K8S Cluster 中，版本為 5.1.1，CRI 要改為 K3S。
將 NFS 的空間用三顆 disk 組成 LVM 後，再透過 NFS share出來給環境使用。
將 Kubernetes、MySQL Cluster NDB 、異地備援專題的實作建立於 K8S Cluster 中。

解答

Lab 環境介紹

dns-nfs: 192.168.0.31
rsm1: 192.168.0.32
rke2-1: 192.168.0.33
rke2-2: 192.168.0.34
DNS: 192.168.0.31
Hosts must add
- 192.168.0.32 rancher.example.com

Install DNS

~> sudo zypper in -t pattern dhcp_dns_server

install, in ，Install packages.
-t, --type <TYPE>，Type of package (package, patch, pattern, product).
- pattern means a group of software packages.

login

> ssh rancher@192.168.0.32

下載安裝 Rancher 的程式

~> curl -sfL https://get.rke2.io --output install.sh

賦予執行的權限

~> chmod +x install.sh

config rke2 basic parameters

建立 Rancher rke2 的目錄

~> sudo mkdir -p /etc/rancher/rke2/

編輯 yaml 檔

~> sudo nano /etc/rancher/rke2/config.yaml

檔案內容

node-name:
- "rsm1"
token: my-shared-secret

install rke2 with 1.23.9

~> sudo INSTALL_RKE2_CHANNEL=v1.23.9+rke2r1 ./install.sh

螢幕輸出 :

[WARN] /usr/local is read-only or a mount point; installing to /opt/rke2
[INFO] finding release for channel v1.23.9+rke2r1
[INFO] using v1.23.9+rke2r1 as release
[INFO] downloading checksums at https://github.com/rancher/rke2/releases/download/v1.23.9+rke2r1/sha256sum-amd64.txt
[INFO] downloading tarball at https://github.com/rancher/rke2/releases/download/v1.23.9+rke2r1/rke2.linux-amd64.tar.gz
[INFO] verifying tarball
[INFO] unpacking tarball file to /opt/rke2
[INFO] updating tarball contents to reflect install path
[INFO] moving systemd units to /etc/systemd/system
[INFO] install complete; you may want to run: export PATH=$PATH:/opt/rke2/bin

將 /opt/rke2/bin 加到 PATH 環境變數

~> export PATH=$PATH:/opt/rke2/bin

enable rke2 and setup kubeconfig

~> sudo systemctl enable rke2-server

螢幕輸出 :

Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → /etc/systemd/system/rke2-server.service.

啟動 rke2-server

~> sudo systemctl start rke2-server

將當前使用者設為 Rancher 管理員

~> mkdir .kube
~> sudo cp /etc/rancher/rke2/rke2.yaml .kube/config
~> sudo chown rancher .kube/config

將 kubectl 複製到 /usr/local/bin/ 目錄下

~> sudo cp /var/lib/rancher/rke2/bin/kubectl /usr/local/bin/

check pod status

~> kubectl get po -A

螢幕輸出

NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system cloud-controller-manager-rsm1 1/1 Running 0 34m
kube-system etcd-rsm1 1/1 Running 0 35m
kube-system helm-install-rke2-canal-lqg7v 0/1 Completed 0 35m
kube-system helm-install-rke2-coredns-4pqwm 0/1 Completed 0 35m
kube-system helm-install-rke2-ingress-nginx-g8q7r 0/1 Completed 0 35m
kube-system helm-install-rke2-metrics-server-5spzg 0/1 Completed 0 35m
kube-system kube-apiserver-rsm1 1/1 Running 0 34m
kube-system kube-controller-manager-rsm1 1/1 Running 0 34m
kube-system kube-proxy-rsm1 1/1 Running 0 34m
kube-system kube-scheduler-rsm1 1/1 Running 0 34m
kube-system rke2-canal-b5vhg 2/2 Running 0 34m
kube-system rke2-coredns-rke2-coredns-545d64676-x4nbx 1/1 Running 0 34m
kube-system rke2-coredns-rke2-coredns-autoscaler-5dd676f5c7-lc9gf 1/1 Running 0 34m
kube-system rke2-ingress-nginx-controller-b2txr 1/1 Running 0 34m
kube-system rke2-metrics-server-6564db4569-7t5rk 1/1 Running 0 34m

install helm3

下載 helm3

~> wget https://get.helm.sh/helm-v3.8.2-linux-amd64.tar.gz

螢幕輸出

--2023-03-07 02:40:48-- https://get.helm.sh/helm-v3.8.2-linux-amd64.tar.gz
Resolving get.helm.sh (get.helm.sh)... 152.199.39.108, 2606:2800:247:1cb7:261b:1f9c:2074:3c
Connecting to get.helm.sh (get.helm.sh)|152.199.39.108|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 13633605 (13M) [application/x-tar]
Saving to: ‘helm-v3.8.2-linux-amd64.tar.gz’
helm-v3.8.2-linux-amd64.t 100%[=====================================>] 13.00M 10.6MB/s in 1.2s
2023-03-07 02:40:50 (10.6 MB/s) - ‘helm-v3.8.2-linux-amd64.tar.gz’ saved [13633605/13633605]

解壓縮 helm3

~> tar zxvf helm-v3.8.2-linux-amd64.tar.gz

螢幕輸出

linux-amd64/
linux-amd64/helm
linux-amd64/LICENSE
linux-amd64/README.md

將 helm 拷貝至 /usr/local/bin/ 目錄下

~> sudo cp linux-amd64/helm /usr/local/bin/

install rancher and cert-manager

~> helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
"rancher-stable" has been added to your repositories

螢幕輸出

"rancher-stable" has been added to your repositories

建立 cattle-system Namespace

~> kubectl create namespace cattle-system

螢幕輸出

namespace/cattle-system created

安裝 cert-manager

~> kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.7.1/cert-manager.crds.yaml

螢幕輸出

customresourcedefinition.apiextensions.k8s.io/certificaterequests.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/certificates.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/challenges.acme.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/clusterissuers.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/issuers.cert-manager.io created
customresourcedefinition.apiextensions.k8s.io/orders.acme.cert-manager.io created

安裝 jetstack

~> helm repo add jetstack https://charts.jetstack.io

螢幕輸出

"jetstack" has been added to your repositories

更新 helm 儲存庫

~> helm repo update

螢幕輸出

Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "rancher-stable" chart repository
...Successfully got an update from the "jetstack" chart repository
Update Complete. ⎈Happy Helming!⎈

安裝 cert-manager

~> helm install cert-manager jetstack/cert-manager \
space ce> --namespace cert-manager \
> --create-namespace \
> --version v1.7.1

螢幕輸出

NAME: cert-manager
LAST DEPLOYED: Tue Mar 7 04:27:00 2023
NAMESPACE: cert-manager
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
cert-manager v1.7.1 has been deployed successfully!
In order to begin issuing certificates, you will need to set up a ClusterIssuer
or Issuer resource (for example, by creating a 'letsencrypt-staging' issuer).
More information on the different types of issuers and how to configure them
can be found in our documentation:
https://cert-manager.io/docs/configuration/
For information on how to configure cert-manager to automatically provision
Certificates for Ingress resources, take a look at the `ingress-shim`
documentation:
https://cert-manager.io/docs/usage/ingress/

檢視 Cert-manager pod 狀態

~> kubectl get pods --namespace cert-manager

螢幕輸出

NAME READY STATUS RESTARTS AGE
cert-manager-76d44b459c-45vrr 1/1 Running 0 101s
cert-manager-cainjector-9b679cc6-z5gq7 1/1 Running 0 101s
cert-manager-webhook-57c994b6b9-cl72k 1/1 Running 0 101s

安裝 rancher 2.7.1

~> helm install rancher rancher-stable/rancher --namespace cattle-system --set hostname=rancher.example.com --version 2.7.1

螢幕輸出

NAME: rancher
LAST DEPLOYED: Tue Mar 7 04:30:45 2023
NAMESPACE: cattle-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Rancher Server has been installed.
NOTE: Rancher may take several minutes to fully initialize. Please standby while Certificates are being issued, Containers are started and the Ingress rule comes up.
Check out our docs at https://rancher.com/docs/
If you provided your own bootstrap password during installation, browse to https://rancher.example.com to get started.
If this is the first time you installed Rancher, get started by running this command and clicking the URL it generates:
echo https://rancher.example.com/dashboard/?setup=$(kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}')
To get just the bootstrap password on its own, run:
kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{ "\n" }}'
Happy Containering!

check rancher status

~> watch -n 1 kubectl -n cattle-system get po

螢幕輸出

NAME READY STATUS RESTARTS AGE
helm-operation-67hnc 0/2 Completed 0 43s
helm-operation-g2f84 0/2 Completed 0 93s
helm-operation-hthw8 0/2 Completed 0 36s
rancher-5799876645-5wr79 1/1 Running 0 3m49s
rancher-5799876645-pr5ns 1/1 Running 1 (2m4s ago) 3m49s
rancher-5799876645-vp422 1/1 Running 0 3m49s
rancher-webhook-69bb6bc7cf-nkdq7 1/1 Running 0 33s

連線 Rancher

打開瀏覽器，輸入 example.rancher.com

複製命令

~> kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"\n"}}'

螢幕輸出

4xb47zj5mhtrvf7crxk7fsn644rx842gl7b2rmkfsg5pscwjvsnhcs

選擇 “Set a specific password to use”，輸入自訂密碼後，勾選 “By checking the box, you accept the End User Lincense Agreement & Terms & Corditions”

建立 K8s

按 “Create”

將 RKE2/K3s 打勾，並且點選 “Custom”

填入 “Cluster Name”，Kubernetes Version 選擇 “v.123.15+rke2r1”，再點 “Create”

勾選 “Insecure”，允許不安全的連線，並點選第 2 點的框框複製

到 rke2-1 主機執行

rke2-1:~> curl -fL https://rancher.example.com/system-agent-install.sh | sudo sh -s - --server https://rancher.example.com --label 'cattle.io/os=linux' --token pkqfn6d6ghkltw4dvn8zdwsk7q5s2w9z5h46vsgwmfp8zng2k6rlfm --ca-checksum c93bc39496a549d53f0a8e74d757795202a8cff487cabd9d26bd449375ecd482 --etcd --controlplane --worker

螢幕輸出

 % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 29802 0 29802 0 0 3596k 0 --:--:-- --:--:-- --:--:-- 3637k
[INFO] Label: cattle.io/os=linux
[INFO] Role requested: etcd
[INFO] Role requested: controlplane
[INFO] Role requested: worker
[INFO] Using default agent configuration directory /etc/rancher/agent
[INFO] Using default agent var directory /var/lib/rancher/agent
[WARN] /usr/local is read-only or a mount point; installing to /opt/rancher-system-agent
[INFO] Determined CA is necessary to connect to Rancher
[INFO] Successfully downloaded CA certificate
[INFO] Value from https://rancher.example.com/cacerts is an x509 certificate
[INFO] Successfully tested Rancher connection
[INFO] Downloading rancher-system-agent binary from https://rancher.example.com/assets/rancher-system-agent-amd64
[INFO] Successfully downloaded the rancher-system-agent binary.
[INFO] Downloading rancher-system-agent-uninstall.sh script from https://rancher.example.com/assets/system-agent-uninstall.sh
[INFO] Successfully downloaded the rancher-system-agent-uninstall.sh script.
[INFO] Generating Cattle ID
[INFO] Successfully downloaded Rancher connection information
[INFO] systemd: Creating service file
[INFO] Creating environment file /etc/systemd/system/rancher-system-agent.env
[INFO] Enabling rancher-system-agent.service
Created symlink /etc/systemd/system/multi-user.target.wants/rancher-system-agent.service → /etc/systemd/system/rancher-system-agent.service.
[INFO] Starting/restarting rancher-system-agent.service

LVM 實做流程

建立 PV (Physical Volume)

~> sudo pvcreate /dev/{sdb,sdc,sdd}

檢查

~> sudo pvscan

螢幕輸出

 PV /dev/sdb VG nfsvg lvm2 [49.98 GiB / 0 free]
PV /dev/sdc VG nfsvg lvm2 [49.98 GiB / 0 free]
PV /dev/sdd VG nfsvg lvm2 [49.98 GiB / 0 free]
PV /dev/sda2 VG system lvm2 [399.99 GiB / 334.99 GiB free]
Total: 4 [549.94 GiB] / in use: 4 [549.94 GiB] / in no VG: 0 [0 ]

建立 VG (Volume Group)

~> sudo vgcreate -s 16M nfsvg /dev/sd{b,c,d}

檢查

~> sudo vgdisplay nfsvg

螢幕輸出

 --- Volume group ---
VG Name nfsvg
System ID
Format lvm2
Metadata Areas 3
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 3
Act PV 3
VG Size 149.95 GiB
PE Size 16.00 MiB
Total PE 9597
Alloc PE / Size 9597 / 149.95 GiB
Free PE / Size 0 / 0
VG UUID tUhEIt-JEGs-xZxx-j4lq-CODo-781Z-3Jlfjj

建立 LV (Logical Volume)

~> sudo lvcreate -n nfslv -L 500M nfsvg

檢查

~> sudo lvdisplay /dev/nfsvg/nfslv

螢幕輸出

 --- Logical volume ---
LV Path /dev/nfsvg/nfslv
LV Name nfslv
VG Name nfsvg
LV UUID WWbbDs-nQ7Y-JaXJ-ROMD-v6SU-6NEf-WVIOG0
LV Write Access read/write
LV Creation host, time dns-nfs, 2023-03-07 23:20:10 +0800
LV Status available
# open 1
LV Size 512.00 MiB
Current LE 32
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 1024
Block device 254:2

因為使用 16MB 的 PE，因此不會剛好等於 500MB， LV 自動選擇接近 500MB 的數值來建立，因此會得到使用 512MB 的容量。

檢視還有多少 PE 可以用

~> sudo vgdisplay nfsvg

螢幕輸出

 --- Volume group ---
VG Name nfsvg
System ID
Format lvm2
Metadata Areas 3
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 3
Act PV 3
VG Size 149.95 GiB
PE Size 16.00 MiB
Total PE 9597
Alloc PE / Size 9597 / 149.95 GiB
Free PE / Size 0 / 0
VG UUID tUhEIt-JEGs-xZxx-j4lq-CODo-781Z-3Jlfjj

為 LV 增加容量

~> sudo lvresize -l +9565 /dev/nfsvg/nfslv

螢幕輸出

 Size of logical volume nfsvg/nfslv changed from 512.00 MiB (32 extents) to 149.95 GiB (9597 extents).
Logical volume nfsvg/nfslv successfully resized.

補充 :

幫 LV resize 特定大小

$ sudo lvresize -L 25G <LV Name>

幫 LV resize 到最大值

$ sudo lvresize -l +100%FREE <LV Name>

檢查是否符合預期

~> sudo lvscan

螢幕輸出

 ACTIVE '/dev/nfsvg/nfslv' [149.95 GiB] inherit
ACTIVE '/dev/system/home' [25.00 GiB] inherit
ACTIVE '/dev/system/root' [40.00 GiB] inherit

Format LVM

將 LVM 格式化為 xfs 檔案系統

~> sudo mkfs.xfs /dev/nfsvg/nfslv

測試 LVM 可否正常使用

# 建立工作目錄
~> sudo mkdir /opt/www
# 將 LV 掛載到 /opt/www 目錄
~> sudo mount /dev/nfsvg/nfslv /opt/www
~> cd /opt/www
~> echo "testing lvm partition" | sudo tee dummy.txt
~> cat dummy.txt
testing lvm partition
~>
~> sudo rm -f dummy.txt

resize btrfs filesystem 到最大值

~> sudo btrfs filesystem resize max /

永久使用 LVM

~> echo '/dev/nfsvg/nfslv /opt/www xfs defaults 0 0' | sudo tee -a /etc/fstab
~> sudo mount -a

安裝 NFS Server

~> sudo zypper -n install nfs-kernel-server

設定共享資料夾

~> echo '/opt/www 192.168.0.31/24(rw,sync,no_subtree_check,no_root_squash)' | sudo tee /etc/exports

啟動 NFS Server

~> sudo systemctl start nfs-server
~> sudo systemctl enable nfs-server

修改權限

~> sudo chown -R rancher:users /opt/www

再另一台機器測試

~> sudo mkdir -p /opt/www
~> sudo mount -t nfs 192.168.0.31:/opt/www /opt/www
~> echo 'haha' > /opt/www/test

回到原來的機器

> cat /opt/www/test

螢幕輸出

haha

成功~

Overview of SUSE Linux Enterprise

Wed, 31 May 2023 01:29:50 +0800

Preface

本文主要介紹在 SUSE Linux Enterprise 有哪些版本，每個版本適合的對象，哪些服務支持多久，以及什麼是 Yast

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Understand the Different Flavors of SUSE Linux

Flavors of SUSE Linux

openSUSE Leap 是常規版本
每個 Leap 主要版本（42、43、15 等）都是如此。 - 預計將被支持至少 36 個月
一個 Leap Minor 版本 (15.1, 15.2, 等等) - 預計每年都會發布 - 用戶應在發布後升級到最新的版本 - 應在其可用性的 6 個月內升級到最新的版本 - 導致 18 個月的支持週期
針對的對象 - Developers (開發人員) - Desktop power users (桌面高級用戶)

Tumbleweed

一旦軟體套件（packages）被穩定下來，就會立即提供新版本

openSUSE Tumbleweed ：
- 一個永久持續的滾動更新（rolling release）版本
openSUSE 社群會在整合和測試完畢後，立即提供安全更新、修正錯誤和新增功能等等。
當新軟體版本尚未解決重大安全問題時，也可能提供套件的關鍵安全更新。
目標對象：
- 想要使用最新版本的使用者。

Flavors of SUSE Linux Enterprise

SUSE Linux Enterprise Server (SLES)
SUSE Linux Enterprise Desktop (SLED)

![](https://i.imgur.com/wKti2tg.png =70%x)

![](https://i.imgur.com/JP4eOIk.png =70%x)

RT 版本是當偵測到特殊事件，特定 process 會最優先被執行

Understand the SLE Maintenance Model

Standard Platform Life-Cycle

SUSE 提供的 Linux 平台產品有 13 年的生命週期（10 年的一般支援和 3 年的延伸支援）。

前 7 年，SUSE 提供一般支援。
後 3 年，所有支援內容（例如技術資料文件、簡報和指南）都會在面向客戶的支援知識庫中提供。

大約每 18 個月會發布一個服務包（Service Pack），每個服務包有 5 年的生命週期（2 年的一般支援和 3 年的延伸支援）。

在下一個服務包發布後的 6 個月內，有升級的時間窗口。

此外，SUSE 還提供長期服務包支援（Long Term Service Pack Support, LTSS），以延長升級時間窗口或延長主要版本的生命週期。

What is Service Pack

Service Pack（服務包）是指一個包含了多個軟體更新和補丁的集合，用於更新 SUSE Linux 版本。這些更新和補丁通常包括新的功能、修正錯誤、改善安全性等。

Long Term Service Pack Support

更長的時間來維護當前的操作系統版本。
當您從一個服務包版本過渡到下一個版本時，可以保護您數據中心的穩定性和安全性。

Software Subscription

只有持有 SLE subscription 的客戶才能獲得更新。
訂閱是基於實體機器而非虛擬機器。
使用 Subscription Management Tool（SMT）伺服器可以免費鏡像補丁。
- 訂閱管理工具 (SMT) 服務器擴展對所有當前 SUSE Linux Enterprise 客戶免費開放。
- SMT 服務器允許您將 SUSE 服務器的更新鏡像到您的本地站點，並在本地處理和轉發所有激活。

Understand YaST

Introduction to YaST

Local system configuration tool

Acronym: Yet Another System Tool
User Interfaces:
- Command line non-interactive
- Command line interactive
- Graphical
- Non-graphical (ncurses)
Two versions, started with different commands:

YaST Control Center - Modules

YaST 模組是用 Ruby 編寫的，並提供特定工具，用於管理 SUSE Linux Enterprise 電腦的各個組件。以下是一些範例：

Online Update (線上更新)
Software Management (軟體管理)
Network Settings (網路設定)
Partitioner (磁區分割)
NTP Configuration (NTP 設定)
Samba Server
Firewall (防火牆)
User and Group Management (使用者和群組管理)

YaST Control Center - Categories

當你啟動 YaST(ncurses) 或 YaST2(graphical) 時，沒有選擇任何模塊時，會出現 YaST Control Center
左邊的面板由可用的模塊類別組成
- Software
- Hardware
- Syste
- Network Services
- Security and Users
- Virtualization
- Support
- Miscellaneous

SCA in SLES 15 講義筆記

Mon, 15 May 2023 16:26:24 +0800

Preface

SCA in SLES 15 講義筆記-首頁

Mon, 15 May 2023 16:25:20 +0800

Preface

這裡紀錄了我準備 SCA in SUSE Linux Enterprise Server 15 這張證照，對於講義的內容學習時所記錄的筆記，請點選左側目錄(建議)，或是以下連結至各章節。

Setup Ansible on SUSE Manager

Mon, 08 May 2023 08:25:00 +0800

安裝 Ansible 套件

選擇一台 SUSE Manger 的 Client 端當作 Ansible control node

在該台 Node，執行以下命令

$ sudo zypper install ansible

檢查是否成功安裝

$ zypper info ansible | grep -w "Installed"

螢幕輸出

Installed Size : 96.1 MiB
Installed : Yes

Add Ansible Control Node

在 SUMA Web UI 上點選

Systems »> Overview »> SLES-15-SP4-Client-2 (Ansible control node VM)
Detail »> Properties »> Add-On System Types »> Ansible Control Node

勾選完後 »> “Update Properties”，完成變更後就可以看到 Ansible 選項在畫面上

建立 Playbook 目錄及 Inventory files

在 Ansible Control Node 執行以下命令

$ mkdir -p /srv/ansible/playbooks

在 “Add a Playbook directory” 欄位中，輸入 “/srv/ansible/playbooks” ，按 “Save” 儲存

在 “Add a Playbook directoryInventory file” 欄位中，輸入 “/etc/ansible/hosts” ，按 “Save” 儲存

執行 Playbook

在 Ansible Control Node 執行以下命令

編輯 Playbook 任務的設定檔

$ vim apache2.yml

檔案內容 :

- hosts: localhost
tasks:
# Task 1 for test connection
- name: Test connection
ping:
register: result
# Task 2 for Create file test
- name: Create files
file:
path: /tmp/test1.txt
state: touch
become: yes
register: files
# Task 3 for install apache and start apache server
- name: Install apache server
zypper:
name: apache2
state: present
- name: start apache
ansible.builtin.systemd:
name: apache2
state: started
enabled: yes

在 Ansible Control Node 本機執行以下任務

任務一 : 測試 Connection

任務二 : 建立 /tmp/test1.txt 檔案

任務三 : 安裝 apache2 Server

任務四 : 啟動 apache2 服務並設為開機自動執行

回到 SUSE Manager Web UI

點選 “Ansible” »> “Playbooks” »> 展開 “/srv/ansible/playbooks” »> 點選 “apache2.yml”

點選 “Schedule” ，立刻安排 Playbook 任務

點選 “Events” ，查看執行結果

回到 Command Line 執行以下檢查命令

$ systemctl status apache2.service

螢幕輸出

● apache2.service - The Apache Webserver
Loaded: loaded (/usr/lib/systemd/system/apache2.service; enabled; vendor preset: disabled)
Active: active (running) since Mon 2023-05-08 15:35:26 CST; 22min ago
Main PID: 23829 (httpd-prefork)
Status: "Processing requests..."
Tasks: 6
CGroup: /system.slice/apache2.service
├─23829 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
├─23836 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
├─23837 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
├─23838 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
├─23839 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
└─23840 /usr/sbin/httpd-prefork -DSYSCONFIG -C "PidFile /run/httpd.pid" -C "Include /etc/apache2/syscon>
May 08 15:35:26 SLES-15-SP4-Client-2 systemd[1]: Starting The Apache Webserver...
May 08 15:35:26 SLES-15-SP4-Client-2 start_apache2[23829]: AH00558: httpd-prefork: Could not reliably determine the >
May 08 15:35:26 SLES-15-SP4-Client-2 systemd[1]: Started The Apache Webserver.

Salt Guide Overview

Mon, 01 May 2023 10:10:40 +0800

30 Second Understand What is Salt ?

一個配置管理系統。Salt 可以確保遠端節點處於定義的狀態中。例如，它可以確保特定的 package 已安裝並確保特定的服務正在運行。
一個分散式遠端執行系統，用於在遠端節點上執行命令和查詢數據。Salt 可以使用個別節點或任意節點選擇條件來查詢和執行命令。

About Salt

Salt 是一個使用 Python 構建的自動化工具和框架，可用於部署、配置和管理複雜的 IT 系統。使用 Salt 可以自動化常見的基礎設施管理任務，確保基礎架構的所有組件都處於一致的期望狀態。

Salt 有許多可能的用途，包括配置管理，其中包括：

管理作業系統的部署和設定。
安裝和配置軟體應用程式和服務。
管理伺服器、虛擬機器、容器、資料庫、網頁伺服器、網路裝置等等。
確保一致的配置並防止設定漂移。

除了配置管理之外，Salt 還可以：

自動化和編排常規 IT 流程，例如定期伺服器停機所需的常見任務，或升級作業系統或應用程式。
創建自我感知、自我修復的系統，可以自動響應故障、常見的管理問題或其他重要事件。

Salt in SUSE Manager Intro

Salt 是一個遠端執行引擎、設定管理和編排系統，被 SUSE Manager 用來管理客戶端。

透過 Salt，管理員可以遠端控制和操作客戶端電腦，同時也可以用 Salt 管理和配置客戶端的系統設定。此外，Salt 還提供編排功能，可以將多個任務整合成一個流程進行自動化操作，以提高工作效率和管理效能。

在 SUSE Manager 中，Salt 主控程式運行在 SUSE Manager 伺服器上，讓你可以註冊和管理 Salt 客戶端。

Salt Formulas

Formula 是一系列 Salt State 的集合，Formula 可以可靠地重現特定的配置。

有些 Formula 是由 SUSE 提供的，或者您可以從 RPM 套件或外部 git 存儲庫安裝 Formula。

Formula 最適合用於大型、複雜的配置。對於較小的任務，請使用狀態（state）而不是 Formula。Formula 和狀態都可以作為一種配置文件的形式。當您編寫並存儲配置後，它們提供了您基礎架構的快照。

Formula 數據可以使用 XMLRPC API 進行管理。

您可以使用 SUSE Manager Web UI 應用 SUSE Manager Formula。本節中記錄了最常用的 Formula。

Write Custom Salt Formulas

If you have a custom formula that is not in an RPM, it must be in a state directory configured as a Salt file root. Custom state formula data must be in:

/srv/salt/<custom-formula-name>/

Custom metadata information must be in:

/srv/formula_metadata/<custom-formula-name>/

All custom folders must contain a form.yml file. These files are detected as form recipes and are applied to groups and systems from the Web UI:

/srv/formula_metadata/<custom-formula-name>/form.yml

範例 :

# 先把大家一起開發的專案下載到 local
$ git clone git@github.com:cooloo9871/Formula-twgcb.git
# 與遠端同步
$ git pull
# 開發後上傳遠端
$ git push
# 切換工作目錄
$ cd Formula-twgcb/
# 檢視工作目錄
$ ll
total 8
drwxr-xr-x 1 root root 204 Apr 26 09:16 .git
-rwxr-xr-x 1 root root 138 Apr 26 09:15 .import.sh
-rw-r--r-- 1 root root 253 Apr 26 08:58 README.md
drwxr-xr-x 1 root root 56 Apr 26 08:58 sample
drwxr-xr-x 1 root root 96 Apr 26 08:58 TWGCB.01.008.0001
drwxr-xr-x 1 root root 72 Apr 26 09:15 TWGCB.01.008.0002
drwxr-xr-x 1 root root 96 Apr 26 09:16 TWGCB.01.008.0033
# 本地測試
## 將不同 policy 複製到 Formula 的工作目錄
$ cp -r TW* /srv/salt/
$ cp -r TW* /srv/formula_metadata/

參考文章

Deploying Operating Systems to New Devices Using SUSE Manager Autoinstallation

Mon, 17 Apr 2023 03:22:12 +0800

Understand the SUSE Manager Autoinstallation Feature

1. Define Autoinstallation

讓 SUSE 管理員（SUMA）能夠遠端安裝作業系統在以下兩種狀況的主機上：
- 尚未安裝過系統的裸機伺服器
- 或是被 SUMA 管理的虛擬主機上的「blank 空白」虛擬機器
透過一個「autoinstallation file」控制作業系統的安裝
- 在 SLES 情況下，使用「AutoYaST XML 檔案」
- 在 RHEL 情況下，使用「KickStart 檔案」
目標是：
- 把伺服器硬體放入架子上，
- 插上網路線，
- 開機後，走開就好。
將裸機部署到完全由 SUMA 管理的 Salt Minion 中的兩步程序
- Autoprovisioning(自動配置) 使 SUMA 知道該裸機。
- 一旦自動配置，自動安裝就會自動進行。

2. Understand Autoinstallation Process Flow

3. List High-Level Autoinstallation Implementation Steps

Storage Management

Mon, 10 Apr 2023 05:57:48 +0800

Preface

Understand the Linux I/O Stack

Linux IO Stack

Local Disks

Tools to configure MBR and GPT:
- YaST
- fdisk
- parted

MBR and GPT

GPT 是 UEFI（Unified Extensible Firmware Interface [統一可擴展韌體介面]）標準的一部分，是有點老舊的 BIOS 的繼承者。

UEFI 標準已經存在好幾年了，但在過去並沒有得到硬體供應商的廣泛支持，但當微軟將其作為 Windows 8 的一項要求時（約2012年），情況發生了變化。

GPT 克服了傳統的 MBR 分區表的限制，它最多有 4 個主分區，最大的磁碟分大小（512 byte sectors [磁區]）為 2 TB。使用 GPT，你可以有 127 個分區，而磁碟的大小可以達到 zettabyte 範圍。

即使你的主板沒有配備 UEFI，你仍然可以使用 GPT，但無法啟動作業系統，也就是說 BIOS 是可以使用 GPT 分區表的硬碟來作為資料碟的，但不能引導系統。

注意：由於設備檔案有主次之分，目前 Linux 中每個磁碟的最大分區數量被限制在 15 個，即使 GPT 可以管理更多的分區。

Master Boot Record(MBR) 的組成

Boot loader (446 bytes)
Partition table (64 bytes)
Magic number (2 bytes)
Partition Limited to 2 TB hard disks

Globally Unique Partition Table(GPT) 的組成

Protected MBR (512 bytes)
GPT Header (512 bytes)
Partition entries (128 bytes ea.)
Partition Limited to 9.2 ZB hard disks

Device Files for Hard Disks with MBR

Primary Partitions:
/dev/sdx1, /dev/sdx2, /dev/sdx3, /dev/sdx4
One Partition can be an Extended Partition
Partitions within an Extended Partition are called Logical Partitions
First Logical Partition is /dev/sdx5
With GPT you only have primary partitions and they are numbered from 1 on up.

parted vs. fdisk

fdisk

Traditional disk partitioning utility(工具)
Utilizes a prompt-based interactive user interface (使用提示式互動用戶界面)
Must be executed with the disk being partitioned as the argument(參數)
- Example: fdisk /dev/sda

parted

More powerful but more complex partitioning utility
Supports GPT and 2TB+ partitions
Can detect, create, delete, resize and move partitions containing swap, ext[2,3,4], reiserfs and VFAT file systems

Manage Partitions with parted

Select device to edit: select <device>
List partitions: print [devices|free]
Create partition: mkpart <part-type> [<fs-type>] <start> <end> <part-type>: primary, logical, extended
Delete partition: rm <part-number>
Resize partition: resize <part-number> <end>
Help: help
Quit: quit

預設情況下，parted 會嘗試調整分割區的開始和結束位置，以符合磁區大小。如果不可能進行調整，你將會收到警告：

The resulting partition is not properly aligned for best performance.

你可以使用選項 -a <alignment-type> 來改變此行為。有效的 alignment-types (對齊類型)包括：

none：使用磁碟類型允許的最小對齊方式。
cylinder：將分割區對齊到柱面。
minimal：使用 disk topology (磁碟拓撲)資訊中提供的最小對齊方式。
- 此選項和 opt 值會使用磁碟提供的佈局資訊將邏輯分割表地址對齊到實際磁碟區塊上。
- min 值是將分割區正確對齊到實體區塊所需的最小對齊，有助於避免效能下降。
optimal：使用磁碟拓撲資訊中提供的最佳對齊方式。此選項會將分割區對齊到實體區塊大小的倍數，以保證最佳效能。

Recognize Traditional Linux File Systems

Supported Filesystems

Ext2
Ext3 (default in SLE11)
Ext4
XFS (default in SLE12 for data partitions)
Btrfs (default in SLE12 for /)
JFS (existing volumes only)
NTFS-3G (only in SLED)
VFAT
ReiserFS (default in SLE10) is no longer supported

Ext2 是目前 Linux 支援的最古老和成熟的檔案系統，但它不支援諸如 sub-block allocation (子塊分配)和 journaling (日誌) …等較新的檔案系統功能。

Ext3 是一種成熟穩定的 journaled file system (日誌檔案系統)，在 SLE11 中是預設的檔案系統，它是一個適用於各種用途的高效檔案系統，穩定性很好，由於長期使用和開發，所以幾乎沒有錯誤。

Ext4 是 Ext 檔案系統的第四代，同樣支援日誌，但可選擇關閉，與 ext3 相比，Ext4 的其他新功能有：

multi block allocation
delayed allocation
journal checksum
fast fsck

XFS 是一種高性能的先進檔案系統，用於 data volumes，可以擴展到非常大的 volume 大小。

ReiserFS 是一種成熟穩定的日誌檔案系統，曾經是 SLE10 的預設檔案系統，但現已被棄用，自 SLE15 起不再支援。

Btrfs 是一種新型的檔案系統，結合了 ext 系列（ext2, ext3, ext4）、Reiser、XFS 和 HP aufs 等檔案系統的優點。Btrfs 解決了一些儲存挑戰，包括

Massive Scalability (大規模擴展)
Data Integrity (數據完整性)
Dynamic Expand and Shrink (動態擴展和收縮)
Built-in Volume Management (內建卷管理)
廣泛應用於伺服器、桌面和行動裝置，適合在雲端運作

JFS 是 IBM 開發的較老的檔案系統，現在已經過時，不再開發，且支援有限。

NTFS-3G 是一種在使用者空間中的 fuse（檔案系統），僅包含在桌面發行版（SUSE Linux Enterprise Desktop）中。

VFAT 支援 Microsoft FAT 檔案系統的各種版本，包括 12位元、16 位元和 32 位元的 FAT，還支援長檔案名稱等新功能。

Virtual Filesystem Switch

對於使用者或程式，使用哪種檔案系統格式並不重要，因為它們總是會看到相同的資料介面。這是由 Virtual Filesystem Switch (VFS)（也稱為 virtual file system [虛擬檔案系統]）實現的。

VFS 是核心中的抽象層級，為程序提供定義的介面，包括打開檔案、寫入檔案和從檔案讀取等功能。

程式不必擔心檔案存取是如何實現的，VFS 會將這些請求轉發給相應的檔案系統格式驅動程式。

VFS 的其中一個特點是顯示檔案屬性給使用者，這些屬性是從 UNIX 檔案系統格式中得知的，包括存取權限，即使在 FAT/VFAT 中不存在，VFS 也會顯示。

Create File Systems from the CLI

mkfs -t <type>
- mkfs.ext2
- mkfs.ext3
- mkfs.ext4
- mkfs.btrfs
- mkfs.xfs
- mkfs.vfat
mk2fs

mke2fs 和 mkfs.ext3 等指令，它們用於建立例如 ext2 和 ext3 等檔案系統。

使用 mkfs 指令，它是用於建立檔案系統的實際指令的前端，例如 mkfs.ext2、mkfs.ext3 或 mkfs.vfat 等。

當使用 mkfs 時，您需要使用 -t 選項來指定要創建的檔案系統類型，如果沒有指定檔案系統類型，mkfs將自動創建一個 ext2 檔案系統。

當您使用 mkfs 創建 ext2、ext3 或 ext4 檔案系統時，可以使用以下選項：

-b <blocksize>：指定檔案系統中資料區塊的大小，可使用 1024、2048 和 4096 等值作為資料區塊大小。
-i <bytes_per_inode>：指定檔案系統上要建立多少索引節點。對於 <bytes_per_inode>，您可以使用可用於資料區塊大小的相同值。
-j：在檔案系統上創建一個 ext3/ext4 日誌。

如果不包括 -b 和 -i 選項，mkfs 將根據磁碟分割區的大小設置資料區塊大小和索引節點數量。

以下是在一個磁碟分割區上創建 ext3 檔案系統的示例。請注意，按下 Enter 鍵後將直接格式化分割區，不需要進行任何確認：

~> mkfs -t ext3 /dev/sdb6

螢幕輸出 :

mke2fs 1.41.9 (22-Aug-2009)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
264000 inodes, 1053952 blocks
52697 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1082130432
33 block groups
32768 blocks per group, 32768 fragments per group
8000 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 24 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to
override

上面 mkfs 的例子是在現有的分割區上建立一個 ext3 檔案系統，其值如下：

資料區塊大小=4024 (log=2)：資料區塊大小為 4 KB。

264000 個索引節點，1053952 個資料區塊：最大檔案和目錄數量為 62248、總資料區塊數量為 248976。

52697 個資料區塊 (5.00%) 被保留給超級使用者：整個空間的 5% 被保留給系統管理員。如果硬碟已滿 95%，則一般使用者將無法再使用更多空間。

Mount File Systems

檔案系統被掛載在目錄上
Mount file system:
- mount [-t <fstype>] [-o <options>] <device> <mount_point>
- Example: mount -t ext3 /dev/sda3 /usr
Unmount file system: umount
Examples:
- umount /usr
- umount /dev/sda3
Default mount point for removable media:
- /run/media/<user>/<media-label>/
Display UUIDs of block devices: blkid

在 Windows 系統中，磁碟機透過字母代表不同的磁碟分區。

Linux 系統則不使用字母來指定分區，而是將分區掛載到檔案系統中的目錄上，這些目錄也稱為 mount point (掛載點)。

例如，在 Linux 系統中添加一個新的硬碟，需要先進行分區和格式化，然後使用檔案系統中的目錄（例如 /data/）並使用 mount 指令將該硬碟掛載到該目錄上。

注意：你也可以掛載通過網路檔案系統 (NFS) 共享的遠端檔案系統到你的檔案系統中自行建立的目錄上。

/mnt/ 目錄被預設用來臨時掛載本地和遠端的檔案系統。所有 removable devices 的預設掛載點為 /rur/media/<user>/<media-label>/。

Example of the blkid command:

~> blkid

螢幕輸出 :

/dev/sda1: UUID="b78aab0b-8dcd-40fa-b0cb-d226513f6fec" TYPE="swap" PARTUUID="000b2809-01"
/dev/sda2: UUID="ae116d46-ebe9-41fe-afe1-c912210d75be" UUID_SUB="15289165-3c20-476b-90bd964863e0848f" TYPE="btrfs" PTTYPE="dos" PARTUUID="000b2809-02"
/dev/sr0: UUID="2014-10-01-09-42-14-00" LABEL="SLE-12-Server-DVD-x86_6409341" TYPE="iso9660"
PTUUID="5fadddb3" PTTYPE="dos"
/dev/sr1: UUID="2014-10-01-09-42-20-00" LABEL="SLE-12-Desktop-DVD-x86_6405501" TYPE="iso9660"
PTUUID="6172016e" PTTYPE="dos"

/etc/fstab

在 Linux 系統中，檔案系統和它們的掛載點（mount points）是在 /etc/fstab 檔案中。每一行都有六個欄位，用於掛載每個檔案系統，這些欄位分別提供以下掛載檔案系統的資訊：

第一個欄位：列出裝置檔案的名稱、檔案系統標籤或 UUID。使用 LABEL=<label> 或 UUID=<uuid> 可以確保即使使用的裝置檔案變更（例如更換 IDE 控制器上的硬碟），該分割區也能正確掛載。
第二個欄位：列出掛載點，即該檔案系統應該掛載在的目錄。此處指定的目錄必須已經存在。您可以通過切換到相應的目錄訪問媒體內容。
第三個欄位：列出檔案系統類型（例如 ext3、XFS）。
第四個欄位：顯示掛載選項。多個掛載選項用逗號分隔（例如 noauto、user、sync）。
第五個欄位：指示是否使用備份程式（dump utility）進行檔案系統備份。0 表示不備份。
第六個欄位：指示開機時使用 fsck 程式檢查檔案系統的順序：
- 0：不檢查的檔案系統
- 1：根目錄
- 2：所有其他可修改的檔案系統（不同驅動器上的檔案系統並行檢查）

雖然 /etc/fstab 列出了開機時需要掛載的檔案系統及其掛載點，但它不包含任何在開機後掛載的檔案系統的資訊。

/etc/mtab 檔案列出了當前已掛載的檔案系統及其掛載點。mount 和 umount 指令會影響已掛載檔案系統的狀態並修改 /etc/mtab 檔案。

Using mount, you can override the default settings in /etc/fstab.

Mount Options for mount and /etc/fstab

remount，File system can be mounted more than once
rw, ro， File system is writeable or read-only
sync, async，Synchronous(同步) or asynchronous(不同步) input and output
atime, noatime，Access time of a file is updated or not
nodev, dev，Device files from being interpreted as such or not
noexec, exec，Prohibit the execution of programs or not
nosuid, suid， Ignore SUID and SGID bits or not
auto, noauto，Mount file system automatically or not
user, nouser， Allow user to mount file system or not
defaults， rw, suid, dev, exec, auto, nouser, and async

The noauto and user options are usually combined for removable media such as removable medias.

Currently Mounted File Systems

Command:
- mount
Files:
- /etc/mtab
- /proc/mounts

/etc/mtab 列出了當前掛載的檔案系統和它們的掛載點。

在某些情況下，用 mount 指令無法正確顯示已掛載的檔案系統。

核心還保留了/proc/mounts 的信息，它列出了所有當前 mounted partitions (掛載的分區)。

如果 /proc/mounts 與 /etc/mtab 的資訊有衝突，則 /proc/mounts 的資訊總是比 /etc/mtab 更正確和最新。

這種情況可能發生在安裝作業系統到 USB 隨身碟時，若沒有內部硬碟連接，或是重新啟動時未正確掛載 USB 隨身碟等。這些情況可能會讓核心的列舉過程出錯，導致 /etc/mtab 和 /proc/mounts 的資訊不同步。

因此，如果有疑問，就要始終相信 /proc/* 檔案反映的是核心實際看到的東西。/proc/mounts 列出了核心實際掛載的檔案系統，也就是核心真正進行掛載的資訊。

File System Health Tools

df，Reports file system disk space usage(使用狀況)
du，Estimate(估計) file space usage
lsof，Lists open files
fuser，Displays the PIDs of processes using the specified files
fsck, e2fsck, xfs_check，Check and optionally(可選擇的) repair Linux file systems
tune2fs，Adjust tunable(可調整的) file system parameters(參數) on ext2/ext3/ext4 file systems
resize2fs，ext2/ext3/ext4 file systems

df 命令

提供硬碟和它們的分區或其他磁碟在檔案系統中掛載的資訊，以及它們佔用的空間大小。

如果使用不帶參數的 df 命令，會顯示目前所有已掛載檔案系統上的可用空間。

如果提供檔案名稱，df 會顯示此檔案所在檔案系統上的可用空間。

一些有用的選項包括 :

-h，以 MB 或 GB 顯示人類可讀格式
-i，顯示 inode 資訊而非區塊使用情況
-l，限制僅列出本機檔案系統
例如，要以人類可讀格式列出所有本機檔案系統的資訊，可以輸入 df -lh。

du 命令

提供檔案和目錄佔用的空間資訊。

一些有用的選項包括

-c，顯示總計
-h，以人類可讀格式顯示
-s，僅顯示每個引數的總計
--exclude=<pattern>，排除符合模式的檔案
例如，要以人類可讀格式顯示檔案資訊，但排除以 .o 結尾的檔案，可以輸入以下指令：du -h --exclude='*.o'

lsof 命令

列出開啟的檔案。

如果不使用任何選項輸入 lsof，會列出所有屬於所有活動程序的開啟檔案。

開啟的檔案可以是常規檔案、目錄、設備檔案、庫、串流或網路檔案（Internet socket、NFS 檔案或 UNIX domain socket）。

lsof 命令可以列出當前正在開啟的檔案資訊，也可以使用 -r 選項以重複模式執行，重複顯示輸出結果直到接收到中斷或結束訊號。

一些常用的選項包括

-c <character>，僅列出檔案名稱以指定字元開頭的檔案
-s，顯示檔案大小
-u <user1>,<user2>，僅列出指定使用者所開啟的檔案
例如，要列出 root 和 geeko 使用中的開啟檔案及其檔案大小，您可以輸入 lsof -s -u root,geeko。

fuser 命令

顯示使用指定檔案或檔案系統的程序 ID。在預設顯示模式下，每個檔案名稱後面跟一個字母，該字母描述訪問方式的類型：

c：當前目錄
e：正在運行的可執行檔
f：已開啟檔案（在預設顯示模式下省略）
r：根目錄
m：映射到內存的檔案或共享庫

如果沒有存取指定的檔案，或者發生致命錯誤，則顯示非零返回代碼。如果找到至少一個存取，fuser 則返回零。

一些有用的選項 :

-a，可以返回所有檔案的信息，即使它們沒有被任何程序訪問
-v，則是詳細模式，可以顯示更多詳細信息
-u，會在每個 PID 後面附加程序所有者的用戶名。
-m，可以檢查訪問 /home 分區上檔案的程序的 PID 信息。

fsck 命令

fsck 是一個用來檢查和修復 Linux 檔案系統的指令。

BtrFS 的進階功能需要特定的 BtrFS 工具才能處理。

通常情況下，fsck 會在不同的實體磁碟驅動器上並行運行檔案系統，以減少檢查所有檔案系統所需的總時間。

如果您沒有在命令行上指定檔案系統並且沒有指定 -A 選項，fsck 將按照 /etc/fstab 中的順序順序檢查檔案系統。

fsck 是系統上可用的各種檔案系統檢查器(fsck.<fstype>）的前端。

fsck 工具首先在 /sbin/ 中查找 system-specific checker (系統特定的檢查器)，然後在 /etc/fs/ 和 /etc/ 中查找，最後在列在 PATH 環境變數中的目錄中查找。

要檢查特定的檔案系統，請使用以下語法：fsck <device>。

舉例來說，如果您想要檢查 /dev/sda2 這個檔案系統，您可以輸入 fsck /dev/sda2。

fsck 提供了一些選項，例如

-A，透過 /etc/fstab 檔案並嘗試一次性檢查所有檔案系統
-N，僅顯示會執行什麼，而不執行
-V，詳細輸出

在 Linux 系統中斷電或沒有將分割區卸載的情況下關閉電腦，可能會導致檔案系統出現錯誤。

下次開機時，會偵測到電腦未正確關閉，並進行檔案系統檢查。如果檔案系統中發現錯誤，會嘗試進行修復。如果無法修復，電腦將無法正常啟動，您需要輸入 root 密碼並提供有關如何解決問題的提示。在檔案系統嚴重損壞的情況下，您甚至可能需要使用救援系統來修復系統。

根據檔案系統的類型，您可以使用相應的工具（例如 /sbin/e2fsck、/sbin/reiserfsck 或 /sbin/xfs_check）。這些工具檢查檔案系統的 correct superblock (正確超級塊[位於包含檔案系統結構資訊的分割區開頭的區塊]）、有問題的資料區塊或資料區塊配置錯誤。

在 ext2（或 ext3/4）檔案系統中可能的問題是 superblock (超級塊) 的損壞。您可以使用 dumpe2fs 查看檔案系統中所有超級塊的位置。

然後，使用 e2fsck，您可以使用其中一個備份副本，如以下示例：

e2fsck -f -b 32768 /dev/sda1

這個例子是在說明如何使用 ext2 檔案系統的儲存區塊 32768 裡的超級區塊，並在檔案系統檢查完成後適當地更新主要超級區塊。

Note: 在一個 4KB 的區塊大小中，每隔 32768 個區塊就會儲存一個超級區塊的備份。

在 ext2、ext3 和 ext4 檔案系統格式中，有一個特別的 lost+found 目錄。當系統發生崩潰時，Linux 會自動檢查整個檔案系統。那些無法分配名稱的檔案或檔案片段不會直接被刪除，而是會儲存在這個目錄中。

透過檢視這個目錄的內容，您可以試著還原出檔案的原始名稱和用途。

Configure Logical Volume Management (LVM)

LVM

Front end to the device mapper to easily and flexibly(靈活的) manage logical storage

Supports features such as:

On-line volume creation
On-line volume resizing
Copy-on-write snapshots

LVM Components

LVM 是用來更靈活地管理儲存空間的工具

Physical Volumes (PV) - 包含 LVM metadata 的物理裝置
- 物理硬碟、磁碟分割區、RAID volumes
- Physical Volumes 被組成 Volume Group
Physical Extent (PE) - 在 LVM Group 中分配的基本存儲單位
- Physical Volumes 包含 PE
- 包含資料的 PE 可從一個 Physical Volume 移動到另一個 PV
Volume Groups (VG) - Physical Volumes 的集合
- VG 必須被細分為 Logical Volumes 才能使用存儲空間
- VG 可以通過添加或刪除 Physical Volumes 來調整大小
Logical Volumes (LV) - VG 的細分
- 可包含可掛載的檔案系統
- 可在線調整 Logical Volumes 的大小和建立快照

LVM extents 應該比 4MB 大得多，例如 128MB。這樣可以減少 overhead(開銷)。

LVM extents 應該與儲存空間對齊。這意味著它們應該適合於 1MB 的邊界。可以使用 pvs +o pe_start 命令檢查。

如果可能，volume manager 的 Stripe (條帶)大小應與儲存系統對齊。參見 man lvcreate 中的 --stripes 和 --stripesize 選項。

LVM 層對性能只有輕微的影響。在測試中（多年前）發現了 3-5％的性能下降。

LVM Configuration File /etc/lvm/lvm.conf

Is loaded during the initialization phase of LVM
Is used by certain LVM tools
Is comprised of a series of sections, with each section containing one or more directives
- 這個設定檔是由一系列「區段」所組成，每個區段都包含一個或多個「指令」

LVM Services

/usr/lib/systemd/system/lvm2-lvmetad.service
- Metadata caching daemon for LVM (lvmetad)
- Receives notifications(通知) from udev rules
- Has an up-to-date and consistent image of the available volume groups
/usr/lib/systemd/system/lvm2-monitor.service
- Executes vgchange --monitor y
- Start or stop monitoring a mirrored or snapshot logical volume with dmeventd, if it is installed

lvmetad 是 LVM 的 Metadata 緩存背景程序。此背景程序接收 udev 規則的通知（在使用 lvmetad 時必須安裝此規則才能正常工作）。

通過這些通知，lvmetad 具有系統中可用 VG 的最新且一致的映像。

預設情況下，即使運行，LVM 也不會使用 lvmetad。

Create LVM Physical Volumes

Syntax: pvcreate /dev/<device>
Partitions can be used directly
若要使用完整的磁碟，需先刪除主引導紀錄中的分割表:
```
dd if=/dev/zero of=/dev/<device> bs=512 count=1
```
- WARNING: All data on the hard disk or partition used will be lost!

範例 :

~> pvcreate /dev/sda9

螢幕輸出

Physical volume "/dev/sda9" successfully created

View LVM Physical Volume Info

pvscan，Detect(掃描) physical volumes and volume group membership
pvs，View existing physical volumes
pvdisplay，View attributes(屬性) of physical volumes
pvchange [-ay | -an]，Activate/Deactivate(啟用/禁用) physical volumes

Create and Activate LVM Volume Groups

vgcreate，Create a volume group
vgscan，Discover and list volume groups
vgchange，Activate/Deactivate a volume group

LVM 開始運作時，並不會自動知道現有的 volume groups，需要先發現它們。

透過 vgscan 搜尋後，LVM 可能會知道 volume groups，但它們尚未啟用。

使用 vgchange 工具也可以更改其他屬性，例如調整大小。

vgcreate 工具用於創建新的 volume group。如果要創建名為 system 的 volume groups 並將 physical volume /dev/sda9 加入其中，請輸入以下命令：

~> vgcreate system /dev/sda9

螢幕輸出

 Volume group "system" successfully created

檢查

~> pvscan

螢幕輸出

PV /dev/sda9 VG system lvm2 [240,00 MB / 240,00 MB free]
Total: 1 [240,00 MB] / in use: 1 [240,00 MB] / in no VG: 0 [0 ]

View LVM Volume Groups

vgs，View existing discovered volume groups
vgdisplay <vg_name>，View attributes of a volume group

Examples:

~> vgs

螢幕輸出

VG #PV #LV #SN Attr VSize VFree
vg0 4 0 0 wz--n- 4.09g 4.09g

Values: VG – Volume group name #PV – Number of physical volumes #LV – Number of logical volumes #SN – Snapshot number Attr – Attributes:

Permissions: (w)riteable, (r)ead-only

Resi(z)eable (可調整大小)

E(x)ported (匯出)

(p)artial: one or more physical volumes belonging to the volume group are missing from the system

Allocation(分配) policy: (c)ontiguous, c(l)ing, (n)ormal, (a)nywhere, (i)nherited

(c)lustered

VSize – Size of the volume group VFree – Free space on the volume group

Create LVM Logical Volumes

Create a basic logical volume:
- lvcreate -L <size> -n <lv_name> <vg_name>
Create a striped logical volume:
- lvcreate -i 3 -L <size> -n <lv_name> <vg_name>
Create a mirrored logical volume:
- lvcreate -m 1 -L <size> -n <lv_name> <vg_name>
Create a snapshot logical volume:
- lvcreate -L <size> -n <lv_name> <orig_lv_name>

Logical Volume Types

Logical volumes 的結構和功能不同，因此它們可以是不同的類型 Common Types (the first three are relevant in practice):

Normal
Mirrored
Snapshot
Origin
Special Types
PVmove
Virtual

To create a logical volume, use lvcreate, specifying the size, the name for the logical volume, and the volume group:

~> lvcreate -L 100M -n data system

螢幕輸出

Logical volume "data" created

View LVM Logical Volumes

lvscan，View/Discover logical volumes
lvs，Show existing logical volumes
lvdisplay，View attributes of logical volume(s)

lvscan shows the device to use for the formatting and mounting:

~> lvscan

螢幕輸出

ACTIVE '/dev/system/data' [100,00 MB] inherit

The lvs command represents the volume type in the first field of the Attr column:

normal = ------
mirrored = m-----
mirrored (no initial sync) = M-----
snapshot = s-----
snapshot (invalid) = S-----
pvmove = p-----
origin = o-----
virtual = v-----

Manage LVM Physical Volumes

pvmove，Move used PVs to a different physical volume
pvremove，Remove an existing physical volume (including LVM meta-data)
pvresize，Resize a physical volume

在使用 pvremove 從一個 VG 中移除一個 PV 之前，它的內容必須使用 pvmove 移動到另一個 PV 中。

Manage LVM Volume Groups

Extending a Volume Group

New Physical Volumes can be created if new storage devices become available.
Volume Groups can then be extended by adding these new Physical Volumes to the Volume Groups.

Reduce a Volume Group

pvmove is used to move the PEs off of the physical volume you will be removing from the group
You must have at least the same amount of free space available in the volume group as there is used space on the physical volume who’s PEs you will be moving
Use the pvscan utility to determine Physical Volume usage
The dm_snapshot kernel module must be loaded

Manage LVM Volume Groups

Extend a volume group (add physical volumes)
- vgextend <vg_name> /dev/<device> /dev/<device> ...
Reduce a volume group
- pvmove /dev/<device>
- vgreduce <vg_name> /dev/<device>
Split and merge volume groups
- vgsplit
- vgmerge
Remove a volume group
- vgremove <vg_name>
Activate/Deactivate logical volumes
- lvchange -a {y|n} <lv_name>

Merge(合併) Volume Groups

LVM volume groups can be merged if their PEs are the same size and their LV and PV summaries match
The source volume group must be inactive before merging
The destination volume group can be active or inactive
- vgchange -a n <source_vg>
- vgmerge <destination_vg> <source_vg>

Split(拆分) Volume Groups

LVM volume groups can be split if all PVs contain at least one copy of the VG metadata
LV cannot be split between the two VGs vgsplit <existing_vg> <new_vg> <pv_path> <pv_path> …

A volume group cannot be removed if any logical volume on it is still open.

lvchange 還允許更改 logical volumes 的其他 attributes (屬性)，而不僅僅是 activation (啟動)。

Extend a Logical Volume

Logical volumes can be extended if there is unused space available in the volume group
Once the logical volume has been extended, then you must grow the file system in the LV.
- lvextend -L +size /dev/<vg_name>/<lv_name>
- lvresize -L +size /dev/<vg_name>/<lv_name>

Reduce a Logical Volume

The file system on the logical volume must be reduced before reducing the logical volume
Most file systems cannot be reduced while they are mounted (and XFS cannot be reduced at all)
- lvreduce -L -size /dev/<vg_name>/<lv_name>
- lvresize -L -size /dev/<vg_name>/<lv_name>

LVM Logical Volume Snapshots

LVM Snapshots (快照) 本質上是 logical volumes，創建快照會創建一個新的 logical volume（因此需要 VG 中的未分配空間）。

LVM 快照在時間點凍結 volume 的視圖，而原始 volume 繼續被修改。

LVM 快照可以像任何其他 logical volumes 一樣掛載和訪問。

不再需要快照時，可以刪除快照而不影響原始卷。空間隨後將返回到 VG 作為未分配空間。

使用快照需要加載 dm_snapshot 內核模塊。

創建快照時，metadata 被複製並引用為替代 logical volume。

快照使用 VG 中的未分配空間，就像普通 logical volume 一樣。

LVM 快照使用 copy-on-write。當原始 volume 中的檔案更改時，底層 PE 被複製到快照 volume 中。

如果快照用盡空間，則被丟棄。

Create LVM Snapshots

Create an LVM snapshot
- lvcreate -s -L <size> -n <snap_name> <orig_lv_name>
View Snapshots and their original logical volumes
- lvs
Remove a snapshot volume
- lvremove /dev/<vg_name>/<snap_name>

Configure Software RAID

RAID: Redundant Array of Independent (or Inexpensive) Disks
Software RAID:
- Advantages of RAID systems without the additional cost(花費) of hardware RAID controllers CPU time and memory overhead

Multiple Device (MD) RAID

Multiple Device (MD) is the default software RAID subsystem in the Linux kernel
- Device mapper RAID is also available but MD is more mature(成熟) and robust(耐用)
MD does not use the device mapper
MD can create linear arrays(線性陣列) using its own meta-data or use external meta-data
- Disk Data Format (DDF)
- Intel Matrix Storage Manager (IMSM) meta-data

Myths about Software/Hardware RAID

軟體 RAID 比硬體 RAID慢
- 通常是錯誤的。
- 沒有校驗位的 RAID 性能與硬體 RAID 相當（甚至因為雙工機制更好）。
- 現代 CPU 比硬體 RAID 控制器上的專用處理器快得多，可以以較低的開銷快速生成校驗位（通常＜5％）。
硬體 RAID 總是優於軟體 RAID
- 通常是錯誤的（但要看情況）。
- 硬體 RAID 的優點：更容易啟動，可以被電池備份和緩存。
- 硬體 RAID 的缺點：更昂貴，需要專用控制器。

重要提示：軟體 RAID 不支援集群檔案系統（如 OCFS2），因為 RAID 不支援同時啟動。如果要 OCFS2 的 RAID，需要讓儲存子系統來處理 RAID。

若要在 SLES 機器的開機時啟動 RAID 服務，請使用以下命令：

systemctl enable dmraid-activation.service

RAID Levels

RAID 0 - Disks are pooled(集合)
- good performance
- no redundancy (despite the name), if one disk fails data is lost
RAID 1 – Mirroring(鏡像)
- Data is lost when the last disk fails
RAID 5 - Data is distributed across disks
- one disk may fail
- data is lost when two disks fail
RAID 6 - Similar to RAID 5
- two disks may fail
- data is lost when three disks fail
RAID 10 – Mirrored Stripe Sets
- Performance of RAID 0 with fault tolerance of RAID 1
- data is lost if a disk is lost in each strip set

RAID 0

是一種提高數據存取性能的技術，透過將每個檔案的資料區塊分散到多個硬碟驅動器上，來達到此目的。

雖然它的名字中有「RAID」這個詞，但實際上 RAID 0 並不能提供數據備份的功能，它只是將多個硬碟組成一個虛擬硬碟，用以提高存取速度。

RAID 0 的效能非常好，但若其中任何一個硬碟故障，整個 RAID 0 系統就會失效，並且會導致您的數據遺失。

RAID 1

這個等級提供足夠的資料安全性，因為資料會被 1:1 地複製到另一個硬碟上，稱為硬碟鏡像。

如果一個硬碟被損壞，其內容的副本會在另一個鏡像硬碟上提供。除了一個硬碟之外，所有硬碟都可能受損而不會危及您的資料。

然而，如果損壞未被檢測到，損壞的資料可能會被鏡像到正確的硬碟上，從而損壞資料。

與使用單個硬碟訪問相比，在複製過程中寫入效能略有下降（比單個硬碟慢10%至20%），但讀取訪問速度顯著快於任何一個正常的物理硬碟，因為資料是重複的，可以並行掃描。

RAID 1通常提供了近乎是單個硬碟的兩倍讀取事務速率和幾乎相同的寫入事務速率。

RAID 5

RAID 5 是性能和冗餘性方面介於 Level 0 和 Level 1 之間的優化折衷方案。

硬碟空間等於使用的硬碟數減去一。數據像 RAID 0 一樣分佈在硬碟上。

為了安全起見，在其中一個分區上創建奇偶校驗區塊，它們用 XOR 連接在一起，以便在系統故障時，通過相應的奇偶校驗區塊重新構建內容。

使用 RAID 5，同時最多只能故障一個硬碟。如果有一個硬碟故障，必須盡快更換，以避免失去數據風險。

RAID 6

RAID 6 和 RAID 5 相似，最少需要 4 個硬碟，最多允許 2 個硬碟故障。但如果有 3 個硬碟故障，就會丟失數據。

RAID 10

All disks can be lost in a single strip set with no data loss if the other strip set has lost no disks. This RAID implementation combines features of RAID 0 and RAID 1: the data is first mirrored to separate disk arrays, which are inserted into a new RAID 0; type array. In each RAID 1 sub-array, one disk can fail without any damage to the data. A minimum of four disks and an even number of disks is needed to run a RAID 10. This type of RAID is used for database application where a huge load is expected.

如果一組磁碟陣列沒有損失磁碟，那麼在另一組磁碟陣列中失去所有磁碟時也不會喪失任何資料。這種 RAI D結合了 RAID 0 和 RAID 1 的特點：首先將數據鏡像到不同的磁碟陣列中，然後將它們插入到新的RAID 0陣列中。在每個 RAID 1 子陣列中，最多可損失一個磁碟而不會損壞數據。RAID 10 至少需要四個磁碟和偶數個磁碟才能運行。這種 RAID 通常用於預計承受大量負載的數據庫應用程式。

Manage RAIDs: Monitoring

/proc/mdstat : 系統上 RAID 的狀態

範例 :

~> cat /proc/mdstat

螢幕輸出

Personalities : [raid1]
md0 : active raid1 dm-3[1] dm-2[0]
243791680 blocks super 1.0 [2/2] [UU]
[==>..................] resync = 13.0%
(31745408/243791680) finish=100.3min speed=35230K/sec
bitmap: 2/2 pages [8KB], 65536KB chunk
unused devices: <none>

使用 watch 命令定期執行 cat 命令。使用 -d 選項可以突顯連續更新之間的差異。例如：

watch -d cat /proc/mdstat

如果您沒有此檔案，您需要首先加載 RAID 核心模塊：modprobe md_mod

mdadm Modes and Options

Assemble Modes
- -A, --assemble
Build Modes
- -B, --build
Create Modes
- -C, --Create
Follow or Monitor Modes
- -F, --follow, --monitor
Grow Modes
- -G, --grow
Incremental Assembly Modes
- -I, --incremental

Create an Array

mdadm -C <array> -n <#disks> -l <level> <disks>
- -n，Number of disks in the array
- -l，RAID level for the array (0, 1, 4, 5, 6,10)
- -x，Number of spare disks in the array
- -e，Meta-data type to use: 0, 1 (1.0, 1.1, 1.2), ddf, imsm
Example:
- mdadm -C /dev/md0 -e 1 -n 4 -l 5 -x 1 /dev/sdX

Assemble(組裝) an Existing Array

Assemble (activate/start) an array:

mdadm -A <array>
mdadm -A -s

-n，Number of disks in the array
-s， Scan for available arrays
-c <config> ，Specify the configuration file to use when scanning. Options: /etc/mdadm.conf, partitions

Examples:
- mdadm -A /dev/md0
- mdadm -A -s

Deactivate(停用) an Array

Deactivate (Stop) an array
- mdadm -S <array>
Example:
- mdadm -S /dev/md0

Replace a Disk in an Array

Mark a disk in the array as faulty(錯誤):
```
mdadm --manage /dev/md0 --fail /dev/sdb1
```

Remove a disk from the array:

mdadm --manage /dev/md0 --remove /dev/sdb1

Repeat the above for any other array that uses this physical disk, such as /dev/md1 and /dev/sdb2
關閉電源並更換磁碟。
（可選）使用 fdisk 或 parted 對磁碟進行分區。
Partitions may not be smaller than before
Add the new disk to your array:
```
mdadm --manage /dev/md0 --add /dev/sdb1
```

Remove an Array

mdadm -S <array>
mdadm --zero-superblock <devices>
- -S，Stop the specified array
- -zero-superblock，Write zeros to the super block of the specified device
Example:
- mdadm -S /dev/md0
- mdadm --zero-superblock /dev/sd[d-e]

NOTE:

To remove an array completely, it has to be stopped first!
Make sure to also delete entries in /etc/fstab relating to the array

Generate a mdadm.conf File

mdadm -E -s --brief > /etc/mdadm.conf
- -E，Examine(檢查) the metadata of scanned/specified disks
- -s，Scan for existing arrays
- --brief，Display output in brief format (for mdadm.conf)
Example:
- mdadm -E -s > /etc/mdadm.conf

Display Info About an Array

Display info about an array:
- mdadm -Q <array>
- -Q，Query basic information on an array
- --detail，Full information on an array
Display info about an array member disk:
- mdadm --examine <disk>
- --examine，Query basic information on a disk from an array

Offline Uncorrectable Sectors

Output of smartctl, such as:

Offline_uncorrectable 0x0010 100 001 000
Old_age Offline - 24

Trigger a resync:
- /usr/bin/echo check > /sys/block/mdx/md/sync_action

array 會被讀取，如果一個磁區在一個磁碟上無法讀取，則使用其他磁碟中的相同信息重新寫入它。

注意：如果您的 RAID 未覆蓋整個硬盤，它僅在硬盤錯誤位於其中一個 RAID 中時才起作用。

可以設置一個定期執行該命令的 cron 作業。

上述命令通常可以修復錯誤，但是持續出現此類錯誤的磁碟可能應該被替換。

Monitor RAIDs

In /etc/sysconfig/mdadm
- Set MDADM_MAIL to a proper email address
- Make sure that mail arrives at its destination
Activate the monitoring with
- systemctl start mdmonitor.service

RAID 系統需要監控，以避免忽略磁碟損壞的問題。

RAID 系統的優點是可以容許單個磁碟故障(不包括 RAID 0)。這表示當磁碟出現故障時，可能不會立即被發現，直到下一個磁碟故障時，數據才會丟失。因此需要監控 RAID 系統以避免出現此類問題。

Define and Describe Btrfs

Btrfs: The “Better” File System

Built-in volume management with subvolumes
Built-in copy on write
Powerful snapshot capabilities
Massive Scalability:
18.4 Exabytes (16EB w/ effective shrink)
Other Capabilities:
- Compression(壓縮)
- Built-in data integrity(完整性) (checksums)
- SSD optimization(優化)

Btrfs Support

Btrfs is supported
- As “/” file system
- For migration from ext2/3/4 (except “/”)
- Everything you can do with the YaST partitioner is supported
Exceptions to official support
- RAID
- Integrated Volume Management
- Compression and Encryption
Recommendation for data volumes: XFS
- Performance and scalability are proven for 8+ years
- No extra costs for XFS in SUSE Linux Enterprise

FAQ:

Is there any limitation for copy on write in terms of transactions?

Ans: The disk space in the limitation. As every change may need additional blocks, two sets of parameters must be chosen carefully according to the use case:
- Disk space available to the whole volume
- Automated cleanup rules
Is there a recommendation of how many % of free space should be kept?

Ans: Since SUSE Linux Enterprise 11 SP2, the default for a root file system on Btrfs is 20 GiB, while the system will need not more than 8 GiB usually. In other words, when starting there should be more than 70% free.

For safe operation we suggest that a file system is not filled up to more than 90%, i.e. 10% free.

Future development for snapper might introduce automated cleanup rules also based on free space or fill-level.

Copy on Write

Normal Write

Existing blocks of a file are overwritten when the content changes

Copy on Write

If content of a block changes, the changed block is put beside the non-changed block

Instead the metadata (block-list) changes

Benefit

Implementation of “transactions” in the file system is easy, as old content is still available

因為 Btrfs 對所有的檔案系統寫入都是寫時復制，所以有可能進入這樣一種情況：當檔案系統變滿時，當你試圖刪除一個檔案時，你會得到一個錯誤，說 “no space left on device”，檔案不能被刪除。

如果出現這種情況，你可以嘗試一些事情：

如果你不是在一個時間緊迫的情況下，運行：
```
btrfs filesystem df <mountpoint>。
```
如果報告說你的數據和 metadata 都有可用的空間，運行以下程序：
```
btrfs filesystem balance<mountpoint>。
```
這將需要一些時間，但應該會釋放出一些空間，讓你能夠刪除檔案。
如果你處於時間緊迫的情況下，你可以嘗試兩種不同的方法，或者如果第一種方法不起作用：通過運行以下命令，來凍結該檔案：
```
echo > <file_name>
```
這將在不引起任何新的 metadata 操作的情況下刪除該檔案用nodatacow選項重新掛載該檔案系統：
```
mount -o remount,nodatacow<mountpoint>。
```
這將允許你在不執行寫時復制操作的情況下刪除該檔案

Subvolumes

A Btrfs consists of one or more subvolumes. Subvolumes in Btrfs have a number and a name. There is always at least one subvolume, the tree root subvolume with the number 0. The root subvolume is represented by the @ character.

Subvolumes appear as directories in the file system and, at first glance, cannot be distinguished from regular directories. Usually they appear as a subdirectory in the “parent” file system, but they can be mounted separately and not “just a subdirectory”.

Subvolumes can include a complete file system tree.

Subvolumes are simliar to two “separate” file systems, which are using the same pool of data blocks (and other infrastructure). The benefits of using subvolumes are:

Different parts (subvolumes) of a file system can have different attributes, such as quotas or snapshoting rules.
Copy on Write is possible across volumes.

Manage Subvolumes from the CLI

btrfs subvolume create [<Path>/]<Name>
- Example: btrfs subvolume create /data/SV4
btrfs subvolume set-default <ID> <Path>
- Example: btrfs subvolume set-default 264 /data
btrfs subvolume delete [<Path>/]<Name>
- Example: btrfs subvolume delete /data/SV4
btrfs subvolume list [-p] <Path>
- Example: btrfs subvolume list -p /data
btrfs subvolume find-new [<Path>/]<Name> <GenPointer>
- Example: btrfs subvolume find-new /data/SV3 35

Mount a subvolume

mount -o subvol=<Name> /dev/<sdXX> /<Mountpoint>
mount -o subvolid=<ID> /dev/<sdXX> /<Mountpoint>

Understand NFSv4

Software Management

Fri, 07 Apr 2023 04:50:10 +0800

Preface

本篇文章主要分為 3 大部分 :

了解將源程式碼編譯成二進位碼的基本步驟及編譯後的缺點
了解什麼是 RPM Package，它的組成是什麼，我們如何管理它，包含安裝、解安裝、更新、查詢和確認。
如何透過 Libzypp 管理軟體

Understand Compiling Software from Source

Compile From Source Code

Linux Source Code Build Tools
Works well for a single box
Many Linux open source projects utilize
Common GNU build tools
Two common GNU build tools
- Automake
- Autoconf
Developers use Automake and Autoconf with…
- makefile.am
- configure.in
To create the automatic configuration file
- configure

Compiling Process

The general process for building source code
- ./configure
- make
- make install
Make supports combining last two steps
- ./configure
- make install
Performs a make and then a make install automatically

Build Process Step-By-Step

Specific actions for building source code
Download tarball from source code download page
- .tar.gz .tgz .tar.bz2
Extract contents in safe location
- tar -zxvf sourcecode-1.0.tar.bz2
Change to extracted directory
- cd sourcecode-1.0/
Read the included Documentation
Autoconfigure
- ./configure
Compile and install
- make install

Understand Makefile Targets

The make command uses what are called “targets”
Target Actions:
- clean
  - Clean up: remove compiled binaries and objects
- distclean
  - clean + remove files that ./configure created
- make
  - Actually compile the source code
- install
  - Copy binaries and shared objects to filesystem
uninstall
- Uninstall the components created during install
- Does not always remove all components
- Only as good as creator of the Automake components
- Not always provided as target in Makefile
- May abandon software throughout filesystem

Use make to Compile the Source Code

Disadvantages Of Unpackaged Software

Software dependencies are not readily apparent
Hard to duplicate effort across enterprises (難以跨企業重複工作)
Upgrading very difficult
Updating nearly(幾乎) impossible
Slow security responses (安全問題的回應速度緩慢)
Duplication of effort(工作重複)
Uneven results(結果可能會不一樣)
Support and troubleshooting problems
- Tarball management is fine for a single computer
- Unmanageable across hundreds or thousands of computers
Difficult to track installed files without work
- Manual tracking after each install
- Linux command line tools
  - find
  - tar
  - md5sum
  - vimdiff
Uses some disk space for tracking
Non-filesystem tracking requires reading install control files(非檔案系統的追蹤需要讀取安裝控制的文件)
- configure
- Makefile

Understand Management of RPM Packages

RPM Basics

RPM 是一個在 Linux 上用來管理軟體的工具，主要由以下三個部分組成：

RPM Package Manager：用來安裝和卸載 RPM 套件。
RPM Database：這個資料庫在 Package Manager 的背後運作，裡面包含所有已安裝的 RPM 套件的相關資訊。
- 這個資料庫追蹤所有在使用者安裝程式時建立或修改的檔案，這有助於 Package Manager 在需要時輕鬆地移除原本安裝的檔案。
RPM Package：將軟體原始程式碼打包成二進位的程式碼供使用者安裝，稱為 RPM packages 或 RPM archives，中文翻為 “RPM 套件”。

使用 RPM Package Manager 和 RPM Package 的好處有：

Root 在 Linux 上有一致的安裝程式方法。
方便的卸載功能（因為有 RPM 資料庫）。
原始碼存檔案（例如 .tar.gz 或 .tar.bz2）會依需求被包含進來，也很容易驗證。
RPM 工具可以用來啟用非互動式腳本來安裝軟體。
RPM 工具可以用來確認軟體是否正確安裝。
RPM 追蹤套件的相依檔，防止刪除其他套件所需的套件。它還會在安裝套件時告知管理員所需的軟體是否缺失。
支援數位簽章，可驗證 RPM 套件的完整性。

RPM Package Components

The RPM package includes the following parts:

Information Header
- 每個 RPM 套件有一個標籤，裡面包含 Software Name、Version 和 Release Number (發行編號) …等資訊。
CPIO Archive
- 套件的所有檔案都存放在 CPIO archive 中。
Installation Scripts
- 有時在安裝軟體之前或之後需要對系統進行修改，這可以通過預安裝和後安裝腳本來實現。
GPG Signature
- 這個簽名可以檢查軟體包的完整性。

Install RPM Packages

Command: rpm -i <package>.rpm
- 當您安裝一個 RPM 軟體包時，執行檔、DOC 文件、設定檔以及啟動腳本會被複製到檔案系統中適當的目錄下。
Additional Options:
- -v ，(verbose) for more information ，顯示更多資訊
- -h ，(hash) for a progress bar，在軟體包安裝期間產生一個由#符號組成的進度條。
In case of dependency conflicts or file problems:
- --nodeps ，to ignore dependencies ，忽略相依檔產生的問題
- --force ，to overwrite existing files，覆蓋已存在的檔案
- 如果強制安裝而沒有滿足相依性要求，安裝的軟體很可能無法正常運作

在安裝期間，RPM 資料庫確保沒有發生衝突（例如一個檔案屬於多個軟體包）。只有在其相依性得到滿足且沒有與其他軟體包發生衝突時，才會安裝該軟體包。

如果相依性沒有被滿足，RPM 會列出 :

需要安裝軟體包的相依檔。
與要安裝的軟體包發生衝突的軟體包。

Update RPM Packages

Update: rpm -U <package>.rpm
- Works even if no previous version is installed
- 即使未安裝以前的版本也會安裝新版本
Freshen: rpm -F <package>.rpm
- Work only if a previous version is installed
- 僅在安裝了早期版本時才有效 (如果沒有安裝過先前的版本，則不會安裝新的軟體包。)
- 會刪除舊版本的文件，並立即安裝新的文件。
注意 ! -U 選項並不等同於使用 -e 選項進行卸載並使用 -i 選項進行安裝。更新軟體包時，盡可能使用 -U 選項

RPM 會使用以下指南小心地更新設定檔:

如果系統管理員未更改設定檔，RPM 會安裝適當檔案的新版本。系統管理員不需要進行任何操作。
如果在更新之前系統管理員更改了設定檔，RPM 會將更改後的檔案保存為 .rpmorig 或 .rpmsave (備份檔案)，然後安裝新包的版本，但只有當原安裝的檔案和新版本不同時才進行安裝。
- 如果是這種情況，請將備份檔案(.rpmorig 或 .rpmsave)與新安裝的檔案進行比較，再次在新檔案中進行更改。
- 確保之後刪除所有的 .rpmorig 和 .rpmsave 檔案，以避免未來更新的問題。
- 如果檔案以前尚未被 RPM 資料庫識別，則會分配 .rpmorig 擴展名；否則，使用 .rpmsave 擴展名。
- 換句話說，.rpmorig 是從非 RPM 格式升級到 RPM，而 .rpmsave 則是從舊版 RPM 升級到新版 RPM。
如果設定檔已經存在且在控制軟體包創建的檔案 (所謂的 .spec 檔案) 中指定了 noreplace 標籤，則會建立一組 .rpmnew 檔案。這用於不覆蓋某些設定檔 (例如 /etc/apache2/httpd.conf)，以確保繼續運作。
- .rpmnew 不會透露系統管理員是否對設定檔進行了任何更改。

Uninstall RPM Packages

Command: rpm -e <package>
Additional Options:
- --nodeps to ignore dependencies

當移除一個套件時，RPM 資料庫會協助將所有檔案除了已修改的設定檔都從系統中刪除，確保移除的乾淨無痕。

RPM 只會在不影響相依套件的情況下刪除套件。若有其他套件相依於欲刪除的套件，錯誤訊息中會列出這些相依套件。

使用 --nodeps 參數強制刪除套件，但這不是建議的方式，因為有使用同樣相依檔的其他套件可能會無法正常運作。

Query RPM Database and Packages

-q，Query RPM database
Common query options:
- -a，List all installed packages
- -i，List package information
- -l，Display file list
  - --dump，Display a file list with complete details Used with -l, -c or -d
- -f <file>，找出檔案屬於哪個包，在查詢的時候，必須指定完整路徑
- -d，List only documentation files (implies -l)
- -c，List only configuration files (implies -l)
-p ，Inspect not installed RPM archives
--provides，List features of the package that another package can request with –requires
- 列出一個套件可以透過 --requires 的方式要求另一個套件提供哪些功能特色。
--requires, -R，List capabilities the package requires
--scripts，List installation scripts Pre-install, post-install and un-install
--changelog，Display detailed list of information about a specific package Updates, configuration, modifications, etc.

RPM Package Verification

Verify that the package has not changed since it was created:
- rpm --checksig <package>.rpm
Verify integrity (完整性) of files installed by an RPM package:
- rpm -V <package>

Character，Description
- S，List package information
- M，Mode has change
- 5，Size is different
- D，Device major/minor numbers are different
- L，Readlink (symbolic link) path mismatch
- U，User ownership differs
- G，Group ownership differs
- T，mtime differs
- P，Capabilities differ

Understand Software Management with Libzypp

Libzypp

![](https://i.imgur.com/5g14Iuq.png =80%x)

Libzypp is the software management engine for SUSE Linux. It wraps around (環繞) the RPM package management system.

What Are Software Repositories?

Software repositories (often called catalogs)

Directories that contain RPM software packages and meta-data files that describe the packages.
Can be accessed by RPM meta-managers
Can be accessed from different media and local file systems
- different media such as the network (HTTP, FTP, NFS, SMB, etc.), DROM/DVD disks

Software repositories provide many benefits such as:

They provide catalogs(目錄) for RPM Meta-managers to use when doing RPM dependency resolution
They provide centrally(集中的) managed and accessible sources(可存取的來源) for installing software and updates
They provide a framework for tracking and finding different versions of software

Libzypp and Software Repositories

![](https://i.imgur.com/kKNBnF7.png =80%x)

The 4 “P"s of Libzypp

Packages
- RPM packages (including patch/delta RPMS)
- Contain files to be installed in file system
Patterns
- Reference 1 or more packages
- Typically install all packages needed for a certain sever “role”
Products
- Contain 1 or more Patterns
- Associated with a product with its own support and maintenance such
- as an Extension/Add-on
Patches
- Reference 1 or more update packages
- (packages provided as both full and patch/delta RPMs)

Libzypp Utilities

![](https://i.imgur.com/FHppQTm.png =90%x)

你會使用幾種不同的工具來實際進行套件管理，這些工具在背後使用了 libzypp 提供的服務。這些工具可以是圖形介面的，像是 YaST 和 PackageKit，也可以是命令列工具，像是 zypper 和 YaST ncurses 的畫面。

Definition of Terms

Repository

一個包含 packages 的本地或遠程目錄，以及關於這些 packages 的 metadata。

Product

代表一個完整的產品，例如 SUSE Linux Enterprise Server。

Pattern

一個可安裝的軟體套件組合，專門用於特定的目的。例如，Laptop pattern，這個 pattern 包含所有行動運算環境所需的套件。

Pattern 定義了 package 之間的相依性（例如必須或建議安裝的套件），並且預先選擇了一些套件標記為安裝，這確保在安裝 Pattern 後，系統上可用於特定目的的最重要 package 都已經安裝。但是，並不一定所有的 Pattern 中的 package 都會被預先選擇安裝，你可以根據自己的需求手動選擇或取消選擇 Pattern 內的 package。

Package

一個壓縮的 RPM 格式檔案，包含了特定程式的檔案。

Patch

由一個或多個軟體包組成，可以透過 Delta RPMs 方式應用。它也可能會引入尚未安裝的軟體包相依性。

Resolvable

產品、模式、軟體包或補丁的通用詞彙。最常用的 Resolvable 為軟體包或補丁。

Delta RPM

由兩個已定義版本之間的二進位差異組成，因此具有最小的下載大小。在安裝前，完整的 RPM 軟體包會在本地機器上重建。

Package Dependencies

有些套件需要其他套件才能運作，例如共用程式庫。換句話說，某些套件可能需要其他套件才能被安裝。如果所需的套件沒有安裝，該套件就無法被安裝，除了必須滿足的相依性需求外，有些套件還會建議安裝其他套件。如果這些推薦的套件實際上可用，那麼它們就會被安裝，否則就會被忽略，而推薦它們的套件則仍會被安裝。

Manage Repositories with zypper

List software repositories:
- zypper lr
Add repositories:
- zypper ar <uri> <alias>
Remove repositories:
- zypper rr <alias|#|uri>
Modify repositories:
- zypper mr [options] <alias|#|uri>

zypper relies on a list of repositories for its installation and update commands. To list all repositories known to the system, enter zypper lr or zypper repos

範例 :　

~> zypper lr

螢幕輸出 :

# | Alias | Name | Enabled | Refresh
--+-------------+-------------+---------+--------
1 | SLES15-15-0 | SLES15-15-0 | Yes | No

The most important options for this command are

-p，show the priority(優先等級) for each repository

-d，show more details for each repository

範例 :　

~> zypper lr -d

螢幕輸出 :

# | Alias | Name | Enabled | Refresh | Priority | Type | URI
| Service
--+-------------+-------------+---------+---------+----------+-------
+----------------------------------------------------------------------------------------+--------
1 | SLES15-15-0 | SLES12-15-0 | Yes | No | 99 | yast2 | cd:///?devices=/dev/disk/by-id/ataVMware_Virtual_IDE_CDROM_Drive_10000000000000000001 |

To add a new repository, use the command

~> zypper ar [options] <uri> <alias>

~> zypper addrepo [options] <uri> <alias>

範例 :

~> zypper addrepo http://172.17.8.100/sles15/CD1 sles12

The URI identifies the location of the repository

the alias sets a name which can be used to access the repository

Important options for this command are:

-d，add the repository as disabled. Repositories are added as enabled by default.
-k，Enable RPM files caching for the repository (i.e., RPM packages are kept in a local directory after being installed).
-K，Disable RPM files caching.

NOTE: When a repository is added, the existence(已存在的) and accessibility(可訪問的) of the repository is not checked. If there are any errors in the URI these will show up when trying to access the repository later

In order to remove a repository from the list, use the command

zypper rr <alias|#|uri>

zypper removerepo <alias|#|uri>

To specify the repository, you can use the alias, the sequence number or the whole URI of the repository.

Existing repositories can be modified by using

zypper mr [options] <alias|#|uri>

zypper modifyrepo [options] <alias|#|uri>

The following are the most important options for this command:

-e，Enable the repository.
-d，Disable the repository.
-p，Set priority of the repository.

A priority of 1 is the highest priority—the higher the number the lower the priority. The default priority is 99. Packages from repositories with higher priority will be preferred even in case there is an installable higher version available in the repository with a lower priority.

These commands create .repo files in the /etc/zypp/repos.d/ directory.

Note: These .repo files can be edited directly if desired.

Manage Packages with zypper

List and Search (在當前主機上對所有的 repositories 搜尋):
- zypper se <string>
- To see more details on the packages, the -s option can be used
Display Package Info:
- zypper if <package>
Install Package:
- zypper in <package>
Remove Package:
- zypper rm <package>

Manage Patterns with zypper

List (列出已安裝的 pattern)
- zypper pt
Search
- zypper se -t pattern <string>
- Example: zypper se -t pattern web
Install
- zypper in -t pattern <pattern>
Remove
- zypper rm -t pattern <pattern>

Manage Patches with zypper

List Patches:
- zypper lp
- lists all needed patches (patches, that apply to your system but are not yet installed).
Check for Patches:
- zypper pchk
- lists the number of needed patches
Search for Patches:
- zypper pch [<repository>]
- 列出所有適用於 SUSE Linux Enterprise Server 的 Patches，無論這些 atches 是否已經安裝或適用於您的安裝
Install Patches:
- zypper patch
- zypper in -t patch <patch>

Manage Updates with zypper

List Updates:
- zypper lu
Install Updates:
- zypper up [<package>]
Update to a new Service Pack:
- zypper dup

Network Management

Tue, 04 Apr 2023 10:48:52 +0800

Preface

本文主要介紹在 SUSE Linux Enterprise 中的網路管理、Wicked 中的網路管理、firewalld 防火牆，如何透過使用 firewall-cmd 命令或是 firewall-config 來管理 firewalld 防火牆和了解防火牆區域設計

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

Understand Network Management in SLE

Linux Network Terms (術語)

Device

在系統中內建的網路卡。

Interface (介面)

為了使用一個物理設備，驅動程序會為該設備創建一個介面，使得這個介面可以被其他應用程序使用。

在 Linux 中，網路介面使用一個標準的命名方案，以太網網路卡的介面遵循的命名方案是 eth0、eth1、eth2，等等。

對於系統中安裝的每一個網路卡，在加載適當的驅動程序時都會創建一個介面。

網路配置的命令行工具在實際指的是 Interface 時使用了 Device 這個術語。

術語 “Device” 在本節中同時用於物理設備和軟體介面。

Link

一個設備與網路的連接。

Address

分配給一個設備的 IP 地址。該地址可以是一個 IPv4 或 IPv6 地址。要在網路中使用一個設備，你必須至少給它分配一個地址。你可以為一個設備分配一個以上的地址。

Broadcast

一個網路的廣播地址，通過向廣播地址發送網路數據包，你可以同時到達本地連接網路中的所有主機。當你給設備分配一個 IP 地址時，你也可以設置這個廣播地址。

Route

是一個 IP 封包從來源裝置到目標裝置所經過的路徑。在 Linux 核心中，「Route」這個詞也用來指代路由表中的一個條目。

The ping Command

Syntax : ping <destination>
- The <destination> can be an ip address, host name or fqdn
通常使用 ping 工具來測試是否有正常的網路連接
在路由器或防火牆上設定過濾規則時，有可能會封鎖 ping 工具的功能，使得裝置之間無法進行連線測試

ping Options

-c, count：指定要發送的封包數量。
-I, interface：指定要使用的網路介面（大寫 i）。
-i, seconds：指定在發送每個封包之間等待的秒數（預設為1秒）。
-f：將封包按照接收回應的速度連續發送。
-l, preload：發送封包時不等待回應。
-n：以數字形式輸出 IP 位址。
-t, ttl：指定要發送的封包的生命週期（TTL）。
-w, maxwait：設定 ping 命令在超時之前等待回應的時間（單位為秒），即使已經發送或接收了多少封包。
-b：將封包發送到網路的廣播位址。

範例

:~> ping -c 2 8.8.8.8

螢幕輸出 :

PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=128 time=11.4 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=128 time=17.0 ms
--- 8.8.8.8 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 11.350/14.174/16.998/2.824 ms

輸出顯示以下信息：

ICMP 封包的大小( 64 字節 )

目標系統的 IP 位址( 從 8.8.8.8 ）。

每個封包的序列號( seq=1 )

封包的TTL（TTL，生存時間）( ttl=128 )

從傳輸封包到收到相應的答復之間的時間量（time=11.4 ms），這個時間也被稱為 “Round Trip Time (往返時間)"。

如果從目標系統得到一個回答，可以確定基本的網絡設備設置和到目標主機的路由是有效的。

Trace Network Packets

使用方式：traceroute <目標主機>
檢查不同網路之間的路由狀況
使用稱為 “datagrams 資料包” 的 UDP 封包
選項：-n ，顯示 IP 地址而非完整網域名稱

traceroute 是一個網路診斷工具，主要用來檢查不同網路之間的路由狀況。它會發送多個 TTL 值逐漸增加的封包到目的地主機，每個 TTL 值會發送三個封包。

traceroute 使用的是 UDP 封包，也稱為 datagrams (資料包)。首先，會發送三個 TTL=1 的資料包到目的地主機，然後是三個 TTL=2 的封包，以此類推。每當一個資料包通過一個路由器時，它的 TTL 值就會減少一個。

當 TTL 值達到零時，該資料包就會被丟棄，並發送一個消息給發送者。因為每三個封包就會增加一個 TTL 值，traceroute 可以收集到到達目的地主機之前的每個路由器的資訊。

範例 :

~> traceroute pluto.example.com

螢幕輸出 :

traceroute to pluto.example.com (192.168.2.1), 30 hops max, 40 byte packets using UDP
1 gateway.digitalairlines.com (172.17.2.254) 0 ms 0 ms 0 ms
2 antares.example.com (192.168.1.254) 14 ms * 14 ms
3 pluto.example.com (192.168.2.1) 19 ms 20 ms 26 ms

traceroute 執行時第一行會顯示一般性的資訊，之後每一行都代表到達目標主機時所經過的路由器，每個路由器都會顯示主機名稱和 IP 位址。

traceroute 也會顯示每個路由器回傳的三個 datagrams 的來回時間資訊。如果沒有收到回應，就會顯示星號 (*)。最後一行顯示的是目標主機本身。

Network Related Configuration Files

網路介面的設定檔放在以下目錄:
- /etc/sysconfig/network/
Name Resolution
- System’s hostname: /etc/hostname
- Name resolution locally: /etc/hosts
- DNS Servers: /etc/resolv.conf
- 名稱解析服務的順序: /etc/nsswitch.conf

/etc/resolv.conf 內容如下 :

search digitalairlines.com
nameserver 172.17.8.254
nameserver 172.17.1.1
nameserver 192.168.1.1

search：在這個項目中的網域名稱會用來自動補完不完整的主機名稱。例如，如果你查詢主機名稱 server3，它會自動完成成完整的網域名稱 server3.digitalairlines.com。

nameserver：以 nameserver 開頭的每個項目後面都會跟著一個名稱伺服器的 IP 位址。你可以設定最多三個名稱伺服器。如果第一個名稱伺服器失敗，就會使用下一個。

SUSE sysconfig Network Commands

Syntax: <command> <interface>
Bring a configured network interface up:
- ifup eth0
Bring a configured network interface down:
- ifdown eth0
Renew DHCP IP Address:
- ifrenew eth0
Display information about a configured network interface:
- ifstatus eth0

要對位於 /etc/sysconfig/network/ 的組態檔案進行更改，你需要停止和重新啟動相應的介面。

你可以使用 ifdown和 ifup 命令來執行此操作。例如，輸入 ifdown eth0 將禁用 eth0 設備，ifup eth0 則會再次啟用 eth0，當設備重新啟動時，新的設定會從配置文件中讀取。

Address Configuration

Syntax:
- ip [address|addr|a] <task> <arguments>
Display IP Address configuration:
- ip addr show
Add an IP address to an interface:
- ip addr add 10.0.0.10/24 brd + dev eth0
- brd + 選項根據網路遮罩來確定自動設定廣播位址。
Remove an IP address from an interface:
- ip addr del 10.0.0.10/24 dev eth0

ip 指令只會在記憶體中修改網路設定，若要保存永久設定則必須儲存在 /etc/sysconfig/network/ 中的 ifcfg 檔案中。

所有的 SUSE 網路設定腳本都使用 ip 指令來進行實際的網路設定。

Route Configuration

Syntax: ip [route|r] <task> <arguments>
Display routing table:
- ip route show
Add a route to the local network:
- ip route add 172.17.0.0/16 dev eth0
Add a route to a different network:
- ip route add 192.168.1.0/24 via 172.17.1.1
Add a default route:
- ip route add default via 172.17.2.2
Delete a route:
- ip route delete 192.168.1.0/24 dev eth0

要將更改應用於路由配置檔，您需要使用 ifdown 和 ifup 命令重新啟動受影響的網路設備。

Link Configuration

Syntax: ip [link|l] <task> <arguments>
Display link level configuration:
- ip link show
Bring an interface up:
- ip link set eth0 up
Bring an interface down:
- ip link set eth0 down
Change the MAC address of an interface:
- ip link set eth0 addr 00:11:22:AA:BB:CC
Rename a network interface:
- ip link set eth0 name peth0

範例 :

server1:~ # ip link show

螢幕輸出 :　

1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
link/ether 00:0c:29:11:c6:b8 brd ff:ff:ff:ff:ff:ff

UP - 裝置已開啟，可以傳送和接收網路上的封包。

LOOPBACK - 裝置是回送裝置。

BROADCAST - 裝置可以發送封包到共享同一網路的所有主機。

POINTOPOINT - 裝置僅與另一個裝置相連。所有封包都會發送到另一個裝置，也會從另一個裝置接收封包。

MULTICAST - 裝置可以同時向一群其他系統發送封包。

PROMISC - 裝置會監聽網路上的所有封包，不只是發送給裝置硬體地址的封包。這通常用於網路監控。

使用 ip 命令時，你可以使用 -s 選項來顯示有關網路介面的其他統計資訊。這個命令的格式如下：

ip -s link show eth0

透過在命令行尾部輸入裝置名稱，你可以限制輸出僅顯示特定的裝置，這還可以用於顯示地址設定或裝置屬性。

以下是顯示給裝置 eth0 的資訊範例：

~> ip -s link show eth0

螢幕輸出 :

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
link/ether 00:0c:29:0e:56:be brd ff:ff:ff:ff:ff:ff
RX: bytes packets errors dropped missed mcast
64239 725 0 0 0 0
TX: bytes packets errors dropped carrier collsns
62369 612 0 0 0 0
altname enp2s0
altname ens32

對於每個裝置都顯示了兩個額外的包含資訊的部分，每個部分都有一個標題說明顯示的資訊。

以 RX 為開頭的部分顯示有關已接收的封包的資訊，以 TX 為開頭的部分顯示有關已發送的封包的資訊。

這些部分顯示以下資訊：

Bytes：裝置已接收或傳輸的所有位元組總數。

Packets：裝置已接收或傳輸的所有封包總數。

Errors：接收器或發送器錯誤的總數。

Dropped：由於資源不足而被丟棄的封包總數。

Overrun：因接收器超限而導致被丟棄的封包總數。通常，如果裝置發生超限，這意味著 Linux 內核存在嚴重問題或者你的計算機對該裝置的處理速度太慢。

Mcast：已接收的多播封包總數。這個選項僅支援少數裝置。

Carrier：因喪失載波而導致的連結媒介故障總數。

Collsns：在以太網媒介上的碰撞事件總數。

Compressed：已壓縮的封包總數。

你也可以使用 ip 工具來更改裝置屬性。以下是設定裝置屬性的基本命令格式：

ip link set <device> <attribute>

上述已經描述了可能的屬性。最重要的屬性是 “up” 和 “down”。通過設置這些屬性，可以啟用或停用網路裝置。要啟用網路裝置（例如 eth0），請輸入以下命令：

ip link set eth0 up

要停用網絡設備（例如 eth0），請輸入以下命令：

ip link set eth0 down

Ethernet Configuration

Syntax: ethtool <options> <interface>
Display configuration of an interface:
- ethtool eth0
Change link speed of an interface:
- ethtool -s speed 1000 eth0
Disable link auto-negotiation on an interface:
- ethtool autoneg=off eth0
Force full duplex on an interface:
- ethtool duplex full eth0

ethtool 是一個指令，可以讓你檢視和改變以太網卡的設定，它可以用來解決網路介面的問題。

使用 ethtool 指令需要網卡驅動程式支援。

Bridge Configuration

Syntax: brctl <action> <arguments>
Display currently configured bridges:
- brctl show
Create a new bridge:
- brctl addbr br1
Add an interface to a bridge:
- brctl addif br1 eth1
Remove an interface from a bridge:
- brctl delif br1 eth1
Remove an existing bridge:
- brctl delbr br1

brctl 命令允許你在 Linux 中創建和使用網路橋接器。它只修改記憶體中的網路橋接器配置，持久的網路橋接器配置必須存儲在 /etc/sysconfig/network/ 的 ifcfg- 檔案中。

SUSE 網絡配置腳本使用 brctl 命令來進行實際的網路橋接器配置。

Network Interface Types

基本網路介面：

關聯實體網路裝置，例如乙太網路和無線網路。
使用 udev 持久命名網路介面。
可以在不需要建立別名介面（例如 eth0:1、 eth0:2，等等）的情況下綁定多個IP地址。

聚合網路介面（Bonded Network Interface）：

由一個或多個實體網路裝置構成的虛擬網路介面。
用於容錯和/或連結聚合。
bonding 驅動程序可以使用不同的模式（modes）來綁定介面。

虛擬區域網路介面（VLAN Network Interface）：

虛擬網路介面，會標記通過它的所有封包，使用 802.11q VLAN 標記。
VLAN 介面在實體網路裝置上進行配置和通信。

網路橋接器（Network Bridge）：

虛擬網路介面，允許多個網路介面在單一廣播域中通信。
附加到橋接器的所有介面都作為交換機端口運作。
SUSE sysconfig 工具允許您像定義其他網路介面一樣定義橋接器。

Basic Network Interface: Config File

Typically named : ifcfg-ethX

~> cat /etc/sysconfig/network/ifcfg-eth0

檔案內容 :

IPADDR='192.168.61.60/24'
BOOTPROTO='static'
STARTMODE='auto'

Persistent Network Interface Names

檔名 : /etc/udev/rules.d/70-persistent-net.rules

...
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*",
ATTR{address}=="00:15:c5:55:0c:a8", ATTR{type}=="1",
KERNEL=="eth*", NAME="eth0"

Understand Network Management with Wicked

Features of Wicked

解析 SUSE 和 RedHat 風格的 /etc/sysconfig/network 檔案
使用 XML 表示網路介面配置
啟動和關閉「 normal (普通) 」網路介面
支援無線網路，但功能尚未完整且僅限於一個網路
具備內建的 DHCPv4 和 DHCPv6 客戶端
實驗性功能：當偵測到連接時，自動啟動介面
XML reader/writer implementation。

Start Networking

Wicked service daemons:
- wicked.service – Interface management
- wickedd.service – Network management
Enable wicked
- systemctl enable --force wicked.service
Start server process
- systemctl start wickedd.service
Bringing up the network
- systemctl start wicked.service
- systemctl start network.service

這些命令使用的是 /etc/wicked/client.xml 中定義的默認或系統配置源。

要啟用除錯，請在 /etc/sysconfig/network/config 中設置 WICKED_DEBUG_PARAM（這可能會在未來更改），例如： WICKED_DEBUG_PARAM="--debug most"

Display Interface Information

Standard output:
- wicked show all
- wicked show <interface>
XML output:
- wicked show-xml all
- wicked show-xml <interface>

範例 :

~> wicked show eth0

螢幕輸出 :

eth0 up
link: #2, state up, mtu 1500
type: ethernet, hwaddr 00:0c:29:0e:56:be
config: compat:suse:/etc/sysconfig/network/ifcfg-eth0
leases: ipv4 static granted
addr: ipv4 192.168.61.60/24 [static]
route: ipv4 default via 192.168.61.2 proto boot

Manage Interfaces

Bring up one interface:
- wicked ifup <interface>
- wicked ifup --ifconfig <xmlfile> <interface>
Bring down one interface:
- wicked ifdown <interface>
- wicked ifdown --delete --ifconfig <xmlfile> <interface>

設定的來源包括：

firmware：iSCSI Boot Firmware Table（iBFT）
compat：ifcfg 檔案（為兼容性實現）
wicked：存儲在 path 下的本地 wicked XML 配置格式（預設值：/etc/wicked/ifconfig）

對於給定介面，wicked 從這些來源獲得的配置會被應用。重要性的預期順序是 firmware，然後是 compat，最後是 wicked（這在未來可能會更改，當 ifcfg 兼容性要求放寬時）。

可以在 /usr/share/doc/packages/wicked/samples/ 下找到示例配置文件（例如，用於 VLAN 介面）。

使用 wicked，不需要實際關閉介面才能重新配置它（除非內核需要）。例如，為了向靜態配置的網路介面添加另一個 IP 地址或路由，請將 IP 地址添加到介面定義中，然後再執行另一個 “ifup” 操作。服務器會盡力僅更新已更改的設置，這適用於鏈路級選項，例如設備 MTU 或 MAC 地址，以及網絡層設置，例如地址、路由，甚至是地址配置模式（例如從靜態配置移動到 DHCP）。

Understand firewalld

Overview of firewalld

SLE 15 提供 firewalld 作為軟體防火牆。
firewalld 是一個 systemd 背景程序
在 SLE 安裝期間，防火牆默認啟用
默認情況下，防火牆鎖定系統
這是一個安全的起點
接受 icmp 封包，並拒絕所有其他類型的封包
可以使用以下方式管理防火牆：
命令行工具
GUI 介面

Firewall Terms

A zone file can contain several components:

Zone (區域)

定義網路連接的信任級別

Target (目標)

當一個區域處理封包且沒有明確處理封包的規則時，目標決定了行為

Interface (介面)

系統上的網路介面，例如 eth0

Source (來源)

封包來自哪裡，可以包括 IP、IP 網路或 MAC 地址。

Services (服務)

服務簡化了防火牆的配置，它指定了一個服務的信息，如 port (端口) 和 protocol information (協議信息)，然後可以使用一個名稱來引用。

Packet (封包)

在網路上傳輸的信息單元。

網路區域定義了網路連線的信任等級，一個連線只能屬於一個區域，但一個區域可以用於多個網路連線。

介面是系統中的網路介面，例如 eth0。一個介面只能與一個區域相關聯。

防火牆提供了許多預定義的服務，也可以建立自訂服務，使用服務可以為服務指定有意義的名稱，並指定服務的端口和通訊協定，以簡化防火牆的配置，也可以透過指定端口和通訊協定達到相同的配置效果。

Running configuration

“Running configuration” 是目前啟用的防火牆配置，可以在不重新啟動防火牆的情況下進行更改。

如果更改不被儲存到永久配置，則在防火牆重新啟動時這些更改將會丟失。

Permanent configuration

“Permanent configuration” 在防火牆啟動或重新加載時被讀取，並且保存在硬盤上，可以在系統重新啟動後恢復。

注意。運行中的配置和永久配置可以是不同的

預設情況下，更改防火牆設定時會更新目前正在運行的設定，當防火牆重新啟動時，設定將回到永久設置。

更改運行中的設定允許測試新的設定，測試完運行中的設定後，可以將其輕鬆移至永久設定。

請注意，有些選項可能僅作為永久配置提供。

Zones

防火牆具有層級結構，頂層是「Zone (區域)」，區域用於定義網路連線的信任等級。

區域可以是「 Active 啟用的」和「 Not active 未啟用的」

啟用的區域可以處理網路封包
未啟用的區域則不處理任何封包。

防火牆提供幾個預先設定的區域：

block，封鎖所有網路連線，不允許任何傳入或傳出的網路流量。
dmz，用於網路中繼區（DMZ）的設置，此區允許一些流量進入網路，但仍有限制。
drop，當網路流量進入此區時，將其直接丟棄，不發送任何回應。
external，用於 Internet 的區域，此區設置為較安全的預設配置。
home，針對住宅用戶的區域，此區允許某些網路流量，例如 Web 瀏覽和電子郵件。
internal，用於內部網路的區域，此區將允許所有內部網路設備之間的流量，但限制從外部發起的流量。
public，用於公共場所的區域，此區將允許特定的網路流量，例如 Web 瀏覽和電子郵件。
trusted，用於信任的區域，此區允許從另一個信任的區域發起的流量進入網路。
work，用於工作環境的區域，此區允許特定的網路流量，例如 VPN 和電子郵件。

Zone Configuration Files

防火牆區域的設定以 XML 格式儲存
設定檔位置在 /etc/firewalld/zones/
檔案位置：
- /usr/lib/firewalld/zones ，存放預設和備用的設定檔
- /etc/firewalld/zones ，用於儲存使用者自行建立和客製化的設定檔

例如客製化的區域檔案 :

cat /etc/firewalld/zones/public.xml

螢幕輸出 :

<?xml version="1.0" encoding="utf-8"?>
<zone>
<short>Public</short>
<description>For use in public areas. You do not trust the other \
computers on networks to not harm your computer. Only selected \
incoming connections are accepted.</description>
<interface name="eth0"/>
<service name="dhcpv6-client"/>
</zone>

當在/usr/lib/firewalld/zones中的設定檔被第一次修改時，它會被複製到/etc/firewalld/zones，並包含任何的修改。
所有的修改都會在/etc/firewalld/zones中的設定檔中進行。

Antony 筆記：技術原理與實務經驗 – SUSE

Permanently Disable SELinux on SLE Micro

修改 SELinux 設定檔

永久修改

重新開機

設定開機選單

Step1: 在開機選單的 SLE Micro 5.4 按 e 編輯

Step2: 將 selinux=0 加到 linux 開頭那行的最後面

Step3: 按 Ctrl + x 繼續開機

SUSE Manager 將檔案部署到所有 Client 上

Step1: 建立 Config Channel

Step2: 將檔案上傳至 SUSE Manager

Step3: 將各系統加入 System Set Manager (SSM)

Step4: 設定有加入 SSM 的主機都訂閱 Configuration Channels

Step5: 將檔案部署至各台 Client 主機上

Step6: 確認檔案是否已在各 Client 主機部署成功

SUSE Edge Image Builder 介紹與實作

Preface

甚麼是 Edge Image Builder (EIB)?

建立 Customized, Ready-to-Boot Disk Images

0. 實作目標

1. 要使用 EIB 建立 CRB Disk Image，需要三樣東西：

2. 先決條件

3. 下載 EIB Container Image

4. 建立 CRB Disk Image 設定目錄

5. 建立描述 CRB Disk Image 的定義檔

5.1. 設定 Operating System

5.1.1. 設定 OS Users

5.1.2. 編輯定義檔

5.2. 設定 Kubernetes cluster 和 Rancher

5.2.1. 編輯 RKE2 叢集設定檔

5.2.2. 編輯定義檔

5.2.3. 建立 Rancher Helm values 檔:

5.2.4. 設定 rancher namespace:

5.2.4. 設定 rke2-nginx controller:

5.2.5. 設定 cilium:

5.2.6. 設定 CoreDNS:

5.2.7. 建立 Web Service

6. 設定網路

7. Building the CRB Disk Image

8. 設定 VM 透過 CRB Disk Image 開機

9. 故障排除

在 OS 安裝階段出現問題

在開機引導畫面加入參數

若是 GRUB 畫面（常見於 EFI 系統）：

參數說明：

Install NVIDIA GPU Operator on SL Micro

1. NVIDIA GPU Operator 簡介

1.1. NVIDIA GPU Operator 是什麼？

1.2. NVIDIA GPU Operator 如何運作？

1.3. 使用 NVIDIA GPU Operator 的優點

2. 開始實作

2.1. 實作環境

2.2. 手動安裝 Nvidia GPU Driver

2.3. 安裝 NVIDIA GPU Operator

參考文件

全離線安裝 SUSE Manager Server 4.3

Preface

1. 架構說明

2. 安裝與設定 Http Proxy Server

3. 安裝與設定 SUSE Manager Server

3.1. 安裝要求

Hardware

Operating System

3.2. 開始安裝 SUSE Manager Server

3.3. 設定 Http Proxy 與註冊 SUSE Manager Server

3.4 設定 SUSE Manager Server

3.5. 設定 SUSE Manager Server 管理員帳號

3.6. 將 SUSE Manager Server 更新至最新版 4.3.10

3.7. 從 SUSE Custom Center 同步 Products

4. 使用自簽憑證

4.1 Create a new CA and Server Certificates

4.2. Replace Certificates

5. Retrying to Set up SUSE Manager (可選)

6. 參考資料

安裝 SUSE Manager 5.0

1. 安裝要求

1.1. 硬體要求

1.2. 網路要求

1.3. 所需網路連接埠

Step1: 在開機選單的 SLE Micro 5.4 按 `e` 編輯

Step2: 將 `selinux=0` 加到 `linux` 開頭那行的最後面

2.5.2.檢視下載其他 Channel 的 log 資訊

2.6.3. `mgr-sync` log 檔案所在的位置

2. Start install NVIDIA GPU Driver, `nvidia-compute-utils` and `nvidia-container-toolkit`