Antony 筆記：技術原理與實務經驗 – Container

在 Alpine Linux 上修復 Gemini CLI Segfault

Mon, 04 May 2026 10:10:44 +0800

環境:Alpine Linux 3.23、x86_64、Node.js(apk 套件版) 症狀:Gemini CLI 在互動模式下 thinking 後直接退出,看似當機卻沒錯誤訊息解法:11 行 C code 的 LD_PRELOAD shim,補上 musl 缺少的 2 個 glibc 符號

TL;DR(只想看解法的請從這裡開始)

如果你已經確認是同樣問題,直接跳到完整修復步驟。

如果想了解問題定位過程,請從症狀開始讀。

症狀

在 Alpine Linux 上用 apk add nodejs npm 裝好 Node 後,用 npm 安裝 Gemini CLI:

npm install -g @google/gemini-cli

啟動互動模式並嘗試讓 Gemini 執行 shell 指令:

gemini

輸入任何會觸發 shell tool 的 prompt,例如:

請執行 shell 指令: openspec new change test

Gemini 顯示「Thinking…」幾秒後,直接退回 shell prompt,沒有任何錯誤訊息。

更詭異的:

gemini -p "echo hello"(headless 模式)不會 crash,但會出現 Tool "run_shell_command" not found 警告
互動模式才 crash,且每次都 crash

除錯過程

Step 1:啟用 core dump

Gemini crash 時什麼錯誤訊息都沒有,所以第一步是讓系統在 crash 時把記憶體狀態完整保存下來,後續才能分析。

# 允許 core dump 沒有大小限制
ulimit -c unlimited

# 設定 core dump 寫到 /tmp,檔名包含程序名跟 PID
sudo sysctl -w kernel.core_pattern=/tmp/core.%e.%p

注意:ulimit -c 只在當前 shell 有效。如果開新 terminal 要重設一次。

Step 2:重現 crash 並確認 core dump 有產生

gemini

進去後輸入會觸發 crash 的 prompt(任何要跑 shell 的都行):

請執行 shell 指令: ls

等它 thinking 後直接退出,然後檢查:

$ ls -la /tmp/core.* 2>/dev/null
-rw------- 1 bigred bigred 877506560 May 4 17:22 /tmp/core.MainThread.12320

看到一個 877 MB 的 core dump,程序名為 MainThread(Node.js 22+ 對 main thread 的命名)。

這個 core dump 確認了兩件事:

Crash 是真的 SIGSEGV(系統有寫 core dump,代表是異常終止)
記憶體用量正常(877 MB 對 Node 程式不算大,排除記憶體不足)

Step 3:從 core dump 找出載入的 native modules

.node 檔案是 Node.js 的 native binding(C++ 編譯的模組)。crash 多半發生在這類模組,所以先列出 crash 當下載入了哪些:

$ readelf -n /tmp/core.MainThread.12320 2>/dev/null | grep "\.node$"
.../node_modules/@github/keytar/build/Release/keytar.node
.../node_modules/@lydell/node-pty-linux-x64/pty.node

兩個嫌疑犯:

keytar.node(處理系統 keychain)
pty.node(處理 PTY,讓 Gemini 能跑 shell 指令)

Step 4:檢查 .node 檔案的符號解析

$ ldd /opt/node-musl/lib/node_modules/@google/gemini-cli/node_modules/@github/keytar/build/Release/keytar.node
 /lib/ld-musl-x86_64.so.1 (0x7feffb852000)
 libsecret-1.so.0 => /usr/lib/libsecret-1.so.0
 libglib-2.0.so.0 => /usr/lib/libglib-2.0.so.0
 ...
 # 沒有 "symbol not found" → keytar 沒問題

$ ldd /opt/node-musl/lib/node_modules/@google/gemini-cli/node_modules/@lydell/node-pty-linux-x64/pty.node
 /lib/ld-musl-x86_64.so.1 (0x7fd30e512000)
 libutil.so.1 => /lib/ld-musl-x86_64.so.1
 ...
Error relocating .../pty.node: napi_call_threadsafe_function: symbol not found
Error relocating .../pty.node: napi_get_cb_info: symbol not found
Error relocating .../pty.node: napi_create_object: symbol not found
Error relocating .../pty.node: __asprintf_chk: symbol not found
Error relocating .../pty.node: fcntl64: symbol not found
... (40+ 個 symbol not found)

找到嫌疑犯:pty.node 有 40 多個 symbol 解析失敗。

Step 5:辨識真正的「致命」符號

過濾掉 N-API 相關的(那些是 ldd 假警報,實際 dlopen 時會從 node binary 解析):

$ ldd .../pty.node 2>&1 | grep "symbol not found" | grep -v napi_
__asprintf_chk
fcntl64

只缺這兩個 glibc 符號:

__asprintf_chk:glibc _FORTIFY_SOURCE 提供的硬化版 asprintf
fcntl64:glibc 32-bit 系統用的 64-bit file offset 版 fcntl(x86_64 上等同 fcntl)

兩者 musl libc 都沒提供。

Step 6:確認 gcompat 也沒提供這兩個符號

$ sudo apk info gcompat | head -3
gcompat-1.1.0-r4 description:
GNU C Library compatibility layer for musl

$ nm -D /usr/lib/libgcompat.so.0 | grep -E "asprintf|fcntl"
# (空)

連最新版 gcompat(已是最新 1.1.0-r4)都沒實作這兩個。

Step 7:確認 N-API 那 40 多個是假警報

驗證 Node binary 真的有 export N-API 符號:

$ nm -D /opt/node-musl/bin/node | grep napi_call_threadsafe_function
0000000000d24590 T napi_call_threadsafe_function

Node binary 確實 export 了 N-API 符號(T 代表 exported)。

ldd 顯示 napi_* not found 的原因是:.node 檔案不是設計來直接執行的,ldd 的 NEEDED libraries 列表裡沒有 node binary,所以找不到 N-API 符號。真正執行時是 dlopen 從 node main process 動態解析,不會出問題。

根因分析

用一個比喻說明

想像 Linux 系統就像一個工具箱出租店,租客(程式)上門時可以借各種工具來完成工作。

不同 Linux 發行版的工具箱規格不同:

Ubuntu / Debian / RHEL 用「glibc 工具箱」—— 工具齊全、型號繁多、體積大
Alpine 用「musl 工具箱」—— 精簡輕量、只放最常用的工具

Gemini CLI 裡有一個關鍵零件叫 pty.node(讓它能控制終端機),這個零件原本是給 Ubuntu 的 glibc 工具箱用的,它預期能借到 42 種特定工具:

其中 40 種(N-API 工具)是「Gemini 自己帶來的」—— 不是跟工具箱借,所以沒問題 ✓
剩下 2 種(__asprintf_chk、fcntl64)只有 glibc 工具箱才有,Alpine 的 musl 工具箱沒放這兩個 ✗
連 Alpine 的「相容套件箱」(gcompat,號稱能模擬 glibc)也沒提供這兩個 ✗

結果:pty.node 載入到一半發現借不到工具,而 Gemini 對這個錯誤沒有處理好,整個程式直接當機(SIGSEGV)。

我們的修復就是自己做一個小工具盒(11 行 C code 的 shim),補上這兩個 musl 沒有的工具,讓 pty.node 能正常載入。

關鍵概念對照表

我用的詞	實際技術名詞	簡單解釋
工具箱	C 標準函式庫(libc)	Linux 系統最底層的函式庫,所有程式都會用到
glibc 工具箱	glibc(GNU C Library)	Ubuntu / Debian / RHEL 等主流發行版用的 libc,功能多
musl 工具箱	musl libc	Alpine 用的 libc,功能精簡、體積小
相容套件箱	gcompat	Alpine 提供的 glibc 相容層,但實作不完整
工具	動態連結符號(symbol)	程式執行時需要從 libc 借用的函式名稱
關鍵零件	native binding(`.node` 檔)	用 C++ 編譯的 Node 模組,直接跟系統打交道
自製小工具盒	LD_PRELOAD shim	在程式啟動前先載入,補上缺失的函式

為什麼 headless 模式不會 crash,互動模式才會?

因為只有互動模式才會打開終端機。

互動模式:Gemini 要給你聊天介面、要能執行 shell 指令、要能即時顯示輸出 → 必須載入 pty.node → 借不到工具 → 當機
Headless 模式(gemini -p "..."):純文字進、純文字出,不需要終端機 → 完全不載入 pty.node → 沒事

這也解釋了為什麼之前那麼難找原因:headless 跟互動只差一個小開關,但內部走的路徑天差地別。

那 N-API 那 40 個錯誤訊息是什麼?

那是 ldd 工具的「假警報」。

ldd 是設計來檢查「直接執行的程式」會借哪些工具,但 pty.node 不是直接執行,而是被 Node 用另一種機制(dlopen)動態載入。Node 載入時會把 N-API 那 40 個工具直接遞給 pty.node,所以實際上不會缺。

但 ldd 不知道有這層機制,看到 pty.node 沒明確標註「這 40 個工具會跟 Node 借」,就誤報成「缺 40 個符號」。

所以實際上只缺 2 個 glibc 符號,不是 42 個。這也是為什麼修復這麼簡單——只要補 2 個就好。

完整修復步驟

整個流程約 10 分鐘。

前置:確認你的環境符合條件

$ cat /etc/alpine-release
3.23.3

$ uname -m
x86_64

# 確認你的 Node 是 musl 編譯
$ ldd $(which node) | head -1
 /lib/ld-musl-x86_64.so.1 (...)

如果你不是 Alpine,或不是 musl Node,這篇修復可能不適用。

Step 1:換一個 Node.js binary(可選但推薦)

Alpine 的 apk add nodejs 是 Node 24,這個版本對某些 N-API 套件相容性差。換成 unofficial-builds 的 Node 22 LTS musl prebuild:

# 下載
NODE_VERSION=v22.11.0
cd /tmp
wget https://unofficial-builds.nodejs.org/download/release/${NODE_VERSION}/node-${NODE_VERSION}-linux-x64-musl.tar.xz

# 解壓到 /opt
sudo mkdir -p /opt/node-musl
sudo tar -xJf node-${NODE_VERSION}-linux-x64-musl.tar.xz -C /opt/node-musl --strip-components=1

# 確認 libstdc++ 已裝(unofficial musl Node 需要這個)
sudo apk add libstdc++

# 切到新 Node
export PATH=/opt/node-musl/bin:$PATH

# 永久化
echo 'export PATH=/opt/node-musl/bin:$PATH' >> ~/.bashrc

驗證:

$ which node
/opt/node-musl/bin/node

$ node --version
v22.11.0

$ node -e "console.log('N-API:', process.versions.napi)"
N-API: 9

Step 2:用新 Node 安裝 Gemini CLI

/opt/node-musl/bin/npm install -g @google/gemini-cli

預期輸出:

added 86 packages in 21s

Step 3:確認 pty.node 缺哪些符號

ldd /opt/node-musl/lib/node_modules/@google/gemini-cli/node_modules/@lydell/node-pty-linux-x64/pty.node 2>&1 \
 | grep "symbol not found" \
 | grep -v napi_

預期輸出(只有兩個):

Error relocating .../pty.node: __asprintf_chk: symbol not found
Error relocating .../pty.node: fcntl64: symbol not found

如果你看到的不只這兩個,代表你的環境跟我不同,後續 shim 可能要再加幾個函式。

Step 4:安裝 build toolchain

sudo apk add build-base

預期看到:

(1/3) Installing fortify-headers (...)
(2/3) Installing patch (...)
(3/3) Installing build-base (...)

Step 5:撰寫並編譯 LD_PRELOAD shim

建立 shim 目錄:

sudo mkdir -p /opt/glibc-shim

寫 shim 程式:

sudo tee /opt/glibc-shim/shim.c > /dev/null <<'EOF'
#define _GNU_SOURCE
#include <stdio.h>
#include <stdarg.h>
#include <stdlib.h>
#include <fcntl.h>

/*
 * __asprintf_chk: glibc _FORTIFY_SOURCE 提供的 hardened asprintf
 * musl 沒有對應實作,直接 forward 到 vasprintf
 * (功能等價,只是不做 buffer overflow check,對 PTY 操作沒影響)
 */
int __asprintf_chk(char **strp, int flag, const char *fmt, ...) {
 va_list ap;
 int ret;
 va_start(ap, fmt);
 ret = vasprintf(strp, fmt, ap);
 va_end(ap);
 return ret;
}

/*
 * fcntl64: glibc 32-bit 系統用的 64-bit file offset 版 fcntl
 * x86_64 上 fcntl 行為等同 fcntl64,musl 只提供 fcntl
 */
int fcntl64(int fd, int cmd, ...) {
 va_list ap;
 void *arg;
 va_start(ap, cmd);
 arg = va_arg(ap, void *);
 va_end(ap);
 return fcntl(fd, cmd, arg);
}
EOF

編譯:

sudo gcc -shared -fPIC -O2 \
 -o /opt/glibc-shim/libglibc-shim.so \
 /opt/glibc-shim/shim.c

驗證 shim 提供了正確符號:

$ nm -D /opt/glibc-shim/libglibc-shim.so | grep -E "asprintf_chk|fcntl64"
0000000000001160 T __asprintf_chk
0000000000001210 T fcntl64

驗證 LD_PRELOAD 後 pty.node 不再缺符號:

$ LD_PRELOAD=/opt/glibc-shim/libglibc-shim.so \
 ldd /opt/node-musl/lib/node_modules/@google/gemini-cli/node_modules/@lydell/node-pty-linux-x64/pty.node 2>&1 \
 | grep "symbol not found" | grep -v napi_
# (空白,代表所有非 napi 符號都解決了)

Step 6:用 wrapper script 永久化 LD_PRELOAD

不要每次都手打 LD_PRELOAD=...。把原本的 gemini symlink 換成一個 wrapper:

# 備份原本的 symlink
sudo mv /opt/node-musl/bin/gemini /opt/node-musl/bin/gemini.real

# 寫 wrapper
sudo tee /opt/node-musl/bin/gemini > /dev/null <<'EOF'
#!/bin/sh
# Gemini CLI launcher with glibc shim for Alpine/musl
# Required because @lydell/node-pty-linux-x64/pty.node references
# glibc-only symbols (__asprintf_chk, fcntl64) that musl/gcompat lacks.
export LD_PRELOAD=/opt/glibc-shim/libglibc-shim.so
exec /opt/node-musl/bin/node \
 /opt/node-musl/lib/node_modules/@google/gemini-cli/bundle/gemini.js "$@"
EOF
sudo chmod +x /opt/node-musl/bin/gemini

Step 7:驗證修復

gemini --version

進互動模式測試:

gemini

進 Gemini CLI 後,輸入會觸發 shell 的 prompt:

請執行 shell 指令: ls

預期看到 Gemini 真的執行 ls 並回傳結果,而不是 thinking 後 crash 退出。

結果驗證範例

實際執行 Gemini 互動模式的成功輸出:

> 請執行 shell 指令: openspec new change test-with-shim
Creating New OpenSpec Change: Executing the requested openspec command.
✓ Shell openspec new change test-with-shim
✔ Created change 'test-with-shim' at openspec/changes/test-with-shim/
✓ ReadFolder openspec/changes/test-with-shim/ → Found 1 item(s).
✓ ReadFile openspec/.../.openspec.yaml
✓ Shell which openspec
/opt/node-musl/bin/openspec
✦ 已成功執行指令 openspec new change test-with-shim。

已知限制

Headless 模式仍有問題

gemini -p "..." 在 headless 模式下,即使套用此 shim,仍會看到:

Error executing tool run_shell_command: Tool "run_shell_command" not found.

這是不同問題,跟 musl/segfault 無關。Gemini CLI 在 headless 模式刻意限制工具白名單(見 Gemini CLI Issue #5382)。

workaround:用互動模式即可,本修復解決的就是互動模式問題。

Node 版本選擇

本文用 Node 22.11.0。理論上 Node 20.x 也可以(都有 unofficial musl prebuild)。Node 24 沒實測過,如果你想用 Node 24,記得驗證 N-API 9+ 支援。

Gemini CLI 升級後可能要重做

每次 npm install -g @google/gemini-cli@latest 後,如果 Gemini 換了 PTY 的相依套件,可能需要重新檢查缺失符號清單(回到 Step 3),補進 shim.c 重編。

參考資料

致謝

整個除錯過程靠 strace、core dump、ldd、readelf、nm 一步步收斂問題範圍,從「Gemini 莫名 crash」收斂到「2 個 glibc 符號缺失」。最終解法只有 11 行 C code,但沒有前面的系統性除錯,做不出來。

工程除錯的價值不在解法本身,而在「定位問題的能力」。

Docker Mail Server 完整部署指南

Tue, 31 Mar 2026 10:01:38 +0800

前置條件

開始部署前，請確認以下環境條件皆已滿足。

基礎架構

項目	需求	說明
DNS Server	必須	內網需有可控的 DNS Server（如 BIND），用於新增 MX / SPF / DKIM / DMARC 等 TXT Record。本文以 `nsupdate` 動態更新為例
DNS MX Record	必須	域名的 MX 記錄需指向 Mail Server（例如 `kubeantony.com. MX 10 mx1.kubeantony.com.`）
DNS A Record	必須	Mail Server 主機名需有對應的 A 記錄（例如 `mx1.kubeantony.com. A 192.168.11.3`）
固定 IP	建議	Mail Server 應使用固定 IP，避免 DNS 記錄失效

Mail Server 主機

項目	需求	說明
作業系統	Linux（Debian/Ubuntu/RHEL/Rocky 等）	需支援 Podman 4.4+
Podman	4.4 以上	需支援 Quadlet（`.kube` 單元檔）。確認版本：`podman --version`
Git	必須	用於下載 mkcert 憑證工具
OpenSSL	必須	用於產生自簽憑證及驗證 TLS。確認版本：`openssl version`
systemd	必須	Quadlet 依賴 systemd generator 產生 service

網路 Port

Mail Server 需開放以下 Port（使用 hostNetwork 模式會直接綁定主機 Port）：

Port	協定	服務	說明
25	TCP	SMTP	接收外部郵件
465	TCP	SMTPS	SMTP over TLS（隱式 TLS）
587	TCP	Submission	SMTP 寄信（STARTTLS + 認證）
993	TCP	IMAPS	IMAP over TLS（收信）
995	TCP	POP3S	POP3 over TLS（收信）
11334	TCP	Rspamd Web UI	Rspamd 管理介面（HTTP）

測試機器

項目	需求	說明
同網段的其他機器	必須	測試寄信步驟需在內網其他機器執行（不是 Mail Server 本機）
s-nail 或 msmtp	建議	用於 SMTP 寄信測試。步驟十一會說明安裝方式
dig	建議	用於驗證 DNS Record。安裝：`apt install dnsutils` 或 `apk add bind-tools`

快速檢查腳本

在 Mail Server 主機上執行，一次確認所有前置條件：

cat << 'SCRIPT' | sudo tee /usr/local/bin/check-mail-prereqs.sh
#!/bin/bash
# Mail Server 前置條件檢查腳本
# 用法：bash check-mail-prereqs.sh <DNS_IP>

DNS_IP="${1:?用法: bash $0 <DNS_IP>}"

R='\033[31m'
G='\033[32m'
N='\033[0m'
P=0
F=0

c(){
 local label="$1"
 local cmd="$2"
 if eval "$cmd" >/dev/null 2>&1; then
 echo -e " [${G}PASS${N}] ${label}"
 ((P++))
 else
 echo -e " [${R}FAIL${N}] ${label}"
 ((F++))
 fi
}

# 檢查 Port 是否被非 mail 服務佔用
# 排除 master (Postfix)、dovecot、rspamd — Container 內的 mail 服務屬正常
check_port(){
 local port="$1"
 ! ss -tlnp 2>/dev/null | grep -E ":${port}\b" | grep -Eqv 'master|dovecot|rspamd'
}

echo "===== Mail Server 前置條件檢查 ====="

PODMAN_MAJOR=$(podman --version 2>/dev/null | awk '{print $3}' | cut -d. -f1)
c "Podman >= 4.4" "test ${PODMAN_MAJOR:-0} -ge 4"
c "Quadlet generator" "test -f /usr/libexec/podman/quadlet"
c "OpenSSL" "openssl version"
c "Git" "git --version"
c "systemd" "systemctl is-system-running | grep -qE 'running|degraded'"
c "Port 25 未被其他服務佔用" "check_port 25"
c "Port 465 未被其他服務佔用" "check_port 465"
c "Port 587 未被其他服務佔用" "check_port 587"
c "Port 993 未被其他服務佔用" "check_port 993"
c "Port 995 未被其他服務佔用" "check_port 995"
c "Port 11334 未被其他服務佔用" "check_port 11334"
c "DNS Server ${DNS_IP}" "dig @${DNS_IP} google.com +short +time=3"

echo "===== ${P} 通過 / ${F} 失敗 ====="
SCRIPT

sudo chmod +x /usr/local/bin/check-mail-prereqs.sh

執行檢查（帶入 DNS Server IP）：

sudo bash /usr/local/bin/check-mail-prereqs.sh 192.168.11.2 # ← 根據環境修改

注意： Port 檢查會排除 Postfix（master）、Dovecot、Rspamd，因為使用 hostNetwork 模式時 Container 內的服務會直接綁定主機 Port，這是正常的。檢查目的是確認沒有其他非 Mail Server 的服務佔用這些 Port。如果 Mail Server 尚未啟動，所有 Port 檢查應顯示 PASS。

環境變數速查表

後續每個步驟的開頭都會列出該步驟所需的環境變數，請根據你的環境修改後再執行。

變數	範例值	說明
`DN`	`kubeantony.com`	郵件域名
`MAIL_HOST`	`mx1`	郵件主機名稱前綴
`MAIL_FQDN`	`mx1.kubeantony.com`	郵件主機 FQDN
`MAIL_IP`	`192.168.11.3`	Mail Server IP
`DNS_IP`	`192.168.11.2`	內網 DNS Server IP
`MY_NETWORKS`	`127.0.0.0/8,192.168.11.0/24`	允許 relay 的網段
`NET_IF`	`ens18`	Mail Server 網路介面名稱
`POSTMASTER`	`bigred`	Postmaster 帳號名稱
`RSPAMD_PW`	`$2$zmnrfh...`	Rspamd Web UI 密碼 hash

一、建立 Container Image

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名

1.1 建立 Dockerfile

sudo mkdir -p /opt/zfs/images/dkmail-rspamd

cat << 'EOF' | sudo tee /opt/zfs/images/dkmail-rspamd/Dockerfile
FROM docker.io/mailserver/docker-mailserver
ARG DN=""
ENV OVERRIDE_HOSTNAME="mx1.${DN}" \
 DMS_DEBUG="1" \
 POSTMASTER_ADDRESS="bigred@${DN}" \
 ENABLE_RSPAMD="1" \
 ENABLE_OPENDKIM="0" \
 ENABLE_OPENDMARC="0" \
 ENABLE_POLICYD_SPF="0" \
 ENABLE_AMAVIS="0" \
 ENABLE_SPAMASSASSIN="0" \
 ENABLE_IMAP="1" \
 ENABLE_POP3="1"
RUN apt-get update && apt-get install -y net-tools curl wget nano && \
 setup email add bigred@${DN} bigred && \
 setup email add rbean@${DN} rbean && \
 setup email add gbean@${DN} gbean && \
 touch /tmp/docker-mailserver/postfix-main.cf
EOF

1.2 Build 映像檔

sudo podman build \
 --build-arg DN="${DN}" \
 --format docker \
 --no-cache \
 -t dkmail.rspamd \
 /opt/zfs/images/dkmail-rspamd/

1.3 標記映像檔（Kubernetes YAML 需要 localhost 前綴）

sudo podman tag dkmail.rspamd localhost/dkmail.rspamd:latest

二、產生自簽 TLS 憑證

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export MAIL_HOST="mx1" # 郵件主機名稱前綴
export MAIL_FQDN="${MAIL_HOST}.${DN}" # 郵件主機 FQDN（自動組合）

2.1 下載 mkcert 工具

cd /opt
sudo git clone https://github.com/braveantony/mkcert.git
sudo chmod +x /opt/mkcert/certctl

2.2 編輯設定檔

cat << EOF | sudo tee /opt/mkcert/config
# CA 相關設定
CA_KEY="ca.key"
CA_CRT="ca.crt"
CA_DAYS=3650
CA_SUBJ="/C=TW/ST=Taipei/L=Taipei/O=${DN}/OU=Mail/CN=${DN} Root CA"

# Server 相關設定
DOMAIN_NAME="${DN}"
SERVER_KEY="\${DOMAIN_NAME}.key"
SERVER_CSR="\${DOMAIN_NAME}.csr"
SERVER_CRT="\${DOMAIN_NAME}.crt"
SERVER_DAYS=3650
SERVER_SUBJ="/C=TW/ST=Taipei/L=Taipei/O=${DN}/OU=Mail/CN=${MAIL_FQDN}"
V3_EXT="v3.ext"

ALT_NAMES=(
 "DNS.1=*.\${DOMAIN_NAME}"
 "DNS.2=\${DOMAIN_NAME}"
 "DNS.3=${MAIL_FQDN}"
)
EOF

2.3 產生憑證

sudo /opt/mkcert/certctl

2.4 確認產生結果

ls -l /opt/mkcert/${DN}/

預期輸出：

ca.crt # CA 根憑證
ca.key # CA 私鑰
<DN>.crt # 伺服器憑證
<DN>.key # 伺服器私鑰

三、部署 TLS 憑證與設定檔

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export MY_NETWORKS="127.0.0.0/8,192.168.11.0/24" # 允許 relay 的網段
export RSPAMD_PW='$2$zmnrfhkhbr9sb411b8eykyxgs1do4jeg$3fjncbo78qfsymbzu7nhfi35inhwezqh313trc7if4ie3d6sj1fy' # Rspamd Web UI 密碼 hash

3.1 建立目錄結構

sudo mkdir -p \
 /opt/zfs/dkmail/data \
 /opt/zfs/dkmail/conf/ssl \
 /opt/zfs/dkmail/conf/rspamd/override.d

3.2 複製憑證

sudo cp /opt/mkcert/${DN}/${DN}.key /opt/zfs/dkmail/conf/ssl/

sudo bash -c "cat \
 /opt/mkcert/${DN}/${DN}.crt \
 /opt/mkcert/${DN}/ca.crt \
 > /opt/zfs/dkmail/conf/ssl/fullchain.pem"

sudo chmod 644 /opt/zfs/dkmail/conf/ssl/fullchain.pem
sudo chmod 600 /opt/zfs/dkmail/conf/ssl/${DN}.key

3.3 Rspamd 設定

cat << 'EOF' | sudo tee /opt/zfs/dkmail/conf/rspamd/override.d/options.inc
local_networks = ["127.0.0.1/8"];
EOF

cat << EOF | sudo tee /opt/zfs/dkmail/conf/rspamd/override.d/worker-controller.inc
password = ${RSPAMD_PW}
EOF

cat << 'EOF' | sudo tee /opt/zfs/dkmail/conf/rspamd/override.d/hfilter.conf
enabled = false;
EOF

3.4 Postfix 額外設定

重要： docker-mailserver 透過 SSL_TYPE=manual 環境變數會自動設定 Postfix TLS（smtpd_tls_chain_files）、 Dovecot TLS、以及 SASL 認證 socket。postfix-main.cf 只需放 docker-mailserver 沒有自動處理的額外設定，不可手動設定 smtpd_tls_cert_file / smtpd_tls_key_file，否則會與 smtpd_tls_chain_files 衝突。

cat << EOF | sudo tee /opt/zfs/dkmail/conf/postfix-main.cf
# Relay 設定（允許內網寄信）
mynetworks = ${MY_NETWORKS}

# 寄出郵件啟用 TLS
smtp_tls_security_level = may
smtp_tls_protocols = !SSLv2,!SSLv3,!TLSv1,!TLSv1.1
EOF

四、建立 Kubernetes YAML

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export MAIL_HOST="mx1" # 郵件主機名稱前綴
export MAIL_FQDN="${MAIL_HOST}.${DN}" # 郵件主機 FQDN（自動組合）
export DNS_IP="192.168.11.2" # 內網 DNS Server IP
export NET_IF="ens18" # Mail Server 網路介面名稱

cat << EOF | sudo tee /etc/containers/systemd/dkmail.yaml
apiVersion: v1
kind: Pod
metadata:
 name: dkmail
 labels:
 app: dkmail
spec:
 hostname: ${MAIL_FQDN}
 hostNetwork: true
 dnsConfig:
 nameservers:
 - ${DNS_IP}
 searches:
 - ${DN}
 containers:
 - name: dkmail
 image: localhost/dkmail.rspamd:latest
 env:
 - name: NETWORK_INTERFACE
 value: "${NET_IF}"
 - name: SSL_TYPE
 value: "manual"
 - name: SSL_CERT_PATH
 value: "/etc/ssl/mail/fullchain.pem"
 - name: SSL_KEY_PATH
 value: "/etc/ssl/mail/${DN}.key"
 volumeMounts:
 - name: mail-data
 mountPath: /var/mail
 - name: postfix-main-cf
 mountPath: /tmp/docker-mailserver/postfix-main.cf
 readOnly: true
 - name: rspamd-config
 mountPath: /tmp/docker-mailserver/rspamd
 - name: ssl-certs
 mountPath: /etc/ssl/mail
 readOnly: true
 volumes:
 - name: mail-data
 hostPath:
 path: /opt/zfs/dkmail/data
 type: Directory
 - name: postfix-main-cf
 hostPath:
 path: /opt/zfs/dkmail/conf/postfix-main.cf
 type: File
 - name: rspamd-config
 hostPath:
 path: /opt/zfs/dkmail/conf/rspamd
 type: Directory
 - name: ssl-certs
 hostPath:
 path: /opt/zfs/dkmail/conf/ssl
 type: Directory
EOF

YAML 與原始 podman run 參數對照

原始 `podman run` 參數	YAML 對應欄位
`--name dkmail`	`metadata.name: dkmail`
`-h ${MAIL_FQDN}`	`spec.hostname`
`--network=host`	`spec.hostNetwork: true`
`--dns ${DNS_IP}`	`spec.dnsConfig.nameservers`
`--dns-search ${DN}`	`spec.dnsConfig.searches`
`-e NETWORK_INTERFACE=${NET_IF}`	`containers[].env`
`-e SSL_TYPE=manual`	`containers[].env`
`-v ...:/var/mail`	`volumes` + `volumeMounts`
`-v ...:ro`	`volumeMounts` 加上 `readOnly: true`

說明： 不需要掛載 Dovecot SSL 設定檔。docker-mailserver 會根據 SSL_TYPE=manual + SSL_CERT_PATH + SSL_KEY_PATH 自動設定 Postfix TLS、Dovecot TLS 和 SASL 認證 socket。

五、建立 Quadlet .kube 檔案

cat << 'EOF' | sudo tee /etc/containers/systemd/dkmail.kube
[Unit]
Description=Docker Mail Server (dkmail) with TLS
After=network-online.target
Wants=network-online.target

[Kube]
Yaml=/etc/containers/systemd/dkmail.yaml
Network=host

[Service]
Restart=always
RestartSec=10
TimeoutStartSec=120

[Install]
WantedBy=multi-user.target default.target
EOF

.kube 各區塊說明

區塊	設定	說明
`[Unit]`	`After=network-online.target`	網路就緒後才啟動
`[Kube]`	`Yaml=...`	指向 Kubernetes YAML 路徑
`[Kube]`	`Network=host`	使用 host 網路（郵件服務需直接綁定 Port）
`[Service]`	`Restart=always`	異常退出自動重啟
`[Service]`	`TimeoutStartSec=120`	給 Container 足夠啟動時間
`[Install]`	`WantedBy=multi-user.target`	開機自動啟動

六、啟動服務

# 重新載入 systemd（讓 Quadlet generator 產生 service）
sudo systemctl daemon-reload

# 啟動服務
sudo systemctl start dkmail.service

# 設定開機自動啟動
sudo systemctl enable dkmail.service

# 確認狀態
sudo systemctl status dkmail.service

七、驗證 TLS

# ===== 根據環境修改 =====
export MAIL_FQDN="mx1.kubeantony.com" # 郵件主機 FQDN

7.1 確認 Pod 與 Container

sudo podman pod ps
sudo podman ps --pod

7.2 確認 TLS

# SMTP STARTTLS（Port 587）
openssl s_client -connect ${MAIL_FQDN}:587 -starttls smtp

# SMTPS（Port 465）
openssl s_client -connect ${MAIL_FQDN}:465

# IMAPS（Port 993）
openssl s_client -connect ${MAIL_FQDN}:993

# POP3S（Port 995）
openssl s_client -connect ${MAIL_FQDN}:995

正常輸出應包含：

subject: CN = <MAIL_FQDN>
issuer: CN = <DN> Root CA
Verify return code: 21 (unable to verify the first certificate) ← 自簽憑證正常現象

八、設定 SPF Record

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export MAIL_IP="192.168.11.3" # Mail Server IP
export DNS_IP="192.168.11.2" # 內網 DNS Server IP

透過 nsupdate 將 SPF 記錄新增至內網 DNS（BIND）：

nsupdate << EOF
server ${DNS_IP}
zone ${DN}
update del ${DN}. TXT
update add ${DN}. 300 IN TXT "v=spf1 ip4:${MAIL_IP} ~all"
send
EOF

驗證 SPF Record：

dig @${DNS_IP} ${DN}. TXT +short

預期輸出：

"v=spf1 ip4:<MAIL_IP> ~all"

九、設定 DKIM

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export DNS_IP="192.168.11.2" # 內網 DNS Server IP

9.1 產生 DKIM Key

sudo podman exec -it dkmail-dkmail setup config dkim domain ${DN}

預期輸出：

INFO rspamd-dkim: Creating DKIM keys of type 'rsa' and length '2048' with selector 'mail' for domain '<DN>'
INFO rspamd-dkim: Successfully created DKIM keys
INFO rspamd-dkim: Here is the content of the TXT DNS record mail._domainkey.<DN> that you need to create:
v=DKIM1; k=rsa; p=MIIBIjANBgkqhkiG9w0BAQE...

9.2 啟用內網寄信的 DKIM 簽署

重要： docker-mailserver 預設產生的 dkim_signing.conf 中 sign_local = false，這會導致從內網直接寄出的郵件不會被 DKIM 簽署。必須改為 true。

sudo sed -i 's/sign_local = false/sign_local = true/' \
 /opt/zfs/dkmail/conf/rspamd/override.d/dkim_signing.conf

驗證修改結果：

grep 'sign_local' /opt/zfs/dkmail/conf/rspamd/override.d/dkim_signing.conf

預期輸出：

sign_local = true;

9.3 確認產生的檔案

tree /opt/zfs/dkmail/conf/rspamd/

預期結構：

/opt/zfs/dkmail/conf/rspamd/
├── dkim
│ ├── rsa-2048-mail-<DN>.private.txt
│ ├── rsa-2048-mail-<DN>.public.dns.txt
│ └── rsa-2048-mail-<DN>.public.txt
└── override.d
├── dkim_signing.conf
├── hfilter.conf
├── options.inc
└── worker-controller.inc

9.4 擷取 DKIM Public Key

DKIM_K8S_TXT=$(sed -n 's|.*"\([^"]*\)".*|"\1"|p' \
 /opt/zfs/dkmail/conf/rspamd/dkim/rsa-2048-mail-${DN}.public.txt | tr '\n' ' ')

echo $DKIM_K8S_TXT

9.5 新增 DKIM TXT Record（以 BIND DNS 為例）

nsupdate << EOF
server ${DNS_IP}
zone ${DN}
update del mail._domainkey.${DN}
update add mail._domainkey.${DN} 3600 IN TXT $DKIM_K8S_TXT
send
EOF

9.6 驗證 DKIM Record

dig @${DNS_IP} mail._domainkey.${DN}. TXT +short

預期輸出：

"v=DKIM1; k=rsa; p=MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEA..."

9.7 重啟 Container 套用 DKIM 設定

sudo systemctl restart dkmail.service

十、設定 DMARC Record

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export DNS_IP="192.168.11.2" # 內網 DNS Server IP
export POSTMASTER="bigred" # Postmaster 帳號名稱

說明： DMARC 需在 SPF 和 DKIM 都設定完成後再新增。 p=none 表示僅監控模式，不影響郵件遞送，待確認運作正常後可改為 p=quarantine 或 p=reject。

nsupdate << EOF
server ${DNS_IP}
zone ${DN}
update del _dmarc.${DN}. TXT
update add _dmarc.${DN}. 300 IN TXT "v=DMARC1; p=none; rua=mailto:${POSTMASTER}@${DN}"
send
EOF

驗證 DMARC Record：

dig @${DNS_IP} _dmarc.${DN}. TXT +short

預期輸出：

"v=DMARC1; p=none; rua=mailto:<POSTMASTER>@<DN>"

十一、測試寄信

重要： 以下測試步驟必須在同一內網的其他機器上執行（不是 Mail Server 本機）。從其他機器寄信才能正確模擬實際使用情境，驗證 mynetworks relay 設定、TLS 連線、SMTP 認證、以及 DKIM 簽署（sign_local 是否對內網來源生效）等功能是否正常。

# ===== 根據環境修改（在測試機器上執行）=====
export DN="kubeantony.com" # 郵件域名
export MAIL_HOST="mx1" # 郵件主機名稱前綴
export MAIL_FQDN="${MAIL_HOST}.${DN}" # 郵件主機 FQDN（自動組合）
export MAIL_IP="192.168.11.3" # Mail Server IP
export POSTMASTER="bigred" # Postmaster 帳號名稱

11.1 安裝寄信工具（在內網其他機器上執行）

# Debian/Ubuntu
sudo apt install -y s-nail

# Alpine Linux
sudo apk add s-nail

11.2 從內網直接寄信測試（不經 SMTP 認證）

echo "Test Mail" | s-nail \
 -S mta=smtp://${MAIL_IP} \
 -s "Mail Server Test" \
 "sreantony@gmail.com"

11.3 透過 SMTP 認證寄信測試（msmtp）

在內網其他機器上安裝 msmtp 並建立設定檔（自簽憑證需關閉憑證檢查）：

cat << EOF > ~/.msmtprc
account test
host ${MAIL_FQDN}
port 587
from ${POSTMASTER}@${DN}
auth plain
user ${POSTMASTER}@${DN}
password ${POSTMASTER}
tls on
tls_starttls on
tls_certcheck off
logfile /tmp/msmtp.log
EOF

chmod 600 ~/.msmtprc

注意： 帳號為 ${POSTMASTER}@${DN}（不是 ${POSTMASTER}@${MAIL_FQDN}），對應 Dockerfile 中 setup email add bigred@${DN} 的設定。

寄信測試：

echo -e "To: sreantony@gmail.com\nSubject: Auth Test\n\n認證測試" | msmtp -a test sreantony@gmail.com

11.4 驗證 Rspamd 評分

開啟 Rspamd Web UI（http://${MAIL_FQDN}:11334）查看 History， SPF / DKIM / DMARC 設定正確後，以下 Symbol 應消失或轉為通過：

Symbol	修正前	修正後
`R_SPF_NA`	+1.5（無 SPF）	`R_SPF_ALLOW`（SPF 通過）
`R_DKIM_NA`	+1.0（無 DKIM）	`R_DKIM_ALLOW`（DKIM 通過）
`DMARC_NA`	+0.5（無 DMARC）	`DMARC_POLICY_ALLOW`（DMARC 通過）
`AUTH_NA`	+2.5（未認證）	消失（經 SMTP 認證寄信）

十二、日常管理

操作	指令
啟動	`sudo systemctl start dkmail.service`
停止	`sudo systemctl stop dkmail.service`
重啟	`sudo systemctl restart dkmail.service`
查看狀態	`sudo systemctl status dkmail.service`
查看 log	`sudo journalctl -u dkmail.service -f`
開機啟動	`sudo systemctl enable dkmail.service`
取消開機啟動	`sudo systemctl disable dkmail.service`
進入 Container	`sudo podman exec -it dkmail-dkmail bash`
Container log	`sudo podman logs -f dkmail-dkmail`
Postfix log	`sudo podman exec -it dkmail-dkmail tail -50 /var/log/mail/mail.log`

注意： Container 名稱為 dkmail-dkmail（Pod 名稱 + Container 名稱）。

十三、客戶端匯入 CA 根憑證

# ===== 根據環境修改 =====
export DN="kubeantony.com" # 郵件域名
export MAIL_IP="192.168.11.3" # Mail Server IP

自簽憑證需在每台客戶端匯入 ca.crt：

# 從伺服器下載 ca.crt
scp user@${MAIL_IP}:/opt/mkcert/${DN}/ca.crt ~/Desktop/

客戶端	匯入方式
Thunderbird	設定 → 隱私與安全 → 憑證 → 匯入 → 選 `ca.crt` → 勾選「信任此 CA 識別網站」
Windows	雙擊 `ca.crt` → 安裝憑證 → 「受信任的根憑證授權單位」
macOS	雙擊 `ca.crt` → 加入鑰匙圈 → 設定為「永遠信任」
Linux	`sudo cp ca.crt /usr/local/share/ca-certificates/ && sudo update-ca-certificates`

十四、故障排除

Quadlet 沒有產生 service

# 手動執行 generator 檢查錯誤
sudo /usr/libexec/podman/quadlet --dryrun

手動測試 YAML 是否正確

# 用 podman kube play 直接測試
sudo podman kube play /etc/containers/systemd/dkmail.yaml

# 測試完畢清除
sudo podman kube down /etc/containers/systemd/dkmail.yaml

映像檔找不到

sudo podman images | grep dkmail

# 如果缺少 localhost 前綴，重新標記
sudo podman tag dkmail.rspamd localhost/dkmail.rspamd:latest

SMTP 寄信出現 Relay access denied

確認 postfix-main.cf 中 mynetworks 包含發信主機的網段：

sudo podman exec -it dkmail-dkmail postconf mynetworks

SMTP 認證失敗（SASL）

確認 Dovecot auth socket 存在：

sudo podman exec -it dkmail-dkmail ls -l /dev/shm/sasl-auth.sock

確認 Postfix 指向正確的 socket 路徑：

sudo podman exec -it dkmail-dkmail postconf smtpd_sasl_path

注意： docker-mailserver 的 Dovecot auth socket 位於 /dev/shm/sasl-auth.sock，不是 Postfix 預設的 private/auth。不要在 postfix-main.cf 手動設定 smtpd_sasl_path / smtpd_sasl_type，讓 docker-mailserver 自動處理。

TLS 憑證與 docker-mailserver 衝突

重要： 不要在 postfix-main.cf 設定 smtpd_tls_cert_file / smtpd_tls_key_file。 docker-mailserver 的 SSL_TYPE=manual 會使用 smtpd_tls_chain_files，兩者同時存在會產生衝突警告且舊的設定會被忽略。

完整目錄結構

/etc/containers/systemd/ # Quadlet 檔案
├── dkmail.kube # Quadlet 單元檔
└── dkmail.yaml # Kubernetes Pod YAML
/opt/zfs/dkmail/ # 資料與設定
├── data/ # 郵件資料（/var/mail）
└── conf/
├── postfix-main.cf # Postfix 額外設定（mynetworks + smtp_tls）
├── ssl/
│ ├── fullchain.pem # 伺服器憑證 + CA 憑證
│ └── <DN>.key # 伺服器私鑰
└── rspamd/
├── dkim/ # DKIM Keys（步驟九產生）
│ ├── rsa-2048-mail-<DN>.private.txt
│ ├── rsa-2048-mail-<DN>.public.dns.txt
│ └── rsa-2048-mail-<DN>.public.txt
└── override.d/
├── dkim_signing.conf # DKIM 簽署設定（步驟九產生）
├── options.inc
├── worker-controller.inc
└── hfilter.conf
/opt/mkcert/ # 憑證產生工具（備份保留）
├── certctl
├── config
└── <DN>/
├── ca.crt
├── ca.key
├── <DN>.crt
└── <DN>.key
/opt/zfs/images/dkmail-rspamd/ # Container Image Dockerfile
└── Dockerfile

Podman Start Docker Mail Server with TLS

Tue, 31 Mar 2026 07:37:44 +0800

環境資訊

項目	值
域名	`kubeantony.com`
主機名	`mx1.kubeantony.com`
容器引擎	Podman（`--network=host`）
網路環境	內網，無 Public IP
DNS 管理	Cloudflare
套用服務	SMTP（25/465/587）、IMAP（993）、POP3（995）、Rspamd Web UI

方案比較

	方案 A：mkcert 自簽憑證	方案 B：Let’s Encrypt + Cloudflare DNS
費用	免費	免費
需要 Public IP	否	否（DNS-01 驗證不需要）
客戶端信任	需手動匯入 CA 憑證	自動信任（公開 CA）
有效期限	10 年	90 天（自動續期）
適用場景	內部測試 / 個人使用	正式環境 / 對外服務
維護難度	低（幾乎不用管）	低（cron 自動續期）

方案 A：使用 braveantony/mkcert 自簽憑證

A-1：產生自簽憑證

# 下載 mkcert 工具
cd /opt
sudo git clone https://github.com/braveantony/mkcert.git
sudo chmod +x /opt/mkcert/certctl

編輯設定檔：

sudo nano /opt/mkcert/config

修改為以下內容：

# CA 相關設定
CA_KEY="ca.key"
CA_CRT="ca.crt"
CA_DAYS=3650
CA_SUBJ="/C=TW/ST=Taipei/L=Taipei/O=kubeantony/OU=Mail/CN=kubeantony Root CA"

# Server 相關設定
DOMAIN_NAME="kubeantony.com"
SERVER_KEY="${DOMAIN_NAME}.key"
SERVER_CSR="${DOMAIN_NAME}.csr"
SERVER_CRT="${DOMAIN_NAME}.crt"
SERVER_DAYS=3650
SERVER_SUBJ="/C=TW/ST=Taipei/L=Taipei/O=kubeantony/OU=Mail/CN=mx1.${DOMAIN_NAME}"
V3_EXT="v3.ext"

ALT_NAMES=(
 "DNS.1=*.${DOMAIN_NAME}"
 "DNS.2=${DOMAIN_NAME}"
 "DNS.3=mx1.${DOMAIN_NAME}"
)

# 產生憑證
sudo /opt/mkcert/certctl

# 確認結果
ls -l /opt/mkcert/kubeantony.com/
# 預期：ca.crt ca.key kubeantony.com.crt kubeantony.com.key

A-2：部署憑證

sudo mkdir -p /opt/zfs/dkmail/conf/ssl

sudo cp /opt/mkcert/kubeantony.com/kubeantony.com.key /opt/zfs/dkmail/conf/ssl/
sudo cp /opt/mkcert/kubeantony.com/kubeantony.com.crt /opt/zfs/dkmail/conf/ssl/

# 產生 fullchain（伺服器憑證 + CA 憑證）
sudo bash -c 'cat /opt/mkcert/kubeantony.com/kubeantony.com.crt \
 /opt/mkcert/kubeantony.com/ca.crt \
 > /opt/zfs/dkmail/conf/ssl/fullchain.pem'

sudo chmod 644 /opt/zfs/dkmail/conf/ssl/fullchain.pem
sudo chmod 600 /opt/zfs/dkmail/conf/ssl/kubeantony.com.key

A-3：客戶端匯入 CA 根憑證

自簽憑證需要在每台客戶端手動匯入 ca.crt：

客戶端	匯入方式
Thunderbird	設定 → 隱私與安全 → 憑證 → 匯入 → 選 `ca.crt` → 勾選「信任此 CA 識別網站」
Windows	雙擊 `ca.crt` → 安裝憑證 → 「受信任的根憑證授權單位」
macOS	雙擊 `ca.crt` → 加入鑰匙圈 → 設定為「永遠信任」
Linux	`sudo cp ca.crt /usr/local/share/ca-certificates/ && sudo update-ca-certificates`

完成後，跳至「共通步驟：設定 Mail Server 並啟動容器」。

方案 B：Let’s Encrypt + Cloudflare DNS-01 驗證

核心原理：acme.sh 透過 Cloudflare API 在 DNS 自動建立 _acme-challenge TXT 記錄， Let’s Encrypt 驗證該記錄後簽發憑證。全程不需要 Public IP 或開放任何 Port。

B-1：在 Cloudflare 建立 API Token

登入 Cloudflare Dashboard
右上角點擊個人頭像 → My Profile → API Tokens
點擊 Create Token
選擇 Edit zone DNS 模板（Use template）
設定權限：
- Permissions：Zone / DNS / Edit
- Zone Resources：Include → Specific zone → kubeantony.com
建立後複製 Token（只會顯示一次）
到 kubeantony.com 的 Overview 頁面，記下右側的 Zone ID

B-2：安裝 acme.sh

# 安裝 acme.sh（不需要 root，但建議用 root 方便管理憑證路徑）
sudo -i
curl https://get.acme.sh | sh -s email=bigred@kubeantony.com

# 讓 acme.sh 指令在當前 shell 可用
source ~/.bashrc

# 設定預設 CA 為 Let's Encrypt
~/.acme.sh/acme.sh --set-default-ca --server letsencrypt

B-3：簽發憑證

# 設定 Cloudflare API 認證
export CF_Token="你的_Cloudflare_API_Token"
export CF_Zone_ID="你的_Zone_ID"

# 簽發萬用字元憑證（含 kubeantony.com 和 *.kubeantony.com）
~/.acme.sh/acme.sh --issue \
 --dns dns_cf \
 -d kubeantony.com \
 -d '*.kubeantony.com'

acme.sh 會自動透過 Cloudflare API 建立 TXT 記錄進行驗證，驗證通過後自動清除 TXT 記錄。整個過程完全不需要 Public IP。

B-4：安裝憑證到 Mail Server 目錄

sudo mkdir -p /opt/zfs/dkmail/conf/ssl

~/.acme.sh/acme.sh --install-cert \
 -d kubeantony.com \
 -d '*.kubeantony.com' \
 --key-file /opt/zfs/dkmail/conf/ssl/kubeantony.com.key \
 --fullchain-file /opt/zfs/dkmail/conf/ssl/fullchain.pem \
 --reloadcmd "podman restart dkmail"

sudo chmod 644 /opt/zfs/dkmail/conf/ssl/fullchain.pem
sudo chmod 600 /opt/zfs/dkmail/conf/ssl/kubeantony.com.key

說明：

--install-cert 會將憑證複製到你指定的路徑

--reloadcmd 會在每次續期後自動重啟容器套用新憑證

acme.sh 會自動建立 cron job，每天檢查是否需要續期（到期前 30 天自動續期）

B-5：確認自動續期 cron

crontab -l
# 應該會看到類似這行：
# 0 0 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null

完成後，跳至「共通步驟：設定 Mail Server 並啟動容器」。

共通步驟：設定 Mail Server 並啟動容器

以下步驟不論方案 A 或方案 B 都相同。此時你的 /opt/zfs/dkmail/conf/ssl/ 應該已有：

/opt/zfs/dkmail/conf/ssl/
├── fullchain.pem # 完整憑證鏈
└── kubeantony.com.key # 私鑰

C-1：設定 Postfix（SMTP TLS）

sudo tee /opt/zfs/dkmail/conf/postfix-main.cf << 'EOF'
# TLS 設定
smtpd_tls_cert_file = /etc/ssl/mail/fullchain.pem
smtpd_tls_key_file = /etc/ssl/mail/kubeantony.com.key
smtpd_tls_security_level = may
smtpd_tls_protocols = !SSLv2,!SSLv3,!TLSv1,!TLSv1.1
smtpd_tls_mandatory_protocols = !SSLv2,!SSLv3,!TLSv1,!TLSv1.1
smtpd_tls_mandatory_ciphers = medium

# 寄出郵件也啟用 TLS
smtp_tls_security_level = may
smtp_tls_protocols = !SSLv2,!SSLv3,!TLSv1,!TLSv1.1
EOF

C-2：設定 Dovecot（IMAP/POP3 TLS）

sudo mkdir -p /opt/zfs/dkmail/conf/dovecot

sudo tee /opt/zfs/dkmail/conf/dovecot/10-ssl.conf << 'EOF'
ssl = required
ssl_cert = </etc/ssl/mail/fullchain.pem
ssl_key = </etc/ssl/mail/kubeantony.com.key
ssl_min_protocol = TLSv1.2
ssl_prefer_server_ciphers = yes
EOF

注意： Dovecot 設定中 < 是必要語法，代表「讀取此檔案內容」，不是打字錯誤。

C-3：停止舊容器並重新啟動

sudo podman stop dkmail
sudo podman rm dkmail

sudo podman run --name dkmail -itd \
 -h mx1.kubeantony.com --network=host \
 -e NETWORK_INTERFACE=ens18 \
 -e SSL_TYPE=manual \
 -e SSL_CERT_PATH=/etc/ssl/mail/fullchain.pem \
 -e SSL_KEY_PATH=/etc/ssl/mail/kubeantony.com.key \
 --dns 192.168.11.253 --dns-search kubeantony.com \
 -v /opt/zfs/dkmail/data:/var/mail \
 -v /opt/zfs/dkmail/conf/postfix-main.cf:/tmp/docker-mailserver/postfix-main.cf:ro \
 -v /opt/zfs/dkmail/conf/rspamd:/tmp/docker-mailserver/rspamd \
 -v /opt/zfs/dkmail/conf/ssl:/etc/ssl/mail:ro \
 -v /opt/zfs/dkmail/conf/dovecot/10-ssl.conf:/etc/dovecot/conf.d/10-ssl.conf:ro \
 dkmail.rspamd

與你原始指令相比新增的項目：

新增項目	說明
`-e SSL_TYPE=manual`	告訴 docker-mailserver 使用手動指定的憑證
`-e SSL_CERT_PATH=...`	容器內憑證路徑
`-e SSL_KEY_PATH=...`	容器內私鑰路徑
`-v .../ssl:/etc/ssl/mail:ro`	掛載憑證目錄
`-v .../10-ssl.conf:...`	覆蓋 Dovecot SSL 設定

C-4：Rspamd Web UI 的 TLS（選用，透過 Nginx 反向代理）

Rspamd Web UI 本身不支援 TLS，需要用 Nginx 做反向代理：

sudo apt install -y nginx
sudo mkdir -p /etc/nginx/ssl
sudo cp /opt/zfs/dkmail/conf/ssl/fullchain.pem /etc/nginx/ssl/
sudo cp /opt/zfs/dkmail/conf/ssl/kubeantony.com.key /etc/nginx/ssl/

sudo tee /etc/nginx/sites-available/rspamd << 'EOF'
server {
 listen 443 ssl;
 server_name mx1.kubeantony.com;

 ssl_certificate /etc/nginx/ssl/fullchain.pem;
 ssl_certificate_key /etc/nginx/ssl/kubeantony.com.key;
 ssl_protocols TLSv1.2 TLSv1.3;

 location / {
 proxy_pass http://127.0.0.1:11334;
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;
 }
}
EOF

sudo ln -s /etc/nginx/sites-available/rspamd /etc/nginx/sites-enabled/
sudo nginx -t && sudo systemctl restart nginx

驗證 TLS 是否生效

# SMTP STARTTLS（Port 587）
openssl s_client -connect mx1.kubeantony.com:587 -starttls smtp

# SMTPS（Port 465）
openssl s_client -connect mx1.kubeantony.com:465

# IMAPS（Port 993）
openssl s_client -connect mx1.kubeantony.com:993

# POP3S（Port 995）
openssl s_client -connect mx1.kubeantony.com:995

正常輸出應包含：

方案 A（自簽）：issuer: CN = kubeantony Root CA，Verify return code: 21 — 這是正常的
方案 B（Let’s Encrypt）：issuer: C = US, O = Let's Encrypt，Verify return code: 0 (ok)

完整目錄結構

/opt/zfs/dkmail/
├── data/ # 郵件資料（/var/mail）
└── conf/
├── postfix-main.cf # Postfix TLS 設定
├── ssl/
│ ├── fullchain.pem # 完整憑證鏈
│ └── kubeantony.com.key # 私鑰
├── dovecot/
│ └── 10-ssl.conf # Dovecot SSL 設定
└── rspamd/
└── override.d/
├── options.inc
├── worker-controller.inc
└── hfilter.conf

Podman Deploy Neuvector AllInOne

Wed, 04 Mar 2026 15:58:24 +0800

Deploy allinone (NO privileged mode) with podman

1. 準備環境

建立 NeuVector 用於持久化儲存設定檔的目錄
```
sudo mkdir /var/neuvector
```
設定開機自動啟動並立即啟動 Podman socket
```
sudo systemctl enable --now podman.socket
```

建立一個 systemd 服務，將 Podman 的 socket 軟連結到傳統 Docker 的 socket 路徑，這是為了讓需要和 Docker API 互動的應用程式 (如此處的 NeuVector) 能無縫地與 Podman 運作

sudo tee /etc/systemd/system/podman-docker-symlink.service <<'EOF'
[Unit]
Description=Create symlink from docker.sock to podman.sock
After=podman.socket
[Service]
Type=oneshot
ExecStart=/bin/ln -sf /run/podman/podman.sock /var/run/docker.sock
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
EOF

設定開機自動啟動並立即啟動建立 symlink 的服務
```
sudo systemctl enable --now podman-docker-symlink.service
```

2. 建立 NeuVector 內部元件 (Controller, Enforcer, Scanner) 之間加密通訊所需的 TLS 憑證

sudo mkdir -p /etc/neuvector/certs/internal; cd /etc/neuvector/certs/internal

建立 OpenSSL 設定檔，用於定義憑證的內容 (如國家、組織、SANs 等)

sudo tee /etc/neuvector/certs/internal/ca.cfg <<'EOF'
[req]
distinguished_name = req_distinguished_name
x509_extensions = v3_req
prompt = no
[req_distinguished_name]
C = TW
ST = Taipei
L = San Jose
O = NeuVector Inc.
OU = Neuvector
CN = Neuvector
[v3_req]
keyUsage = digitalSignature, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth, clientAuth
subjectAltName = @alt_names
[alt_names]
DNS.1 = Neuvector
EOF

產生 CA (憑證頒發機構) 的私鑰
```
sudo openssl genrsa -out ca.key 2048
```

使用 CA 私鑰產生 CA 的根憑證

sudo openssl req -x509 -sha256 -new -nodes -key ca.key -days 3650 -subj "/C=TW/ST=Taipei/L=Taipei/O=NeuVector Inc./OU=Neuvector/CN=Neuvector" -out ca.cert

產生給服務使用的私鑰
```
sudo openssl genrsa -out cert.key 2048
```

產生憑證簽署請求 (CSR)

sudo openssl req -new -key cert.key -sha256 -out cert.csr -config ca.cfg

使用 CA 簽署 CSR，產生最終給服務使用的憑證

sudo openssl x509 -req -sha256 -in cert.csr -CA ca.cert -CAkey ca.key -CAcreateserial -out cert.pem -days 3650 -extensions 'v3_req' -extfile ca.cfg

3. 啟動 NeuVector App Container

動態獲取主機指定網路介面 (此處為 ens18) 的 IP 位址，並存入變數 IP，這個 IP 將用來告訴 NeuVector 元件如何互相連線
```
NIC='ens18' && \
IP=$(ip -4 -o addr show ${NIC} | awk '{print $4}' | cut -d/ -f1)
```

啟動 NeuVector 的 All-in-One main container (包含 Controller, Enforcer, Manager)

sudo podman run -d --name allinone \
--pid=host \
--cap-add=SYS_ADMIN \
--cap-add=NET_ADMIN \
--cap-add=SYS_PTRACE \
--cap-add=IPC_LOCK \
--security-opt label=disable \
--security-opt apparmor=unconfined \
--security-opt seccomp=unconfined \
-e CLUSTER_JOIN_ADDR=${IP} \
-e NV_PLATFORM_INFO=platform=Docker \
-e CTRL_PERSIST_CONFIG=1 \
-p 18300:18300 \
-p 18301:18301 \
-p 18400:18400 \
-p 18401:18401 \
-p 18301:18301/udp \
-p 8443:8443 \
-v /lib/modules:/lib/modules:ro \
-v /var/neuvector:/var/neuvector \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
-v /sys/fs/cgroup:/host/cgroup:ro \
-v /proc:/host/proc:ro \
-v /etc/neuvector/certs/internal:/etc/neuvector/certs/internal/:ro \
docker.io/neuvector/allinone:5.4.9

--pid=host, --cap-add=... 等參數是為了賦予 container 足夠的權限來監控主機的程序與網路活動

-e CLUSTER_JOIN_ADDR=${IP} 設定叢集加入位址

-v 掛載主機路徑，讓 container 能存取 Docker socket、主機核心模組、cgroup 及程序資訊，並持久化設定與讀取憑證

啟動 NeuVector 的 Scanner container，專門用於執行映像檔弱點掃描，它會透過 CLUSTER_JOIN_ADDR 連接到 All-in-One Neuvector Controller

sudo podman run -td --name scanner \
-e CLUSTER_JOIN_ADDR=${IP} \
-e NV_PLATFORM_INFO=platform=Docker \
-p 18402:18402 \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
-v /etc/neuvector/certs/internal:/etc/neuvector/certs/internal/:ro \
docker.io/neuvector/scanner:latest

4. 設定 Neuvector Allinone container 開機自動啟動

建立環境變數檔

sudo mkdir -p /etc/neuvector
sudo tee /etc/neuvector/allinone.env >/dev/null <<'EOF'
# 請把下行改成你的 IP
CLUSTER_JOIN_ADDR=192.168.11.131
NV_PLATFORM_INFO=platform=Docker
CTRL_PERSIST_CONFIG=1
EOF

建立 Quadlet .container 檔案

sudo nano /etc/containers/systemd/allinone.container

設定內容如下：

注意，CLUSTER_JOIN_ADDR 的值需依照環境而設定

[Unit]
Description=NeuVector All-in-One (via Podman Quadlet)
Wants=network-online.target
After=network-online.target
RequiresMountsFor=/var/neuvector /lib/modules /etc/neuvector/certs/internal
[Container]
Image=docker.io/neuvector/allinone:5.4.9
ContainerName=allinone
PodmanArgs=--pid=host --security-opt apparmor=unconfined
AddCapability=SYS_ADMIN
AddCapability=NET_ADMIN
AddCapability=SYS_PTRACE
AddCapability=IPC_LOCK
# 環境變數
EnvironmentFile=/etc/neuvector/allinone.env
# Port 對應（含 UDP）
PublishPort=18300:18300
PublishPort=18301:18301
PublishPort=18400:18400
PublishPort=18401:18401
PublishPort=18301:18301/udp
PublishPort=8443:8443
# Volume 對應
Volume=/lib/modules:/lib/modules:ro
Volume=/var/neuvector:/var/neuvector
Volume=/var/run/docker.sock:/var/run/docker.sock:ro
Volume=/sys/fs/cgroup:/host/cgroup:ro
Volume=/proc:/host/proc:ro
Volume=/etc/neuvector/certs/internal:/etc/neuvector/certs/internal:ro
# 若希望啟動時一定拉一次映像檔，可取消註解
# Pull=always
[Service]
Restart=always
RestartSec=5s
TimeoutStartSec=600
[Install]
WantedBy=multi-user.target

重載 systemd daemon：
```
sudo systemctl daemon-reload
```
啟用並立即啟動服務：
```
sudo systemctl start allinone.service
```
如果噴錯代表 podman Quadlet 的設定檔有寫錯，請執行以下命令確認設定檔哪裡有錯 sudo /usr/libexec/podman/quadlet -dryrun

檢查 systemd 服務狀態：

systemctl status allinone.service

正確執行結果：

● allinone.service - NeuVector All-in-One (via Podman Quadlet)
Loaded: loaded (/etc/containers/systemd/allinone.container; generated)
Active: active (running) since Fri 2025-08-15 17:30:42 CST; 9min ago
Main PID: 3957 (conmon)
Tasks: 83 (limit: 50507)
Memory: 897.2M
CPU: 13.760s
...以下省略

使用 podman 確認容器狀態：

sudo podman ps -a --filter name=allinone

正確執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7963890f525a docker.io/neuvector/allinone:5.4.9 40 seconds ago Up 41 seconds 0.0.0.0:8443->8443/tcp, 0.0.0.0:10443->10443/tcp, 0.0.0.0:18300-18301->18300-18301/tcp, 0.0.0.0:18400-18401->18400-18401/tcp, 0.0.0.0:18301->18301/udp allinone

5. 設定 Neuvector scanner container 開機自動啟動

建立環境變數檔

sudo tee /etc/neuvector/scanner.env >/dev/null <<'EOF'
# 請把下行改成你的 IP
CLUSTER_JOIN_ADDR=192.168.11.131
NV_PLATFORM_INFO=platform=Docker
EOF

建立 Quadlet .container 檔案

sudo nano /etc/containers/systemd/scanner.container

設定內容如下：

注意，CLUSTER_JOIN_ADDR 的值需依照環境而設定

# /etc/containers/systemd/scanner.container
[Unit]
Description=NeuVector Scanner (via Podman Quadlet)
Wants=network-online.target
After=network-online.target
[Container]
ContainerName=scanner
Image=docker.io/neuvector/scanner:latest
EnvironmentFile=/etc/neuvector/scanner.env
PublishPort=18402:18402
Volume=/var/run/docker.sock:/var/run/docker.sock:ro
Volume=/etc/neuvector/certs/internal:/etc/neuvector/certs/internal:ro
[Install]
WantedBy=multi-user.target

重載 systemd daemon：
```
sudo systemctl daemon-reload
```
啟用並立即啟動服務：
```
sudo systemctl start scanner.service
```
如果噴錯代表 podman Quadlet 的設定檔有寫錯，請執行以下命令確認設定檔哪裡有錯
```
sudo /usr/libexec/podman/quadlet -dryrun
```

檢查 systemd 服務狀態：

sudo systemctl status scanner.service

正確執行結果：

● scanner.service - NeuVector Scanner (via Podman Quadlet)
Loaded: loaded (/etc/containers/systemd/scanner.container; generated)
Active: active (running) since Fri 2025-08-15 17:56:43 CST; 6min ago
Main PID: 4564 (conmon)
Tasks: 12 (limit: 50507)
Memory: 1.8G
CPU: 20.587s
...以下省略

使用 podman 確認 container 狀態：

sudo podman ps -a --filter name=scanner

正確執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b4fede8ec2ac docker.io/neuvector/scanner:latest 8 minutes ago Up 8 minutes 0.0.0.0:18402->18402/tcp scanner

6. 重新開機測試

將主機重開
```
sudo reboot
```

開機後，檢查 container 狀態

sudo podman ps -a --filter name=scanner --filter name=allinone

正確執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
78a475cb15a3 docker.io/neuvector/scanner:latest 25 seconds ago Up 26 seconds 0.0.0.0:18402->18402/tcp scanner
10bd318a7f4a docker.io/neuvector/allinone:5.4.9 25 seconds ago Up 26 seconds 0.0.0.0:18301->18301/udp, 0.0.0.0:8443->8443/tcp, 0.0.0.0:10443->10443/tcp, 0.0.0.0:18300-18301->18300-18301/tcp, 0.0.0.0:18400-18401->18400-18401/tcp allinone

打開瀏覽器，確認 Neuvector Web Console 是否正常
登入管理網站
- 帳號 : admin
- 密碼 : admin

7. 暴露 Neuvector Metrics

建立 Podman Secret 儲存 admin 帳號的密碼

printf 'admin' | sudo podman secret create neuvector_pass -

啟動 Neuvector Exporter Container

sudo podman run -d \
--name neuvector.prometheus-exporter \
--user 1000:1000 \
-e CTRL_API_SERVICE=192.168.11.131:10443 \
-e CTRL_USERNAME=admin \
--secret neuvector_pass,type=env,target=CTRL_PASSWORD \
-e EXPORTER_PORT=8068 \
--cap-drop=ALL \
--security-opt no-new-privileges:true \
--read-only \
registry.rancher.com/rancher/neuvector-prometheus-exporter:1.0.9

確認 Container 運作狀態

sudo podman ps -a --filter name=neuvector.prometheus-exporter

執行結果:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
6acc80576905 registry.rancher.com/rancher/neuvector-prometheus-exporter:1.0.9 7 minutes ago Up 7 minutes neuvector.prometheus-exporter

獲取 Container IP

sudo podman inspect neuvector.prometheus-exporter --format '{{.NetworkSettings.IPAddress}}'

執行結果:

10.88.0.19

測試是否可得到 Metrics

curl -s http://10.88.0.19:8068/ | head -n 5

執行結果:

# HELP python_gc_objects_collected_total Objects collected during gc
# TYPE python_gc_objects_collected_total counter
python_gc_objects_collected_total{generation="0"} 368.0
python_gc_objects_collected_total{generation="1"} 0.0
python_gc_objects_collected_total{generation="2"} 0.0

建立 Quadlet .container 檔案

sudo nano /etc/containers/systemd/neuvector-prometheus-exporter.container

設定內容如下：

注意，CTRL_API_SERVICE 的值需依照環境而設定如果無 TLS 的需求，可將 PublishPort 取消註解並跳過第 11 步驟之後的所有步驟。

[Unit]
Description=NeuVector Prometheus Exporter
After=network-online.target
Wants=network-online.target
[Container]
ContainerName=neuvector.prometheus-exporter
Image=registry.rancher.com/rancher/neuvector-prometheus-exporter:1.0.9
User=1000
Group=1000
# Environment
Environment=CTRL_API_SERVICE=192.168.11.131:10443
Environment=CTRL_USERNAME=admin
Environment=EXPORTER_PORT=8068
# Secret (must be pre-created)
Secret=neuvector_pass,type=env,target=CTRL_PASSWORD
# Security hardening
DropCapability=ALL
SecurityLabelNested=true
NoNewPrivileges=true
ReadOnly=true
# Publish port if external access is needed (uncomment to enable)
# PublishPort=8068:8068
[Service]
Restart=on-failure
TimeoutStartSec=300
[Install]
WantedBy=default.target

重載 systemd daemon：
```
sudo systemctl daemon-reload
```
啟用並立即啟動服務：
```
sudo systemctl start neuvector-prometheus-exporter.service
```
如果噴錯代表 podman Quadlet 的設定檔有寫錯，請執行以下命令確認設定檔哪裡有錯
```
sudo /usr/libexec/podman/quadlet -dryrun
```

檢查 systemd 服務狀態：

sudo systemctl status neuvector-prometheus-exporter.service

正確執行結果：

● neuvector-prometheus-exporter.service - NeuVector Prometheus Exporter
Loaded: loaded (/etc/containers/systemd/neuvector-prometheus-exporter.container; generated)
Active: active (running) since Wed 2026-03-04 21:32:32 CST; 18min ago
Main PID: 7980 (conmon)
Tasks: 4 (limit: 50507)
Memory: 23.6M
CPU: 387ms
...

使用 podman 確認 container 狀態：

sudo podman ps -a --filter name=neuvector.prometheus-exporter

正確執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
6acc80576905 registry.rancher.com/rancher/neuvector-prometheus-exporter:1.0.9 19 minutes ago Up 19 minutes neuvector.prometheus-exporter

請參考以下 Git repo 的 README 做出 TLS 自簽憑證
```
https://github.com/braveantony/mkcert.git
```

建立目錄，並拷貝憑證

mkdir -p ${HOME}/nginx/
cp mkcert/kubeantony.com/kubeantony.com.crt ${HOME}/nginx/server.crt
cp mkcert/kubeantony.com/kubeantony.com.key ${HOME}/nginx/server.key
chmod 644 ${HOME}/nginx/server.key
ls -lZ ${HOME}/nginx/server.*

執行結果:

-rw-r--r--. 1 bigred bigred system_u:object_r:container_file_t:s0:c948,c1020 2167 Mar 4 22:39 /home/bigred/nginx/server.crt
-rw-r--r--. 1 bigred bigred system_u:object_r:container_file_t:s0:c948,c1020 3272 Mar 4 22:39 /home/bigred/nginx/server.key

注意 server.key 權限要設為 644

撰寫 nginx.conf

nano ${HOME}/nginx/nginx.conf

檔案內容如下:

server_name 請依序環境設定，記得在環境中的 DNS Server 將之添加為 A Record

error_log /dev/stderr warn;
worker_processes 4;
worker_rlimit_nofile 40000;
pid /var/run/nginx.pid;
events {
worker_connections 8192;
}
http {
access_log /dev/stdout;
server_tokens off;
add_header X-Content-Type-Options "nosniff" always;
add_header X-Frame-Options "DENY" always;
add_header X-XSS-Protection "1; mode=block" always;
add_header Referrer-Policy "strict-origin-when-cross-origin" always;
client_max_body_size 1m;
client_body_timeout 10s;
client_header_timeout 10s;
send_timeout 10s;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 10m;
ssl_session_tickets off;
ssl_prefer_server_ciphers on;
# 預設拒絕未匹配的 Host
server {
listen 8443 ssl default_server;
server_name _;
ssl_certificate /etc/nginx/ssl/server.crt;
ssl_certificate_key /etc/nginx/ssl/server.key;
return 444;
}
server {
listen 8443 ssl;
server_name aionv-metrics.kubeantony.com;
ssl_certificate /etc/nginx/ssl/server.crt;
ssl_certificate_key /etc/nginx/ssl/server.key;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305;
# add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
location / {
proxy_pass http://neuvector.prometheus-exporter:8068;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_read_timeout 90s;
proxy_connect_timeout 10s;
proxy_send_timeout 10s;
proxy_hide_header X-Powered-By;
}
location ~* ^/(\.env|\.git|wp-admin|phpMyAdmin) {
return 444;
}
}
}

設定 Podman Default Network 啟用 DNS

sudo sed -i '/dns_enabled/s/false/true/' /etc/containers/networks/podman.json
sudo podman network reload --all

建立 Nginx Container

sudo podman run -d --name nginx -p 8068:8443 \
--read-only \
--mount type=tmpfs,destination=/tmp,tmpfs-size=10M,tmpfs-mode=1777,U=true \
--mount type=tmpfs,destination=/var/cache/nginx,tmpfs-size=50M,U=true \
--mount type=tmpfs,destination=/var/run,tmpfs-size=10M,U=true \
--mount type=tmpfs,destination=/var/log/nginx,tmpfs-size=10M,U=true \
--mount type=tmpfs,destination=/var/lib/nginx,tmpfs-size=50M,U=true \
--user $(id -u):$(id -g) \
--cap-drop ALL \
--security-opt no-new-privileges:true \
--pids-limit 100 \
--restart unless-stopped \
-v ${HOME}/nginx/nginx.conf:/etc/nginx/nginx.conf:ro,Z \
-v ${HOME}/nginx/server.crt:/etc/nginx/ssl/server.crt:ro,Z \
-v ${HOME}/nginx/server.key:/etc/nginx/ssl/server.key:ro,Z \
registry.suse.com/suse/nginx:latest

檢視 Container 狀態

sudo podman ps -a --filter name=nginx

執行結果:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
041b60ecbc36 registry.suse.com/suse/nginx:latest nginx -g daemon o... 7 seconds ago Up 7 seconds 0.0.0.0:8068->8443/tcp, 80/tcp nginx

驗證是否成功能透過 TLS 存取 Neuvector Metrics

curl -sk https://aionv-metrics.kubeantony.com:8068/ | head -n 5

執行結果:

# HELP python_gc_objects_collected_total Objects collected during gc
# TYPE python_gc_objects_collected_total counter
python_gc_objects_collected_total{generation="0"} 368.0
python_gc_objects_collected_total{generation="1"} 0.0
python_gc_objects_collected_total{generation="2"} 0.0

建立 Quadlet .container 檔案

# 定義變數
CONTAINER_NAME="nginx"
IMAGE="registry.suse.com/suse/nginx:latest"
HOST_PORT="8068"
CONTAINER_PORT="8443"
NGINX_CONF_DIR="${HOME}/nginx"
QUADLET_DIR="/etc/containers/systemd/"

# 建立目錄
sudo mkdir -p "${QUADLET_DIR}"

設定內容如下：

sudo tee "${QUADLET_DIR}/${CONTAINER_NAME}.container" > /dev/null <<EOF
[Unit]
Description=Nginx Reverse Proxy (Hardened)
After=network-online.target
Wants=network-online.target
[Container]
ContainerName=${CONTAINER_NAME}
Image=${IMAGE}
PublishPort=${HOST_PORT}:${CONTAINER_PORT}
ReadOnly=true
UserNS=keep-id
DropCapability=ALL
SecurityLabelDisable=false
PidsLimit=100
NoNewPrivileges=true
User=$(id -u):$(id -g)
Mount=type=tmpfs,destination=/tmp,tmpfs-size=10M,tmpfs-mode=1777,U=true
Mount=type=tmpfs,destination=/var/cache/nginx,tmpfs-size=50M,U=true
Mount=type=tmpfs,destination=/var/run,tmpfs-size=10M,U=true
Mount=type=tmpfs,destination=/var/log/nginx,tmpfs-size=10M,U=true
Mount=type=tmpfs,destination=/var/lib/nginx,tmpfs-size=50M,U=true
Volume=${NGINX_CONF_DIR}/nginx.conf:/etc/nginx/nginx.conf:ro,Z
Volume=${NGINX_CONF_DIR}/server.crt:/etc/nginx/ssl/server.crt:ro,Z
Volume=${NGINX_CONF_DIR}/server.key:/etc/nginx/ssl/server.key:ro,Z
[Service]
Restart=always
TimeoutStartSec=30
[Install]
WantedBy=default.target
EOF

重載 systemd daemon：
```
sudo systemctl daemon-reload
```
啟用並立即啟動服務：
```
sudo systemctl start nginx.service
```
如果噴錯代表 podman Quadlet 的設定檔有寫錯，請執行以下命令確認設定檔哪裡有錯
```
sudo /usr/libexec/podman/quadlet -dryrun
```

檢查 systemd 服務狀態：

sudo systemctl status nginx.service

正確執行結果：

● nginx.service - Nginx Reverse Proxy (Hardened)
Loaded: loaded (/etc/containers/systemd/nginx.container; generated)
Active: active (running) since Wed 2026-03-04 23:27:42 CST; 33s ago
Main PID: 296160 (conmon)
Tasks: 6 (limit: 50507)
Memory: 17.2M
CPU: 107ms
...

使用 podman 確認 container 狀態：

sudo podman ps -a --filter name=nginx

正確執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dde5bc3186e8 registry.suse.com/suse/nginx:latest nginx -g daemon o... About a minute ago Up About a minute 0.0.0.0:8068->8443/tcp, 80/tcp nginx

再次測試是否可得到 Metrics

curl -sk https://aionv-metrics.kubeantony.com:8068/ | head -n 5

執行結果:

# HELP python_gc_objects_collected_total Objects collected during gc
# TYPE python_gc_objects_collected_total counter
python_gc_objects_collected_total{generation="0"} 368.0
python_gc_objects_collected_total{generation="1"} 0.0
python_gc_objects_collected_total{generation="2"} 0.0

參考網站

Install Harbor using Podman

Tue, 24 Feb 2026 02:14:22 +0800

先決條件

已安裝 podman，版本 4.9.x 或以上

已安裝 curl, wget, jq, git 和 httpd-tools 工具

sudo dnf install -y podman curl wget jq httpd-tools git

本篇文章環境資訊
- OS 發行版: Red Hat Enterprise Linux 9.7 (Plow)
- Kernel 版本: 5.14.0-611.24.1.el9_7.x86_64
- podman 版本: 5.6.0
- SELinux: Enforcing
- Firewalld systemd service: active and enabled

硬體資源需求

資源項目	最低配置	建議配置
CPU	2 核 (CPU)	4 核 (CPU)
記憶體 (Mem)	4 GB	8 GB
磁碟空間 (Disk)	40 GB	160 GB

Setp1: 建立 podman network

sudo podman network create --subnet 10.8.0.0/16 harbor

若不想建立網路，可以使用預設 podman 網路，但需要將 dns 解析打開預設網路目前版本沒有開啟 dns 解析，要不然 containers 之間沒法透過主機名稱進行互訪。修改設定檔後需要將網路介面刪除或重新啟動主機才能生效。

Step2: 下載 Harbor 離線安裝所需的檔案

下載官方發布的離線版本

HARBOR_VERSION=$(curl -s https://api.github.com/repos/goharbor/harbor/releases/latest | jq -r .tag_name)
wget https://github.com/goharbor/harbor/releases/download/${HARBOR_VERSION}/harbor-offline-installer-${HARBOR_VERSION}.tgz

第一行命令會直接到 github 抓 Harbor 官方最新 release 的版本，如果要安裝其他版本，請自行定義

解壓縮檔案，並切換工作目錄

tar zxf harbor-offline-installer-${HARBOR_VERSION}.tgz; cd harbor

匯入 image

sudo podman load -i harbor.${HARBOR_VERSION}.tar.gz

檢查是否成功

sudo podman images

執行結果如下 :

REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/goharbor/harbor-exporter v2.14.2 26fc5ce17425 13 days ago 133 MB
localhost/goharbor/redis-photon v2.14.2 d62cec11627f 13 days ago 190 MB
localhost/goharbor/trivy-adapter-photon v2.14.2 6165b96861b7 13 days ago 403 MB
localhost/goharbor/harbor-registryctl v2.14.2 1364c6d80c42 13 days ago 167 MB
localhost/goharbor/registry-photon v2.14.2 4161f69794cf 13 days ago 88.4 MB
localhost/goharbor/nginx-photon v2.14.2 9383173f860e 13 days ago 175 MB
localhost/goharbor/harbor-log v2.14.2 77a92995972a 13 days ago 188 MB
localhost/goharbor/harbor-jobservice v2.14.2 5b11a15a5cb0 13 days ago 180 MB
localhost/goharbor/harbor-core v2.14.2 604ea0c2c17f 13 days ago 205 MB
localhost/goharbor/harbor-portal v2.14.2 b936a8ce0efb 13 days ago 183 MB
localhost/goharbor/harbor-db v2.14.2 d80918ffd062 13 days ago 293 MB
localhost/goharbor/prepare v2.14.2 6337f8dedb39 13 days ago 203 MB

Step3: 部署 Harbor 各元件

注意，Harbor 各別的元件相互依賴，需要依照順序部署，否則元件無法啟動

3.1. 部署 redis

建立 redis container

# 定義 Redis 資料永存目錄區
REDIS_PV="/data/redis"
[ ! -d ${REDIS_PV} ] && sudo mkdir -p ${REDIS_PV}
sudo chown 999:999 ${REDIS_PV}
sudo podman run --name redis --detach \
--network=harbor \
--cap-add=chown --cap-add=setuid \
--cap-add=setgid --cap-drop=all \
--volume=${REDIS_PV}:/var/lib/redis:z \
goharbor/redis-photon:${HARBOR_VERSION}

3.2. 部署 postgresql

建立 secret：資料庫 root 使用者的密碼，這裡使用隨機密碼

tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 16 | sudo podman secret create db-secret -

建立 pg container

# 定義 Redis 資料永存目錄區
PG_PV="/data/database"
[ ! -d ${PG_PV} ] && sudo mkdir -p ${PG_PV}
sudo chown -R 999:999 ${PG_PV}
sudo podman run --name postgresql \
--detach --network=harbor \
--cap-add=chown --cap-add=setuid \
--cap-add=setgid --cap-add=dac_override \
--cap-drop=all --shm-size=1gb \
--secret=db-secret,type=env,target=POSTGRES_PASSWORD \
--volume=${PG_PV}:/var/lib/postgresql/data:z \
goharbor/harbor-db:${HARBOR_VERSION}

3.3. 部署 Registry

編輯 registry 設定檔

sudo mkdir -p /etc/harbor
sudo nano /etc/harbor/registry.yml

檔案內容如下 :

version: 0.1
log:
level: info
fields:
service: registry
storage:
cache:
layerinfo: redis
filesystem:
rootdirectory: /storage
maintenance:
uploadpurging:
enabled: true
age: 168h
interval: 24h
dryrun: false
delete:
enabled: true
redis:
addr: redis:6379
readtimeout: 10s
writetimeout: 10s
dialtimeout: 10s
password:
db: 1
enableTLS: false
pool:
maxidle: 100
maxactive: 500
idletimeout: 60s
http:
addr: :5000
secret: placeholder
debug:
addr: :9090
prometheus:
enabled: true
path: /metrics
auth:
htpasswd:
realm: harbor-registry-basic-realm
path: /etc/registry/passwd
validation:
disabled: true
compatibility:
schema1:
enabled: true

建立密碼

USERNAME="harbor_registry_user"
PASSWORD="password"
HASH=$(htpasswd -nbB -C 5 "$USERNAME" "$PASSWORD" | cut -d: -f2)
echo "$USERNAME:$HASH" | sudo podman secret create registry-auth -

啟動 registry container

# 定義 REGISTRY 資料永存目錄區
REGISTRY_PV="/data/registry"
[ ! -d ${REGISTRY_PV} ] && sudo mkdir -p ${REGISTRY_PV}
sudo chown 10000:10000 ${REGISTRY_PV}
sudo podman run --name=registry \
--detach --network=harbor \
--cap-add=chown --cap-add=setuid \
--cap-add=setgid --cap-drop=all \
--secret=registry-auth,target=/etc/registry/passwd \
--volume=${REGISTRY_PV}:/storage:z \
--volume=/etc/harbor/registry.yml:/etc/registry/config.yml:ro \
--volume=$(find /etc/ssl/certs/ -name ca-*.crt ! -name "*trust*"):/etc/registry/root.crt:ro \
goharbor/registry-photon:${HARBOR_VERSION}

3.4. 部署 portal

建立設定檔

sudo nano /etc/harbor/portal.conf

檔案內容如下 :

worker_processes auto;
pid /tmp/nginx.pid;
events {
worker_connections 1024;
}
http {
client_body_temp_path /tmp/client_body_temp;
proxy_temp_path /tmp/proxy_temp;
fastcgi_temp_path /tmp/fastcgi_temp;
uwsgi_temp_path /tmp/uwsgi_temp;
scgi_temp_path /tmp/scgi_temp;
server {
listen 8080;
server_name localhost;
root /usr/share/nginx/html;
index index.html index.htm;
include /etc/nginx/mime.types;
gzip on;
gzip_min_length 1000;
gzip_proxied expired no-cache no-store private auth;
gzip_types text/plain text/css application/json application/javascript application/x-javascript text/xml application/xml application/xml+rss text/javascript;
location /devcenter-api-2.0 {
try_files $uri $uri/ /swagger-ui-index.html;
}
location / {
try_files $uri $uri/ /index.html;
}
location = /index.html {
add_header Cache-Control "no-store, no-cache, must-revalidate";
}
}
}

建立 portal container

sudo podman run --name=portal \
--detach --network=harbor \
--cap-add=setuid --cap-add=setgid \
--cap-add=net_bind_service --cap-drop=all \
--volume=/etc/harbor/portal.conf:/etc/nginx/nginx.conf:ro \
goharbor/harbor-portal:${HARBOR_VERSION}

3.5. 部署 registryctl

編輯設定檔

sudo nano /etc/harbor/registryctl.yml

檔案內容如下 :

---
protocol: "http"
port: 8080
log_level: info
registry_config: "/etc/registry/config.yml"

建立密碼

# 產生 harbor 私鑰: 用於建立 token
openssl genrsa 4096 | openssl pkey -traditional | sudo podman secret create harbor-key -
# 產生 harbor secretkey
openssl rand -base64 12 | head -c 16| sudo podman secret create harbor-secretkey -
# harbor 密碼：用於其他元件與 harbor 通訊認證
openssl rand -base64 12 | head -c 16 | sudo podman secret create harbor-secret -
# jobservice 密碼： 用於與 jobservice 通訊認證
openssl rand -base64 12 | head -c 16 | sudo podman secret create jobservice-secret -
# registry 密碼: 主要給 harbor 和 jobservice 使用
printf "password" | sudo podman secret create registry-passwd -

建立 registryctl container

sudo podman run --name=registryctl \
--detach --network=harbor \
--cap-add=setuid --cap-add=setgid --cap-drop=all \
--secret=harbor-secret,type=env,target=CORE_SECRET \
--secret=jobservice-secret,type=env,target=JOBSERVICE_SECRET \
--volume=${REGISTRY_PV}:/storage:z \
--volume=/etc/harbor/registry.yml:/etc/registry/config.yml:ro \
--volume=/etc/harbor/registryctl.yml:/etc/registryctl/config.yml:ro \
--volume=$(find /etc/ssl/certs/ -name ca-*.crt ! -name "*trust*"):/etc/registry/root.crt:ro \
goharbor/harbor-registryctl:${HARBOR_VERSION}

3.6. 部署 harbor

編輯設定檔

sudo nano /etc/harbor/harbor.conf

檔案內容如下 :

appname = Harbor
runmode = prod
enablegzip = true
[prod]
httpport = 8080

編輯 Harbor 運作所需之環境變數

sudo nano /etc/harbor/coreenv

檔案內容如下 :

CONFIG_PATH=/etc/core/app.conf
UAA_CA_ROOT=/etc/core/certificates/uaa_ca.pem
_REDIS_URL_CORE=redis://redis:6379?idle_timeout_seconds=30
SYNC_QUOTA=true
_REDIS_URL_REG=redis://redis:6379/1?idle_timeout_seconds=30
LOG_LEVEL=info
DATABASE_TYPE=postgresql
POSTGRESQL_HOST=postgresql
POSTGRESQL_PORT=5432
POSTGRESQL_USERNAME=postgres
POSTGRESQL_DATABASE=registry
POSTGRESQL_SSLMODE=disable
POSTGRESQL_MAX_IDLE_CONNS=100
POSTGRESQL_MAX_OPEN_CONNS=900
POSTGRESQL_CONN_MAX_LIFETIME=5m
POSTGRESQL_CONN_MAX_IDLE_TIME=0
REGISTRY_URL=http://registry:5000
PORTAL_URL=http://portal:8080
TOKEN_SERVICE_URL=http://core:8080/service/token
HARBOR_ADMIN_PASSWORD=Harbor12345
MAX_JOB_WORKERS=10
WITH_TRIVY=True
CORE_URL=http://core:8080
CORE_LOCAL_URL=http://127.0.0.1:8080
JOBSERVICE_URL=http://jobservice:8080
TRIVY_ADAPTER_URL=http://trivy-adapter:8080
REGISTRY_STORAGE_PROVIDER_NAME=filesystem
READ_ONLY=false
RELOAD_KEY=
REGISTRY_CONTROLLER_URL=http://registryctl:8080
REGISTRY_CREDENTIAL_USERNAME=harbor_registry_user
CSRF_KEY=jPcpPYw2HU4V0r2LG2kyHWWSIwRE4Ln8
ROBOT_SCANNER_NAME_PREFIX=2GA78XLs
PERMITTED_REGISTRY_TYPES_FOR_PROXY_CACHE=docker-hub,harbor,azure-acr,ali-acr,aws-ecr,google-gcr,quay,docker-registry,github-ghcr,jfrog-artifactory
HTTP_PROXY=
HTTPS_PROXY=
NO_PROXY=localhost,postgresql,portal,trivy-adapter,jobservice,127.0.0.1,.local,.internal,core,registryctl,redis,registry,nginx,db,log,exporter
PORT=8080
METRIC_ENABLE=true
METRIC_PATH=/metrics
METRIC_PORT=9090
METRIC_NAMESPACE=harbor
METRIC_SUBSYSTEM=core
QUOTA_UPDATE_PROVIDER=db

建立 Harbor container

# 定義 Harbor 對外的 url
HARBOR_FQDN="pharbor.example.com"
# 定義 Harbor 資料永存目錄區
HARBOR_PV="/data"
[ ! -d ${HARBOR_PV} ] && sudo mkdir -p ${HARBOR_PV}
sudo chown 10000:10000 ${HARBOR_PV}
# Run Harbor Container
sudo podman run --name=core --detach \
--network=harbor \
--cap-add=setuid \
--cap-add=setgid \
--cap-drop=all \
--env-file=/etc/harbor/coreenv \
--env=EXT_ENDPOINT=https://${HARBOR_FQDN} \
--secret=harbor-secret,type=env,target=CORE_SECRET \
--secret=db-secret,type=env,target=POSTGRESQL_PASSWORD \
--secret=jobservice-secret,type=env,target=JOBSERVICE_SECRET \
--secret=registry-passwd,type=env,target=REGISTRY_CREDENTIAL_PASSWORD \
--secret=harbor-secretkey,type=mount,target=/etc/core/key \
--secret=harbor-key,type=mount,target=/etc/core/private_key.pem \
--volume=${HARBOR_PV}:/data:z \
--volume=/etc/harbor/harbor.conf:/etc/core/app.conf:ro \
--volume=$(find /etc/ssl/certs/ -name ca-*.crt ! -name "*trust*"):/etc/core/certificates/root.crt:ro \
--volume=/usr/share/zoneinfo/Asia/Taipei:/etc/localtime:ro \
goharbor/harbor-core:${HARBOR_VERSION}

3.7. 部署 jobservice

編輯設定檔

sudo nano /etc/harbor/jobservice.yml

檔案內容如下 :

---
#Protocol used to serve
protocol: "http"
#Server listening port
port: 8080
#Worker pool
worker_pool:
#Worker concurrency
workers: 10
backend: "redis"
#Additional config if use 'redis' backend
redis_pool:
#redis://[arbitrary_username:password@]ipaddress:port/database_index
redis_url: redis://redis:6379/2?idle_timeout_seconds=30
namespace: "harbor_job_service_namespace"
idle_timeout_second: 3600
#Loggers for the running job
job_loggers:
# The jobLoggers backend name, only support "STD_OUTPUT", "FILE" and/or "DB"
- name: "STD_OUTPUT"
level: "INFO" # INFO/DEBUG/WARNING/ERROR/FATAL
- name: "FILE"
level: "INFO"
settings: # Customized settings of logger
base_dir: "/var/log/jobs"
sweeper:
duration: 1 #days
settings: # Customized settings of sweeper
work_dir: "/var/log/jobs"
#Loggers for the job service
loggers:
- name: "STD_OUTPUT" # Same with above
level: "INFO"
metric:
enabled: true
path: /metrics
port: 9090
reaper:
# the max time to wait for a task to finish, if unfinished after max_update_hours, the task will be mark as error, but the task will continue to run, default value is 24,
max_update_hours: 24
# the max time for execution in running state without new task created
max_dangling_hours: 168
# the max size of job log returned by API, default is 10M
max_retrieve_size_mb: 10

編輯環境變數

sudo nano /etc/harbor/jobservice.env

檔案內容 :

REGISTRY_URL=http://registry:5000
CORE_URL=http://core:8080
REGISTRY_CONTROLLER_URL=http://registryctl:8080
JOBSERVICE_WEBHOOK_JOB_MAX_RETRY=3
JOBSERVICE_WEBHOOK_JOB_HTTP_CLIENT_TIMEOUT=3
LOG_LEVEL=info
HTTP_PROXY=
HTTPS_PROXY=
NO_PROXY=localhost,postgresql,portal,trivy-adapter,jobservice,127.0.0.1,.local,.internal,core,registryctl,redis,registry,nginx,db,log,exporter
REGISTRY_CREDENTIAL_USERNAME=harbor_registry_user
MAX_JOB_DURATION_SECONDS=86400
METRIC_NAMESPACE=harbor
METRIC_SUBSYSTEM=jobservice

建立 jobservice container

# 定義 Jobservice 資料永存目錄區
JOBSVC_PV="/data/job_logs"
[ ! -d ${JOBSVC_PV} ] && sudo mkdir -p ${JOBSVC_PV}
sudo chown 10000:10000 ${JOBSVC_PV}
sudo podman run --name=jobservice --detach \
--network=harbor \
--cap-add=setuid \
--cap-add=setgid \
--cap-add=chown \
--cap-drop=all \
--env-file=/etc/harbor/jobservice.env \
--secret=harbor-secret,type=env,target=CORE_SECRET \
--secret=jobservice-secret,type=env,target=JOBSERVICE_SECRET \
--secret=registry-passwd,type=env,target=REGISTRY_CREDENTIAL_PASSWORD \
--volume=/etc/harbor/jobservice.yml:/etc/jobservice/config.yml \
--volume=${JOBSVC_PV}:/var/log/jobs:z \
--volume=$(realpath $(find /etc/ssl/certs/ -name ca-*.crt ! -name "*trust*")):/harbor_cust_cert/root.crt:ro,Z \
goharbor/harbor-jobservice:${HARBOR_VERSION}

3.8. 部署 exporter

編輯環境變數檔

sudo nano /etc/harbor/exporter.env

檔案內容如下 :

LOG_LEVEL=info
HARBOR_EXPORTER_PORT=8080
HARBOR_EXPORTER_METRICS_PATH=/metrics
HARBOR_EXPORTER_METRICS_ENABLED=true
HARBOR_EXPORTER_MAX_REQUESTS=30
HARBOR_EXPORTER_CACHE_TIME=23
HARBOR_EXPORTER_CACHE_CLEAN_INTERVAL=14400
HARBOR_METRIC_NAMESPACE=harbor
HARBOR_METRIC_SUBSYSTEM=exporter
HARBOR_SERVICE_HOST=core
HARBOR_REDIS_URL=redis://redis:6379/2?idle_timeout_seconds=30
HARBOR_REDIS_NAMESPACE=harbor_job_service_namespace
HARBOR_REDIS_TIMEOUT=3600
HARBOR_SERVICE_PORT=8080
HARBOR_SERVICE_SCHEME=http
HARBOR_DATABASE_HOST=postgresql
HARBOR_DATABASE_PORT=5432
HARBOR_DATABASE_USERNAME=postgres
HARBOR_DATABASE_DBNAME=registry
HARBOR_DATABASE_SSLMODE=disable
HARBOR_DATABASE_MAX_IDLE_CONNS=100
HARBOR_DATABASE_MAX_OPEN_CONNS=900
HARBOR_DATABASE_CONN_MAX_LIFETIME=5m
HARBOR_DATABASE_CONN_MAX_IDLE_TIME=0

建立 exporter container

sudo podman run -d \
--name exporter --network harbor \
--env-file /etc/harbor/exporter.env \
--secret=db-secret,type=env,target=HARBOR_DATABASE_PASSWORD \
--volume=$(realpath $(find /etc/ssl/certs/ -name ca-*.crt ! -name "*trust*")):/harbor_cust_cert/root.crt:ro,Z \
goharbor/harbor-exporter:${HARBOR_VERSION}

3.9. 部署 Nginx

產生自簽憑證

git clone https://github.com/braveantony/mkcert.git
# change for your base domain
nano mkcert/config
# Server 相關設定
DOMAIN_NAME="example.com"
./mkcert/certctl
sudo mkdir -p /data/secret/cert
sudo cp mkcert/example.com/example.com.crt /data/secret/cert/server.crt
sudo cp mkcert/example.com/example.com.key /data/secret/cert/server.key
sudo chown -R 10000:10000 /data/secret/cert

建立設定檔

sudo nano /etc/harbor/nginx.conf

檔案內容 :

worker_processes auto;
pid /tmp/nginx.pid;
events {
worker_connections 3096;
use epoll;
multi_accept on;
}
http {
client_body_temp_path /tmp/client_body_temp;
proxy_temp_path /tmp/proxy_temp;
fastcgi_temp_path /tmp/fastcgi_temp;
uwsgi_temp_path /tmp/uwsgi_temp;
scgi_temp_path /tmp/scgi_temp;
tcp_nodelay on;
include /etc/nginx/conf.d/*.upstream.conf;
# this is necessary for us to be able to disable request buffering in all cases
proxy_http_version 1.1;
upstream core {
server core:8080;
}
upstream portal {
server portal:8080;
}
log_format timed_combined '$remote_addr - '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent" '
'$request_time $upstream_response_time $pipe';
access_log /dev/stdout timed_combined;
map $http_x_forwarded_proto $x_forwarded_proto {
default $http_x_forwarded_proto;
"" $scheme;
}
include /etc/nginx/conf.d/*.server.conf;
server {
listen 8443 ssl;
# server_name harbordomain.com;
server_tokens off;
# SSL
ssl_certificate /etc/cert/server.crt;
ssl_certificate_key /etc/cert/server.key;
# Recommendations from https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers '!aNULL:kECDH+AESGCM:ECDH+AESGCM:RSA+AESGCM:kECDH+AES:ECDH+AES:RSA+AES:';
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:10m;
# disable any limits to avoid HTTP 413 for large image uploads
client_max_body_size 0;
# required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486)
chunked_transfer_encoding on;
# Add extra headers
add_header Strict-Transport-Security "max-age=31536000; includeSubdomains; preload";
add_header X-Frame-Options DENY;
add_header Content-Security-Policy "frame-ancestors 'none'";
# customized location config file can place to /etc/nginx dir with prefix harbor.https. and suffix .conf
include /etc/nginx/conf.d/harbor.https.*.conf;
location / {
proxy_pass http://portal/;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $x_forwarded_proto;
proxy_cookie_path / "/; HttpOnly; Secure";
proxy_buffering off;
proxy_request_buffering off;
}
location /c/ {
proxy_pass http://core/c/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $x_forwarded_proto;
proxy_cookie_path / "/; Secure";
proxy_buffering off;
proxy_request_buffering off;
}
location /api/ {
proxy_pass http://core/api/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $x_forwarded_proto;
proxy_cookie_path / "/; Secure";
proxy_buffering off;
proxy_request_buffering off;
}
location /v1/ {
return 404;
}
location /v2/ {
proxy_pass http://core/v2/;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $x_forwarded_proto;
proxy_buffering off;
proxy_request_buffering off;
proxy_send_timeout 900;
proxy_read_timeout 900;
}
location /service/ {
proxy_pass http://core/service/;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $x_forwarded_proto;
proxy_cookie_path / "/; Secure";
proxy_buffering off;
proxy_request_buffering off;
}
location /service/notifications {
return 404;
}
}
server {
listen 8080;
#server_name harbordomain.com;
return 308 https://$host:443$request_uri;
}
upstream core_metrics {
server core:9090;
}
upstream js_metrics {
server jobservice:9090;
}
upstream registry_metrics {
server registry:9090;
}
upstream harbor_exporter {
server exporter:8080;
}
server {
listen 9090;
location = /metrics {
if ($arg_comp = core) { proxy_pass http://core_metrics; }
if ($arg_comp = jobservice) { proxy_pass http://js_metrics; }
if ($arg_comp = registry) { proxy_pass http://registry_metrics; }
proxy_pass http://harbor_exporter;
}
}
}

建立 nginx container

sudo podman run --name=proxy \
--detach --network=harbor \
--cap-drop=all \
--cap-add=setuid --cap-add=setgid --cap-add=chown \
--cap-add=net_bind_service --cap-add=dac_override \
--volume=/etc/harbor/jobservice.yml:/etc/jobservice/config.yml:z \
--volume=/etc/harbor/nginx.conf:/etc/nginx/nginx.conf:ro,z \
--volume=/data/secret/cert:/etc/cert:ro,Z \
--publish=80:8080/tcp \
--publish=443:8443/tcp \
--publish=9090:9090/tcp \
goharbor/nginx-photon:${HARBOR_VERSION}

3.10. 部署 trivy

編輯環境變數檔

sudo nano /etc/harbor/trivy.env

檔案內容如下 :

REGISTRY_URL=http://registry:5000
SCANNER_LOG_LEVEL=info
SCANNER_REDIS_URL=redis://redis:6379/5?idle_timeout_seconds=30
SCANNER_STORE_REDIS_URL=redis://redis:6379/5?idle_timeout_seconds=30
SCANNER_STORE_REDIS_NAMESPACE=harbor.scanner.trivy:store
SCANNER_STORE_REDIS_NAMESPACE=harbor.scanner.trivy:store
SCANNER_JOB_QUEUE_REDIS_URL=redis://redis:6379/5?idle_timeout_seconds=30
SCANNER_JOB_QUEUE_REDIS_NAMESPACE=harbor.scanner.trivy:job-queue
SCANNER_TRIVY_CACHE_DIR=/home/scanner/.cache/trivy
SCANNER_TRIVY_REPORTS_DIR=/home/scanner/.cache/reports
SCANNER_TRIVY_VULN_TYPE=os,library
SCANNER_TRIVY_SEVERITY=UNKNOWN,LOW,MEDIUM,HIGH,CRITICAL
SCANNER_TRIVY_IGNORE_UNFIXED=False
SCANNER_TRIVY_SKIP_UPDATE=False
SCANNER_TRIVY_SKIP_JAVA_DB_UPDATE=False
SCANNER_TRIVY_OFFLINE_SCAN=True
SCANNER_TRIVY_SECURITY_CHECKS=vuln
SCANNER_TRIVY_GITHUB_TOKEN=
SCANNER_TRIVY_INSECURE=False
SCANNER_TRIVY_TIMEOUT=5m0s

建立 trivy container

sudo podman run --name=trivy-adapter --detach \
--network=harbor \
--cap-drop=all \
--env-file=/etc/harbor/trivy.env \
goharbor/trivy-adapter-photon:${HARBOR_VERSION}

3.11. 檢查所有服務是否異常

執行以下命令檢查 container 運作狀態

sudo podman ps -a

正確執行結果 :

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ad033894240e localhost/goharbor/redis-photon:v2.14.2 redis-server /etc... 2 hours ago Up 2 hours (healthy) redis
15a84e395302 localhost/goharbor/harbor-db:v2.14.2 2 hours ago Up 2 hours (healthy) postgresql
a2ac4a2928d0 localhost/goharbor/harbor-portal:v2.14.2 nginx -g daemon o... About an hour ago Up About an hour (healthy) portal
5dd1ea9c53d8 localhost/goharbor/registry-photon:v2.14.2 About an hour ago Up About an hour (healthy) registry
7ad9c1c36d54 localhost/goharbor/harbor-registryctl:v2.14.2 52 minutes ago Up 52 minutes (healthy) registryctl
1ecd13d98484 localhost/goharbor/harbor-core:v2.14.2 42 minutes ago Up 42 minutes (healthy) core
c7fc40df1b30 localhost/goharbor/harbor-jobservice:v2.14.2 28 minutes ago Up 28 minutes (healthy) jobservice
05c09539108d localhost/goharbor/harbor-exporter:v2.14.2 21 minutes ago Up 21 minutes exporter
243817e09c05 localhost/goharbor/nginx-photon:v2.14.2 nginx -g daemon o... 36 seconds ago Up 36 seconds (healthy) 0.0.0.0:80->8080/tcp, 0.0.0.0:443->8443/tcp proxy
8c381495220b localhost/goharbor/trivy-adapter-photon:v2.14.2 3 seconds ago Up 4 seconds (healthy) trivy

3.12. 連線 Harbor UI

打開瀏覽器，連線至

https://$HARBOR_FQDN

輸入身分資訊 :

帳號 : admin
密碼 : Harbor12345

3.13. 設定 Harbor 開機自動啟動

目前只適用 systemd 的 OS，如果是 OpenRC 就不適用

產生 Systemd Unit 並控制順序

sudo podman generate systemd --name redis --restart-policy=always --after network-online.target --files
sudo podman generate systemd --name postgresql --restart-policy=always --after container-redis.service --files
sudo podman generate systemd --name registry --restart-policy=always --after container-postgresql.service --files
sudo podman generate systemd --name portal --restart-policy=always --after container-registry.service --files
sudo podman generate systemd --name registryctl --restart-policy=always --after container-portal.service --files
sudo podman generate systemd --name core --restart-policy=always --after container-registryctl.service --files
sudo podman generate systemd --name jobservice --restart-policy=always --after container-core.service --files
sudo podman generate systemd --name exporter --restart-policy=always --after container-jobservice.service --files
sudo podman generate systemd --name proxy --restart-policy=always --after container-exporter.service --files
sudo podman generate systemd --name trivy-adapter --restart-policy=always --after container-proxy.service --files

將這些 .service 檔案複製到 systemd 系統目錄
```
sudo cp container-*.service /etc/systemd/system/
```
重新載入 daemon
```
sudo systemctl daemon-reload
```

設定服務開機自動啟動

sudo systemctl enable \
container-redis.service \
container-postgresql.service \
container-registry.service \
container-portal.service \
container-registryctl.service \
container-core.service \
container-jobservice.service \
container-exporter.service \
container-proxy.service \
container-trivy-adapter.service

重開機測試
```
sudo reboot
```
ssh 連線進 podman host 主機

確認 harbor 各元件的 containers 運作狀態

sudo podman ps -a

執行結果 :

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ad033894240e localhost/goharbor/redis-photon:v2.14.2 redis-server /etc... 7 hours ago Up 50 seconds (healthy) redis
15a84e395302 localhost/goharbor/harbor-db:v2.14.2 7 hours ago Up 50 seconds (healthy) postgresql
a2ac4a2928d0 localhost/goharbor/harbor-portal:v2.14.2 nginx -g daemon o... 6 hours ago Up 49 seconds (healthy) portal
7ad9c1c36d54 localhost/goharbor/harbor-registryctl:v2.14.2 6 hours ago Up 49 seconds (healthy) registryctl
1ecd13d98484 localhost/goharbor/harbor-core:v2.14.2 6 hours ago Up 49 seconds (healthy) core
c7fc40df1b30 localhost/goharbor/harbor-jobservice:v2.14.2 6 hours ago Up 49 seconds (healthy) jobservice
05c09539108d localhost/goharbor/harbor-exporter:v2.14.2 5 hours ago Up 49 seconds exporter
8df8d211ff56 localhost/goharbor/registry-photon:v2.14.2 3 hours ago Up 49 seconds (healthy) registry
a5c4a370ab25 localhost/goharbor/trivy-adapter-photon:v2.14.2 8 minutes ago Up 49 seconds (healthy) trivy-adapter
479f0bd782bf localhost/goharbor/nginx-photon:v2.14.2 nginx -g daemon o... 5 minutes ago Up 48 seconds (healthy) 0.0.0.0:80->8080/tcp, 0.0.0.0:443->8443/tcp, 0.0.0.0:9090->9090/tcp proxy

Step4：驗證

設定 podman 信任 harbor 自簽 root CA 憑證

HARBOR_FQDN="pharbor.example.com"
sudo mkdir -p /etc/containers/certs.d/${HARBOR_FQDN}
sudo cp ${HOME}/mkcert/example.com/example.com.crt /etc/containers/certs.d/${HARBOR_FQDN}/ca.crt

podman 登入 harbor

podman login ${HARBOR_FQDN} -u admin -p "Harbor12345"

執行結果：

Login Succeeded!

下載 Nginx container image

podman pull docker.io/library/nginx:stable

修改 image tag

podman tag docker.io/library/nginx:stable ${HARBOR_FQDN}/library/nginx:stable

push image 至 harbor

podman push ${HARBOR_FQDN}/library/nginx:stable

執行結果：

Getting image source signatures
Copying blob e50a58335e13 done |
Copying blob 5c00c19cd4b3 done |
Copying blob 7dfc0854a228 done |
Copying blob 4b43bb8fd938 done |
Copying blob 5f3758e9c329 done |
Copying blob ac61f062f9a7 done |
Copying blob 16b60074fa6f done |
Copying config 94a30ed18e done |
Writing manifest to image destination

在 UI 檢查 library 專案是否多了一片 nginx image

刪除原始的 image

podman rmi docker.io/library/nginx:stable ${HARBOR_FQDN}/library/nginx:stable

執行結果：

Untagged: docker.io/library/nginx:stable
Untagged: pharbor.example.com/library/nginx:stable
Deleted: 94a30ed18e45363486a55379bd1fbb8c479f36524ae816779f3553afe6b787ed

從 harbor 下載 nginx image

podman pull ${HARBOR_FQDN}/library/nginx:stable

執行結果：

Trying to pull pharbor.example.com/library/nginx:stable...
Getting image source signatures
Copying blob 2efbe32a5480 done |
Copying blob 6996c0be3403 done |
Copying blob ea368c811a9e done |
Copying blob 765e9812de72 done |
Copying blob b94f38f9c422 done |
Copying blob 88e560633873 done |
Copying blob f72edb929581 done |
Copying config 94a30ed18e done |
Writing manifest to image destination
94a30ed18e45363486a55379bd1fbb8c479f36524ae816779f3553afe6b787ed

掃描弱點和產出 SBOM

點進 library/nginx

點選 “開始掃描” 按鈕和 “GENERATE SBOM” 按鈕

點選 “SBOM detials”

檢視掃描節點

參考資料

Podman 安裝 harbor - zggzcgy blog

Podman build Multi-Arch Images

Wed, 28 Jan 2026 06:36:54 +0800

撰寫 go 範例程式

nano hello.go

檔案內容如下：

package main
import (
"fmt"
"net/http"
)
func handler(w http.ResponseWriter, r *http.Request) {
fmt.Fprintf(w, "Hello")
}
func main() {
http.HandleFunc("/", handler)
http.ListenAndServe(":8080", nil)
}

編輯 Dockerfile

nano Dockerfile

檔案內容如下：

FROM --platform=$BUILDPLATFORM docker.io/library/golang:1.22 AS builder
ARG TARGETOS
ARG TARGETARCH
WORKDIR /app
COPY . .
# 利用 Go 的環境變數進行交叉編譯
RUN GOOS=$TARGETOS GOARCH=$TARGETARCH go build -o /build/hello hello.go
# 最後階段
FROM scratch
COPY --from=builder /build/hello /usr/local/bin/hello
CMD ["/usr/local/bin/hello"]

初始化 image manifest

podman manifest create hello

執行結果：

413534f46ca55438f717d734a4e088af1a92b003c6c837cf5753b6808161b125

build image

podman build --platform linux/amd64,linux/arm64 --manifest localhost/hello .

執行結果：

[linux/arm64] [1/2] STEP 1/6: FROM docker.io/library/golang:1.22 AS builder
[linux/arm64] [1/2] STEP 2/6: ARG TARGETOS
--> 6af98f118a47
[linux/arm64] [1/2] STEP 3/6: ARG TARGETARCH
--> de656f2a8f6b
[linux/arm64] [1/2] STEP 4/6: WORKDIR /app
--> 2e367870d334
[linux/arm64] [1/2] STEP 5/6: COPY . .
--> 6ad772c2ca91
[linux/arm64] [1/2] STEP 6/6: RUN GOOS=$TARGETOS GOARCH=$TARGETARCH go build -o /build/hello hello.go
--> 30515c7aaf86
[linux/arm64] [2/2] STEP 1/3: FROM scratch
[linux/arm64] [2/2] STEP 2/3: COPY --from=builder /build/hello /usr/local/bin/hello
--> 4ac0f5942408
[linux/arm64] [2/2] STEP 3/3: CMD ["/usr/local/bin/hello"]
[linux/arm64] [2/2] COMMIT
--> 6251d8b5a1f3
[linux/amd64] [1/2] STEP 1/6: FROM docker.io/library/golang:1.22 AS builder
6251d8b5a1f392aed47bc124a0bd3f2b7c18f3d4ba9681ea153e853bf5d23370
[linux/amd64] [1/2] STEP 2/6: ARG TARGETOS
--> Using cache 6af98f118a47e4fbbcaff838816b73e31d7f5bd72e4b546baf82b026fe424662
--> 6af98f118a47
[linux/amd64] [1/2] STEP 3/6: ARG TARGETARCH
--> Using cache de656f2a8f6bc7fc0e3f97eaaff21df053837e3d0e1a97f659a8a0ca40e2bb4a
--> de656f2a8f6b
[linux/amd64] [1/2] STEP 4/6: WORKDIR /app
--> Using cache 2e367870d3341f7f57dbf1a1924281e277a645ecb29f031a979ea6f656ef2c07
--> 2e367870d334
[linux/amd64] [1/2] STEP 5/6: COPY . .
--> Using cache 6ad772c2ca9135caef7c1fbeb79c126b36638dccab3b8eac884642020f330b4a
--> 6ad772c2ca91
[linux/amd64] [1/2] STEP 6/6: RUN GOOS=$TARGETOS GOARCH=$TARGETARCH go build -o /build/hello hello.go
--> afbe26b87b3c
[linux/amd64] [2/2] STEP 1/3: FROM scratch
[linux/amd64] [2/2] STEP 2/3: COPY --from=builder /build/hello /usr/local/bin/hello
--> 6dcdcf58bf83
[linux/amd64] [2/2] STEP 3/3: CMD ["/usr/local/bin/hello"]
[linux/amd64] [2/2] COMMIT
--> b6c0da75b480
b6c0da75b480acb9283ba0978937fe3668490c17bd39739a02211b1079227752

檢視 image

podman images localhost/hello:latest

執行結果：

REPOSITORY TAG IMAGE ID CREATED SIZE
<none> <none> b6c0da75b480 20 minutes ago 7.07 MB
localhost/hello latest 413534f46ca5 25 minutes ago 1.04 kB

檢視 image manifest

podman manifest inspect localhost/hello:latest

執行結果：

{
"schemaVersion": 2,
"mediaType": "application/vnd.docker.distribution.manifest.list.v2+json",
"manifests": [
{
"mediaType": "application/vnd.oci.image.manifest.v1+json",
"size": 498,
"digest": "sha256:48c8c68bc197b35831750d260600d3eb6c127ac64463d8f26d4f369e801ec4dd",
"platform": {
"architecture": "arm64",
"os": "linux"
}
},
{
"mediaType": "application/vnd.oci.image.manifest.v1+json",
"size": 498,
"digest": "sha256:27a5911345bd07fc3461092bb0b7c5fb52fed1e35f4dd27eaf0cf833e2c19860",
"platform": {
"architecture": "amd64",
"os": "linux"
}
}
]
}

Push the manifest and included images

podman manifest push localhost/hello:latest docker://quay.io/myuser/image:latest

Install Gitlab CE using Podman Pod

Mon, 01 Dec 2025 01:45:02 +0800

1. 先決條件

已安裝好 podman

2. 開始部署 Gitlab

為 gitlab 建立設定檔、data 和 log 的永存目錄區

sudo mkdir -p /etc/gitlab
sudo chown $(id -u):$(id -g) /etc/gitlab/
sudo mkdir -p /var/lib/gitlab
sudo chown $(id -u):$(id -g) /var/lib/gitlab/
sudo mkdir -p /var/log/gitlab
sudo chown $(id -u):$(id -g) /var/log/gitlab/
mkdir -p ${HOME}/wulin/gitlab
cd ${HOME}/wulin/gitlab

編輯 gitlab podman pod yaml

nano gitlab-pod.yaml

檔案內容：

apiVersion: v1
kind: Pod
metadata:
labels:
app: gitlab
name: gitlab
spec:
containers:
- name: gitlab
image: docker.io/gitlab/gitlab-ce:latest
securityContext:
runAsUser: 0
runAsGroup: 0
ports:
- containerPort: 80
hostPort: 8080
- containerPort: 443
hostPort: 8443
- containerPort: 22
hostPort: 2222
volumeMounts:
- mountPath: /etc/gitlab:Z
name: gitlab_config
- mountPath: /var/log/gitlab:Z
name: gitlab_logs
- mountPath: /var/opt/gitlab:Z
name: gitlab_data
volumes:
- name: gitlab_config
hostPath:
path: /etc/gitlab
type: Directory
- name: gitlab_logs
hostPath:
path: /var/log/gitlab
type: Directory
- name: gitlab_data
hostPath:
path: /var/lib/gitlab
type: Directory

部署 gitlab
```
podman kube play gitlab-pod.yaml
```

檢視 pod 是否運作正常

podman pod ps

執行結果：

POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
f260ec400479 gitlab Running 6 minutes ago 64e7a631a704 2

打開瀏覽器連線至 http://<host_ip>:8080

移除 gitlab

podman kube down gitlab-pod.yaml

執行結果：

Pods stopped:
f260ec4004799005a7088072f7e1193a9674f31365f1da21dde2a1b132dc99ba
Pods removed:
f260ec4004799005a7088072f7e1193a9674f31365f1da21dde2a1b132dc99ba
Secrets removed:
Volumes removed:

設定開機自動啟動

# 1. 建立一個目錄 (在 user home 中)，用來存放 Podman Quadlet 要使用的 Kubernetes YAML
# 注意路徑： ~/.config/containers/kube
mkdir -p ~/.config/containers/kube
# 2. 將 YAML 檔複製到上述 user 目錄中 (不需 sudo)
cp gitlab-pod.yaml ~/.config/containers/kube/gitlab-pod.yaml
# 3. 建立 user 的 Quadlet 目錄 (如果還不存在)
# 注意路徑： ~/.config/containers/systemd
mkdir -p ~/.config/containers/systemd
# 4. 建立 user systemd 的 Quadlet unit 檔案 (不需 sudo)
# 注意：檔案儲存在 ~/.config/containers/systemd/gitlab-pod.kube
tee ~/.config/containers/systemd/gitlab-pod.kube >/dev/null <<'EOF'
[Unit]
Description=Podman Quadlet: Gitlab Pod (gitlab-pod)
# User services 也可以依賴於網路
Wants=network-online.target
After=network-online.target
[Kube]
# 關鍵：使用 %h 來代表 user 的 home 目錄
Yaml=%h/.config/containers/kube/gitlab-pod.yaml
# StopTimeout=120
[Service]
# 這些設定與 system service 相同
Restart=always
RestartSec=5s
TimeoutStopSec=120s
[Install]
# 關鍵：User services 應該使用 'default.target'
# 這表示當您登入時，服務會啟動
WantedBy=default.target
EOF
# 5. 重新載入 user systemd daemon (使用 --user 旗標)
systemctl --user daemon-reload
# 6. 啟動 gitlab-pod 服務
systemctl --user start gitlab-pod.service
# 7. 檢查 gitlab-pod 服務目前的運行狀態 (使用 --user 旗標)
systemctl --user status gitlab-pod.service
# 8. 啟用 lingering，讓您的 user service 在登出後繼續運行
loginctl enable-linger $(whoami)

執行結果：

● gitlab-pod.service - Podman Quadlet: Gitlab Pod (gitlab-pod)
Loaded: loaded (/home/bigred/.config/containers/systemd/gitlab-pod.kube; generated)
Active: active (running) since Fri 2025-11-14 17:24:14 CST; 3min 19s ago
Main PID: 8412 (conmon)
Tasks: 14 (limit: 9434)
Memory: 7.6M (peak: 22.3M)
CPU: 268ms
CGroup: /user.slice/user-1000.slice/user@1000.service/app.slice/gitlab-pod.service
├─8412 /usr/bin/conmon --api-version 1 -c 403dce5090111114ccd9c39b1fa05a49ac57dc91b3bea32c95b77c9083a2a7…
├─8492 rootlessport
├─8497 rootlessport-child
├─8504 /usr/bin/conmon --api-version 1 -c 6ddd4be557c3b945612f3a96122014dee42ed19d659e536c7c31ce0c3e5d7a…
└─8509 /usr/bin/conmon --api-version 1 -c 190c6322b1cc5c5edfc0651e74cd5d385acf28957c31918eeb0fa171e99123…
Nov 14 17:27:22 gitlab.kubeantony.com gitlab-gitlab[8509]: 2025-11-14_09:27:22.05060 - -> /sidekiq
Nov 14 17:27:23 gitlab.kubeantony.com gitlab-gitlab[8509]:
Nov 14 17:27:23 gitlab.kubeantony.com gitlab-gitlab[8509]: ==> /var/log/gitlab/gitlab-rails/production_json.log <==
Nov 14 17:27:23 gitlab.kubeantony.com gitlab-gitlab[8509]: {"method":"GET","path":"/-/metrics","format":"html","contr…
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]:
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]: ==> /var/log/gitlab/gitlab-exporter/current <==
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]: 2025-11-14_09:27:29.18027 127.0.0.1 - - [14/Nov/2025…0 1778
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]: 2025-11-14_09:27:29.18030 - -> /database
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]: 2025-11-14_09:27:29.51964 127.0.0.1 - - [14/Nov/2025…0 1089
Nov 14 17:27:29 gitlab.kubeantony.com gitlab-gitlab[8509]: 2025-11-14_09:27:29.51966 - -> /ruby
Hint: Some lines were ellipsized, use -l to show in full.

確認 gitlab Container 狀態為 Up X minutes (healthy)

podman ps -a

執行結果：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
403dce509011 localhost/podman-pause:4.9.3-0 5 minutes ago Up 5 minutes ab2b6bed5526-service
6ddd4be557c3 localhost/podman-pause:4.9.3-0 5 minutes ago Up 5 minutes 0.0.0.0:2222->22/tcp, 0.0.0.0:8080->80/tcp, 0.0.0.0:8443->443/tcp 7ab0d212f129-infra
190c6322b1cc docker.io/gitlab/gitlab-ce:latest /assets/init-cont... 4 minutes ago Up 5 minutes (healthy) 0.0.0.0:2222->22/tcp, 0.0.0.0:8080->80/tcp, 0.0.0.0:8443->443/tcp gitlab-gitlab

獲取 gitlab root 使用者密碼

podman exec gitlab-gitlab cat /etc/gitlab/initial_root_password

執行結果：

# WARNING: This password is only valid if ALL of the following are true:
# • You set it manually via the GITLAB_ROOT_PASSWORD environment variable
# OR the gitlab_rails['initial_root_password'] setting in /etc/gitlab/gitlab.rb
# • You set it BEFORE the initial database setup (typically during first installation)
# • You have NOT changed the password since then (via web UI or command line)
#
# If this password doesn't work, reset the admin password using:
# https://docs.gitlab.com/security/reset_user_password/#reset-the-root-password
Password: nmPd3GbmDgzm/0eP85FA46v/GOL+erXn6/V7b0vnWgk=
# NOTE: This file is automatically deleted after 24 hours on the next reconfigure run.

成功登入 gitlab 網站

3. 設定 Gitlab

修改 root user 密碼點選 Overview -> Users -> Edit 在 Password 和 Password confirmation 欄位輸入密碼，然後按 Save changes
使用新的密碼重新登入

4. 參考連結

Gitlab CE Deployment with Podman

Podman Spring native

Tue, 18 Nov 2025 14:19:06 +0800

1. 開發 TLS Http Web Server

1.1. 透過 Step-CA 產生自簽憑證

建立 certificate authority (CA) 設定檔

sudo mkdir -p /opt/zfs/ca
sudo chown 1000:1000 /opt/zfs/ca
sudo podman run --rm -it \
-v /opt/zfs/ca:/home/step \
smallstep/step-ca:latest \
step ca init \
--deployment-type "standalone" \
--name "Taroko" \
--dns "192.168.188.100" \
--address "192.168.188.100:443" \
--provisioner "bigred@k8s"

執行結果：

there is no ca.json config file; please run step ca init, or provide config parameters via DOCKER_STEPCA_INIT_ vars
Choose a password for your CA keys and first provisioner.
✔ [leave empty and we'll generate one]: bigred
Generating root certificate... done!
Generating intermediate certificate... done!
✔ Root certificate: /home/step/certs/root_ca.crt
✔ Root private key: /home/step/secrets/root_ca_key
✔ Root fingerprint: ec149e5b641071f34debb050f56732e120c01c01f4569d31c880880484e61972
✔ Intermediate certificate: /home/step/certs/intermediate_ca.crt
✔ Intermediate private key: /home/step/secrets/intermediate_ca_key
✔ Database folder: /home/step/db
✔ Default configuration: /home/step/config/defaults.json
✔ Certificate Authority configuration: /home/step/config/ca.json
Your PKI is ready to go. To generate certificates for individual services see 'step help ca'.

建立 Step-CA Server

echo "bigred" > /opt/zfs/ca/secrets/password
sudo podman run --name step-ca -itd \
-h ca.k8s --net=itfra --ip 192.168.188.100 \
--dns 192.168.188.10 --dns-search k8s \
-v /opt/zfs/ca:/home/step \
smallstep/step-ca

確認 Step-CA Server 運作是否正常

$ sudo podman logs step-ca

執行結果：

badger 2025/11/18 06:54:19 INFO: All 0 tables opened in 0s
2025/11/18 06:54:19 Building new tls configuration using step-ca x509 Signer Interface
2025/11/18 06:54:19 Starting Smallstep CA/0.28.4 (linux/amd64)
2025/11/18 06:54:19 Documentation: https://u.step.sm/docs/ca
2025/11/18 06:54:19 Community Discord: https://u.step.sm/discord
2025/11/18 06:54:19 Config file: /home/step/config/ca.json
2025/11/18 06:54:19 The primary server URL is https://192.168.188.100:443
2025/11/18 06:54:19 Root certificates are available at https://192.168.188.100:443/roots.pem
2025/11/18 06:54:19 X.509 Root Fingerprint: 440e375a87cfe8c75a0e10dcb8c00c306be0e8ae8d584c7a6b03c47c69c8b485
2025/11/18 06:54:19 Serving HTTPS on 192.168.188.100:443 ...

檢測 Step-CA Server

curl -k https://192.168.188.100:443/health

執行結果：

{"status":"ok"}

製作 web.k8s 憑證

sudo podman exec -it step-ca step ca certificate web.k8s web.k8s.crt web.k8s.key

執行結果：

✔ Provisioner: bigred@k8s (JWK) [kid: CGRqFRj6mGpgM1JttMTT4jydH-UlpWHh91hAEIc2Ssk]
Please enter the password to decrypt the provisioner key:
✔ CA: https://192.168.188.100
✔ Certificate: web.k8s.crt
✔ Private Key: web.k8s.key

建立存放網站憑證的目錄，並將剛剛產生的憑證搬進該目錄

sudo mkdir -p /opt/zfs/java-web/{conf.d,certs}
sudo mv /opt/zfs/ca/web.k8s* /opt/zfs/java-web/certs/

將憑證轉換為 Java Keystore (PKCS12)

sudo openssl pkcs12 -export \
-inkey /opt/zfs/java-web/certs/web.k8s.key \
-in /opt/zfs/java-web/certs/web.k8s.crt \
-out /opt/zfs/java-web/certs/web.k8s.keystore.p12 \
-name "sb3-tls" \
-passout pass:bigred
sudo cp /opt/zfs/java-web/certs/web.k8s.keystore.p12 ${HOME}/sb3/src/main/resources/

1.2. 開發 Web 網站

編輯 RESTful 網站開發套件

nano ${HOME}/sb3/src/main/java/k8s/sb3/TlsHelloController.java

檔案內容：

package k8s.sb3;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class TlsHelloController {
@GetMapping("/hello")
public String hello() {
return "Hello, GraalVM!\n";
}
}

修改 application.properties

nano ${HOME}/sb3/src/main/resources/application.properties

執行結果：

spring.application.name=sb3
# 啟用 SSL
server.port=8443
server.ssl.enabled=true
server.ssl.key-store=classpath:web.k8s.keystore.p12
server.ssl.key-store-password=bigred
server.ssl.key-store-type=PKCS12
server.ssl.key-alias=sb3-tls

編輯 KeystoreRuntimeHints.java，將憑證 compile 進 jar 檔

nano src/main/java/k8s/sb3/KeystoreRuntimeHints.java

檔案內容:

package k8s.sb3;
import org.springframework.aot.hint.RuntimeHints;
import org.springframework.aot.hint.RuntimeHintsRegistrar;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.ImportRuntimeHints;
@Configuration
@ImportRuntimeHints(KeystoreRuntimeHints.KeystoreHintsRegistrar.class)
public class KeystoreRuntimeHints {
static class KeystoreHintsRegistrar implements RuntimeHintsRegistrar {
@Override
public void registerHints(RuntimeHints hints, ClassLoader classLoader) {
// 精準指定檔名
hints.resources().registerPattern("web.k8s.keystore.p12");
// 或者你也可以用通配：
// hints.resources().registerPattern("*.p12");
}
}
}

build image

sudo ${HOME}/sb3/mvnw clean \
-Pnative spring-boot:build-image \
-Dspring-boot.build-image.imageName=sb3:v1-tls

執行結果：

[INFO] Successfully built image 'docker.io/library/sb3:v1-tls'
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 02:07 min
[INFO] Finished at: 2025-11-18T21:23:22+08:00
[INFO] ------------------------------------------------------------------------

檢視 image

docker images sb3:v1-tls

執行結果:

REPOSITORY TAG IMAGE ID CREATED SIZE
sb3 v1-tls f8c4fd25f90c 45 years ago 113MB

Run Container

docker run --name sb3 -d -p 443:8443 sb3:v1-tls

檢視 web container 運作狀態

docker ps -a --filter name=sb3

執行結果:

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
70b0a080e03d sb3:v1-tls "" 45 minutes ago Up 45 minutes 0.0.0.0:443->8443/tcp sb3

信任 root ca 和中繼憑證

sudo cp /opt/zfs/ca/certs/root_ca.crt /usr/local/share/ca-certificates
sudo cp /opt/zfs/ca/certs/intermediate_ca.crt /usr/local/share/ca-certificates
sudo update-ca-certificates

測試連線網站

curl https://web.k8s/hello

執行結果:

Hello, GraalVM!

80-IT-Infra-Podman-BIND

Sun, 26 Oct 2025 09:37:50 +0800

1. 認識 Domain Name System

1.1. Domain Name 系統架構

Top Level Domains 就是 .edu、.net、.gov …等，這種 Domain 名稱，往下會延伸出第二層、第三層，全球有至少 13 台電腦在管理 Top Level Domains，會有特別的一個組織在管理。
企業內部通常是從第二層的名稱開始維護，在管理這些名稱的時候，最起碼會裝兩台 DNS Server，一個叫做 Primary DNS，另一個叫做 Secondary DNS，裝這兩台 DNS 來管理 Domain Name。
每一個 Domain 的名稱都會用兩台電腦，上面跑 DNS Server 來管 Domain 名稱。
有兩台 DNS Server 管理 google.com 的 Domain name 是甚麼意思?
- 所謂的管理，就是能夠會回答這個名稱裡面有哪些網路服務，以 google.com 為例，現在在 Google 公司會裝了兩台 DNS Server，主要的功能就是要來回答在網路上 Google 有提供那些網路服務，這些名稱會用名稱來表達，譬如 www.google.com 就代表 Google 的網站服務，而網站服務對應的 IP 位址，就會由 DNS Server 來做回答。
- google.com 還會有提供哪些網路服務? Web Server, Mail Server…等。
- 甚麼是 CDN? 在網路上的網站，只要是圖片檔這種需要消耗頻寬的，他們通通都不是放在自己的 Web Server，全部都是在網路上去租用 CDN 網站，由這個網站來把這些資料做傳送。
為何要裝兩台 DNS Server?
- 第一台叫做 Primary，第二台叫做 Secondary，第二台 DNS Server 會設定成 Read only (唯讀且不可修改)，真正對外的只有 Secondary DNS，也就是說 Client 端都會去找 Secondary DNS 做查詢。
- 那 Secondary DNS 的 Record 資料要從哪來?
  - 從 Primary DNS 來，會透過 AXFR 通訊協定同步到 Secondary DNS 的 Zone 裡面，走的是 TCP/53 Port
  - 所以要新增 www.google.com 的 DNS record，會先在 Primary DNS 裡面去新增，在同步給 Secondary DNS，最後 Client 端會去找 Secondary DNS 做查詢，去找 www.google.com 這個網站服務對應的 IP 位址。
DNS Client 是在 Client 裝置上的一個程式或服務，它能將人類可讀的網域名稱，例如將 www.google.com 轉換為電腦在網路上用來相互識別的數字 IP 位址。它會向 DNS Server 傳送查詢以尋找正確的 IP 位址、檢查本機快取中先前解析過的名稱，並協助您連線到網站和線上服務。
TCP/53 port 是給 Primary 跟 Secondary 之間做 Zone 同步用的，那 UDP/53 port 則是給 Client 查詢走的 port。

1.2. DNS - Recursive Query

自製 BIND Image

$ sudo mkdir -p /opt/zfs/{images/bind,bind/zone}
$ echo 'options {
directory "/etc/bind";
pid-file "/var/run/named/named.pid";
forwarders { 8.8.8.8; 168.95.1.1; };
allow-query { any; };
allow-recursion { any; };
allow-update { any;};
allow-transfer { 192.168.188.12; 192.168.188.254; };
also-notify { 192.168.188.12; };
listen-on { any; };
notify yes;
recursion yes;
};
zone "k8s" IN {
type master;
file "/etc/bind/zone/k8s.zone";
}; ' | envsubst | sudo tee /opt/zfs/bind/k8s.mnamed.conf

/opt/zfs/bind/k8s.mnamed.conf: Primary DNS 設定檔
1. 這設定檔主要管的 k8s 這個 Zone
2. k8s Zone 所有的網路服務 Record 會記錄在 /etc/bind/zone/k8s.zone 檔案中
3. 如果 DNS Client

如何將 podman container 移轉到其他 podman host

Fri, 19 Sep 2025 03:47:44 +0800

1. 將 podman container 圓圓

Run NFS Server with Podman Pod

Fri, 15 Aug 2025 10:06:58 +0800

1. 先決條件

Podman host kernel 必須載入以下 kernel modules

printf "%s\n" nfs nfsd rpcsec_gss_krb5 | sudo tee /etc/modules-load.d/nfs.conf

手動觸發載入服務

sudo systemctl restart systemd-modules-load.service

檢查模組是否已載入

sudo lsmod | grep -E "nfs|nfsd|rpcsec_gss_krb5"

執行結果：

rpcsec_gss_krb5 40960 0
nfs 598016 0
fscache 393216 1 nfs
netfs 65536 2 fscache,nfs
nfsd 897024 5
auth_rpcgss 188416 2 nfsd,rpcsec_gss_krb5
nfs_acl 12288 1 nfsd
lockd 184320 2 nfsd,nfs
grace 12288 2 nfsd,lockd
sunrpc 839680 18 nfsd,auth_rpcgss,lockd,rpcsec_gss_krb5,nfs_acl,nfs

2. 注意事項

此 container 需要以 privileged 來執行。這是必要的，因為 NFS 伺服器需要在 container 內部掛載數個檔案系統以支援其運作，而若無這些權限，在 container 內部執行掛載（mount）是不可能的。
此外，此 container 需要能存取到您想透過 NFS 分享的本機檔案。您可以使用 Podman volumes、綁定掛載（bind mounts）、將檔案直接建置在自訂的映像檔（custom image）中，或幾乎任何其他能將檔案提供給 Podman Container 的方式。

3. 規劃一顆硬碟給 NFS Server 用

# 1. 在 VM 新增一顆硬碟專門給 NFS Server 使用
# 2. 檢查新的硬碟名稱
$ lsblk
...
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 100G 0 disk
# 3. 將硬碟名稱設為變數
$ D="/dev/sdb"
# 4. 使用 parted 建立 GPT 分割區，從 1 MiB 到磁碟尾，並標記為 LVM 用途
$ sudo parted -s ${D} mklabel gpt
$ sudo parted -s ${D} unit MiB mkpart primary 1 100%
# 5. 將剛建立的分割區初始化為 LVM PV
$ sudo pvcreate ${D}1
# 6. 建立名為 vg-nfs 的 VG
$ sudo vgcreate vg-nfs ${D}1
# 7. 從 VG 中建立一 LV，利用全部剩餘空間並命名為 lv-nfs
$ sudo lvcreate -l +100%FREE -n lv-nfs /dev/vg-nfs
# 8. 格式化 LV 為 XFS 檔案系統，以提供穩健且高效的儲存
$ sudo mkfs.xfs /dev/vg-nfs/lv-nfs
# 9. 建立 NFS Server 要共享給 Client 的目錄
$ sudo mkdir -p /data/nfs
# 10. 修改目錄權限
$ sudo chown -R 65534:65534 /data/nfs
# 11. 將目錄設為開機自動掛載 lv 裝置上
$ echo '/dev/vg-nfs/lv-nfs /data/nfs xfs defaults 0 0' | sudo tee -a /etc/fstab
# 12. 將目錄掛載到 lv 裝置上
$ sudo mount -a && sudo systemctl daemon-reload
# 13. 設定共享目錄
$ echo '/data/nfs 192.168.11.0/24(rw,sync,no_subtree_check,no_root_squash,fsid=0)' | sudo tee /etc/exports

4. 設定與部署 NFS Server Podman Pod

建立工作目錄

mkdir "$HOME"/nfs-server; cd "$HOME"/nfs-server

設定 NFS Server Podman Pod YAML

nano nfs-pod.yaml

檔案內容如下

apiVersion: v1
kind: Pod
metadata:
name: nfs-server-pod
spec:
containers:
- name: nfs-server-container
image: docker.io/erichough/nfs-server
securityContext:
privileged: true
ports:
- name: nfs-tcp
containerPort: 2049
hostPort: 2049
protocol: TCP
# volume 掛載設定
volumeMounts:
- name: nfs-data-volume
mountPath: /data/nfs
- name: nfs-exports-config
mountPath: /etc/exports
# 定義 Pod 層級的 Volume
volumes:
- name: nfs-data-volume
hostPath:
path: /data/nfs # <-- 請替換成主機上的實際路徑
type: Directory
- name: nfs-exports-config
hostPath:
path: /etc/exports # <-- 請替換成主機上的實際路徑
type: File

部署 NFS Server
```
sudo podman kube play ./nfs-pod.yaml
```

檢查運作狀態

sudo podman ps -a --pod --filter pod=nfs-server-pod

正確執行結果如下：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
3b17c7f41587 localhost/podman-pause:4.9.5-1729598400 4 minutes ago Up 4 minutes 0.0.0.0:2049->2049/tcp 3cf2e7b352a4-infra 3cf2e7b352a4 nfs-server-pod
87740e79d0e1 docker.io/erichough/nfs-server:latest 4 minutes ago Up 4 minutes 0.0.0.0:2049->2049/tcp nfs-server-pod-nfs-server-container 3cf2e7b352a4 nfs-server-pod

在其他主機驗測是否可以掛載

$ mkdir test
$ sudo mount -t nfs 192.168.11.11:/ test
$ sudo touch test/qqq
# run command on nfs server host
$ ls -l /data/nfs
total 0
-rw-r--r-- 1 root root 0 Aug 13 17:57 qqq
$ sudo umount test

停止 NFS Server
```
sudo podman kube down ./nfs-pod.yaml
```

設定開機自動重啟

# 1. 建立一個目錄，用來存放 Podman Quadlet 要使用的 Kubernetes YAML 設定檔
sudo mkdir -p /etc/containers/kube
# 2. 將預先定義好的 NFS Pod YAML 檔複製到上述目錄中
sudo cp nfs-pod.yaml /etc/containers/kube/nfs-server.yaml
# 3. 使用 "here document" 的方式，建立一個 systemd 的 Quadlet unit 檔案。
# 這個 .kube 檔案會告訴 systemd 如何使用指定的 YAML 檔來管理一個 Pod。
sudo tee /etc/containers/systemd/nfs-server-pod.kube >/dev/null <<'EOF'
[Unit]
Description=Podman Quadlet: NFS Server Pod (nfs-server-pod)
# 指定此服務依賴於網路連線
Wants=network-online.target
After=network-online.target
[Kube]
# 指定要使用的 Kubernetes YAML 設定檔路徑
Yaml=/etc/containers/kube/nfs-server.yaml
# StopTimeout=120
[Service]
# 設定服務失敗時自動重啟
Restart=always
# 設定重啟間隔為 5 秒
RestartSec=5s
# 設定停止服務的等待時間為 120 秒
TimeoutStopSec=120s
[Install]
# 設定此服務在系統開機後，進入多使用者模式時啟動
WantedBy=multi-user.target
EOF
# 4. 重新載入 systemd 設定，讓系統讀取到剛剛建立的新服務檔案
sudo systemctl daemon-reload
# 5. 設定 nfs-server-pod 服務開機自動啟動，並立即啟動它
sudo systemctl start nfs-server-pod.service
# 6. 檢查 nfs-server-pod 服務目前的運行狀態
sudo systemctl status nfs-server-pod.service

確認運作狀態

sudo podman ps -a --pod --filter pod=nfs-server-pod

正確執行結果如下：

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
3b17c7f41587 localhost/podman-pause:4.9.5-1729598400 4 minutes ago Up 4 minutes 0.0.0.0:2049->2049/tcp 3cf2e7b352a4-infra 3cf2e7b352a4 nfs-server-pod
87740e79d0e1 docker.io/erichough/nfs-server:latest 4 minutes ago Up 4 minutes 0.0.0.0:2049->2049/tcp nfs-server-pod-nfs-server-container 3cf2e7b352a4 nfs-server-pod

參考資料

erichough/nfs-server

Podman Pod 設定 Containers 啟動順序

Sat, 26 Jul 2025 15:25:44 +0800

理解 OCI hooks

Container hooks 是 OCI 規範中的一項功能，它允許使用者在 App Container 生命週期 (lifecycle) 的不同時間點，定義並執行特定的動作。

這些 hook 是指一些腳本 (scripts) 或指令 (commands)，它們會在特定的事件發生時被執行，例如在 container 被建立 (created)、啟動 (started)、停止 (stopped) 或刪除 (deleted) 的前後。Container hooks 提供了一種擴充 container 行為的方法，可用於多種目的，包括設定 (setup)、配置 (configuration) 和清理 (cleanup) 等任務。

OCI container hooks 包含以下幾種類型：

precreate：這個 hook 會在 container 的設定檔產生之後，但在 container 真正啟動之前執行。
prestart：這個 hook 會在 container 的主要程序 (primary process) 啟動前執行。它可以用來執行像是設定環境變數、配置網路設定或準備 container 的檔案系統 (filesystem) 等任務。
poststart：這個 hook 會在 container 的主要程序 (primary process) 啟動後執行。它可用於執行那些需要在 container 開始運行後才進行的任務，例如將 container 註冊到服務發現系統 (service discovery system) 或監控工具。
poststop：這個 hook 會在 container 的主要程序 (primary process) 退出或 container 被停止後執行。它可用於清理任務 (cleanup tasks)、記錄日誌 (logging) 或任何在 container 停止運行後應採取的行動。

Container hooks 可以在 container 的 OCI 設定檔中定義，該設定檔通常儲存為一個 JSON 檔案。此設定檔會指明 hook 腳本或指令的路徑，以及任何需要的參數 (arguments) 或環境變數 (environment variables)。

快速動手實作

Step1: 設定 Podman `hook` 定義檔的存放位置

執行以下命令，編輯 /etc/containers/containers.conf 檔案：

sudo nano /etc/containers/containers.conf

修改以下內容 :

# Path to OCI hooks directories for automatically executed hooks.
# 將以下三行取消註解
hooks_dir = [
"/usr/share/containers/oci/hooks.d",
]

Step2: 以 Json 格式設定 Hook 定義檔

sudo mkdir -p /usr/share/containers/oci/hooks.d/
sudo nano /usr/share/containers/oci/hooks.d/prestart-delay.json

檔案內容如下 :

{
 "version": "1.0.0",
 "hook": {
 "path": "/usr/local/bin/delay.sh",
 },
 "when": {
 "annotations": {
 "^delay$": ".+"
 }
 },
 "stages": ["prestart"]
}

Step3: 編輯 Hook 定義檔中宣告的 shell script，並賦予執行權限

sudo nano /usr/local/bin/delay.sh

檔案內容如下 :

#!/bin/bash
set -x
# 將 stderr 重新導向到一個日誌檔案以便除錯，同時也輸出到原始的 stderr
exec 2> >(tee -a /var/log/oci-hooks.log >&2)
# 從標準輸入 (stdin) 讀取容器狀態 JSON
# OCI 執行階段會在 prestart 階段將此 JSON 傳遞給 Hook
input="-"
CONTAINER_CONFIG=$(cat "$input")
# 檢查 jq 是否安裝
if ! command -v jq &> /dev/null; then
echo "Error: jq is not installed. Cannot parse container state." >&2
exit 1
fi
# 使用 jq 從 JSON 中解析我們自訂的註解值。
# 註解鍵為 "delay"。
# -r 選項移除引號。
# // "0" 提供一個預設值，如果註解不存在或為 null，則回傳 "0"。
delay_seconds=$(echo "$CONTAINER_CONFIG" | jq -r '.annotations["delay"] // "0"')
# 輸入驗證：確保我們得到的是一個非負整數。
# 這可以防止錯誤或潛在的命令注入。
if ! [[ "$delay_seconds" =~ ^[0-9]+$ ]]; then
echo "Warning: Invalid value for annotation delay: '$delay_seconds'. Must be a non-negative integer. Defaulting to 0." >&2
delay_seconds=0
fi
# 如果延遲時間大於 0，則執行 sleep 並記錄日誌。
if [ "$delay_seconds" -gt 0 ]; then
echo "Dynamic delay hook triggered. Sleeping for $delay_seconds seconds..." >&2
sleep "$delay_seconds"
echo "Sleep complete. Container will now start." >&2
else
# 如果延遲為 0 或無效，也記錄一條資訊，以便追蹤 Hook 是否被觸發。
echo "Dynamic delay hook triggered, but delay is 0. Starting container immediately." >&2
fi

賦予程式執行權限 :

sudo chmod +x /usr/local/bin/delay.sh

Step4: 執行與驗證

1. 先用 app container 驗證

date; sudo podman run \
--rm \
-it \
--annotation delay=5 \
docker.io/library/alpine date

執行結果 :

Sat Jul 26 16:41:05 CST 2025
Sat Jul 26 08:41:10 UTC 2025

可以看到只差 5 秒

2. 使用 podman pod 驗證

# 建立 pod
sudo podman pod create --name mypod
# 建立 container c1，指定 annotation
sudo podman create --name c1 --pod mypod \
--annotation delay=5 \
docker.io/library/alpine \
sh -c "date; sleep infinity"
# 建立 container c2，指定 annotation
sudo podman create --name c2 --pod mypod \
--annotation delay=10 \
docker.io/library/alpine \
sh -c "date; sleep infinity"
# 建立 container c3，指定 annotation
sudo podman create --name c3 --pod mypod \
--annotation delay=15 \
docker.io/library/alpine \
sh -c "date; sleep infinity"
# 啟動所有 container
sudo podman start c1 c2 c3

檢視 podman pod logs

$ sudo podman pod logs mypod

執行結果 :

9c922e6a8c15 Sat Jul 26 15:24:33 UTC 2025
caca4df50c11 Sat Jul 26 15:24:58 UTC 2025
5531bc974469 Sat Jul 26 15:24:43 UTC 2025

What is Apache Guacamole and how does it work?

Mon, 23 Jun 2025 17:23:50 +0800

什麼是 Guacamole?

最高戰略目標 : 可以讓使用者從任何地方遠端存取一台或多台桌面，而且不需要事先在使用者的設備中安裝任何插件，甚至手機或平板電腦也可以使用，只需要有網站瀏覽器，並且可以透過網路連到 Guacamole Server 就可以了，有支援 VNC, RDP, SSH …等。

Guacamole 架構與核心運作

Guacamole 並非一個獨立的 Web 應用，它由許多部分組成。

使用者以瀏覽器連線 Guacamole 伺服器： 使用者在瀏覽器中進入 Guacamole 伺服器的網址（通常是 Web 介面），與 Guacamole 伺服器建立起一個 HTTP/HTTPS 連線，準備開始遠端桌面會話。
Guacamole 伺服器傳送 Guacamole Client： Guacamole 伺服器內建的 Web 伺服器會將前端的 Guacamole 客戶端（以 JavaScript 撰寫）傳送到使用者的瀏覽器上。這個 JavaScript 應用程式就是使用者在瀏覽器中操作的介面。
建立 Guacamole 通訊協定的通道： 當瀏覽器端的 JavaScript 客戶端載入完成後，它會透過 HTTP 或 WebSocket 與 Guacamole 伺服器建立持續連線，並使用 Guacamole 通訊協定來通信。Guacamole 通訊協定是一種由 Guacamole 定義的通訊協定，用於在瀏覽器客戶端和伺服器之間傳輸遠端桌面的畫面更新和使用者輸入等事件資料。
Web 應用轉發請求給 guacd： Guacamole 伺服器上的 Web 應用程式收到來自瀏覽器端的 Guacamole 通訊協定數據後，並不直接解讀為特定遠端桌面的指令，而是將這些協定訊息轉發給後端的 guacd（Guacamole 的原生代理服務）。可以理解為 Web 應用程式建立了一個通道，將瀏覽器客戶端的請求交給 guacd 去處理。
guacd 依協定連接遠端桌面： guacd 收到從 Web 應用轉來的指令後，會解析其中包含的連線參數，根據使用者請求的協定類型，替使用者與實際的遠端桌面伺服器建立連線。例如，如果使用者要連的是 Windows 主機桌面，guacd 就會使用 RDP 協定跟該主機溝通；若是 Linux 主機且啟用 VNC，guacd 就改用 VNC 協定連線，或者透過 SSH 建立遠端終端會話。guacd 負責所有與遠端伺服器之間的底層通訊，將使用者的操作轉換成遠端桌面協定所需的訊息發送出去，並接收遠端主機回傳的畫面更新。
遠端畫面與操作結果回傳： 當 guacd 與遠端桌面伺服器建立好連線後，遠端桌面的畫面影像資料會即時地透過 Guacamole 通訊協定傳輸回 Guacamole 伺服器的 Web 應用程式。同時，使用者在瀏覽器中對遠端桌面的任何操作（例如按鍵、滑鼠點擊等），也會經由這條通道送達 guacd，再轉發給遠端主機執行。最終，遠端桌面的畫面更新和回應結果又經由 guacd → Guacamole 伺服器的 Web → 瀏覽器客戶端的路徑傳回，瀏覽器上的 Guacamole JavaScript 客戶端會將其呈現在使用者面前，讓使用者宛如直接操作該遠端主機一般。

快速動手實作

使用 Podman Container 安裝 Guacamole

Guacamole 被使用 Podman 部署時，被分成 3 個 Containers，分別是

guacamole/guacd Provides the guacd daemon, built from the released guacamole-server source with support for VNC, RDP, SSH, telnet, and Kubernetes.
guacamole/guacamole Provides the Guacamole web application running within Tomcat 8 with support for WebSocket. The configuration necessary to connect to guacd, MySQL, PostgreSQL, LDAP, etc. will be generated automatically when the image starts based on Docker links or environment variables.
mysql or postgresql Provides the database that Guacamole will use for authentication and storage of connection configuration data.

# 1. 啟動 guacd app container（Guacamole 代理服務，負責 RDP/VNC/SSH 轉譯）
## 注意設定 GUACD_LOG_LEVEL 為 debug 有助除錯
$ sudo podman run --name guacd \
-p 4822:4822 \
-e GUACD_LOG_LEVEL=debug \
-d \
guacamole/guacd
# 2. 確認 guacd 是否啟動成功
$ sudo podman ps --filter name=guacd
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2386e584dff2 docker.io/guacamole/guacd:latest 37 seconds ago Up 38 seconds (starting) 0.0.0.0:4822->4822/tcp guacd
# 3. 產生初始化 MySQL 的 SQL 腳本，內容會有建立 Guacamole 所需的資料表結構
$ sudo podman run --rm guacamole/guacamole /opt/guacamole/bin/initdb.sh --mysql > initdb.sql
# 4. 注意事項，跑完以上初始化的腳本，還需要對全新的 mysql 做以下設定
- 在 MySQL 中為 Guacamole 建立一個資料庫，例如 guacamole_db。
- 在 MySQL 中為 Guacamole 建立一個擁有該資料庫存取權限的用戶，例如 guacamole_user。
- 在新建立的資料庫上執行該腳本。
# 5. 設定腳本在 guacamole database 上執行
$ sed -i '1iUSE guacamole;' initdb.sql
# 6. # 啟動 MySQL app container 並掛載初始化腳本
# - MYSQL_ROOT_PASSWORD：root 密碼，切勿用預設值於正式環境
# - 透過環境變數來讓 mysql container 一跑起來就有這些設定 :
# - MYSQL_DATABASE、MYSQL_USER、MYSQL_PASSWORD：
$ sudo podman run --name mysql\
-e MYSQL_ROOT_PASSWORD=root \
-e MYSQL_HOSTNAME=192.168.11.33 \
-e MYSQL_DATABASE=guacamole \
-e MYSQL_USER=guacamole \
-e MYSQL_PASSWORD=guacamole \
-e TZ=Asia/Taipei \
-v $(pwd)/initdb.sql:/docker-entrypoint-initdb.d/initdb.sql:ro \
-d \
-p 3306:3306 \
mysql
# 7. 確認 mysql 有正常運作
$ sudo podman ps --filter name=mysql
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e6639bc2fa37 docker.io/library/mysql:latest mysqld 32 minutes ago Up 32 minutes 0.0.0.0:3306->3306/tcp, 33060/tcp mysql
# 8. 啟動 Guacamole app container
# 一定要設定 MYSQL 和 guacd 的連接資訊
$ sudo podman run --name guacamole \
-e GUACD_HOSTNAME=192.168.11.33 \
-e GUACD_PORT=4822 \
-e MYSQL_HOSTNAME=192.168.11.33 \
-e MYSQL_DATABASE=guacamole \
-e MYSQL_USER=guacamole \
-e MYSQL_PASSWORD=guacamole \
-d \
-p 8080:8080 \
guacamole/guacamole
# 確認 Guacamole 有正常運作
$ sudo podman ps --filter name=guacamole
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c8f49541c411 docker.io/guacamole/guacamole:latest /opt/guacamole/bi... 21 seconds ago Up 21 seconds 0.0.0.0:8080->8080/tcp guacamole

連線到 Web UI

http://<ip>:8080/guacamole

帳密都是 : guacadmin

參考文件

Install Apache Guacamole With Podman Pod

Mon, 23 Jun 2025 16:19:18 +0800

啟動 Guacamole Podman Pod

PreRequest

pkg:
- git
- task
- podman

task 安裝指令

$ curl -sL https://taskfile.dev/install.sh | sh
$ sudo mv ./bin/task /usr/bin/
$ task --version
3.44.0

$ git clone https://gitlab.com/flysangel/oss_ncb.git; cd oss_ncb/
$ task start:gmm
Pod:
b534efd672dc78e6b7315c9b362e87b76f0027112e79ad0b12690c6f584e82c6
Containers:
e59e5c2ed7f25d48172d2f91d9ed1b7711061f1f3235365507d1bb89c0c08093
c21330f96b941e8d6ab7bd59be7905d2b060911a04dbce025927954f55b0052d
e51ede46a68a725e942331ee09f001b4133793befd3bbe3c9675b11f4383fd37
$ sudo podman pod ps
POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
b534efd672dc gmm Running 5 minutes ago fb6893eafd0b 4
$ sudo podman ps --filter name=gmm
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e59e5c2ed7f2 quay.io/flysangel/gmm:guacamole-v1.0.6 /bin/bash -c ... 7 minutes ago Up 7 minutes 0.0.0.0:8080->8080/tcp gmm-guacamole
c21330f96b94 quay.io/flysangel/gmm:guacd-v1.0.6 /bin/sh -c /opt/g... 7 minutes ago Up 7 minutes 0.0.0.0:8080->8080/tcp, 4822/tcp gmm-guacd
e51ede46a68a quay.io/flysangel/gmm:mariadb-v1.0.6 --character-set-s... 7 minutes ago Up 7 minutes 0.0.0.0:8080->8080/tcp, 3306/tcp gmm-mariadb

連線到 Web UI

http://<ip>:8080/guacamole

帳密都是 : guacadmin

Install and Setup ZFS on Alpine Linux

Wed, 02 Apr 2025 15:59:02 +0800

認識 OpenZFS

兩顆 RAW DISK 不用格式化，做成 ZFS POOL 直接掛給 linux 檔案系統的一個目錄區使用。
ZFS 是由 Sun Microsystems 做的。

安裝與設定

# 安裝 ZFS
$ sudo apk add zfs
$ sudo nano /etc/local.d/rc.local.start
modprobe tun
modprobe fuse
mount --make-rshared /
modprobe br_netfilter
modprobe ip_tables
modprobe zfs
# 最小最大不能設同一個
# 只能 1G -1 (byte)
echo "$[1024*1024*1024 - 1]" | sudo tee /sys/module/zfs/parameters/zfs_arc_min
echo "$[1024*1024*1024]" | sudo tee /sys/module/zfs/parameters/zfs_arc_max
$ sudo chmod +x /etc/local.d/rc.local.start
$ sudo rc-update add local default
$ sudo rc-update add zfs-import default
$ sudo rc-update add zfs-mount default
$ sudo reboot
$ sudo lsmod | grep zfs
$ sudo zpool create -m /opt/zfs zfs-pool /dev/sdb /dev/sdc

What is Open Container Initiative?

Thu, 06 Mar 2025 15:39:40 +0800

Open Container Initiative（OCI）是一個由 Linux Foundation 主導的輕量級開放治理專案，旨在制定關於 container formats 和 runtimes 的開放行業標準。OCI 於 2015 年 6 月 22 日由 Docker、CoreOS 和其他貨櫃行業領導者共同發起。

目前，OCI 包含三個規範：Runtime Specification (runtime-spec)、Image Specification (image-spec) 和 Distribution Specification (distribution-spec)。

Runtime Specification 描述了如何執行解壓縮到磁碟上的「filesystem bundle」。一般而言，OCI implementation 會下載 OCI image，然後將其解壓縮成 OCI Runtime filesystem bundle，此時 OCI Runtime Bundle 將由 OCI Runtime 執行。

整個流程應支持使用者在 container engines（如 Docker 和 rkt）上期望的使用體驗，主要是能夠在無需額外參數的情況下執行 image：

docker run example.com/org/app:v1.0.0
rkt run example.com/org/app,version=v1.0.0

為支持這種使用體驗，OCI Image Format 包含足夠的信息以在目標平台上啟動應用程式（例如命令、參數、環境變數等）。該規範定義了如何創建 OCI image，通常由構建系統完成，並輸出 image manifest、filesystem (layer) serialization 和 image configuration。

從高層次來看 :

image manifest 包含關於 image 內容和相依檔的 metadata，包括將被解壓縮以組成最終可執行檔案系統的一個或多個檔案系統序列化檔案的內容可尋址標識。
image configuration 則包含應用程式參數、環境等信息。

image manifest、image configuration 和一個或多個 filesystem serializations 的組合被稱為 OCI image。

Docker 正將其貨櫃格式和運行時（runC）捐贈給 OCI，作為這一新努力的基石。runC 現已在 GitHub 上提供：https://github.com/opencontainers/runc。

分發規範於 2020 年 5 月達到 v1.0 版本，旨在標準化分發貨櫃映像的 API，但該規範設計得足夠通用，可作為任何類型內容的分發機制。

How to Sign a container image with Cosign

Thu, 06 Feb 2025 05:57:24 +0800

1. 甚麼是 Cosign?

Cosign 是一個的工具，它可以在符合 OCI（Open Container Initiative，開放貨櫃計畫）標準的儲存庫中，對軟體產物進行簽署、驗證以及儲存。雖然 Cosign 最初是針對 containers （貨櫃）及與 container-related（貨櫃有關）的產物而開發，但它同樣適用於開源軟體套件和其他各種檔案類型。

例如，Cosign 可以用來對各種資料進行簽署，包括 Container image、blobs （binary large objects）、像 README 檔、SBOM（軟體物料清單）、 Kubernetes Helm Charts、Tekton bundles（an OCI artifact containing Tekton CI/CD resources like tasks）等等。

透過對軟體簽署，你可以證明「你」確實是你所聲明的身份，這也能建立一個信任基礎，使得開發者和使用你軟體的人能夠驗證該軟體產物確實是由你創建的。同時，他們也能確認該產物未被第三方竄改。對於在開發流程中需要使用軟體庫、貨櫃或其他產物的人來說，已簽署的產物能夠讓你更放心，因為你知道所採用的程式碼或貨櫃來自一個值得信賴的來源。

2. 安裝 Cosign binary

$ sudo curl -o /usr/local/bin/cosign \
-L "https://github.com/sigstore/cosign/releases/latest/download/cosign-linux-amd64"
$ sudo chmod +x /usr/local/bin/cosign
# Check Version
$ cosign version
______ ______ _______. __ _______ .__ __.
/ | / __ \ / || | / _____|| \ | |
| ,----'| | | | | （----`| | | | __ | \| |
| | | | | | \ \ | | | | |_ | | . ` |
| `----.| `--' | .----） | | | | |__| | | |\ |
\______| \______/ |_______/ |__| \______| |__| \__|
cosign: A tool for Container Signing, Verification and Storage in an OCI registry.
GitVersion: v2.4.1
GitCommit: 9a4cfe1aae777984c07ce373d97a65428bbff734
GitTreeState: clean
BuildDate: 2024-10-03T17:01:50Z
GoVersion: go1.22.7
Compiler: gc
Platform: linux/amd64

3. 產生 Self-Managed Keys

$ mkdir sign; cd sign
$ cosign generate-key-pair
Enter password for private key:
Enter password for private key again:
Private key written to cosign.key
Public key written to cosign.pub
$ ls -l
total 8
-rw-------. 1 rancher users 653 Feb 3 23:31 cosign.key
-rw-r--r--. 1 rancher users 178 Feb 3 23:31 cosign.pub

4. Sign a container image and store the signature in the registry

$ podman login docker.io --compat-auth-file ~/.docker/config.json
Username: hahappyman
Password:
Login Succeeded!
$ cosign sign --key cosign.key docker.io/hahappyman/alpine
Enter password for private key:
...
By typing 'y', you attest that （1） you are not submitting the personal data of any other person; and （2） you understand and agree to the statement and the Agreement terms at the URLs listed above.
Are you sure you would like to continue? [y/N] y
tlog entry created with index: 168432318
Pushing signature to: index.docker.io/hahappyman/alpine
# 驗證 container image 有簽名
$ cosign verify --key cosign.pub docker.io/hahappyman/alpine | jq .
Verification for index.docker.io/hahappyman/alpine:latest --
The following checks were performed on each of these signatures:
- The cosign claims were validated
- Existence of the claims in the transparency log was verified offline
- The signatures were verified against the specified public key
[
{
"critical": {
"identity": {
"docker-reference": "index.docker.io/hahappyman/alpine"
},
"image": {
"docker-manifest-digest": "sha256:def822f9851ca422481ec6fee59a9966f12b351c62ccb9aca841526ffaa9f748"
},
"type": "cosign container image signature"
},
"optional": {
"Bundle": {
"SignedEntryTimestamp": "MEUCIDbGUgBokwb4V+MIbOu8tCt05dUDiTD6YsYKACY9cWveAiEA0jWB6gkq1Vp1bZ0/A+wQNw9qKjiYxZC/um47n8ueJZc=",
"Payload": {
"body": "eyJhcGlWZXJzaW9uIjoiMC4wLjEiLCJraW5kIjoiaGFzaGVkcmVrb3JkIiwic3BlYyI6eyJkYXRhIjp7Imhhc2giOnsiYWxnb3JpdGhtIjoic2hhMjU2IiwidmFsdWUiOiIwNjEwNzBmZDAwOTk3MWQ3MzA1ZWU2MjE2NmIxZWJhMTVhMjI5OTdjMGEzZmZiMWQyNWY2NzMwYjY1OGNlM2M2In19LCJzaWduYXR1cmUiOnsiY29udGVudCI6Ik1FVUNJRzlrSjcwLzRIQll6d3FjOHBBeTRoNFc0d0toc0k4NzZlTStCNlJOS0IyOUFpRUExT0JuTDg1TEc0c0poSTkyaCtzcTNiS2JnSm9rcVFXclVMbGpqdlg0My9RPSIsInB1YmxpY0tleSI6eyJjb250ZW50IjoiTFMwdExTMUNSVWRKVGlCUVZVSk1TVU1nUzBWWkxTMHRMUzBLVFVacmQwVjNXVWhMYjFwSmVtb3dRMEZSV1VsTGIxcEplbW93UkVGUlkwUlJaMEZGWWsxNE1sWmFOR0o2VFRoMWVsRjNjbE1yUlZsa1RrUTNaaXMxTUFwR1pGa3hkM05NYUVkelEyOVRXRmw2VUdsaWJIZDRVRkJIVjBadE9HbEJaSGhUV1RVNE5tUmhUblY2Y2xFMmF6QldTRTl4UkVNNFRtMW5QVDBLTFMwdExTMUZUa1FnVUZWQ1RFbERJRXRGV1MwdExTMHRDZz09In19fX0=",
"integratedTime": 1738636249,
"logIndex": 168432318,
"logID": "c0d23d6ad406973f9559f3ba2d1ca01f84147d8ffc5b8445c224f98b9591801d"
}
}
}
}
]

5. 模擬竄改 contaimer image 並上傳至 registry

$ sudo podman build -t docker.io/hahappyman/alpine -f - . <<EOF
FROM quay.io/cloudwalker/alpine
CMD echo just a test
EOF
$ sudo podman push docker.io/hahappyman/alpine
Getting image source signatures
Copying blob 3e01818d79cd done |
Copying config bdfe5ec11e done |
Writing manifest to image destination

6. 確認為未經驗證的 contaimer image

$ cosign verify --key cosign.pub docker.io/hahappyman/alpine | jq .
Error: no signatures found
main.go:69: error during command execution: no signatures found

7. 使用 Trivy 掃描 contaimer image 以找出漏洞並產生證明

$ curl -sfL https://raw.githubusercontent.com/aquasecurity/trivy/main/contrib/install.sh | sudo s
h -s -- -b /usr/local/bin v0.41.0
$ trivy image --ignore-unfixed --format cosign-vuln --output vuln.json docker.io/hahappyman/alpine@sha256:def822f9851ca422481ec6fee59a9966f12b351c62ccb9aca841526ffaa9f748
# 產生證明

8. 設定只允許有簽署過的 image 可以被部屬進 Kubernetes

# 1. 安裝 Kyverno
$ kubectl create -f https://github.com/kyverno/kyverno/releases/download/v1.13.0/install.yaml
# 2. 確認 Kyverno pod 正常運作
$ kubectl -n kyverno get pods
NAME READY STATUS RESTARTS AGE
kyverno-admission-controller-545dd46f74-j8plr 1/1 Running 0 7m36s
kyverno-background-controller-5c8cbbb888-tqlf2 1/1 Running 0 7m36s
kyverno-cleanup-controller-7494bd4d8f-vrsxk 1/1 Running 0 7m36s
kyverno-reports-controller-69989df659-nw28s 1/1 Running 0 7m36s
# 3. Install a policy
$ cat <<EOF | envsubst | kubectl apply -f -
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
name: check-vulnerabilities
spec:
validationFailureAction: Enforce
background: false
webhookTimeoutSeconds: 30
failurePolicy: Fail
rules:
- name: checking-vulnerability-scan-not-older-than-one-hour
match:
any:
- resources:
kinds:
- Pod
verifyImages:
- imageReferences:
- "*"
attestations:
- type: https://cosign.sigstore.dev/attestation/vuln/v1
conditions:
- all:
- key: "{{ time_since('','{{ metadata.scanFinishedOn }}', '') }}"
operator: LessThanOrEquals
value: "1h"
attestors:
- count: 1
entries:
- keys:
publicKeys: |-
$(sed 's/^/ /' ~/sign/cosign.pub)
EOF
$ kubectl run app-unsigned --image=docker.io/anaisurlichs/cns-website:0.1.1
Error from server: admission webhook "mutate.kyverno.svc-fail" denied the request:
resource Pod/default/app-unsigned was blocked due to the following policies
check-vulnerabilities:
checking-vulnerability-scan-not-older-than-one-hour: |
image attestations verification failed, verifiedCount: 0, requiredCount: 1, error: no matching attestations: error verifying bundle: comparing public key PEMs, expected -----BEGIN PUBLIC KEY-----
MFkwEwYHKoZIzj0CAQYIKoZIzj0DAQcDQgAEbMx2VZ4bzM8uzQwrS+EYdND7f+50
FdY1wsLhGsCoSXYzPiblwxPPGWFm8iAdxSY586daNuzrQ6k0VHOqDC8Nmg==
-----END PUBLIC KEY-----
, got -----BEGIN CERTIFICATE-----
MIIC1TCCAlugAwIBAgIUCaDDp3gxDc+aCC2jACWbBSleuCYwCgYIKoZIzj0EAwMw
NzEVMBMGA1UEChMMc2lnc3RvcmUuZGV2MR4wHAYDVQQDExVzaWdzdG9yZS1pbnRl
cm1lZGlhdGUwHhcNMjQwMTA4MTQyNDEzWhcNMjQwMTA4MTQzNDEzWjAAMFkwEwYH
KoZIzj0CAQYIKoZIzj0DAQcDQgAE0XTT4yiarpOHiQLZviJBN4WXb1ibml5JMHHl
CRYBS3+WVkrEtDN1P/tnDlaKzM8AuKjOebvBO6ElY5O6ng4VpaOCAXowggF2MA4G
A1UdDwEB/wQEAwIHgDATBgNVHSUEDDAKBggrBgEFBQcDAzAdBgNVHQ4EFgQUfMeV
lPkZSIEl2vp33nABx42ptzQwHwYDVR0jBBgwFoAU39Ppz1YkEZb5qNjpKFWixi4Y
ZD8wJAYDVR0RAQH/BBowGIEWdXJsaWNoc2FuYWlzQGdtYWlsLmNvbTAsBgorBgEE
AYO/MAEBBB5odHRwczovL2dpdGh1Yi5jb20vbG9naW4vb2F1dGgwLgYKKwYBBAGD
vzABCAQgDB5odHRwczovL2dpdGh1Yi5jb20vbG9naW4vb2F1dGgwgYoGCisGAQQB
1nkCBAIEfAR6AHgAdgDdPTBqxscRMmMZHhyZZzcCokpeuN48rf+HinKALynujgAA
AYzpdbEbAAAEAwBHMEUCIQCXkciXtNvEvXk+G5XymRiprfSF+YEqYrBFbVIk7h4Z
MwIgUIHzK5MczeS90QxhwX/lVNOay86CHMGknmFpLgUb8/4wCgYIKoZIzj0EAwMD
aAAwZQIwQtSOZauh5ubyjj3MR+Sn6E3BPBMt2TuC2aaoLSFUHm/FP6RYFTpFgOPW
Ow/wWkyRAjEApKPUppzjYmWzPwDhKNFOvzLmjng00lrCmIXYajGhv1FW8l0jZTgb
KfN07EfupRrM
-----END CERTIFICATE-----
$

Run a .NET web application in Container

Wed, 15 Jan 2025 14:05:52 +0800

$ nano Dockerfile
FROM registry.suse.com/bci/dotnet-sdk:9.0 AS build-env
WORKDIR /app
RUN mkdir WebApp && \
cd WebApp && \
dotnet new webapp -n AspNetWebApp && \
cd AspNetWebApp && \
dotnet restore && \
dotnet publish -c Release -o out
# Build the runtime image
FROM registry.suse.com/bci/dotnet-runtime:9.0
WORKDIR /app
COPY --from=build-env /app/WebApp/AspNetWebApp/out .
RUN zypper -n install dotnet-sdk-9.0
CMD ["dotnet", "AspNetWebApp.dll"]

# Build Container image
sudo podman build -t aspnetwebapp:v1 .
# Run App
sudo podman run -d -p 8080:8080 localhost/aspnetwebapp:v1
# Test
curl http://192.168.11.11:8080

Deploying Harbor with High Availability via Helm

Tue, 07 Jan 2025 05:15:06 +0800

Prerequisites

Kubernetes cluster 1.10+
Helm 2.8.0+
High available ingress controller (Harbor does not manage the external endpoint)
High available PostgreSQL database (Harbor does not handle the deployment of HA of database)
High available Redis (Harbor does not handle the deployment of HA of Redis)
PVC that can be shared across nodes or external object storage

架構

現在 Harbor 的大部分元件都是 stateless 的。所以我們只需增加 Pod 的 replica 數量，就能確保元件分散到多個 Worker 節點，並利用 K8S 的「Service」機制確保 Pod 間的連線。

至於儲存層，則希望使用者提供高可用性的 PostgreSQL、Redis 叢集來儲存應用程式資料，並提供 PVC 或物件儲存器來儲存 images 和 charts。

Download Chart

Harbor curl API integration

Mon, 07 Oct 2024 08:56:24 +0800

1. 先把環境資訊設成變數

# 1.1. 設定 Harbor 的 FQDN
$ HarborURL="antony-harbor.example.com"
# 1.2. 透過 base64 演算法加密使用者名稱和密碼
$ Token=$(echo -n "admin:Harbor12345" | base64)
# 1.3. Test registry connection
## 看到 {} 代表有回應
$ curl -s -k -H "Accept: application/json" \
-H "Authorization: Basic ${Token}" \
"https://${HarborURL}/v2/"
{}

2. 查看 Harbor 狀態

$ curl -s -k -H 'Accept: application/json' \
"https://${HarborURL}/api/v2.0/health"

執行結果 :

{
 "status": "healthy",
 "components": [
 {
 "name": "portal",
 "status": "healthy"
 },
 {
 "name": "jobservice",
 "status": "healthy"
 },
 {
 "name": "registry",
 "status": "healthy"
 },
 {
 "name": "redis",
 "status": "healthy"
 },
 {
 "name": "core",
 "status": "healthy"
 },
 {
 "name": "database",
 "status": "healthy"
 },
 {
 "name": "registryctl",
 "status": "healthy"
 }
 ]
}

3. 列出全部 projects

$ curl -s -k -H "Accept: application/json" \
-H "Authorization: Basic ${Token}" \
"https://${HarborURL}/api/v2.0/projects"

執行結果 :

[
 {
 "project_id": 1,
 "owner_id": 1,
 "name": "library",
 "creation_time": "2024-10-04T07:26:24.756448Z",
 "update_time": "2024-10-04T07:26:24.756448Z",
 "deleted": false,
 "owner_name": "",
 "current_user_role_id": 1,
 "current_user_role_ids": [
 1
 ],
 "repo_count": 0,
 "chart_count": 0,
 "metadata": {
 "public": "true"
 },
 "cve_whitelist": {
 "id": 0,
 "project_id": 0,
 "items": null,
 "creation_time": "0001-01-01T00:00:00Z",
 "update_time": "0001-01-01T00:00:00Z"
 }
 },
 {
 "project_id": 2,
 "owner_id": 1,
 "name": "neuvector",
 "creation_time": "2024-10-04T07:28:14Z",
 "update_time": "2024-10-04T07:28:14Z",
 "deleted": false,
 "owner_name": "",
 "current_user_role_id": 1,
 "current_user_role_ids": [
 1
 ],
 "repo_count": 5,
 "chart_count": 0,
 "metadata": {
 "public": "true"
 },
 "cve_whitelist": {
 "id": 0,
 "project_id": 0,
 "items": null,
 "creation_time": "0001-01-01T00:00:00Z",
 "update_time": "0001-01-01T00:00:00Z"
 }
 }
]

4. Get all images

$ curl -s -k \
-H "Accept: application/json" \
-H "Authorization: Basic ${Token}" \
"https://${HarborURL}/v2/_catalog" | jq

執行結果 :

{
 "repositories": [
 "library/nginx",
 "neuvector/controller",
 "neuvector/enforcer",
 "neuvector/manager",
 "neuvector/scanner",
 "neuvector/updater"
 ]
}

5. Get registry repository tag list

$ curl -s -k -H "Accept: application/json" \
-H "Authorization: Basic ${Token}" \
"https://${HarborURL}/v2/neuvector/controller/tags/list" | jq

執行結果 :

{
 "name": "neuvector/controller",
 "tags": [
 "5.4.0"
 ]
}

Run CoreDNS with Podman Pod on Alpine

Fri, 13 Sep 2024 09:27:40 +0800

# 1. 建立工作目錄
$ mkdir -p "$HOME"/dns/{config,yaml}

# 2. 設定 Corefile，作為 CoreDNS Server 的設定檔
$ nano "$HOME"/dns/config/Corefile
.:53 {
 forward . 8.8.8.8
 log
 errors
}

antony.com:53 {
 file /root/antony.db
 log
 errors
}

# 3. 設定 DNS zone file
$ nano "$HOME"/dns/config/antony.db
antony.com. IN SOA dns.antony.com. robbmanes.antony.com. 2015082541 7200 3600 1209600 3600
suma5.antony.com. IN A 192.168.80.21

antony.com. refers to the zone in which this DNS server is responsible for.
SOA refers to the type of record; in this case, a “Start of Authority”
dns.antony.com refers to the name of this DNS server
robbmanes.antony.com refers to the email of the administrator of this DNS server. Note that the @ sign is simply noted with a period; this is not a mistake, but how it is formatted.
2015082541 refers to the serial number. This can be whatever you like, so long as it is a serial number that is not reused in this configuration or otherwise has invalid characters. There are usually rules to follow concerning how to set this, notably by setting a valid date concerning the last modifications, like 2019020822 for February 08, 2019, at 22:00 hours.
7200 refers to the Refresh rate in seconds; after this amount of time, the client should re-retrieve an SOA.
3600 is the Retry rate in seconds; after this, any Refresh that failed should be retried.
1209600 refers to the amount of time in seconds that passes before a client should no longer consider this zone as “authoritative”. The information in this SOA expires ater this time.
3600 refers to the Time-To-Live in seconds, which is the default for all records in the zone.
An A record indicates a name, in this case suma5.example.com, which can be canonically mapped directly to an IP address, 192.168.80.21.

# 4. 編輯與設定 CoreDNS Pod YAML 檔
## spec.volumes.hostpath.path 每個環境會不同，需要修改。
$ nano ${HOME}/dns/yaml/coredns-pod.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
app: coredns-pod
name: coredns-pod
spec:
containers:
- args:
- -conf
- /root/Corefile
image: docker.io/coredns/coredns:latest
name: coredns
volumeMounts:
- mountPath: /root/
name: config
hostNetwork: true
volumes:
- hostPath:
path: /home/bigred/dns/config
type: Directory
name: config

# 5. 啟動 CoreDNS Pod
$ sudo podman kube play ${HOME}/dns/yaml/coredns-pod.yaml
Pod:
cd21bbdee88d877ca4c8501867ef620b3de166d606cf1bcd0825195c9b4768a5
Container:
e214119e505edebd3f7ee001fc788d58fa4b1f1f6a13978347d79ffa4b1617df

# 6. 檢查 STATUS 是否為 Up
$ sudo podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
POD ID PODNAME
8758ac9989d3 localhost/podman-pause:5.0.3-1720373660 2 minutes ago Up About a minute cd21bbdee88d-infra cd21bbdee88d coredns-pod
e214119e505e docker.io/coredns/coredns:latest -conf /root/Coref... About a minute ago Up About a minute coredns-pod-coredns cd21bbdee88d coredns-pod

# 7. 查詢 A record
$ dig @192.168.80.11 suma5.antony.com +short
192.168.80.21

# 8. auto start pod after boot
## The following is openRC service
$ sudo nano /etc/init.d/pod-coredns
#!/sbin/openrc-run
name=$RC_SVCNAME
command="/usr/bin/podman"
#networks_=''
pod_name="coredns-pod"
command_user="root"
command_args="pod start ${pod_name} &> /dev/null &"
depend() {
after network-online
use net
}
exists() {
/sbin/runuser -u ${command_user} -- ${command} pod exists ${pod_name} 2> /dev/null
result=$?
if [ $result -ne 0 ]; then
einfo "${pod_name} doesn't existed"
return 3
fi
}
stop() {
ebegin "Stopping $RC_SVCNAME"
exists
Status=$(/sbin/runuser -u ${command_user} -- ${command} pod ps -f name=${pod_name} --format "{{.Status}}")
if [ $Status = Exited ]; then
einfo "${pod_name} $Status"
exit 0
fi
/sbin/runuser -u ${command_user} -- ${command} pod stop ${pod_name} #2> /dev/null
result=$?
if [ $result -eq 0 ]; then
einfo "status: stopped"
return 0
fi
}
status() {
exists
Status=$(/sbin/runuser -u ${command_user} -- ${command} pod ps -f name=${pod_name} --format "{{.Status}}")
if [ $Status = Running ]; then
einfo "status: started"
return 0
else
einfo "status: stopped"
return 3
fi
}

# 9. 賦予執行權限
$ sudo chmod +x /etc/init.d/pod-coredns
# 10. Enable Service
$ sudo rc-update add pod-coredns default
# 11. Reboot
$ sudo reboot
# 12. Check Pod Status
$ sudo podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
11b8e349c74b localhost/podman-pause:5.0.3-1720373660 8 hours ago Up 5 minutes a30a257c2f50-infra a30a257c2f50 coredns-pod
50b063ed9107 docker.io/coredns/coredns:latest -conf /root/Coref... 8 hours ago Up 5 minutes coredns-pod-coredns a30a257c2f50 coredns-pod

Setup K3d on Alpine Linux

Sat, 17 Aug 2024 05:31:12 +0800

1. Prerequest

已安裝 Alpine Linux 3.20.x

2. 環境準備

以下環境設定會使用 Podman 而不是 Docker，因為 Podman 有 Docker API compatibility layer。 k3d 使用 Docker API 與 Podman v4 或更新版相容.

# 2.1. 新增套件儲存庫 (請使用 root 執行)
$ echo 'http://dl-cdn.alpinelinux.org/alpine/latest-stable/main/
http://dl-cdn.alpinelinux.org/alpine/latest-stable/community/' > /etc/apk/repositories
# 2.2. 更新套件，並安裝 Podman
$ apk update && apk upgrade && \
apk add podman curl nano iptables-legacy sudo && exit
# 2.3. 確認 CGroup 版本為 v2
$ cat /etc/rc.conf | grep "rc_cgroup_mode"
#rc_cgroup_mode="unified"
> [註] "unified" mounts cgroups version 2 on /sys/fs/cgroup
# 2.4. Enable and start the cgroups and podman services
$ sudo rc-update add cgroups && \
sudo rc-service cgroups start && \
sudo rc-update add podman
# 2.5. Setup rootless mode with Podman
$ echo "$USER":500000:65536 | sudo tee /etc/subuid && \
echo "$USER":500000:65536 | sudo tee /etc/subgid
# 2.6. load needed kernel modules
$ echo -e "tun\nfuse\nip_tables\nip_vs\nbridge\nbr_netfilter" | sudo tee -a /etc/modules
# 2.7. 設定開機自動建置 Podman Socket 軟連結
$ sudo rc-update add local && \
echo '[[ -h /var/run/docker.sock ]] || ln -s /run/podman/podman.sock /var/run/docker.sock' | sudo tee /etc/local.d/rc.local.start && \
sudo chmod +x /etc/local.d/rc.local.start
# 2.8. 重啟主機
$ sudo reboot
# 2.9. 檢查需要的 Service 開機會自動啟動
$ sudo rc-status | grep -Ew "podman|local|cgroups"
cgroups [ started ]
podman [ started 00:03:15 (0) ]
local [ started ]
# 2.10. 檢查 Podman Socket 軟連結是否存在
$ ls -l /var/run/docker.sock
lrwxrwxrwx 1 root root 23 Jul 22 09:59 /var/run/docker.sock -> /run/podman/podman.sock
# 2.11. 下載與設定 kubectl 命令
$ curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" && \
sudo chmod +x kubectl && \
sudo mv kubectl /usr/local/bin/
# 2.12. 確認 kubectl 版本
$ kubectl version --client
Client Version: v1.30.3
Kustomize Version: v5.0.4-0.20230601165947-6ce0bf390ce3
# 2.13. 安裝當前最新版本的 k3d
$ wget -q -O - https://raw.githubusercontent.com/k3d-io/k3d/main/install.sh | bash
# 2.14. 檢查 k3d 版本
$ k3d version
k3d version v5.7.2
k3s version v1.29.6-k3s2 (default)
# 2.15. 設定 IPVS Mode
$ sudo apk add dpkg && \
sudo update-alternatives --install /sbin/ip6tables ip6tables /sbin/iptables-legacy 10 --slave /sbin/ip6tables-restore ip6tables-restore /sbin/ip6tables-legacy-restore --slave /sbin/ip6tables-save ip6tables-save /sbin/ip6tables-legacy-save
# 2.16. 建立 Podman Network
$ sudo podman network create --subnet 172.22.1.0/24 --gateway 172.22.1.254 --subnet fd52:2a5a:747e:3acd::/64 --gateway fd52:2a5a:747e:3acd::10 c29-network

3. Building a customized K3s image

# 1. 建立工作目錄區
$ mkdir -p k3d/{bin,config/{c24/addon,c29/addon},wulin}
> [註] 以上命令需要由 Bash Shell 執行才會在 k3d 目錄區底下分別建立那 3 個子目錄
# 2. 設定 K3s 的 Containerd 能夠到 dkreg 下載 Container Images
$ echo 'server = "http://dkreg.kube-system:5000"
[host."http://dkreg.kube-system:5000"]
capabilities = ["pull", "resolve", "push"]
skip_verify = true' > ~/k3d/config/c29/hosts.toml
# 3.
$ echo '{{ template "base" . }}
# RuntimeClass Handler
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runsc]
runtime_type = "io.containerd.runsc.v1"
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runsc.options]
BinaryName = "/usr/bin/runsc"' > ~/k3d/config/c29/config.toml.tmpl
# 3. 編輯 Containerfile
$ nano config/c29/Containerfile
# 4. Build Container Image
$ sudo podman build --no-cache -t k3s-add-runtime:v1.29.6-k3s1 ~/k3d/config/c29/

3.1. Containerfile:

ARG K3S_TAG="v1.29.6-k3s1"
ARG ALPINE_TAG="3.20.2"
FROM docker.io/rancher/k3s:$K3S_TAG as k3s
FROM docker.io/library/alpine:$ALPINE_TAG
# Install OCI runtime spec (crun, runsc)
RUN apk -U add crun bash && \
ARCH=$(uname -m); URL=https://storage.googleapis.com/gvisor/releases/release/latest/${ARCH} && \
wget ${URL}/runsc ${URL}/runsc.sha512 ${URL}/containerd-shim-runsc-v1 ${URL}/containerd-shim-runsc-v1.sha512 && \
rm -f *.sha512 && \
chmod a+rx runsc containerd-shim-runsc-v1; mv runsc containerd-shim-runsc-v1 /usr/bin
COPY --from=k3s / /
# Configuring containerd with Base template
RUN mkdir -p /var/lib/rancher/k3s/agent/etc/containerd/cert.d/dkreg.kube-system:5000
COPY config.toml.tmpl /var/lib/rancher/k3s/agent/etc/containerd/
COPY hosts.toml /var/lib/rancher/k3s/agent/etc/containerd/cert.d/dkreg.kube-system:5000/
VOLUME /var/lib/kubelet
VOLUME /var/lib/rancher/k3s
VOLUME /var/lib/cni
VOLUME /var/log
ENV PATH="$PATH:/bin/aux"
ENTRYPOINT ["/bin/k3s"]
CMD ["agent"]

4. 撰寫 k3d 叢集設定檔

# 4.1. 編輯 k3d 叢集設定檔
$ nano ~/k3d/config/c29/c29.yaml
apiVersion: k3d.io/v1alpha5
kind: Simple
metadata:
name: c29
servers: 1
agents: 2
kubeAPI:
host: "k1.org"
hostIP: "0.0.0.0"
hostPort: "6443"
#image: docker.io/rancher/k3s:v1.29.6-k3s1
image: localhost/k3s-add-runtime:v1.29.6-k3s1
network: c29-network
token: c29Token
volumes:
- volume: /home/bigred/k3d/wulin:/opt/kadm
nodeFilters:
- "server:0"
# - volume: /home/bigred/k3d/cni:/opt/cni/bin
# nodeFilters:
# - "server:*"
# - "agent:*"
# - volume: /lib/modules:/lib/modules
# nodeFilters:
# - "server:*"
# - "agent:*"
files:
- description: 'Canal v1.27.3 Manifests'
source: addon/canal-v1.27.3.yaml
destination: /var/lib/rancher/k3s/server/manifests/canal.yaml
nodeFilters:
- "server:0"
- description: 'Runtime Class: crun, runsc'
source: addon/runtimeclass.yaml
destination: /var/lib/rancher/k3s/server/manifests/runtimeclass.yaml
nodeFilters:
- "server:0"
ports:
- port: 22100:22100
nodeFilters:
- "server:0"
- port: 5000:5000
nodeFilters:
- "server:0"
- port: 8080:8080
nodeFilters:
- "server:0"
- port: 9000:9000
nodeFilters:
- "server:0"
- port: 80:80
nodeFilters:
- "server:0"
- port: 443:443
nodeFilters:
- "server:0"
hostAliases:
- ip: 1.1.1.1
hostnames:
- cloud.flare.dns
options:
k3d:
wait: true
timeout: "60s"
disableLoadbalancer: false
disableImageVolume: false
disableRollback: true
k3s:
extraArgs:
- arg: "--cluster-cidr=10.244.0.0/16"
nodeFilters:
- server:*
- arg: "--service-cidr=10.98.0.0/16"
nodeFilters:
- server:*
# - arg: "--kube-proxy-arg=proxy-mode=ipvs"
# nodeFilters:
# - server:*
# - agent:*
- arg: "--egress-selector-mode=disabled"
nodeFilters:
- server:*
- arg: "--disable=traefik"
nodeFilters:
- server:*
- arg: "--flannel-backend=none"
nodeFilters:
- server:*
- arg: "--disable-network-policy"
nodeFilters:
- server:*
nodeLabels:
- label: app=taroko
nodeFilters:
- "server:0"
kubeconfig:
updateDefaultKubeconfig: true
switchCurrentContext: true

4.1. 設定檔欄位解釋

apiVersion: k3d.io/v1alpha5，設定檔的版本，這將會在未來改變，因為我們會讓一切變得更穩定，這是必填的欄位。
kind: Simple，定義要使用的設定檔案類型，在內部也有 Cluster 的設定，但尚未對外提供，這是必填的欄位。
metadata，定義設定檔的重要資訊。
- name，要賦予 K3D 叢集的名稱 (仍將以 k3d- 為前綴)。
servers，定義要幾台 Control-plane 節點。
agents，定義要幾台 Worker 節點。
kubeAPI
- host，定義 K3D 叢集的 Domain name
- hostIP，將監聽 Kubernetes API 的位置
- hostPort，Kubernetes API 在 Host 主機系統上監聽連接埠的對應位置
image，定義要使用哪一個版本 Container Image 來建立 K3s
network，使用已經存在的 Podman Netwrok，如果沒有則會建立新的 Podman Netwrok
subnet，為新建立的 Cotainer 網路定義子網路
token，指定叢集的 Token，K3s 使用 Token 來保護節點加入過程，Token 會在叢集加入新節點時進行身分驗證的動作。
volumes，定義在 Host 主機有哪些 Volume 要掛載進 K3D 的節點。
- volume，指定 Host 主機的目錄區，將之掛載到 K3D 的節點中。
  - 格式 : /my/host/path:/path/in/node
- nodeFilters，定義要將 Volume 掛載到哪些 K3D 的節點中。
  - 格式 : server:0 (第一台 Control-plane)，也可以用 * 代表每一台 Control-plane。
ports，定義 K3d 叢集有哪些 Ports 要 Mapping 出來到 Host 主機。
- port，將 K3s 節點 (Container) 的 ports 透過 serverlb 這台 Loadbalancer Maping 到 Host 主機的 ports (via the serverlb)
  - 格式 : HOSTPORT:CONTAINERPORT
- nodeFilters，定義要將哪一台 K3s 的節點中的 Port Mapping 到 Host 主機上。
  - 格式 : loadbalancer
env，將環境變數加入節點。
- envVar，宣告要定義的環境變數。
  - Example: bar=baz
- nodeFilters，定義要將環境變數加入哪台 K3d 節點。
  - Example: server:0
files，定義要自動部屬哪些 Workload 在 K3d 叢集中。
- description，描述 Workload 的字串
- source，Workload 的 Yaml 檔內容，格式可以直接是檔案內容，或給檔案名稱。
  - Example1 :
    source: | apiVersion: v1 kind: Namespace metadata: name: foo
  - Example2 :
    source: ns-baz.yaml
- destination，Workload 的 Yaml 檔儲存在 K3d 節點中的哪個目錄區。
  - 格式: 可以是絕對路徑或相對路徑。
    - Example1 :
      destination: k3s-manifests-custom/foo.yaml
      Workload 的 Yaml 檔實際會被存儲存成 /var/lib/rancher/k3s/server/manifests/custom/foo.yaml
    - Example2 :
      destination: /var/lib/rancher/k3s/server/manifests/baz.yaml nodeFilters: - "server:*"
      用絕對路徑定義 Workload 的 Yaml 檔，並指定要儲存在哪些 K3d 的節點上。
hostAliases，定義要寫入到 K3D 叢集結點中的 /etc/hosts 檔案內容和 CoreDNS 的 NodeHosts 部分中
- ip，服務的 IP Address
- hostnames，服務的名稱
options
- k3d，k3d runtime 的設定
  - wait: true，等待群集可用後才返回
  - timeout: "60s"，定義建置 K3D 叢集超時的時間，如果超過時間會停止建立的動作。
  - disableLoadbalancer: false，停用在 Contol-plane 節點前面建立 LoadBalancer。
  - disableImageVolume: false，不要為 K3D 節點的根檔案系統建立永存的 Volume
  - disableRollback: false，如果叢集建立失敗，不要回溯變更。
  - loadbalancer，設定 Nginx Loadbalancer 的設定檔
    - configOverrides，要覆蓋的設定值
      - Example: settings.workerConnections=2048
k3s，設定 K3s 本身
- extraArgs，傳給 k3s server|agent 指令的附加參數；與 --k3s-arg 相同
  - Example:
    k3s: extraArgs: - arg: "--tls-san=my.host.domain" nodeFilters: - server:*
- nodeLabels，定義要對哪一台 K3s 的節點貼上標籤
  - Example:
    nodeLabels: - label: foo=bar nodeFilters: - agent:1
kubeconfig，設定 KubeConfig
- updateDefaultKubeconfig: true，會把建立好的 K3s 叢集加到預設的 KubeConfig 檔案中。
- switchCurrentContext: true，會將 KubeConfig 檔中的 Current Context 切換到新建立好的叢集。
runtime，設定 Container Runtime (Podman/Docker)
- gpuRequest: all，要新增至 K3s 叢集節點的 GPU 裝置。
  - all 會把所有 GPU 裝置都掛載進去。
- labels，要對 Host 主機上的 K3s 節點 (Conttainer) 貼哪些標籤。
  - Example:
    labels: - label: bar=baz nodeFilters: - agent:1
- ulimits，設定 Process 的資源
  - name: nofile，限制 Open File 的數量 (max number of open file descriptors)
  - soft: 26677，在任何指定時間內，允許一個程序使用的最大的 Open File 數量。
  - hard: 26677，即使暫時超過 soft limit，程序仍可使用的最大的 Open File 數量。
  例如，預設情況下，一個程序可以擁有的開啟檔案數量的 soft limit 是 1024。這表示一個程序在任何時候最多可以有 1024 個開啟的檔案。但是，如果程序嘗試開啟超過 1024 個檔案，則不允許這樣做。預設開啟檔案數量的 hard limit 為 4096。這表示，即使暫時超過 1024 的 soft limit，程序開啟的檔案也不會超過 4096 個。 soft limit 之所以有用，是因為它們允許程序暫時超過其限制而不會造成問題。例如，Web 伺服器在處理大量流量時，可能需要開啟大量檔案。soft limit 允許網頁伺服器在不當機的情況下執行此動作。但是，hard limit 可以防止 Web 伺服器使用過多資源而導致系統出現問題。 soft limit 和 hard limit 可以為每個使用者和每個程序設定。預設限制由系統管理員設定，但使用者可以變更自己的限制。要變更 soft limit 或hard limit，可以使用 ulimit 指令。

5. 準備 Auto-Deploying Manifests

$ wget --no-check-certificate --no-cache -P ~/k3d/config/c29/addon/ https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/canal.yaml

6. 在 K3s 中甚麼是 Tunnel Proxy? 為什麼要使用它? K8s 為什麼沒有?

在 K3s 中預設都會有 Tunnel Proxy，它的功能是讓 API Server 和 Worker Node 節點之間做溝通。

因為 K3s 在設計的時候是給

Create a kind cluster with Podman

Sat, 20 Jul 2024 01:44:32 +0800

Preface

本篇文章會介紹如何安裝 kind、設定 node provider 為 podman，並實作建立一座 kind Cluster

kind 簡介

kind is a tool for running local Kubernetes clusters using Podman/Docker container “nodes”. kind was primarily designed for testing Kubernetes itself, but may be used for local development or CI/CD.

OS 環境設定

SLES 15 SP5

# 1.在 SLES 15 SP5 上安裝 4.8.3 版本的 podman 和 netavark
$ sudo SUSEConnect -p sle-module-containers/15.5/x86_64
$ sudo zypper -n install podman-4.8.3-150500.3.9.1 netavark-1.5.0-150500.1.4
# 2. 啟動 cgroup v2
## 2.1. 在 GRUB_CMDLINE_LINUX_DEFAULT 這個變數中添加 "systemd.unified_cgroup_hierarchy=1"
$ sudo nano /etc/default/grub
...
GRUB_CMDLINE_LINUX_DEFAULT="splash=silent mitigations=auto quiet security=apparmor crashkernel=302M,high crashkernel=72M,low systemd.unified_cgroup_hierarchy=1"
## 2.2. update GRUB 讓設定永久生效
$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg
# 3. 設定 Pomdman 的 networkBackend 為 netavark
$ sudo cp /usr/share/containers/containers.conf /etc/containers/containers.conf
## 3.1. 修改設定檔，將 networkBackend 的值改為 netavark
$ sudo nano /etc/containers/containers.conf
[network]
network_backend = "netavark"
## 3.2. 重設 Podman
$ sudo podman system reset --force
# 4. 設定 kind 使用 Podman 建立 node
$ sudo nano /etc/profile
...
## 添加以下字串進去
export KIND_EXPERIMENTAL_PROVIDER="podman"
# 5. 重新開機
$ sudo init 6
# 6. 檢查 podman 網路是否成功
$ podman info --format {{.Host.NetworkBackend}}
netavark
# 7. 檢查 cgroup 版本
$ podman info | grep 'cgroupVersion'
cgroupVersion: v2
# 8. 檢查 kind 的 node provider 是否設為 podman
$ env | grep KIND_EXPERIMENTAL_PROVIDER
KIND_EXPERIMENTAL_PROVIDER=podman

Ubuntu server 22.04

# 1. 下載 podman，版本 v4.8.3
$ curl -fsSL -o podman-linux-amd64.tar.gz https://github.com/mgoltzsche/podman-static/releases/download/v4.8.3/podman-linux-amd64.tar.gz && \
tar -xzf podman-linux-amd64.tar.gz && \
sudo cp -r podman-linux-amd64/usr podman-linux-amd64/etc /
> To restart containers with restart-policy=always on boot, enable the podman-restart systemd service
# 2. 下載 netavark、aardvark-dns 和一些必要套件
$ sudo apt update &&
sudo apt-get install -y \
containernetworking-plugins \
protobuf-compiler \
cargo \
make \
jq \
uidmap && \
sudo apt autoremove
$ git clone https://github.com/containers/netavark.git && \
cd netavark/ && \
sudo make && \
sudo cp ./bin/netavark /usr/local/lib/podman/
$ git clone https://github.com/containers/aardvark-dns.git && \
cd aardvark-dns/ && \
sudo make && \
sudo cp ./bin/aardvark-dns /usr/local/lib/podman/
# 3. 修改設定檔，將 networkBackend 的值改為 netavark
$ sudo nano /etc/containers/containers.conf
[network]
network_backend = "netavark"
## 3.1. 重設 Podman
$ sudo podman system reset --force
# 4. 設定 kind 使用 Podman 建立 node
$ sudo nano /etc/profile
...
## 添加以下字串進去
export KIND_EXPERIMENTAL_PROVIDER="podman"
# 5. 重新開機
$ sudo init 6
# 6. 檢查 podman 網路是否成功
$ podman info --format {{.Host.NetworkBackend}}
netavark
# 7. 檢查 cgroup 版本
$ podman info | grep 'cgroupVersion'
cgroupVersion: v2
# 8. 檢查 kind 的 node provider 是否設為 podman
$ env | grep KIND_EXPERIMENTAL_PROVIDER
KIND_EXPERIMENTAL_PROVIDER=podman

Google Cloud Shell

以下設定在 Google Cloud Shell 被重製後都會失效。

# 1. 移除 docker
$ sudo apt-get remove -y docker-ce \
docker-ce-cli \
containerd.io \
docker-buildx-plugin \
docker-compose-plugin
$ sudo apt autoremove
# 2. 啟用 IPV6
$ sudo nano /etc/sysctl.conf
...
net.ipv6.conf.all.disable_ipv6=0
net.ipv6.conf.default.disable_ipv6=0
net.ipv6.conf.lo.disable_ipv6=0
$ sudo sysctl -w net.ipv6.conf.all.disable_ipv6=0
$ sudo sysctl -w net.ipv6.conf.default.disable_ipv6=0
$ sudo sysctl -w net.ipv6.conf.lo.disable_ipv6=0
$ sudo sysctl -p
# 3. 下載 podman，版本 v4.8.3
$ curl -fsSL -o podman-linux-amd64.tar.gz https://github.com/mgoltzsche/podman-static/releases/download/v4.8.3/podman-linux-amd64.tar.gz && \
tar -xzf podman-linux-amd64.tar.gz && \
sudo cp -r podman-linux-amd64/usr podman-linux-amd64/etc /
# 4. 下載 netavark、aardvark-dns 和一些必要套件
$ sudo apt update &&
sudo apt-get install -y \
containernetworking-plugins \
protobuf-compiler \
cargo \
make \
jq \
uidmap && \
sudo apt autoremove
$ git clone https://github.com/containers/netavark.git && \
cd netavark/ && \
sudo make && \
sudo cp ./bin/netavark /usr/local/lib/podman/
$ git clone https://github.com/containers/aardvark-dns.git && \
cd aardvark-dns/ && \
sudo make && \
sudo cp ./bin/aardvark-dns /usr/local/lib/podman/
# 5. 修改設定檔，將 networkBackend 的值改為 netavark
$ sudo nano /etc/containers/containers.conf
[network]
network_backend = "netavark"
## 5.1. 重設 Podman
$ sudo podman system reset --force
# 6. 設定 kind 使用 Podman 建立 node
$ sudo nano /etc/profile
...
## 添加以下字串進去
export KIND_EXPERIMENTAL_PROVIDER="podman"
# 7. 檢查 podman 網路是否成功
$ podman info --format {{.Host.NetworkBackend}}
netavark
# 8. 檢查 cgroup 版本
$ podman info | grep 'cgroupVersion'
cgroupVersion: v2
# 9. 檢查 kind 的 node provider 是否設為 podman
$ sudo su - k130
$ env | grep KIND_EXPERIMENTAL_PROVIDER
KIND_EXPERIMENTAL_PROVIDER=podman

安裝 kind

# 1. 安裝 kind
$ curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.23.0/kind-linux-amd64 && \
chmod +x ./kind && \
sudo mv ./kind /usr/local/bin/kind
# 2. 檢查 Podman 版本
$ sudo podman version
Client: Podman Engine
Version: 4.8.3
API Version: 4.8.3
Go Version: go1.21.8
Built: Tue Mar 19 20:00:00 2024
OS/Arch: linux/amd64
# 3. 檢查 kind 版本
$ sudo kind --version
kind version 0.23.0

建立 Cluster

$ mkdir ~/k8s
$ echo 'kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
name: c30
networking:
podSubnet: "10.244.0.0/16"
serviceSubnet: "10.98.0.0/12"
disableDefaultCNI: true
nodes:
- role: control-plane
image: docker.io/kindest/node:v1.30.0
- role: worker
image: docker.io/kindest/node:v1.30.0' > ~/k8s/c30.yaml
$ sudo kind create cluster --config ~/k8s/c30.yaml
enabling experimental podman provider
Creating cluster "c30" ...
✓ Ensuring node image (docker.io/kindest/node:v1.30.0) 🖼
✓ Preparing nodes 📦 📦
✓ Writing configuration 📜
✓ Starting control-plane 🕹️
✓ Installing StorageClass 💾
✓ Joining worker nodes 🚜
Set kubectl context to "kind-c30"
You can now use your cluster with:
kubectl cluster-info --context kind-c30
Not sure what to do next? 😅 Check out https://kind.sigs.k8s.io/docs/user/quick-start/

kind Cluster 設定檔詳解

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
name: c30
networking:
podSubnet: "10.244.0.0/16"
serviceSubnet: "10.98.0.0/12"
disableDefaultCNI: true
nodes:
- role: control-plane
image: docker.io/kindest/node:v1.30.0
- role: worker
image: docker.io/kindest/node:v1.30.0

kind: Cluster，指定要設定的是 KIND Cluster
apiVersion: kind.x-k8s.io/v1alpha4，KIND 設定檔的版號，不同的版號在設定檔中的一些設定值或選項，它們的含意會變得不同。
name: c30，設定 KIND Cluster 的名字，這裡取名 c30。
neteorking，設定 Cluster 的網路，有很多設定可以客製化。
- podSubnet，設定 pod 會得到的 IP 範圍。
- serviceSubnet，設定 Kubernetes service 會得到的 IP 範圍。
- disableDefaultCNI: true，KIND 會附帶一個簡單的網路實作（“kindnetd”），這是根據標準的 CNI 插件實現的（如 ptp, host-local 等）和簡單的 netlink routes。
  - 這個 CNI 也會處理 IP 偽裝。
  - 可以選擇關閉預設的 CNI 設定，改安裝其他的 CNI。這是一個進階用戶功能，支援有限，但已知很多常見的 CNI 設定檔都能正常運作，例如 Calico。。

檢查 c30 Cluster

$ sudo kind get clusters
enabling experimental podman provider
c30
$ sudo kind get nodes --name c30
enabling experimental podman provider
c30-control-plane
c30-worker
$ sudo podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3eb5630a3ee3 docker.io/kindest/node:v1.30.0 38 minutes ago Up 38 minutes 127.0.0.1:40297->6443/tcp c30-control-plane
f0d28b8e2a4e docker.io/kindest/node:v1.30.0 38 minutes ago Up 37 minutes c30-worker

設定 K8S Node

$ mkdir ~/cni/
$ curl -sL "$(curl -sL https://api.github.com/repos/containernetworking/plugins/releases/latest | jq -r '.assets[].browser_download_url' | grep 'linux-amd64.*.tgz$')" -o ~/cni/cni-plugins.tgz
# 如果上面那行錯誤，就執行這行命令
$ curl -sL https://github.com/containernetworking/plugins/releases/download/v1.5.0/cni-plugins-linux-amd64-v1.5.0.tgz -o ~/cni/cni-plugins.tgz
$ tar xf ~/cni/cni-plugins.tgz -C ~/cni; rm ~/cni/cni-plugins.tgz
$ sudo podman cp ~/cni/bridge c30-control-plane:/opt/cni/bin/bridge
$ sudo podman cp ~/cni/bridge c30-worker:/opt/cni/bin/bridge

登入 Control Plane

$ sudo podman exec -it c30-control-plane bash
root@c30-control-plane:/# cat /etc/os-release
PRETTY_NAME="Debian GNU/Linux 12 (bookworm)"
NAME="Debian GNU/Linux"
VERSION_ID="12"
VERSION="12 (bookworm)"
VERSION_CODENAME=bookworm
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"

安裝 Canal 網路套件

# 在 c30-control-plane 中執行已下命令
$ kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/canal.yaml
## 檢查 Canal 網路套件
$ kubectl -n kube-system get pods
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-6df7596dbd-c2smj 1/1 Running 0 7m17s
canal-kmjk9 2/2 Running 0 7m17s
canal-vtxlq 2/2 Running 0 7m18s
coredns-7db6d8ff4d-2mrc7 1/1 Running 1 63m
coredns-7db6d8ff4d-cjhnn 1/1 Running 0 63m
etcd-c30-control-plane 1/1 Running 0 64m
kube-apiserver-c30-control-plane 1/1 Running 0 64m
kube-controller-manager-c30-control-plane 1/1 Running 2 (5m57s ago) 64m
kube-proxy-8jrdn 1/1 Running 0 63m
kube-proxy-l9dpx 1/1 Running 0 63m
kube-scheduler-c30-control-plane 1/1 Running 2 (5m ago) 64m

檢測 KIND K8S

$ kubectl run nginx --image=quay.io/cloudwalker/nginx
pod/nginx created
$ kubectl get pods nginx -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 10m 10.244.1.5 c30-worker <none> <none>
$ curl $(kubectl get pods nginx --no-headers -o custom-columns=ip:.status.podIP)
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
$ kubectl delete pod nginx
pod "nginx" deleted
$ exit

關閉 c30 Cluster

$ sudo podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS
NAMES
3eb5630a3ee3 docker.io/kindest/node:v1.30.0 About an hour ago Up About an hour 127.0.0.1:40297->6443/tcp c30-control-plane
f0d28b8e2a4e docker.io/kindest/node:v1.30.0 About an hour ago Up About an hour
c30-worker
$ sudo podman stop c30-control-plane c30-worker
c30-worker
c30-control-plane

刪除 c30 Cluster

$ sudo kind get clusters
enabling experimental podman provider
c30
$ sudo kind delete clusters c30
enabling experimental podman provider
Deleted nodes: ["c30-control-plane" "c30-worker"]
Deleted clusters: ["c30"]
$ sudo podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

管理不同叢集

在建立 Kind 叢集後，預設情況下，如果未設定 $KUBECONFIG 環境變數，則 K8s 叢集入口憑證檔會儲存在 ${HOME}/.kube/config 中。

不過因為我們建 kind 的時候有加 sudo ，所以 kubeconfig 會放在 /root 底下，如果有多個叢集的話，會 append 進同一個 kubeconfig 檔案裡面。

# 1. 檢視在 KubeConfig 中定義的所有叢集
$ sudo kubectl config get-clusters
NAME
kind-c30
kind-c29
# 2. 檢視在 KubeConfig 中定義的所有 Contexts
$ sudo kubectl config get-contexts
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
kind-c29 kind-c29 kind-c29
* kind-c30 kind-c30 kind-c30
# 3. 檢視當前所在的 Contexts
$ sudo kubectl config current-context
kind-c30
# 4. 切換要管理的 K8s 叢集
$ sudo kubectl config use-context kind-c29
Switched to context "kind-c29".
# 5. 檢視 C29 叢集 Node 狀態
$ sudo kubectl get nodes
NAME STATUS ROLES AGE VERSION
c29-control-plane Ready control-plane 23m v1.29.1
c29-worker Ready <none> 22m v1.29.1

What is context meaning?

kubeconfig 檔案中的 Context 元素用於將存取叢集的參數集中在一個方便的名稱下。

每個 context 有三個參數：

cluster：集群的網址或名稱

namespace：要使用的 K8s namespace

user：登入的使用者

kubectl 指令預設會使用目前設定檔 (KubeConfig) 裡 current context 的參數來存取要管理的 Kubernetes 集群。

探索 OCI Image Specification

Mon, 24 Jun 2024 16:46:44 +0800

1. 什麼是 Image Format Specification

由 Open Container Initiative 這個組織定義了 Image 的格式規範，一個 OCI Image, 必須包含 :
- 一個 image manifest
- 一個 image index (可選的)
- 一組/多個 filesystem layers
- 一個 configuration

2. 認識 OCI Image

index.json 在 OCI Image Spec 中被稱為 Image Index ，這個 Json 格式的文檔內容會描述 Image Manifest 文檔的檔名、檔案大小，不同的 CPU 架構 (ARM 64-bit、x86_64…等) 會指向不同的 Image Manifest 文檔
Image Manifest 是 Container Image 的架構說明檔，裡面描述 Container Image 是由哪些元件組成，譬如在被 sha256 哈希演算法運算後，Image Configuration 和 Filesystem Layer 這兩個檔案的名稱是甚麼、檔案大小…等資訊。

3. 檢視 OCI Image 內部結構

# 1. 透過 skopeo 上網到 docker.io 這個光片中心下載 ubuntu:latest image，並以 OCI 的格式儲存在當前使用者家目錄底下的 ubuntu-oci 目錄區
$ skopeo --insecure-policy copy --src-no-creds docker://docker.io/library/ubuntu:latest oci:/home/$USER/ubuntu-oci:latest
# 2. 檢視 OCI Image 內部結構
$ cd; tree ubuntu-oci/
ubuntu-oci/
├── blobs
│ └── sha256
│ ├── 35a88802559dd2077e584394471ddaa1a2c5bfd16893b829ea57619301eb3908
│ ├── 9c704ecd0c694c4cbdd85e589ac8d1fc3fd8f890b7f3731769a5b169eb495809
│ └── c920ba4cfca05503764b785c16b76d43c83a6df8d1ab107e7e6610000d94315c
├── index.json
└── oci-layout
3 directories, 5 files

Container 網路基礎

Mon, 03 Jun 2024 10:00:40 +0800

認識虛擬網路裝置

在虛擬網路世界中，需要一定程度的內部管道來修補、隧道和轉送系統內的封包。這種「內部管道」是利用虛擬網路設備建構的，如 TUN、TAP 和 veth Pairs。

TUN/TAP 裝置

TUN/TAP 為 user space 程式提供資料包接收和傳輸功能。它可以被視為一個簡單的點對點或乙太網路設備，不是從 physical media 接收資料包，而是從 user space 程式接收資料包，也不是透過 physical media 發送資料包，而是將封包寫入 user space 程序。

換句話說，TUN/TAP 驅動程式會在 Linux 主機上建立一個虛擬網路介面。此介面的功能與其他介面類似，例如，你可以為其分配 IP、分析流量、路由流量等。當流量被傳送到該介面時，流量會被傳送到你的 user space 程序，而不是真實網路。

TUN/TAP 有兩種驅動模式，沒錯，就是 TUN 和 TAP。

TUN (tunnel) 設備在第 3 層運行，這表示從 file descriptor (檔案描述符) 接收的資料（packets）將基於 IP。寫回設備的資料也必須是 IP 封包形式。
TAP（網路分路器）的操作方式與 TUN 很相似，但它不能向/從檔案描述符寫入和接收第 3 層封包，而是可以使用原始乙太網路封包。 KVM/Qemu 虛擬化通常會使用 TAP 設備，在建立過程中將 TAP 設備指派給虛擬客戶介面。

Veth Pairs

Veth 裝置是成對建立的虛擬乙太網介面，可以被看作是虛擬網路線。一端進去的資料會從另一端出來。

這使得 veth 對成為連接不同虛擬網路元件（如 Linux bridge、OVS bridge 和 LXC Container）的理想選擇。

認識 Linux Namespace

Linux 中的 namespace 機制是一種蒙蔽了程序的雙眼「讓一個程序只能看見作業系統中的部分資源」的機制。這些資源可能包含檔案系統、使用者、時間、網路等等。

Namespace 其中一個應用是「隔離」同一個作業系統上的不同程序。把一個程序放在某一個種類的 namespace 中，它就會只看得到該 namespace 下看得到的資源。儘管處在該 namespace 中的程序可能以為自己可以存取整個根目錄、以為自己是它 root，但在 namespace 以外的程序看來只是一個普通權限的程序。而這也是容器 (container) 的基礎。

甚麼是 Linux Network Namespace

network namespace 如其名稱所示，用來隔離作業系統跟網路相關的資源。被 network namespace 隔離的那些行程，會以為自己獨享了一個完整的 network stack。或者更明確地，按照 man 中的 network_namespaces(7) 中的說法：

Network namespaces provide isolation of the system resources associated with networking: network devices, IPv4 and IPv6 protocol stacks, IP routing tables, firewall rules…

也就是說：不同的 network namespce 中的行程會看見不同的 interface、routing table、netfilter 規則等等。

雖然可以用 unshare -n 建立一個 network namespace，但更常見的可能是使用 ip netns。不同的 network namespace 可以各自有自己的 interface、IP、routing table、port mapping 等等。這些隔離出來的 namespace 之間可以使用虛擬的 bridge 連接起來。關於這個命令更詳細的行為可以在 ip-netns(8) 找到。

實作 Linux Network Namespace

要根據下圖建立對應的網路

開始建立

# 1. Creating the bobo network namespace
$ sudo ip netns add bobo
# 2. 確認已建立
$ sudo ip netns ls
bobo (id: 3)
### 補充: network namespace 會被放在 /var/run/netns 底下
$ ls -l /var/run/netns
total 0
-r--r--r-- 1 root root 0 Jun 3 16:12 bobo
# 3. Creating the veth pair
$ sudo ip link add veth99 type veth peer name veth100
# 4. Adding one end of the veth pair to the bobo namespace
$ sudo ip link set veth100 netns bobo
# 5. 檢查是否新增成功
$ sudo ip netns exec bobo ip a s veth100
8: veth100@if9: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
link/ether 02:9b:3b:a9:ea:93 brd ff:ff:ff:ff:ff:ff link-netnsid 0
# 6. Configuring the interface in the network namespace with an IP address
$ sudo ip netns exec bobo ip addr add 10.0.8.11 dev veth100
# 7. Enabling the interface inside the network namespace
$ sudo ip netns exec bobo ip link set dev veth100 up
# 8. Enabling the interface on the node
$ sudo ip link set dev veth99 up
# 9. Setting the loopback interface in the network namespace (not mandatory)
$ sudo ip netns exec bobo ip link set lo up
# 10. Setting the routes on the node
$ sudo ip route add 10.0.8.11/32 dev veth99
# 11. Setting the default route in the network namespaces
$ sudo ip netns exec bobo ip route add default via 10.0.8.11 dev veth100
# 12. 檢視在 bobo network namespace 的路由規則
$ sudo ip netns exec bobo route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.8.11 0.0.0.0 UG 0 0 0 veth100
# 13. 檢視路由規則
$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.61.2 0.0.0.0 UG 202 0 0 eth0
10.0.8.11 0.0.0.0 255.255.255.255 UH 0 0 0 veth99
10.89.0.0 0.0.0.0 255.255.255.0 U 0 0 0 podman1
192.168.61.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
# 12. test connection
$ ping -c 1 10.0.8.11
PING 10.0.8.11 (10.0.8.11) 56(84) bytes of data.
64 bytes from 10.0.8.11: icmp_seq=1 ttl=64 time=0.055 ms
--- 10.0.8.11 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.055/0.055/0.055/0.000 ms
# 13. 在 bobo network namespace 建一個網站測試
$ sudo ip netns exec bobo python3 -m http.server &
[1] 51714
# 14. 檢查網站
$ curl 10.0.8.11:8000
...
<h1>Directory listing for /</h1>
...

參考文章

Virtual Networking Devices - TUN, TAP and VETH Pairs Explained

Container-Core-Tech

Sat, 18 May 2024 03:14:04 +0800

Container 的目標

Container 的中文翻譯：貨櫃
Container 的目標：==把一個 Process 變成一台電腦==
Linux Process 詳細介紹連結

運作架構圖

App 企業要用的應用程式，也就是 Process
執行程式時，會用到 Libs （ System Library ）和 Bins ( 人家寫好的命令 )
Container 技術會把 Application + Libs + Bins 都隔離起來 ( isolated )，它就會變成一台電腦

Libs 和 Bins 是相依檔
多個 Container 會共用 OS Kernel 和實體硬體 ( Server 伺服器 )
OS Kernel : 包含 CPU 、記憶體、網路和檔案系統 …等

如何證明程式再跑一定會用到相依檔 ?

$ ldd /bin/sleep
/lib/ld-musl-x86_64.so.1 (0x7fe2d7754000)
libacl.so.1 => /lib/libacl.so.1 (0x7fe2d7622000)
libattr.so.1 => /lib/libattr.so.1 (0x7fe2d761b000)
libgmp.so.10 => /usr/lib/libgmp.so.10 (0x7fe2d75b5000)
libutmps.so.0.1 => /lib/libutmps.so.0.1 (0x7fe2d75b0000)
libc.musl-x86_64.so.1 => /lib/ld-musl-x86_64.so.1 (0x7fe2d7754000)
libskarnet.so.2.11 => /lib/libskarnet.so.2.11 (0x7fe2d7578000)
$ ldd /bin/bash
/lib/ld-musl-x86_64.so.1 (0x7faeff99a000)
libreadline.so.8 => /usr/lib/libreadline.so.8 (0x7faeff888000)
libc.musl-x86_64.so.1 => /lib/ld-musl-x86_64.so.1 (0x7faeff99a000)
libncursesw.so.6 => /usr/lib/libncursesw.so.6 (0x7faeff82b000)
$ ldd /bin/sh
/lib/ld-musl-x86_64.so.1 (0x7ff33072b000)
libc.musl-x86_64.so.1 => /lib/ld-musl-x86_64.so.1 (0x7ff33072b000)

虛擬技術會有自己的 OS（system library），並透過 Hypervisor 和 Host OS 溝通，而 Container 技術是共用 Host OS 的 Kernel，使用已經開啟過的 Kernel ，所以沒有自己的 OS。
Container 是一台電腦，虛擬化也是一台電腦，哪個啟動速度快？ Container，因為他沒有開機程序和關機程序，記憶體空間只會有 process 和相依檔，所以佔用不大。
為何 Container 不需要開機？ Application 啟動啟動代表 Container 啟動，Application 關閉啟動代表 Container 關閉
甚麼是 Container ?
- 把一個 process 和它的相依檔變成一台電腦，這台電腦我們又稱它為 Application Container
- Application Container 的檔案系統為：Chroot + Overlay2 堆疊型檔案系統
- Application Container 的網路系統 : Network Namespace + 虛擬網路 ( 虛擬網卡、虛擬網路線、slirp4netns 撥接網路和虛擬橋接器 )
- 透過 CGroup 來控制 Application Container 的 CPU、記憶體…等硬體資源
- 透過 Linux Namespace 可以隔離出自己的 uts ( 主機名稱 )、UserID、PID…等隔離空間
- 會共用 Host OS 實體主機的 Kernel ( Linux Namespace、Cgroup、Overlay2…等就是 Kernel 的功能 )
- seccomp + linux Capabilities + SElinux ( Centos 主力 ) + APPArmor ( Ubuntu 主力 ) 為 Application Container 的安全防護技術，可以保護 Application Container 以及防止 Application Contianer 破壞 Host OS 的 Kernel
如果在 Windows 作業系統上跑 Docker Desktop ，其實還是要透過 WSL 和 Hyper-v 來安裝 Linux OS ，Container 才會在上面跑

參考文件

Container 核心關鍵技術

Container 使用以下 Linux 系統模組將作業系統的 Process 做成一部電腦

Namespace
- 用來提供軟體程序不同的隔離功能
CGroup (Contol Group)
- 用來分配硬體資源
  - 可以限制process用多少記憶體，CPU用哪個核心
Chroot
- 針對指定的軟體程序，改變它的根目錄
- 針對一個Process有自己獨立的根目錄，可以將Linux檔案系統中的一個目錄當成自己的根目錄
Bridge/slirp4netns
- 建立虛擬網路, 連接 Internet
- 針對一個Process設定專屬的網路系統（虛擬橋接器）
Overlay2
- 用來建立 Container 的檔案系統
- 堆疊型的檔案系統

2022年電腦基礎概論

==Container 可以降低Human Error==

Container 運作架構
- Container [貨櫃技術] 主要目標：將一個程序變成一台電腦
  - 由 App、bins/libs 組成，將他們 isolated 變成一台電腦，這就是 Container
  - App｜程式主體
  - bins、libs｜相依檔案
  - bins｜別人寫好的命令
  - Libs｜提供系統的 API
  - 複數 Container 共用 HostOS 的 Kernel
VM 本身屬於完全隔離，資訊安全性高，但資源消耗會比較大
Container 與 VM 的差異
- 在一個 Hypervisor/HostOS 之上
  - 虛擬機技術會存在複數的 OS（架設幾台虛擬機，就會有幾個 OS）
  - Container 中沒有 OS 的存在，不論幾個 Container 都只會有一個底層的 HostOS
  - Container 不存在 OS 開機程序，所以啟動速度較 VM 快
  - 因為沒有 OS 所以記憶體佔用也比 VM 少
  - 複數 Container 共用一個系統，App 開啟就等於電腦開機，App 關閉就等於電腦關機
Container 的關鍵技術
- Namespace｜提供程序不同的隔離功能
- CGroup [Control Group]｜分配硬體資源，可以限制程序使用哪個實體核心與記憶體的多寡
- Chroot [Change Root]｜改變程序的根目錄（指定 HostOS 的特定目錄為程序根目錄）
- Bridge/slirp4netns｜為 Container 建立虛擬網路，連接 Internet（slirp4netns 用於撥號網路）
- Overlay2｜建立 Container 的檔案系統（堆疊型的檔案系統）

Chroot （Change root）

主要功能： 重新設定指定 Process 的根目錄。

Usage: sudo chroot < 新的根目錄 > < 目標程式 >

實作：

建目錄 ( 仿照 linux 檔案系統目錄 )

$ mkdir -p ~/r2d2/rootfs/{bin,sbin,usr/{bin,sbin},dev,lib,proc}; cd ~/r2d2
$ tree
.
└── rootfs
├── bin
├── dev
├── lib
├── proc
├── sbin
└── usr
├── bin
└── sbin
9 directories, 0 files

ldd 命令查看 sh 命令的相依檔

$ which sh
/bin/sh
$ ldd /bin/sh
/lib/ld-musl-x86_64.so.1 (0x7f6b1d0b2000)
libc.musl-x86_64.so.1 => /lib/ld-musl-x86_64.so.1 (0x7f6b1d0b2000)

拷貝 sh 命令的本體和它的相依檔

$ cp /bin/sh rootfs/bin; cp /lib/ld-musl-x86_64.so.1 rootfs/lib/
$ tree
.
└── rootfs
├── bin
│   └── sh
├── dev
├── lib
│   └── ld-musl-x86_64.so.1
├── proc
├── sbin
└── usr
├── bin
└── sbin
4 directories, 2 files

/bin/sh 拷貝到 rootfs/bin/ 下面的原因 ?
相依檔拷貝到 rootfs/lib/ 的原因 ?

更改 rootfs 目錄的權限屬性

$ sudo chown -R root:root rootfs

-R ，將目錄裡的子目錄和檔案的權限都更改

重新設定指定 Process 的根目錄

$ sudo chroot rootfs /bin/sh
@alp:/$ ls -al
/bin/sh: ls: not found
@alp:/$ mkdir zzz
/bin/sh: mkdir: not found
$ echo $PATH
/home/bigred/bin:/home/bigred/vmalpdt/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

echo 可以使用的原因，sh 命令自帶的功能。
chroot 會到 rootfs 目錄裡面執行 /bin/sh ，此時程式會載入記憶體會變成 process，並且把 rootfs 這個目錄變成 /bin/sh 這個 process 的根目錄

$ sudo chroot rootfs/ /bin/bash
chroot: failed to run command ‘/bin/bash’: No such file or directory

失敗的原因是因為，在 rootfs 目錄裡面，沒有 /bin/bash 這個 program
提問：/bin/sh的根目錄在哪？ /home/bigred/r2d2/rootfs
提問：/bin/sh的檔案在哪？ /home/bigred/r2d2/rootfs/bin
把 busybox 這個 program 拷貝到 rootfs/bin 目錄裡面，並執行 chroot

$ sudo cp /bin/busybox rootfs/bin/
$ sudo chroot rootfs /bin/sh
@alp:/$ /bin/busybox --install -s
@alp:/$ ls -al /bin
total 1648
drwxr-sr-x 2 0 0 4096 Jun 24 13:24 .
drwxr-sr-x 7 0 0 4096 Jun 24 13:23 ..
lrwxrwxrwx 1 0 0 12 Jun 24 13:24 arch -> /bin/busybox
lrwxrwxrwx 1 0 0 12 Jun 24 13:24 ash -> /bin/busybox
........
# ps 這個命令，內定一定會去讀取 /proc 目錄裡面的內容
@alp:/$ ls -al /proc
total 8
drwxr-sr-x 2 0 0 4096 Jun 24 13:03 .
drwxr-sr-x 7 0 0 4096 Jun 24 13:23 ..
# 因 /proc 目錄內容是空的，所以 ps 命令顯示的結果也是空的
@alp:/$ ps
PID USER TIME COMMAND
@alp:/$ exit

建立rootfs目錄

$ mkdir -p ~/c3po/rootfs; cd ~/c3po/rootfs; curl -s -o alpine.tar.gz http://dl-cdn.alpinelinux.org/alpine/v3.16/releases/x86_64/alpine-minirootfs-3.16.1-x86_64.tar.gz;
# 到 Alpine 的官網下載最小的檔案系統，版本代號 3.16.1

curl 指令補充
-s ，安靜模式，不顯示任何資訊
-o ，將下載檔輸出成一個檔案

解壓縮 alpine.tar.gz，並把標準輸出丟到黑洞，最後刪除壓縮檔，回到上一層目錄。

$ tar xvf alpine.tar.gz &>/dev/null ;rm alpine.tar.gz; cd ..

我們現在的

bigred@alp:~/c3po$ dir rootfs/bin
total 820K
..........
lrwxrwxrwx 1 bigred bigred 12 May 29 14:20 base64 -> /bin/busybox
lrwxrwxrwx 1 bigred bigred 12 May 29 14:20 bbconfig -> /bin/busybox
-rwxr-xr-x 1 bigred bigred 822K May 22 06:59 busybox
lrwxrwxrwx 1 bigred bigred 12 May 29 14:20 cat -> /bin/busybox
..........
[註] 在 /bin 目錄中的 命令, 大都是交由 busybox 命令執行

Linux 目錄解析

$ dir rootfs/
total 76K
drwxr-sr-x 19 bigred bigred 4.0K May 20 09:33 .
drwxr-sr-x 3 bigred bigred 4.0K May 20 09:24 ..
# binary，裡面放Linux系統要用的命令/program，以後看到這個目錄裡面一定是執行檔
drwxr-sr-x 2 bigred bigred 4.0K May 20 09:33 bin
# device，Linux系統所用的硬體設備資訊，例如/dev/zero，只要使用它就會一直噴出null
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 dev
# Linux系統用的軟體和設定檔所在目錄
drwxr-sr-x 15 bigred bigred 4.0K May 20 09:33 etc
# Linux 使用者的家目錄
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 home
drwxr-sr-x 7 bigred bigred 4.0K May 20 09:33 lib
drwxr-sr-x 5 bigred bigred 4.0K May 20 09:33 media
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 mnt
# option，放Linux系統不是內建的套件，也就是原生不在Linux系統的應用
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 opt
# Process，放Linux系統所有的Process資訊（PID...等）
dr-xr-sr-x 2 bigred bigred 4.0K Aug 5 2021 proc
# 他是root帳號的家目錄
drwx--S--- 2 bigred bigred 4.0K Aug 5 2021 root
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 run
drwxr-sr-x 2 bigred bigred 4.0K May 20 09:33 sbin
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 srv
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 sys
drwxr-sr-t 2 bigred bigred 4.0K Aug 5 2021 tmp
drwxr-sr-x 7 bigred bigred 4.0K May 20 09:33 usr
drwxr-sr-x 12 bigred bigred 4.0K May 20 09:33 var

$ sudo chroot rootfs/ /bin/sh
root@alp:/$ whoami
root
root@alp:/$ ls -al /proc
total 8
dr-xr-sr-x 2 1000 1000 4096 Aug 5 2021 .
drwxr-sr-x 19 1000 1000 4096 May 20 01:33 ..
root@alp:/$ mkdir /proc/hi
root@alp:/$ ls -al /proc
total 12
dr-xr-sr-x 3 1000 1000 4096 May 20 02:16 .
drwxr-sr-x 19 1000 1000 4096 May 20 01:33 ..
drwxr-sr-x 2 root 1000 4096 May 20 02:16 hi

兩個 /proc 不一樣

$ ls -al /proc
total 4
dr-xr-xr-x 177 root root 0 May 17 14:15 .
drwxr-xr-x 23 root root 4096 May 16 17:53 ..
dr-xr-xr-x 9 root root 0 May 17 14:15 1
dr-xr-xr-x 9 root root 0 May 17 14:15 11
dr-xr-xr-x 9 root root 0 May 17 14:15 12
dr-xr-xr-x 9 root root 0 May 17 14:15 13
dr-xr-xr-x 9 root root 0 May 17 14:15 14
dr-xr-xr-x 9 root root 0 May 17 14:15 15
dr-xr-xr-x 9 root root 0 May 17 14:15 16
dr-xr-xr-x 9 root root 0 May 17 14:15 17
dr-xr-xr-x 9 root root 0 May 17 14:15 179
dr-xr-xr-x 9 root root 0 May 17 14:15 18
dr-xr-xr-x 9 root root 0 May 17 14:15 1867
dr-xr-xr-x 9 root root 0 May 17 14:15 1868
dr-xr-xr-x 9 root root 0 May 17 14:15 1873
...

檔案名稱的數字就是 PID

$ sudo chroot rootfs /bin/sh
root@alp:/$ rm -r /bin/*
root@alp:/$ ls -al /bin
/bin/sh: ls: not found
root@alp:/$ exit
$ ls -al rootfs/bin
total 8
drwxr-sr-x 2 bigred bigred 4096 May 20 10:21 .
drwxr-sr-x 19 bigred bigred 4096 May 20 09:33 ..

將 Process 的執行者權限屬性設為 bigred:bigred

$ sudo chroot --userspec=bigred:bigred rootfs/ /bin/sh
@alp:/$ whoami
whoami: unknown uid 1000

出現錯誤提示 unknown uid 1000，因為 ~/c3po/rootfs/etc/passwd 沒有 bigred 資料

證明 /etc/passwd 沒有 bigred 的使用者資料

@alp:/$ cat /etc/passwd | tail -n 5
vpopmail:x:89:89::/var/vpopmail:/sbin/nologin
ntp:x:123:123:NTP:/var/empty:/sbin/nologin
smmsp:x:209:209:smmsp:/var/spool/mqueue:/sbin/nologin
guest:x:405:100:guest:/dev/null:/sbin/nologin
nobody:x:65534:65534:nobody:/:/sbin/nologin

探索 Overlay2

Overlay2 堆疊型檔案系統只有上下兩層，overlay –> 覆蓋的意思
提問：目前使用過多少個檔案系統？ Windows 的檔案系統 ntfs Linux 的檔案系統 ext4 Hadoop 的檔案系統 HDFS Mac OS 的檔案系統 APFS USB 的檔案系統 fat32
只要是檔案系統一定會有 Meta Data 和 Data

mount 實作範例

$ mkdir -p m/{work,a,b}
$ sudo mount --bind m/a m/work
$ mkdir m/work/haha
$ ls m/a
haha
$ ls m/work/
haha
$ sudo umount m/work
$ ls m/work/
$ ls m/a
haha

由以上結果得知，當 m/a 目錄掛載到 m/work 目錄上，我們在 m/work 上面建目錄時，實際上是建在 m/a 目錄上面

準備 Overlay2 檔案系統目錄

Overlay2 的檔案系統分為兩層 lower 目錄和 upper 目錄，這兩個目錄之間的關係是堆疊，也就是說 upper 目錄會在 lower 目錄之上，會用 linux 的命令 mount 掛載到一個目錄（merged），當 lower 和 upper 這兩層目錄有同一個檔案時，upper 目錄的檔案會覆蓋掉 lower 那層目錄的檔案。
操作都是在 merged 這層目錄執行，底層作業的就是 overlay2

實作

$ cd ~;mkdir -p ov2/{upper,lower,merged,work}; cd ov2
$ echo "I'm from lower!" > lower/in_lower.txt
$ echo "I'm from upper!" > upper/in_upper.txt
$ echo "I'm from lower!" > lower/in_both.txt
$ echo "I'm from upper!" > upper/in_both.txt
$ tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
├── upper
│   ├── in_both.txt
│   └── in_upper.txt
└── work
4 directories, 4 files

work dir 為 overlay2 檔案系統運作的工作目錄

建立與使用 Overlay2 檔案系統

$ sudo mount -t overlay myov -o lowerdir=/home/bigred/ov2/lower,upperdir=/home/bigred/ov2/upper,workdir=/home/bigred/ov2/work /home/bigred/ov2/merged

-t，type，意思就是說要掛載到哪個檔案系統
myov 是 mount 的名稱, 可由執行 mount 得知
-o，option，參數設定，lower 的目錄區在哪，upper 的目錄區在哪，work（工作目錄）的目錄放哪，
/home/bigred/ov2/merged，最後掛載的目錄區

檢查

$ tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_both.txt
│   ├── in_lower.txt
│   └── in_upper.txt
├── upper
│   ├── in_both.txt
│   └── in_upper.txt
└── work
└── work [error opening dir]
5 directories, 7 files

證明 merged 這層目錄裡，會看到上層 upper 這層目錄的檔案內容

$ cat merged/in_both.txt
I'm from upper!

在 merged 這層新增檔案

$ echo 'new file' > merged/new_file
$ tree
.
├── lower
│   ├── in_both.txt
│   └── in_lower.txt
├── merged
│   ├── in_both.txt
│   ├── in_lower.txt
│   ├── in_upper.txt
│   └── new_file
├── upper
│   ├── in_both.txt
│   ├── in_upper.txt
│   └── new_file ## 實際上new_file這個檔案，新增在upper這層目錄區
└── work
└── work [error opening dir]
5 directories, 9 files

小結論

在Overlay2檔案系統中，

lower目錄區 read only，代表只能讀取不可被修改
upper目錄區 read write，可以被讀取和修改
merged這層目錄 顯示最後的結果

真正的操作都是在底下 upper 和 lower 這兩層目錄操作，當我們在 merged 這層目錄新增檔案和目錄時，只會在 upper 這層新增，因為 lower 只能讀取不可修改。

unmount

$ sudo umount merged/
$ ls -al merged/
total 8
drwxr-sr-x 2 bigred bigred 4096 May 20 11:21 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..

whiteout 操作範例

whiteout ( 立可白 ) 在 merged 這層目錄，刪除重複的檔案名稱

刪除 merged 這層目錄的 in_both.txt

$ rm merged/in_both.txt
$ ls -al merged/
total 20
drwxr-sr-x 1 bigred bigred 4096 May 20 13:11 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_lower.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file

發現 upper 這層目錄的 in_both.txt 竟然還在！？

$ ls -al upper
total 16
drwxr-sr-x 2 bigred bigred 4096 May 20 13:11 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
c--------- 2 root root 0, 0 May 20 13:11 in_both.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file

lower 這層在是正常的

$ ls -al lower/
total 16
drwxr-sr-x 2 bigred bigred 4096 May 20 11:22 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_both.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_lower.txt

解答：

當上下兩層有相同的檔案名稱時，刪除 merged 裡面的檔案後，會在 upper 這層目錄產生一個標籤檔，實際上檔案裡面沒有內容，會產生標籤檔的原因是因為 lower 這層的檔案還在，用標籤檔來遮住 lower 那層的目錄，以此來達成刪除的動作。
如果檔案只存在在 upper 目錄，我們去刪除它，檔案會直接被刪除，如果檔案只存在在 lower 目錄，則一樣產生一個標籤檔。

# c 事實上是一個裝置檔
$ ls -al upper/ | grep in_both.txt
c--------- 2 root root 0, 0 May 20 13:11 in_both.txt
$ cat upper/in_both.txt
cat: upper/in_both.txt: Permission denied
$ sudo cat upper/in_both.txt
cat: upper/in_both.txt: No such device or address

修改 upper 那層的 in_both.txt

$ echo "back" > merged/in_both.txt

檢查

$ ls -l upper/
total 12
-rw-r--r-- 1 bigred bigred 5 May 20 13:28 in_both.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file

copy_up or copy on write

在 merged 這層更改只在 lower 這層存在的檔案內容

$ ls -al upper
total 20
drwxr-sr-x 2 bigred bigred 4096 May 20 13:28 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
-rw-r--r-- 1 bigred bigred 5 May 20 13:28 in_both.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file
$ echo "go or no go" >> merged/in_lower.txt

實際上會先在 lower 目錄區的這個檔案拷貝一份到 uppper 這層目錄，再進行修改

$ cat upper/in_lower.txt
I m from lower!
go or no go
$ ls -al upper
total 24
drwxr-sr-x 2 bigred bigred 4096 May 20 13:28 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
-rw-r--r-- 1 bigred bigred 5 May 20 13:28 in_both.txt
-rw-r--r-- 1 bigred bigred 28 May 20 13:35 in_lower.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file

在 Container 技術裡面，只能局部的這樣修改資料，如果大量這樣修改會造成 Container 掛掉。
如果需高頻率且大量修改資料，可以透過 by pass overlay2 來使用 Linux ext4 的檔案系統。

overlay2 + chroot

將這個目錄區的內容作為 overlay2 的 lower 目錄區

$ dir c3po/rootfs/
total 76K
drwxr-sr-x 19 bigred bigred 4.0K May 20 10:30 .
drwxr-sr-x 4 bigred bigred 4.0K May 20 11:21 ..
drwxr-sr-x 2 bigred bigred 4.0K May 20 10:30 bin
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 dev
drwxr-sr-x 15 bigred bigred 4.0K May 20 10:30 etc
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 home
drwxr-sr-x 7 bigred bigred 4.0K May 20 10:30 lib
drwxr-sr-x 5 bigred bigred 4.0K May 20 10:30 media
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 mnt
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 opt
dr-xr-sr-x 2 bigred bigred 4.0K Aug 5 2021 proc
drwx--S--- 2 bigred bigred 4.0K May 20 10:30 root
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 run
drwxr-sr-x 2 bigred bigred 4.0K May 20 10:30 sbin
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 srv
drwxr-sr-x 2 bigred bigred 4.0K Aug 5 2021 sys
drwxr-sr-t 2 bigred bigred 4.0K Aug 5 2021 tmp
drwxr-sr-x 7 bigred bigred 4.0K May 20 10:30 usr
drwxr-sr-x 12 bigred bigred 4.0K May 20 10:30 var

命令

$ sudo mount -t overlay myov -o lowerdir=/home/bigred/c3po/rootfs,upperdir=/home/bigred/ov2/upper,workdir=/home/bigred/ov2/work /home/bigred/ov2/merged
$ sudo chroot ov2/merged/ sh
root@alp:/$ ls -al
total 92
drwxr-sr-x 1 1000 1000 4096 May 20 05:58 .
drwxr-sr-x 1 1000 1000 4096 May 20 05:58 ..
drwxr-sr-x 2 1000 1000 4096 May 20 02:30 bin
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 dev
drwxr-sr-x 15 1000 1000 4096 May 20 02:30 etc
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 home
-rw-r--r-- 1 1000 1000 28 May 20 05:35 in_lower.txt
-rw-r--r-- 1 1000 1000 16 May 20 03:22 in_upper.txt
drwxr-sr-x 7 1000 1000 4096 May 20 02:30 lib
drwxr-sr-x 5 1000 1000 4096 May 20 02:30 media
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 mnt
-rw-r--r-- 1 1000 1000 9 May 20 03:45 new_file
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 opt
dr-xr-sr-x 2 1000 1000 4096 Aug 5 2021 proc
drwx--S--- 1 1000 1000 4096 May 20 02:30 root
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 run
drwxr-sr-x 2 1000 1000 4096 May 20 02:30 sbin
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 srv
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 sys
drwxr-sr-t 2 1000 1000 4096 Aug 5 2021 tmp
drwxr-sr-x 7 1000 1000 4096 May 20 02:30 usr
drwxr-sr-x 12 1000 1000 4096 May 20 02:30 var
root@alp:/$ mkdir /opt/haha
root@alp:/$ ls -l /opt/
total 4
drwxr-sr-x 2 root 1000 4096 May 20 06:32 haha
root@alp:/$ exit
$ ls -al ov2/merged/opt/
total 12
drwxr-sr-x 1 bigred bigred 4096 May 20 14:32 .
drwxr-sr-x 1 bigred bigred 4096 May 20 13:58 ..
drwxr-sr-x 2 root bigred 4096 May 20 14:32 haha

探索 CGroup

CGroup 應用架構

Control group 的功能可以依據 process 的 PID，去控管

cpu 他用第幾個核心的 cpu
memory 記憶體使用量，超出則會報錯 ( out of memory )
net_cls 使用網路的情形，例：每秒最多可以傳送多少量的資料
只要將要限制的 process 的 PID 加入控制目錄裡的 tasks 這個檔案，process 就會被控制。

檢視與建立 CGroup

bigred@alp:~$ ls -al /sys/fs/cgroup/
total 0
drwxr-xr-x 16 root root 320 May 20 14:27 .
drwxr-xr-x 7 root root 0 May 20 14:27 ..
dr-xr-xr-x 2 root root 0 May 20 14:27 blkio
dr-xr-xr-x 2 root root 0 May 20 14:27 cpu
dr-xr-xr-x 2 root root 0 May 20 14:27 cpuacct
dr-xr-xr-x 2 root root 0 May 20 14:27 cpuset
dr-xr-xr-x 2 root root 0 May 20 14:27 devices
dr-xr-xr-x 2 root root 0 May 20 14:27 freezer
dr-xr-xr-x 2 root root 0 May 20 14:27 hugetlb
dr-xr-xr-x 2 root root 0 May 20 14:27 memory
dr-xr-xr-x 2 root root 0 May 20 14:27 net_cls
dr-xr-xr-x 2 root root 0 May 20 14:27 net_prio
dr-xr-xr-x 5 root root 0 May 20 14:27 openrc
dr-xr-xr-x 2 root root 0 May 20 14:27 perf_event
dr-xr-xr-x 2 root root 0 May 20 14:27 pids
dr-xr-xr-x 5 root root 0 May 20 14:27 unified

bigred@alp:~$ ls -al /sys/fs/cgroup/memory/
total 0
dr-xr-xr-x 2 root root 0 May 20 14:27 .
drwxr-xr-x 16 root root 320 May 20 14:27 ..
-rw-r--r-- 1 root root 0 May 20 15:28 cgroup.clone_children
--w--w--w- 1 root root 0 May 20 15:28 cgroup.event_control
-rw-r--r-- 1 root root 0 May 20 15:28 cgroup.procs
-r--r--r-- 1 root root 0 May 20 15:28 cgroup.sane_behavior
-rw-r--r-- 1 root root 0 May 20 15:28 memory.failcnt
--w------- 1 root root 0 May 20 15:28 memory.force_empty
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.failcnt
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.max_usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.tcp.failcnt
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.tcp.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.kmem.tcp.max_usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:28 memory.kmem.tcp.usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:28 memory.kmem.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.max_usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.memsw.failcnt
-rw-r--r-- 1 root root 0 May 20 15:28 memory.memsw.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.memsw.max_usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:28 memory.memsw.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.move_charge_at_immigrate
-rw-r--r-- 1 root root 0 May 20 15:28 memory.oom_control
---------- 1 root root 0 May 20 15:28 memory.pressure_level
-rw-r--r-- 1 root root 0 May 20 15:28 memory.soft_limit_in_bytes
-r--r--r-- 1 root root 0 May 20 15:28 memory.stat
-rw-r--r-- 1 root root 0 May 20 15:28 memory.swappiness
-r--r--r-- 1 root root 0 May 20 15:28 memory.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:28 memory.use_hierarchy
-rw-r--r-- 1 root root 0 May 20 15:28 notify_on_release
-rw-r--r-- 1 root root 0 May 20 15:28 release_agent
-rw-r--r-- 1 root root 0 May 20 14:27 tasks

當你在 /sys/fs/cgroup/memory/ 目錄裡面新增一個目錄

bigred@alp:~$ sudo mkdir /sys/fs/cgroup/memory/demo

bigred@alp:~$ ls -al /sys/fs/cgroup/memory/demo
total 0
drwxr-xr-x 2 root root 0 May 20 15:31 .
dr-xr-xr-x 3 root root 0 May 20 14:27 ..
-rw-r--r-- 1 root root 0 May 20 15:31 cgroup.clone_children
--w--w--w- 1 root root 0 May 20 15:31 cgroup.event_control
-rw-r--r-- 1 root root 0 May 20 15:31 cgroup.procs
-rw-r--r-- 1 root root 0 May 20 15:31 memory.failcnt
--w------- 1 root root 0 May 20 15:31 memory.force_empty
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.failcnt
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.max_usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.tcp.failcnt
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.tcp.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.kmem.tcp.max_usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:31 memory.kmem.tcp.usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:31 memory.kmem.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.max_usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.memsw.failcnt
-rw-r--r-- 1 root root 0 May 20 15:31 memory.memsw.limit_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.memsw.max_usage_in_bytes
-r--r--r-- 1 root root 0 May 20 15:31 memory.memsw.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.move_charge_at_immigrate
-rw-r--r-- 1 root root 0 May 20 15:31 memory.oom_control
---------- 1 root root 0 May 20 15:31 memory.pressure_level
-rw-r--r-- 1 root root 0 May 20 15:31 memory.soft_limit_in_bytes
-r--r--r-- 1 root root 0 May 20 15:31 memory.stat
-rw-r--r-- 1 root root 0 May 20 15:31 memory.swappiness
-r--r--r-- 1 root root 0 May 20 15:31 memory.usage_in_bytes
-rw-r--r-- 1 root root 0 May 20 15:31 memory.use_hierarchy
-rw-r--r-- 1 root root 0 May 20 15:31 notify_on_release
-rw-r--r-- 1 root root 0 May 20 15:31 tasks

在 memory 目錄裡面可以新增任意數量的目錄，來做控管

$ nano memlimit.sh
#!/bin/bash
## 指定目錄/sys/fs/cgroup/memory/demo不存在，則建立
[ ! -d /sys/fs/cgroup/memory/demo ] && sudo mkdir /sys/fs/cgroup/memory/demo
##
echo "100000000" | sudo tee /sys/fs/cgroup/memory/demo/memory.limit_in_bytes &>/dev/null
## echo $$ 代表當前process的PID
echo $$ | sudo tee /sys/fs/cgroup/memory/demo/tasks &>/dev/null
## The line, read from /dev/zero which outputs only null bytes and no newlines, will be infinitely long, but is limited by head to BYTES bytes, thus tail will use only that much memory.
cat /dev/zero | head -c $1 | tail

cat /dev/zero | head -c $1 | tail ，當我們 cat 零號裝置 (/dev/zero) ，會一直往螢幕上輸出 ASCll:0 這個 NULL 值，但因為後面有接 | pipe ，所以會把前面命令執行的結果，輸入給後面的 head 命令，head -c 會選擇只要幾 mb 的資料，後面再接一個 | pipe ，這時候要利用 tail 這個命令的特性，他會一直將資料存在記憶體中，一直等到有換行符號(ASCll:27)，才會將記憶體空間釋放，所以一但在記憶體霸佔的資料區塊大小超過我們透過 CGROUP 限制的 95m ，這支程序就會被終止。

bigred@alp:~$ sudo echo "100000000" > /sys/fs/cgroup/memory/demo/memory.limit_in_bytes
-bash: /sys/fs/cgroup/memory/demo/memory.limit_in_bytes: Permission denied

因為導向(>) 也是 bash 命令，這個範例只有 echo 指令有用到 root 身分執行

bigred@alp:~$ chmod +x memlimit.sh
bigred@alp:~$ ./memlimit.sh 82m

當程式使用的記憶體超過我們設定的上限值，就會被 kill 掉

bigred@alp:~$ ./memlimit.sh 100m
./memlimit.sh: line 7: 6638 Broken pipe cat /dev/zero
6639 | head -c $1
6640 Killed | tail

自定 cpu 控制群組

CPU總量預設設定1024

bigred@alp:~$ cat /sys/fs/cgroup/cpu/cpu.shares
1024

以 root 來建立 low 控制子群組，low 繼承了 cpu controller 的所有屬性

bigred@alp:~$ sudo mkdir /sys/fs/cgroup/cpu/low
bigred@alp:~$ sudo ls -al /sys/fs/cgroup/cpu/low
total 0
drwxr-xr-x 2 root root 0 May 23 09:55 .
dr-xr-xr-x 3 root root 0 May 23 08:54 ..
-rw-r--r-- 1 root root 0 May 23 09:55 cgroup.clone_children
-rw-r--r-- 1 root root 0 May 23 09:55 cgroup.procs
-rw-r--r-- 1 root root 0 May 23 09:55 cpu.cfs_burst_us
-rw-r--r-- 1 root root 0 May 23 09:55 cpu.cfs_period_us
-rw-r--r-- 1 root root 0 May 23 09:55 cpu.cfs_quota_us
-rw-r--r-- 1 root root 0 May 23 09:55 cpu.idle
-rw-r--r-- 1 root root 0 May 23 09:55 cpu.shares
-r--r--r-- 1 root root 0 May 23 09:55 cpu.stat
-rw-r--r-- 1 root root 0 May 23 09:55 notify_on_release
-rw-r--r-- 1 root root 0 May 23 09:55 tasks

$ sudo chown bigred:root -R /sys/fs/cgroup/cpu/low

bigred@alp:~$ echo 512 | sudo tee /sys/fs/cgroup/cpu/low/cpu.shares
512

$ sudo mkdir /sys/fs/cgroup/cpu/high

bigred@alp:~$ sudo chown bigred:root -R /sys/fs/cgroup/cpu/high
bigred@alp:~$ echo 2048 | sudo tee /sys/fs/cgroup/cpu/high/cpu.shares
2048

low = 512/(512+2048) = 20%, high = 2048/(2048+512)= 80%

自定 cpuset 控制群組

bigred@alp:~$ sudo mkdir /sys/fs/cgroup/cpuset/first
bigred@alp:~$ sudo chown bigred:root -R /sys/fs/cgroup/cpuset/first
## 事實上可以通過這串指令檢查電腦的CPU有幾顆核心
## 有二個 cpu core, 分別是 0 和 1
bigred@alp:~$ cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1
bigred@alp:~$ cat /sys/fs/cgroup/cpuset/first/cpuset.cpus
## 0，代表的是Core 0，我們可以很精準控制process使用哪個核心
bigred@alp:~$ echo 0 | sudo tee /sys/fs/cgroup/cpuset/first/cpuset.cpus
0

建立測試執行檔

把yes的命令推到背景執行

bigred@alp:~$ yes &>/dev/null &
[1] 8359
bigred@alp:~$ yes &>/dev/null &
[2] 8362

將測試程式的 PID 加入到 first 控制子群組

## 關閉CPU直接存取記憶體的功能（並不是所有PC都有這種功能，所以都先關閉）
bigred@alp:~$ echo 0 | sudo tee /sys/fs/cgroup/cpuset/first/cpuset.mems
0
## 指定8359用Core 0
$ echo 8359 | sudo tee /sys/fs/cgroup/cpuset/first/tasks
## 指定8362用Core 0
$ echo 8362 | sudo tee /sys/fs/cgroup/cpuset/first/tasks
## 檢查
bigred@alp:~$ cat /sys/fs/cgroup/cpuset/first/tasks
8359
8362

檢視 CPU 執行分配比率

## 按1，可以選看核心。按Q脫離。
bigred@alp:~$ top
top - 10:26:00 up 1:31, 0 users, load average: 2.01, 1.65, 0.85
Tasks: 119 total, 3 running, 116 sleeping, 0 stopped, 0 zombie
%Cpu0 : 68.9/31.1 100[||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||]
%Cpu1 : 0.0/0.0 0[ ]
GiB Mem : 4.9/1.9 [ ]
GiB Swap: 0.0/0.0 [
PID USER PR NI VIRT RES %CPU %MEM TIME+ S COMMAND
8359 bigred 20 0 2.2m 0.6m 49.3 0.0 7:08.15 R `- yes
8362 bigred 20 0 2.2m 0.6m 49.3 0.0 7:06.62 R `- yes
8819 bigred 20 0 2.3m 1.6m 0.0 0.1 0:00.18 R `- top

上方可看到二個程式 (yes_high, yes_low)，大約佔 cpu 50% 使用率

接著我們將 yes_low 加入到 low 控制群組

$ echo 8359 | sudo tee /sys/fs/cgroup/cpu/low/tasks
8359

將 yes_high 加入到 high 控制群組

$ echo 8362 | sudo tee /sys/fs/cgroup/cpu/high/tasks
8362

檢查

bigred@alp:~$ top
top - 10:31:05 up 1:36, 0 users, load average: 2.37, 2.00, 1.23
Tasks: 119 total, 3 running, 116 sleeping, 0 stopped, 0 zombie
%Cpu0 : 70.9/29.1 100[||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||]
%Cpu1 : 0.0/0.7 1[| ]
GiB Mem : 4.9/1.9 [ ]
GiB Swap: 0.0/0.0 [
PID USER PR NI VIRT RES %CPU %MEM TIME+ S COMMAND
8359 bigred 20 0 2.2m 0.6m 20.7 0.0 8:58.38 R `- yes
8362 bigred 20 0 2.2m 0.6m 80.7 0.0 9:47.10 R `- yes
9169 bigred 20 0 2.3m 1.5m 0.0 0.1 0:00.05 R `- top

如果執行環境太複雜，要確定精準的數字會非常困難，如果執行環境很簡單，就能做比較精確的資源掌控

安裝與使用 CGroup 命令套件

$ sudo apk add cgroup-tools --update-cache --repository http://dl-3.alpinelinux.org/alpine/edge/community/ --allow-untrusted
# 自定 cpu 控制群組
$ sudo cgcreate -g cpu:/low; sudo cgcreate -g cpu:/high
$ sudo cgset -r cpu.shares=512 low; sudo cgset -r cpu.shares=2048 high

最上層的 / 為 CPU，第二層分別是 3 個 CPU 的控制項目，每個控制項目可以用到多少 CPU 的時間，像 /user.slice 可以用多少的算法為 1024/1024+1024+1024 = 33 %，這個控制項目又有 3 個使用者，分別可以使用 CPU 時間為 768, 512, 2048 ，以 user1 可以使用多少 CPU 為例，768/768+512+2048 = 23.1%，所以 user1 ，只能用 33% 裡面的 23.1% ，實際上約等於可以用到 7.6% 的 CPU 時間

# 自定 cpuset 控制群組
$ sudo cgcreate -g cpuset:/first
$ sudo cgset -r cpuset.cpus=0 first
# 設定本機沒有 多顆實體 CPU 架構 (NUMA)
$ sudo cgset -r cpuset.mems=0 first
$ sudo cgexec -g cpu:high -g cpuset:first yes &>/dev/null &
$ sudo cgexec -g cpu:low -g cpuset:first yes &>/dev/null &

chroot, cgroup, overlay2 整合應用

bigred@alp:~$ sudo mount -t overlay overlay -o lowerdir=/home/bigred/ov2/lower:/home/bigred/c3po/rootfs,upperdir=/home/bigred/ov2/upper,workdir=/h
ome/bigred/ov2/work /home/bigred/ov2/merged
## lowerdir=/home/bigred/ov2/lower:/home/bigred/c3po/rootfs
意思是說lowerdir 可以由多個目錄堆疊起來，後者蓋前者，最後的結果是read only
## upperdir 只能一個目錄
## workdir 存放暫時的資訊
## merged 最後掛載的目錄

檢查，確認Overlay2啟動

bigred@alp:~$ ls -al ov2/merged/
total 96
drwxr-sr-x 1 bigred bigred 4096 May 20 13:58 .
drwxr-sr-x 6 bigred bigred 4096 May 20 11:21 ..
drwxr-sr-x 2 bigred bigred 4096 May 20 10:30 bin
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 dev
drwxr-sr-x 15 bigred bigred 4096 May 20 10:30 etc
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 home
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_both.txt
-rw-r--r-- 1 bigred bigred 28 May 20 13:35 in_lower.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
drwxr-sr-x 7 bigred bigred 4096 May 20 10:30 lib
drwxr-sr-x 5 bigred bigred 4096 May 20 10:30 media
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 mnt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file
drwxr-sr-x 1 bigred bigred 4096 May 20 14:32 opt
dr-xr-sr-x 2 bigred bigred 4096 Aug 5 2021 proc
drwx--S--- 1 bigred bigred 4096 May 20 10:30 root
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 run
drwxr-sr-x 2 bigred bigred 4096 May 20 10:30 sbin
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 srv
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 sys
drwxr-sr-t 2 bigred bigred 4096 Aug 5 2021 tmp
drwxr-sr-x 7 bigred bigred 4096 May 20 10:30 usr
drwxr-sr-x 12 bigred bigred 4096 May 20 10:30 var

執行Change root

bigred@alp:~$ cd ~/ov2; sudo chroot merged /bin/sh
root@alp:/$ ls -al
total 96
drwxr-sr-x 1 1000 1000 4096 May 20 05:58 .
drwxr-sr-x 1 1000 1000 4096 May 20 05:58 ..
drwxr-sr-x 2 1000 1000 4096 May 20 02:30 bin
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 dev
drwxr-sr-x 15 1000 1000 4096 May 20 02:30 etc
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 home
-rw-r--r-- 1 1000 1000 16 May 20 03:22 in_both.txt
-rw-r--r-- 1 1000 1000 28 May 20 05:35 in_lower.txt
-rw-r--r-- 1 1000 1000 16 May 20 03:22 in_upper.txt
drwxr-sr-x 7 1000 1000 4096 May 20 02:30 lib
drwxr-sr-x 5 1000 1000 4096 May 20 02:30 media
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 mnt
-rw-r--r-- 1 1000 1000 9 May 20 03:45 new_file
drwxr-sr-x 1 1000 1000 4096 May 20 06:32 opt
dr-xr-sr-x 2 1000 1000 4096 Aug 5 2021 proc
drwx--S--- 1 1000 1000 4096 May 20 02:30 root
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 run
drwxr-sr-x 2 1000 1000 4096 May 20 02:30 sbin
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 srv
drwxr-sr-x 2 1000 1000 4096 Aug 5 2021 sys
drwxr-sr-t 2 1000 1000 4096 Aug 5 2021 tmp
drwxr-sr-x 7 1000 1000 4096 May 20 02:30 usr
drwxr-sr-x 12 1000 1000 4096 May 20 02:30 var

離開sh的同時，會關閉chroot

root@alp:/$ exit
bigred@alp:~/ov2$

關閉Overlay2

bigred@alp:~/ov2$ sudo umount merged
bigred@alp:~/ov2$ ls -l merged/
total 0

執行 Chroot 與使用 Overlay2 檔案系統

拷貝檔案

bigred@alp:~/ov2$ sudo cp -rP ../c3po/rootfs/* lower/
bigred@alp:~/ov2$ ls -l lower/
total 76
drwxr-sr-x 2 root bigred 4096 May 23 11:25 bin
drwxr-sr-x 2 root bigred 4096 May 23 11:25 dev
drwxr-sr-x 15 root bigred 4096 May 23 11:25 etc
drwxr-sr-x 2 root bigred 4096 May 23 11:25 home
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_both.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_lower.txt
drwxr-sr-x 7 root bigred 4096 May 23 11:25 lib
drwxr-sr-x 5 root bigred 4096 May 23 11:25 media
drwxr-sr-x 2 root bigred 4096 May 23 11:25 mnt
drwxr-sr-x 2 root bigred 4096 May 23 11:25 opt
dr-xr-sr-x 2 root bigred 4096 May 23 11:25 proc
drwx--S--- 2 root bigred 4096 May 23 11:25 root
drwxr-sr-x 2 root bigred 4096 May 23 11:25 run
drwxr-sr-x 2 root bigred 4096 May 23 11:25 sbin
drwxr-sr-x 2 root bigred 4096 May 23 11:25 srv
drwxr-sr-x 2 root bigred 4096 May 23 11:25 sys
drwxr-sr-t 2 root bigred 4096 May 23 11:25 tmp
drwxr-sr-x 7 root bigred 4096 May 23 11:25 usr
drwxr-sr-x 12 root bigred 4096 May 23 11:25 var

$ cp --help
-P, --no-dereference never follow symbolic links in SOURCE
-r, --recursive copy directories recursively

掛載Overlay2到mergeddir

$ sudo mount -t overlay overlay -o lowerdir=/home/bigred/ov2/lower,upperdir=/home/bigred/ov2/upper,workdir=/home/bigred/ov2/work /home/bigred/ov2/merged

檢查有無掛載成功

bigred@alp:~/ov2$ ls -l merged/
total 88
drwxr-sr-x 2 root bigred 4096 May 23 11:25 bin
drwxr-sr-x 2 root bigred 4096 May 23 11:25 dev
drwxr-sr-x 15 root bigred 4096 May 23 11:25 etc
drwxr-sr-x 2 root bigred 4096 May 23 11:25 home
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_both.txt
-rw-r--r-- 1 bigred bigred 28 May 20 13:35 in_lower.txt
-rw-r--r-- 1 bigred bigred 16 May 20 11:22 in_upper.txt
drwxr-sr-x 7 root bigred 4096 May 23 11:25 lib
drwxr-sr-x 5 root bigred 4096 May 23 11:25 media
drwxr-sr-x 2 root bigred 4096 May 23 11:25 mnt
-rw-r--r-- 1 bigred bigred 9 May 20 11:45 new_file
drwxr-sr-x 1 bigred bigred 4096 May 20 14:32 opt
dr-xr-sr-x 2 root bigred 4096 May 23 11:25 proc
drwx--S--- 1 bigred bigred 4096 May 20 10:30 root
drwxr-sr-x 2 root bigred 4096 May 23 11:25 run
drwxr-sr-x 2 root bigred 4096 May 23 11:25 sbin
drwxr-sr-x 2 root bigred 4096 May 23 11:25 srv
drwxr-sr-x 2 root bigred 4096 May 23 11:25 sys
drwxr-sr-t 2 root bigred 4096 May 23 11:25 tmp
drwxr-sr-x 7 root bigred 4096 May 23 11:25 usr
drwxr-sr-x 12 root bigred 4096 May 23 11:25 var

執行chroot

bigred@alp:~/ov2$ sudo chroot merged/ /bin/sh

看當前process的pid，也就是sh的pid

root@alp:/$ echo $$
12883

可再開一個CMD，檢查

bigred@alp:~$ ps aux | grep 12883
root 12883 0.0 0.0 1696 1168 pts/0 S+ 11:31 0:00 /bin/sh

再回到原本的CMD，建立 /dev/zero 裝置, 因新的檔案系統, 沒有 /dev/zero 裝置

root@alp:/$ mknod -m 0666 /dev/zero c 1 5

設定 CGroup 記憶體限制

開啟一個新的 CMD 視窗, 執行以下命令

$ ssh bigred@<CTN.ALP.Docker IP>
## 在/sys/fs/cgroup/memory/下建立demo目錄
$ sudo mkdir /sys/fs/cgroup/memory/demo
$ echo "100000000" | sudo tee /sys/fs/cgroup/memory/demo/memory.limit_in_bytes
100000000
$ echo 12883 | sudo tee /sys/fs/cgroup/memory/demo/tasks
12883
切換到 chroot 的 CMD 視窗
root@alp:/$ cat /dev/zero | head -c 80m | tail
root@alp:/$ cat /dev/zero | head -c 100m | tail
Killed
root@alp:/$ exit
$ sudo umount merged

探索 Namespace

Namespace
- Mount (mnt)
- Process ID (pid)
- Network (net)
- Interprocess Communication (ipc)
- UTS (UNIX Time-Sharing)
  - 讓process有獨立的電腦名稱
- User ID (user)
- Control group (cgroup) Namespace
- Time Namespace

檢視 ALP 虛擬主機的 Namespace

bigred@alp:~/ov2$ ls -l /proc/self/ns/
total 0
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 cgroup -> 'cgroup:[4026531835]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 ipc -> 'ipc:[4026531839]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 mnt -> 'mnt:[4026531841]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 net -> 'net:[4026531840]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 pid -> 'pid:[4026531836]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 pid_for_children -> 'pid:[4026531836]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 time -> 'time:[4026531834]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 time_for_children -> 'time:[4026531834]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 user -> 'user:[4026531837]'
lrwxrwxrwx 1 bigred bigred 0 May 23 13:03 uts -> 'uts:[4026531838]'

Isolating the Hostname

執行 Namespace 功能的命令 unshare

$ sudo unshare --uts sh

## 檢查主機名稱
root@alp:/home/bigred/ov2$ hostname
alp
## 更改主機名稱
root@alp:/home/bigred/ov2$ hostname ssn763
## 檢查主機名稱
root@ssn763:/home/bigred/ov2$ hostname
ssn763
## 離開
root@ssn763:/home/bigred/ov2$ exit
## 主機名稱變回來alp
bigred@alp:~/ov2$

Isolating Process IDs

只要porcess有啟動uts的隔離技術，主機名稱就可以擁有獨立的電腦名稱，但process結束，隔離技術就會消失，變回原來的設定。
在 linux 的 ps 命令顯示的資料，資料一定從 /proc 目錄來，那這個目錄裡面一定放 process 的資訊

$ sudo unshare --pid --fork sh
以pid進行隔離，可以讓環境內有獨立的Process資訊
>從 echo $$ 可以得知目前的PID為1
但因為沒有chroot，所以ps命令仍是讀取Host OS的/proc

/proc 裡面的資訊，實際上是儲存在記憶體中，裡面記錄著現在作業系統中所有 process 的資訊。
procfs 是行程檔案系統 (process file system) 的縮寫，包含一個偽檔案系統（啟動時動態生成的檔案系統），用於通過核心存取行程資訊。這個檔案系統通常被掛載到 /proc 目錄。由於 /proc 不是一個真正的檔案系統，它也就不占用儲存空間，只是占用有限的記憶體。
proc 還有另一個功能，我們利用它實現 Linux 核心空間與使用者空間的通訊。在 proc 檔案系統中，我們可以將對虛擬檔案的讀寫作為與核心中實體進行通訊的一種手段，但是與普通檔案不同的是，這些虛擬檔案的內容都是動態建立的。這個虛擬檔案系統會掛載在 /proc 目錄, 而 ps 命令一定會讀取 /proc 目錄, 來顯示目前系統所有 process 資訊

雖然啟用 PID Namespace, ps 命令還是會看到 Host (alp) 的所有 Process 資訊, 這是因爲 ps 命令會讀取 ALP 的 /proc 目錄資訊

$ sudo unshare --pid --fork sh
root@alp:/home/bigred$ ps
PID TTY TIME CMD
4418 pts/0 00:00:00 unshare
4419 pts/0 00:00:00 sh
4421 pts/0 00:00:00 ps

$ sudo unshare --pid --fork --mount-proc sh

–mount-proc 這參數, 會將 sh 的 PID Namespace, 掛載到 ALP 的 /proc 目錄, 由以下 mount 命令, 得知 /proc 目錄被掛載二次

Linux Network Namespace

Network Namespace 可以隔離 process 的網路空間出來。
Default Network Namespace 是系統預設的網路隔離空間
ifconfig 只會看到 Default 這個 Network Namespace 網路空間的網路卡的網路資訊
右邊有鎖頭的那個範圍，是我們自己可以創造的 Network Namespace（另外一個網路的隔離空間），裡面可以放我們自己所產生的虛擬網路卡，在 Default Namespace 裡，也可以產生虛擬網路卡，這兩個網路卡可以拉一條虛擬的網路線把它們連接起來，代表兩個 Network Namespace 的網路隔離空間可以互通有無，且虛擬網路卡和網路線是產生在記憶體裡面，所以除非實體電腦的主機板或記憶體壞掉，否則正常情況下是很穩定的。

實作Network Namespace

再開啟一個新的命令提示字元視窗, 執行以下命令 $ ssh bigred@<ALP.Docker IP>

--net 給 sh 這個 process 產生新的 Network Namespace

$ sudo unshare --pid --fork --mount-proc --net --uts sh

透過 ip a 可以查看 sh 這個 process 的 Network Namespace

$ ip a
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

lo ，LOOPBACK ，提供自我檢查的網路卡

檢查 PID 的 Namespace 有無啟動，可以看到只有 1 和 2，代表有成功啟動！

root@alp:/home/bigred$ ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.0 1684 1168 ? S 21:17 0:00 sh
root 2 0.0 0.0 1708 836 ? R+ 21:17 0:00 ps aux

執行 ifconfig 空的原因，是因為它看的是這個 Process 的 Default Namespace，全新都沒有設定，所以空空的。

如果沒打--net，執行 ifconfig -a 的結果，會看到 Host 主機的

root@alp:/home/bigred$ ifconfig
root@alp:/home/bigred$ ifconfig -a
lo Link encap:Local Loopback
LOOPBACK MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

回到原先命令提示字元視窗, 執行以下命令

看剛剛新產生的 Network Namespace

$ sudo lsns -t net
NS TYPE NPROCS PID USER NETNSID NSFS COMMAND
4026532000 net 115 1 root unassigned /sbin/init
4026532555 net 2 4582 root unassigned unshare --pid --fork --mount-proc -

lsns = List Neamespace
-t ，項目，net (Network)
用法：lsns [options] [<namespace>]
4026532000 是 Default Namespace
4026532555 是 sh process 的 Namespace

$ sudo ip link add ve1 netns 1 type veth peer name ve2 netns 4582

新增 ve1 虛擬網路卡到 Default Namespace ( pid = 1 )
新增 ve2 虛擬網路卡到 ${shNPID} 的 Network Namespace ( pid = 4582 )
以上這兩張網路卡會透過 ip link 用一條網路線連接起來
veth ，Virtual Ethernet Device
peer ，一組的意思

將 ve1 這張網路卡啟動，因為內定網路卡沒有啟動

$ sudo ip link set ve1 up

設定 ve1 網路卡的 ip 位址

$ sudo ip addr add 192.168.1.100/24 dev ve1

Isolating Process IDs and chroot

掛載記憶體的程序資訊
$ cd; dir r2d2/rootfs/proc
total 8.0K
drwxr-sr-x 2 root root 4.0K Apr 29 22:05 .
drwxr-sr-x 8 root root 4.0K Apr 29 22:05 ..
$ sudo unshare --pid --fork --mount-proc --uts -R r2d2/rootfs sh
@alp:/$ whoami
sh: whoami: not found
@alp:/$ ps
sh: ps: not found
@alp:/$ ls -al /
sh: ls: not found
@alp:/$ exit
[註] --mount-proc 這個參數, 會自動 執行 "mount -t proc /proc /proc" 這行命令

$ unshare --help
-p, --pid[=<file>] unshare pid namespace
-f, --fork fork before launching <program>
-u, --uts[=<file>] unshare UTS namespace (hostname etc)
--mount-proc[=<dir>] mount proc filesystem first (implies --mount)
-n, --net[=<file>] unshare network namespace
-R, --root=<dir> run the command with root directory set to <dir>

User Namespace

Container 被啟動時，是由 host 主機的 User 啟動的，但 Container 內部運作，可以有自己的 user 來執行程式

# 需使用 sudo 執行以下命令, 才會成功
$ unshare --pid --fork --mount-proc --uts -R c3po/rootfs sh
unshare: unshare failed: Operation not permitted
# 沒使用 sudo 執行 unshare 命令, 必需要有 --user 參數才可執行, 以下命令 container 內定使用者為 nobody (id:65534), 執行 unshare 命令, 則是 bigred 帳
號
$ unshare --user whoami
nobody
$ unshare --user -c --pid --fork --mount-proc --uts -R ~/c3po/rootfs sh
@alp:// $ ls -ald /
drwxr-sr-x 20 1000 1000 4096 Aug 15 16:00 /
@alp:// $ exit
$ unshare --user -r --pid --fork --mount-proc --uts -R ~/c3po/rootfs sh
root@alp:// $ ls -ald /
drwxr-sr-x 20 root root 4096 Aug 15 16:00 /
root@alp:// $ exit

unshare --user -c ，map current user to itself (implies –user)
unshare --user -r ，map current user to root (implies –user)

加入 Linux 的系統命令集 (busybox)

$ sudo cp /bin/busybox r2d2/rootfs/bin
## 新增busybox所需的目錄檔
$ sudo mkdir -p ~/r2d2/rootfs/{sbin,usr/{bin,sbin}}
$ sudo unshare --pid --fork --mount-proc --uts -R r2d2/rootfs sh
# /bin/busybox --install -s

Namespace & CGroup

/sys的目錄是存在在記憶體，所以重新開機後就會消失

bigred@alp:~$ cd ~/c3po/
bigred@alp:~/c3po$ sudo mkdir /sys/fs/cgroup/memory/demo

你會看到硬碟存取的燈不斷閃爍，因為記憶體大量在使用它，記憶體不夠了，這時候會把我們的硬碟拿來當作記憶體的延伸（記憶體的後半部），如果硬碟不快、記憶體又不夠，電腦就會呈現昏迷狀態，每打一個按鍵、滑鼠點一下，整個系統就會大lag，所以我們不需要這個功能，現在記憶體通常都已關閉這個功能，寧願電腦跟我們說記憶體不夠（out of memory），也不要電腦失智/昏迷，慢到吐奶。

$ echo "0" | sudo tee /sys/fs/cgroup/memory/demo/memory.swappiness
0

最前面的C是裝置檔

bigred@alp:~/c3po$ ls -al /dev/zero
crw-rw-rw- 1 root root 1, 5 May 24 09:48 /dev/zero

在我們Alpine虛擬電腦裡有零號裝置

在我們rootfs的目錄裡，/dev裡面是空的

bigred@alp:~/c3po$ ls -al rootfs/dev
total 8
drwxr-sr-x 2 bigred bigred 4096 Aug 5 2021 .
drwxr-sr-x 19 bigred bigred 4096 May 20 10:30 ..

將 Alpine 的 /dev 目錄掛載到 rootfs/dev 的目錄上 ( ro ，read only ) 在 Linux 系統中，目錄要掛載在另一個目錄上，一定要下 --bind 這個參數

bigred@alp:~/c3po$ sudo mount --bind -o ro /dev rootfs/dev

$ mount --help
-B, --bind mount a subtree somewhere else (same as -o bind)
-o, --options <list> comma-separated list of mount options

測試有沒有正常

oot@alp:/$ </dev/zero head -c 200m | tail

再啟動一個新的 CMD 視窗, 執行以下命令 $ ssh bigred@<alp.docker IP>

查詢 rootfs sh 的 pid

bigred@alp:~$ ps aux | grep " sh$"
root 4792 0.0 0.0 820 4 pts/0 S 10:13 0:00 unshare --pid --fork --mount-proc --uts -R rootfs sh
root 4793 0.0 0.0 1696 1072 pts/0 S+ 10:13 0:00 sh

將 sh 這個 process 的 pid 加入 tasks

echo "4792" | sudo tee /sys/fs/cgroup/memory/demo/tasks

此時 sh 這個 process 可以用的記憶體用量就會被限制

@alp:/$ </dev/zero head -c 200m | tail
Killed
$ exit
$ sudo umount rootfs/dev/

小總結

unshare 雖然可以做出很多 Namespace 隔離空間，但它只是把隔離空間做出來，我們還要手動去設定很多細節，才能做出一台 Container 。

練習做一台Cintainer

題目

答案

## 建立rootfs目錄
$ mkdir -p ~/test/rootfs; cd ~/test/rootfs; curl -s -o alpine.tar.gz http://dl-cdn.alpinelinux.org/alpine/v3.14/releases/x86_64/alpine-minirootfs-3.14.1-x86_64.tar.gz;
## 解壓縮alpine最小的檔案系統
bigred@alp:~/test/rootfs$ tar xvf alpine.tar.gz &>/dev/null ;rm alpine.tar.gz; cd ..
## 檢查
bigred@alp:~/test$ dir rootfs/bin/
total 820K
## 建立Overlay2 檔案系統
$ cd ~;mkdir -p ov22/{upper,lower,merged,work}; cd ov22
## 檢查
bigred@alp:~/ov22$ tree
## 設定 Lower 目錄 = 堆疊多層目錄
$ sudo mount -t overlay overlay -o lowerdir=/home/bigred/ov22/lower:/home/bigred/test/rootfs,upperdir=/home/bigred/ov22/upper,workdir=/home/bigred/ov22/work /home/bigred/ov22/merged
## mount零號裝置
$ sudo mount --bind -o ro /dev /home/bigred/ov22/merged/dev
## 在/sys/fs/cgroup/memory/目錄下建立demo2目錄
$ sudo mkdir /sys/fs/cgroup/memory/demo2
## 關閉記憶體造成電腦lag的功能
$ echo "0" | sudo tee /sys/fs/cgroup/memory/demo2/memory.swappiness
0
## 限制記憶體大小 1G
$ echo "1073741824" | sudo tee /sys/fs/cgroup/memory/demo2/memory.limit_in_bytes &>/dev/null
## 建立 cpuset 控制子群組 - first
$ sudo mkdir /sys/fs/cgroup/cpuset/first
## 設定 first 控制子群組權限
$ sudo chown bigred:root -R /sys/fs/cgroup/cpuset/first
## 檢視原本 cpuset 裡的設定：
$ cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1
## 設定 first 控制子群組, 將 first 控制子群組設成第一個 cpu core
bigred@alp:~/ov22$ echo 0 | sudo tee /sys/fs/cgroup/cpuset/first/cpuset.cpus
0
## 啟動Namespace的功能
$ sudo unshare --pid --fork --mount-proc --net --uts -R /home/bigred/ov22/merged sh
## 更改hostname 為LCS22
$ hostname LCS22
## 檢查
$ hostname
# 到另一個終端機連到m1的bigred
## 查詢我們process的pid
$ ps aux | grep " sh$"
14277
## 將PID加入記憶體限制
$ echo 14277 | sudo tee /sys/fs/cgroup/memory/demo2/tasks
## 關閉CPU直接存取記憶體的功能
$ echo 0 | sudo tee /sys/fs/cgroup/cpuset/first/cpuset.mems
## 將PID加入CPUSET限制
$ echo 14277 | sudo tee /sys/fs/cgroup/cpuset/first/tasks
# 回到Container的電腦
## 測試CPU
$ yes &>/dev/null &
## 回alp電腦
## 檢查CPU使用哪一核和使用率
# 回到Container的電腦
## 測試記憶體
$ </dev/zero head -c 200m | tail
# 回alp電腦
## 加網卡
$ sudo ip link add ve1 netns 1 type veth peer name ve2 netns 9579
## 將ve1網卡啟動
$ sudo ip link set ve1 up
## 給ve1網卡一個IP位址
$ sudo ip addr add 192.168.1.100/24 dev ve1
# 回到Container的電腦
## 看一下是不是有ve2那張網卡
root@alp:/$ ip a
## 將ve2網卡啟動
root@alp:/$ ip link set ve2 up
## 給ve2網卡一個IP位址
root@alp:/$ ip addr add 192.168.1.200/24 dev ve2
## 測試兩張網卡有沒有通
root@alp:/$ ping -c 1 192.168.1.100

Container 組成

Application(Process)
- 我們執行的process，可以是Deamon
Namespace
- 指令：unshare
- 提供process不同的隔離功能，包含 network + cpu + memory …等的隔離空間
FileSystem（檔案系統）
- Chroot（重新定義process的根目錄） + Overlay2（堆疊型檔案系統）
CGroup
- 透過process的PID以及目錄與檔案來管理cpu、記憶體和網路
Bridge
- 指令：brctl show
- 虛擬橋接器，可以連接網路
Host OS(Kernel)
Hareware
- 硬體周邊

Container = Application(Process) + Namespace(unshare) + Chroot + Overlay2 + CGroup + bridge/slirp4netns + Host OS (Kernel) + Hardware

Open Container Initiatives (OCI)

OCI 組織網站連結

OCI 組織制定一個標準：OCI Container Runtime
這個標準負責將“Application(Process) + Namespace(unshare) + Chroot + CGroup ”整合成一個設定檔。
注意：沒有 Overlay2 和 Bridge 的功能
有人將設定檔寫成程式，程式名：runc ( Golang 語言 )/ crun ( C語言 )

$ sudo apk update ; sudo apk upgrade

如果遇到很多更新，最好直接sudo reboot將虛擬機器重新開機

Welcome to DT Platform Version 21.08 (Alpine Linux : 3.16.0)
IP : 192.168.61.144
bigred@alp:~$

$ runc --help
NAME:
runc - Open Container Initiative runtime
runc is a command line client for running applications packaged according to
the Open Container Initiative (OCI) format and is a compliant implementation of the
Open Container Initiative specification.
runc integrates well with existing process supervisors to provide a production
container runtime environment for applications. It can be used with your
existing process monitoring tools and the container will be spawned as a
direct child of the process supervisor.
Containers are configured using bundles. A bundle for a container is a directory
that includes a specification file named "config.json" and a root filesystem.
The root filesystem contains the contents of the container.
To start a new instance of a container:
# runc run [ -b bundle ] <container-id>
Where "<container-id>" is your name for the instance of the container that you
are starting. The name you provide for the container instance must be unique on
your host. Providing the bundle directory using "-b" is optional. The default
value for "bundle" is the current directory.
USAGE:
runc [global options] command [command options] [arguments...]
VERSION:
1.1.2
commit: a916309fff0f838eb94e928713dbc3c0d0ac7aa4
spec: 1.0.2-dev
go: go1.18.2
libseccomp: 2.5.2
COMMANDS:
checkpoint checkpoint a running container
create create a container
delete delete any resources held by the container often used with detached container
events display container events such as OOM notifications, cpu, memory, and IO usage statistics
exec execute new process inside the container
kill kill sends the specified signal (default: SIGTERM) to the container's init process
list lists containers started by runc with the given root
pause pause suspends all processes inside the container
ps ps displays the processes running inside a container
restore restore a container from a previous checkpoint
resume resumes all processes that have been previously paused
run create and run a container
spec create a new specification file
start executes the user defined process in a created container
state output the state of a container
update update container resource constraints
features show the enabled features
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
--debug enable debug logging
--log value set the log file to write runc logs to (default is '/dev/stderr')
--log-format value set the log format ('text' (default), or 'json') (default: "text")
--root value root directory for storage of container state (this should be located in tmpfs) (default: "/run/runc")
--criu value path to the criu binary used for checkpoint and restore (default: "criu")
--systemd-cgroup enable systemd cgroup support, expects cgroupsPath to be of form "slice:prefix:name" for e.g. "system.slice:runc:434234"
--rootless value ignore cgroup permission errors ('true', 'false', or 'auto') (default: "auto")
--help, -h show help
--version, -v print the version

檢查runc版本

$ runc -v
runc version 1.1.2
commit: a916309fff0f838eb94e928713dbc3c0d0ac7aa4
spec: 1.0.2-dev
go: go1.18.2
libseccomp: 2.5.2

產生OCI的標準

$ runc spec
bigred@alp:~/c3po$ dir
total 20K
drwxr-sr-x 4 bigred bigred 4.0K May 24 14:11 .
drwxr-sr-x 15 bigred bigred 4.0K May 24 13:46 ..
-rw-r--r-- 1 bigred bigred 2.5K May 24 14:11 config.json
drwxr-sr-x 6 bigred bigred 4.0K May 20 11:21 ov2
drwxr-sr-x 19 bigred bigred 4.0K May 20 10:30 rootfs

{
"ociVersion": "1.0.2-dev",
"process": {
"terminal": true,
"user": {
"uid": 0,
"gid": 0
},
"args": [
"sh" ## 我們的process
],
...
##Chroot，重新定義根目錄到rootfs
"root": {
"path": "rootfs",
"readonly": true ## 將true -> false
},
"hostname": "runc", ## 將runc -> r2d2
## 將記憶體型的proc掛載到硬碟上的/proc
"mounts": [
{
"destination": "/proc",
"type": "proc",
"source": "proc"
},
{
"destination": "/dev",
"type": "tmpfs",

修改後

 "root": {
"path": "rootfs",
"readonly": false
},
"hostname": "r2d2",
"mounts": [
{
"destination": "/proc",
"type": "proc",
"source": "proc"
},

啟動Container

bigred@alp:~/c3po$ sudo runc run bb8
/ #

上面的命令成功執行的必要條件：必須要有==rootfs + config.json（一個檔案系統的目錄 + 設定檔）==

/ # hostname
r2d2
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 sh
8 root 0:00 ps aux
/ # whoami
root
/ # mkdir zzz
mkdir: can't create directory 'zzz': Permission denied

答：有人根據OCI Container Runtime的標準寫出來的程式，這支程式的語言是Golang 指令：runc ，命令成功執行的必要條件：所在的工作目錄必須要有==rootfs + config.json== config.json 產生指令：runc spec，成功的話，工作目錄裡rootfs目錄裡面必須要有linux的檔案系統 runc的使用手冊命令：runc --help runc的版本查詢命令：ruc -v

by 程威

OCI｜Open Container Initiative 制定 Container 標準的組織
OCI Container Runtime｜Container 的部署標準（包含：APP（Process） + namespace（unshare）+ chroot + Overlay 2 + cgroup）
這項標準有兩套程式可以使用
- runc｜使用 go 語言
- crun｜使用 C 語言
使用 OCI 標準建立 Container
- 使用 runc（go 語言）指令建立的 Container 指具備基礎功能，其他進階功能需要額外調整與部署
- 使用 runc 建立 Container 要具備的兩個重要項目
- rootfs｜程序的根目錄環境
- config.json｜OCI 指定的設定檔

#檢查 runc 版本 runc -v

#生成標準設定檔案 config.json runc spac

#建立一個名稱為 bb8 的 Container sudo runc run bb8

系統工程由cncf.io (Cloud Native Computing Foundation)裡面的人主導

資料科技由Apache.org 裡面的人主導

Containerd (d 是deamon的意思)

這個專案有本事管理一台電腦裡面多個Container，但真正建立Container的還是透過runc來完成，而rootfs的內容可以請Containerd上網下載他要管理的Container所需的rootfs的內容
Containerd的功能：創造、啟動、監控（紀錄運作時的log檔）、移除和關閉Container

Docker這家公司設計一個程式名稱: docker 他是透過Containerd來管理一台電腦中很多台Container，而Container之間的網路由docker自己來做

安裝docker的命令

$ sudo apk add docker
(1/9) Installing containerd (1.6.4-r1)
(2/9) Installing containerd-openrc (1.6.4-r1)
(3/9) Installing ip6tables (1.8.8-r1)
(4/9) Installing ip6tables-openrc (1.8.8-r1)
(5/9) Installing tini-static (0.19.0-r0)
(6/9) Installing docker-engine (20.10.16-r0)
(7/9) Installing docker-openrc (20.10.16-r0)
(8/9) Installing docker-cli (20.10.16-r0)
(9/9) Installing docker (20.10.16-r0)
Executing docker-20.10.16-r0.pre-install
Executing busybox-1.35.0-r13.trigger
OK: 1263 MiB in 265 packages

將docker的demon設為開機自動執行

bigred@alp:~$ sudo rc-update add docker default

重新開機，並執行ps aux | grep docker

bigred@alp:~$ ps aux | grep docker
root 3093 0.0 0.0 936 440 ? S 15:53 0:00 supervise-daemon docker --start --retry TERM/60/KILL/10 --stderr /var/log/docker.log --stdout /var/log/docker.log /usr/bin/dockerd --
root 3095 1.9 3.1 776508 62272 ? Ssl 15:53 0:00 /usr/bin/dockerd
root 3249 0.8 1.9 756164 38852 ? Ssl 15:53 0:00 containerd --config /var/run/docker/containerd/containerd.toml --log-level info
bigred 3478 0.0 0.0 1596 760 pts/0 S+ 15:54 0:00 grep docker

tags: `系統工程`

Deploy Hugo using Podman

Wed, 06 Mar 2024 09:07:54 +0800

下載 hugo github repo

$ git clone https://github.com/gohugoio/hugo.git

Build Container Image

$ cd hugo/ && sudo podman build --no-cache --squash-all --build-arg HUGO_BUILD_TAGS=extended -t hugo:v1-ext .
$ $ sudo podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/hugo v1-ext-docsy 0785c267cc1f 9 seconds ago 205 MB

設定網站

## 產生 hugo 網站的 Template (此命令會新增一個目錄區專門存放網站的檔案)
$ sudo podman run --rm --name hugo -v $(pwd):/site localhost/hugo:v1-ext new site bobo
## 檢視目錄結構
$ ls -l bobo/
total 36
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 archetypes -> # 定義content內容檔案的元資料
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 assets
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 content -> # 存放文章的內容
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 data
-rw-r--r-- 1 root bigred 83 Mar 6 16:42 hugo.toml -> # 網站的設定檔
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 i18n
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 layouts -> # 存放模板
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 static -> # 存放靜態資源，如圖片、JavaScript 和 CSS
drwxr-sr-x 2 root bigred 4096 Mar 6 16:42 themes -> # 網站的主題
## 使用 Docsy 主題
## Install Docsy as a Git submodule
$ cd bobo
$ sudo git init
$ sudo git config --global user.name "bobo"
$ sudo git config --global user.email "bobo@example.com"
$ sudo git submodule add https://github.com/google/docsy.git themes/docsy
$ sudo git submodule update --init --recursive
## 安裝 Docsy 相依檔
$ sudo apk add --update nodejs npm
$ cd themes/docsy && sudo npm install
## 將 docsy 預設的網站設定檔及相關檔案複製到專案根目錄下
$ cd -
$ sudo cp themes/docsy/userguide/hugo.yaml .
$ sudo cp -R themes/docsy/userguide/content/ .
$ sudo cp -R themes/docsy/userguide/layouts/ .
$ sudo cp -R themes/docsy/userguide/static/ .
## 啟動 hugo web server
$ sudo podman run --network=host \
--rm --name hugo \
-v $(pwd):/site/ \
localhost/hugo:v1-ext server --bind=192.168.61.128 --baseURL=http://192.168.61.128 --port=1313

Offline Import Container Image on Talos Linux

Thu, 30 Nov 2023 16:51:28 +0800

Preface

本篇文章會介紹，如何在全離線的環境下，將事先準備好的 Container Image 打包檔(*.tar) Import 到 Talos Linux 中。

可以透過點擊展開以下目錄，選擇想看的內容，跳轉至特定章節

PreRequest

已將 Talos Linux 作業系統安裝至硬碟中。

使用 Live CD 啟動 Talos Linux

下載 Live CD

下載連結選擇 openSUSE-Leap-15.4-Rescue-CD-x86_64-Build85.5-Media.iso

在 Talos VM 新增 CD 並選擇剛剛下載的 LiveCD ISO 檔
編輯 Talos 虛擬機器設定檔 ( *.vmx )

加入以下內容

bios.bootDelay = "20000"

這使得虛擬機器在 POST 螢幕上停止 20 秒，並有足夠的時間來選擇開機裝置

將 VM 開機，並按 ESC 按鍵，會看到以下畫面

按鍵盤往下鍵，選到 3. CD-ROM Drive 選項之後按 Enter 鍵，此選項會透過 Live CD 開機

直接按 Enter 進入 OS

在桌面，滑鼠右鍵，選擇 Open Terminal here

環境設定

修改 root 使用者密碼為 root

$ echo -e "root\nroot" | sudo passwd root

啟動 SSHD

$ systemctl start sshd

透過 SSH 登入 VM

檢視 Talos Linux 硬碟資訊

檢視 Disk Partition 資訊和檔案系統類型

$ lsblk -f

螢幕輸出 :

NAME FSTYPE LABEL UUID MOUNTPOINT
loop0 squashfs /run/initramfs/s
loop1 ext4 ecfbe267-df0a-44a9-8bab-1d5da142f769 /run/rootfsbase
sda
├─sda1 vfat EFI 6845-805D
├─sda2
├─sda3 xfs BOOT 7676c4be-1cfb-40c5-a291-01f34e477a2b
├─sda4
├─sda5 xfs STATE 6dc58618-23ae-430b-b21c-caa3ac809633
└─sda6 xfs EPHEMERAL ca8733c0-69ef-43ac-b905-bb5ff63dba76
sr0 iso9660 openSUSE_Leap_15.0_Rescue_CD 2019-09-30-05-31-32-00 /run/initramfs/l
sr1 iso9660 ISOIMAGE 2023-11-09-13-32-16-00

透過 blkid 檢查

$ blkid

螢幕輸出 :

/dev/loop1: UUID="ba15380c-0a97-485a-9e2b-e5f13e0d9f65" BLOCK_SIZE="4096" TYPE="ext4"
/dev/sr0: BLOCK_SIZE="2048" UUID="2023-09-27-22-10-35-00" LABEL="openSUSE_Leap_15.4_Rescue_CD" TYPE="iso9660" PTTYPE="dos"
/dev/loop0: TYPE="squashfs"
/dev/sda4: PARTLABEL="META" PARTUUID="81bad570-9ebd-490a-a54e-a96d342353f0"
/dev/sda2: PARTLABEL="BIOS" PARTUUID="7204a786-f3c2-4cb1-b43e-2e5497997b28"
/dev/sda5: LABEL="STATE" UUID="6dc58618-23ae-430b-b21c-caa3ac809633" BLOCK_SIZE="512" TYPE="xfs" PARTLABEL="STATE" PARTUUID="3cc3c4ee-2517-4f98-a07d-508481da4c90"
/dev/sda3: LABEL="BOOT" UUID="7676c4be-1cfb-40c5-a291-01f34e477a2b" BLOCK_SIZE="512" TYPE="xfs" PARTLABEL="BOOT" PARTUUID="fbd7abbf-0c02-42c9-b109-3ca8c96f9cc4"
/dev/sda1: LABEL_FATBOOT="EFI" LABEL="EFI" UUID="6845-805D" BLOCK_SIZE="512" TYPE="vfat" PARTLABEL="EFI" PARTUUID="71a8316d-6079-4031-aa5f-09f1729b5b7e"
/dev/sda6: LABEL="EPHEMERAL" UUID="ca8733c0-69ef-43ac-b905-bb5ff63dba76" BLOCK_SIZE="512" TYPE="xfs" PARTLABEL="EPHEMERAL" PARTUUID="917eecef-9915-4ff5-891c-58669392745e"
/dev/sr1: BLOCK_SIZE="2048" UUID="2023-11-09-13-32-16-00" LABEL="ISOIMAGE" TYPE="iso9660" PTTYPE="PMBR"

$ mkdir -p /talos/{efi,boot,state,EPHEMERAL}

將 Talos 的 Disk Partition 分別掛載至對應的目錄區

$ mount -t vfat /dev/sda1 /talos/efi
$ mount -t xfs /dev/sda3 /talos/boot
$ mount -t xfs /dev/sda5 /talos/state
$ mount -t xfs /dev/sda6 /talos/EPHEMERAL

安裝 containerd、ctr 和 tree 命令

$ zypper in -y tree containerd containerd-ctr

$ tree -L 3 /talos/

螢幕輸出 :

/talos/
├── EPHEMERAL
│   ├── lib
│   │   ├── cni
│   │   ├── containerd
│   │   ├── etcd
│   │   └── kubelet
│   ├── lock
│   │   └── lvm
│   ├── log
│   │   ├── audit
│   │   ├── containers
│   │   └── pods
│   ├── run
│   │   ├── lock
│   │   └── netns
│   └── system
│   └── overlays
├── boot
│   ├── A
│   │   ├── initramfs.xz
│   │   └── vmlinuz
│   ├── EFI
│   └── grub
│   ├── fonts
│   ├── grub.cfg
│   ├── grubenv
│   └── i386-pc
├── efi
└── state
├── config.yaml
├── node-identity.yaml
└── platform-network.yaml
25 directories, 7 files

設定與啟動 Containerd

設定 Containerd 儲存 Image 的目錄區

$ nano /etc/containerd/config.toml

檔案內容如下 :

version = 2
# persistent data location
root = "/talos/EPHEMERAL/lib/containerd/"

啟動 Containerd

$ /usr/sbin/containerd &

在別的機器透過 SCP 將準備好的 Image 拷貝至 Talos Linux 主機

$ sudo podman save quay.io/cloudwalker/alp.goweb:24.1 > alp.goweb.tar
$ scp alp.goweb.tar root@192.168.61.136:/root

檢查是否能看到 Talos Linux 中 k8s.io namespace 底下已經存在的 Image

$ containerd-ctr -n k8s.io image ls -q

螢幕輸出 :

docker.io/rancher/rancher-agent:v2.7.9
docker.io/rancher/rancher-agent@sha256:be68811b44350c56d6ef7eaf74f0fb85da59b859a3bb1b624abd247db9107f90
ghcr.io/siderolabs/flannel:v0.22.1
ghcr.io/siderolabs/flannel@sha256:b1269e3f19125887968c83fd73841e2d7a1b4f711802f426422273bd1a775d49
ghcr.io/siderolabs/install-cni:v1.5.0-1-g9d5f16f
ghcr.io/siderolabs/install-cni@sha256:5f10d52b9b2ad6a1790fe001035f9b2905ab8770cc449448a2379e57999c438a
registry.k8s.io/coredns/coredns:v1.10.1
registry.k8s.io/coredns/coredns@sha256:a0ead06651cf580044aeb0a0feba63591858fb2e43ade8c9dea45a6a89ae7e5e
registry.k8s.io/kube-apiserver:v1.28.1
registry.k8s.io/kube-apiserver@sha256:f517207d13adeb50c63f9bdac2824e0e7512817eca47ac0540685771243742b2
registry.k8s.io/kube-controller-manager:v1.28.1
registry.k8s.io/kube-controller-manager@sha256:dda6dba8a55203ed1595efcda865a526b9282c2d9b959e9ed0a88f54a7a91195
registry.k8s.io/kube-proxy:v1.28.1
registry.k8s.io/kube-proxy@sha256:30096ad233e7bfe72662180c5ac4497f732346d6d25b7c1f1c0c7cb1a1e7e41c
registry.k8s.io/kube-scheduler:v1.28.1
registry.k8s.io/kube-scheduler@sha256:3c9249a1f7623007a8db3522eac203f94cbb3910501879b792d95ea8470cc3d4
registry.k8s.io/pause:3.6
...以下省略

檢查是否能看到 Talos Linux 中 system namespace 底下已經存在的 Image

$ containerd-ctr -n system image ls -q

螢幕輸出 :

gcr.io/etcd-development/etcd:v3.5.9
gcr.io/etcd-development/etcd@sha256:8c956d9b0d39745fa574bb4dbacd362ffdc1109479432f54094859d4cf984b17
ghcr.io/siderolabs/kubelet:v1.28.1
ghcr.io/siderolabs/kubelet@sha256:e9a58540c14f20d278a641d83047beadbf8d5ac37e075928a7747c8b6a41d170
sha256:8c956d9b0d39745fa574bb4dbacd362ffdc1109479432f54094859d4cf984b17
sha256:e9a58540c14f20d278a641d83047beadbf8d5ac37e075928a7747c8b6a41d170

匯入 Image

Import Image

$ containerd-ctr -n k8s.io image import alp.goweb.tar

檢查是否 Import 成功

$ containerd-ctr -n k8s.io image ls -q | grep go

螢幕輸出 :

quay.io/cloudwalker/alp.goweb:24.1

重新開機，並選擇從 Disk 啟動

$ reboot

在 Talos 外部管理主機執行 talosctl 檢查

$ talosctl -n 192.168.61.21 --talosconfig=talosconfig image list | grep go

螢幕輸出 :

192.168.61.21 quay.io/cloudwalker/alp.goweb:24.1
sha256:f621340706592234e4108f56e1ea92e5e5163d82e1a8ceabf8e0bfcf402766c5 180 MB 2023-11-30T15:40:44Z

躺平睡覺

Guacamole 透過 SSH 連到 Linux

Thu, 16 Nov 2023 05:51:18 +0800

1. Preface

Guacamole 要透過 SSH 連到 Linux 主機，必須在 Linux 主機中做以下設定。

2. 修改 SSH Server 設定檔

$ sudo tee -a /etc/ssh/sshd_config<<EOF
HostKeyAlgorithms +ssh-rsa
PubkeyAcceptedKeyTypes +ssh-rsa
EOF

3. 重啟 SSH Server 的服務

Alpine Linux 請執行以下命令

$ sudo rc-service sshd restart

Ubuntu Linux 請執行以下命令

$ sudo systemctl restart sshd

tags: `Apache Guacamole`

批次建帳號 - Apache Guacamole

Fri, 24 Feb 2023 14:59:34 +0800

Prepare

下載 Guacamole 套件

$ git clone https://gitlab.com/flysangel/oss_gmm.git

切換工作目錄

cd oss_gmm/rest-api

檢視工作目錄內容

$ ls -al
total 28
drwxr-sr-x 3 bigred bigred 4096 Jan 10 11:38 .
drwxr-sr-x 6 bigred bigred 4096 Jan 10 11:38 ..
-rw-r--r-- 1 bigred bigred 280 Jan 10 11:38 mapping.list
drwxr-sr-x 2 bigred bigred 4096 Jan 10 11:38 postman
-rw-r--r-- 1 bigred bigred 121 Jan 10 11:38 rest-api.conf
-rwxr-xr-x 1 bigred bigred 7360 Jan 10 11:38 rest-api.sh

mapping.list ，儲存要建立的帳號資訊
rest-api.conf，儲存 rest-api 程式執行時，要用什麼帳號登入哪一座落地雲的資訊
rest-api.sh，rest-api 程式本體

修改 `rest-api.conf`

$ nano rest-api.conf

修改內容

GUACAMOLESERVER='https://j509.flymks.com/#/'
DATASOURCE='mysql'
GUACADMIN='guacadmin'
GUACPASS='sreAa123456'
PASSLENGTH='10'

GUACAMOLESERVER，設定 Guacamole 的網址
GUACADMIN，設定 Guacamole 的管理員帳號
GUACPASS，設定 Guacamole 的管理員密碼
PASSLENGTH，設定使用者預設密碼長度幾個字元

測試 `rest-api.sh` 連線是否正常

$ ./rest-api.sh test

正常的螢幕輸出 :

Token: 37298158CF67FA0F7F5F60B752F999627A9B599CF128F607B3F017E3DC376886

設定要建立的 Connection 和 User

$ nano mapping.list

範例

# userAccount, userPassword, connGroup, connName, connProtocol, connIP, connPort, connAccount, connPassword
# ssh
guacadmin,,Manager.SSH,bigred.t1.01,ssh,192.168.1.01,22,bigred,!QAZ2wsx#EDC!!,
# rdp
guacadmin,,Manager.RDP,bigred.t2.11,rdp,192.168.1.11,3389,bigred,!QAZ2wsx#EDC!!,

密碼需自行填寫

#!/bin/bash
[[ "$1" == "" ]] && echo "pls give a number, thx!" && exit 1
#example
#mj03b,,Manager.RDP,bigred.03,rdp,120.96.143.3,2599,bigred,!QAZ2wsx ,
declare -i i=1
for ((i=1;i<=$1;i=i+1))
do
if [[ "$i" -le "9" ]]; then
echo "mj0${i}b,,Manager.RDP,bigred.0${i},rdp,120.96.143.${i},2599,bigred,,"
else
echo "mj${i}b,,Manager.RDP,bigred.${i},rdp,120.96.143.${i},2599,bigred,,"
fi
done

執行程式批次建立帳號

$ ./rest-api.sh create

Project Quay 練習

Sat, 07 Jan 2023 01:21:16 +0800

學習目標

Red Hat Quay / Project Quay
Project Quay 部署
Image 上傳落地 Quay
K8S 使用落地 Quay
Docker Image 設計 (httpd)
Docker Image 設計 (sshd)
Image 備份與還原

Red Hat Quay

Red Hat 這家公司有做了一個系統 OpenShift，裡面就是 k8s Cluster 的完整生態系。而 Quay 就是 image 儲存的空間（光片中心），它是包裝在 OpenShift 裡面。

docker hub
- docker 的 image 儲存空間
- 1個匿名 ip 在六小時內，只能下載 100 次光碟片，超過要付錢。
Red Hat Quay
- 也可以下載 image ，不過下載都不用錢，無限制。
Projecct Quay
- 企業如果要離線儲存 image 就要自己建立 Project Quay 來達到目的，也可以個人自己建立來使用，Red Hat Quay 的開源發行版。

部署前置作業

在 K8s Master 執行
## 安裝 acl 套件
$ sudo apk update; sudo apk add acl
## 透過 podman 來 run project-Quay (落地Quay or 個人光片中心)
$ wget wget https://web.flymks.com/quay-podman.tar.gz
$ tar xvfz quay-podman.tar.gz; cd quay-podman
## 執行程式
$ ./keyman.sh
Usage:
keyman.sh [options]
Available options:
ps podman ps -a
start deploy quay
stop delete quay
stop -v delete quay and hostPath volume
clean delete hostPath volume

檢視目錄結構

$ tree
.
├── config
│   └── config.yaml
├── initdb.sql
├── keyman.sh
└── quay-pod.yaml ## 定義落地 quay

更改 k8s master node (m1) 和 worker nodes ( w1 , w2 ) 的 /etc/hosts

## 修改後的結果
$ sudo nano /etc/hosts
127.0.0.1 localhost alp
192.168.61.0 x1
192.168.61.1 x2
192.168.61.2 x3
192.168.61.3 a1
192.168.61.4 m1 quay
192.168.61.5 m2
192.168.61.6 w1
192.168.61.7 w2
192.168.61.8 w3
192.168.61.9 w4

部署 Quay

Quay 部署時需要初始化，需等待3~5分鐘

$ sed -i "s|192.168.1.197|${IP}|g" keyman.sh
$ ./keyman.sh start

Image 上傳落地 Quay

$ sudo podman images | grep 1.35.0
REPOSITORY TAG IMAGE ID CREATED SIZE
quay.io/flysangel/busybox 1.35.0 af4897967787 5 days ago 1.47 MB

設定 image 的新 tag

$ sudo podman tag quay.io/flysangel/busybox:1.35.0 $IP/myquay/busybox:1.35.0

後面的$IP/myquay/busybox:1.35.0 ，$IP，代表我們的落地 quay 的 ip 位址 myquay 是落地 quay 的帳號 busybox:1.35.0 ， image 的名字和代號

當版本是 latest 時，代表該光片維護者認定的最新安全穩定的版本，不一定是功能最多最新的。

檢查

$ sudo podman images | grep 1.35.0
REPOSITORY TAG IMAGE ID CREATED SIZE
192.168.61.4/myquay/busybox 1.35.0 af4897967787 5 days ago 1.47 MB
quay.io/flysangel/busybox 1.35.0 af4897967787 5 days ago 1.47 MB

登入落地 Quay

$ sudo podman login $IP
Username: myquay
Password: myquay2022

噴錯

Error: authenticating creds for "192.168.61.4": pinging container registry 192.168.61.4: Get "https://192.168.61.4/v2/": dial tcp 192.168.61.4:443: connect: connection refused

加上參數 --tls-verify=false 再傳一次

$ sudo podman login --tls-verify=false $IP
Username: myquay
Password: myquay2022
Login Succeeded!

因為我們沒有 https ，所以要靠 --tls-verify=false解決它

Image 上傳落地 Quay

$ sudo podman push --tls-verify=false $IP/myquay/busybox:1.35.0

到quay 的網站上檢查

練習

請先 pull quay.io/flysangel/alpine:3.15.4 並將 image push 至落地 quay

請先 pull quay.io/flysangel/nginx:1.22.0 並將 image push 至落地 quay

# 第一題
## 拉 image
sudo podman pull quay.io/flysangel/alpine:3.15.4
## 檢查
sudo podman images | grep alpine
## 改 image 的標籤
sudo podman tag quay.io/flysangel/alpine:3.15.4 $IP/myquay/alpine:3.15.4
## 檢查
sudo podman images | grep alpine
## 將 image 上傳到落地 quay
sudo podman push --tls-verify=false $IP/myquay/alpine:3.15.4
# 第二題
## 拉 image
sudo podman pull quay.io/flysangel/nginx:1.22.0
## 檢查
sudo podman images | grep nginx
## 改 image 的標籤
sudo podman tag quay.io/flysangel/nginx:1.22.0 $IP/myquay/nginx:1.22.0
## 檢查
sudo podman images | grep nginx
## 將 image 上傳到落地 quay
sudo podman push --tls-verify=false $IP/myquay/nginx:1.22.0

Image 上傳完之後通常都是私人的（不開放公開下載），如果要公開設定如下

點右邊的齒輪，設成 Make Public

查看 k8s 提交的物件運作資訊

$ kubectl describe < 物件 > < 物件名稱 >
## 舉例 pod
$ kubectl describe pod a1

describe 裡面的詳細資訊都存在 etcd 裡面

看 pod 裡面 Container 運作過程的 log

$ kubectl logs < pod name >

logs 的命令是 k8s 進到 Container 裡面把資訊輸出到螢幕上，Container 如果掛了，就抓不到他的 logs 了。

Container Image 設計

$ mkdir alpine.httpd
$ nano alpine.httpd/Dockerfile
FROM 192.168.61.4/myquay/alpine:3.15.4
RUN \
apk update && \
apk add --no-cache nano sudo bash wget curl git tree grep && \
wget https://busybox.net/downloads/binaries/1.28.1-defconfig-multiarch/busybox-x86_64 && \
chmod +x busybox-x86_64 && \
mv busybox-x86_64 bin/busybox1.28 && \
mkdir -p /opt/www && echo "let me go" > /opt/www/index.html
ENTRYPOINT ["/bin/busybox1.28"]
CMD ["httpd", "-f", "-h", "/opt/www"]

ENTRYPOINT ["/bin/busybox1.28"]，代表等等透過 Dockerfile 建立出來的 Container 裡面第一支跑的程式為/bin/busybox1.28

CMD ["httpd", "-f", "-h", "/opt/www"] ，代表程式後面接的參數為 httpd -f -h /opt/www ( -f ，前景執行; -h ，指定網頁目錄 )

$ mkdir alpine.sshd
$ echo 'FROM 192.168.61.4/myquay/alpine.base:1.0.0
RUN \
apk update && \
apk add --no-cache openssh-server tzdata && \
# 設定時區
cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime && \
ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key && \
echo -e "Welcome to ALP SSHD 6000\n" > /etc/motd && \
# 建立管理者帳號 bigred
adduser -s /bin/bash -h /home/bigred -G wheel -D bigred && \
echo "%wheel ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers && \
echo -e "bigred\nbigred\n" | passwd bigred &>/dev/null && \
rm /sbin/reboot && rm /usr/bin/killall
ENTRYPOINT ["/usr/sbin/sshd"]
CMD ["-D"]' > alpine.sshd/Dockerfile

/usr/sbin/sshd ，執行 ssh Server 的命令
-D ，前景執行 (sshd will not detach and does not become a daemon)
ENTRYPOINT，Container 啟動後預設不可隨意更改的程式
CMD，當前面有 ENTRYPOINT 時，會變成給參數

$ kubectl run a1 --image=$IP/myquay/alpine.sshd:1.0.0
pod/a1 created

失敗原因：CRI-O 原本就不允許使用 SSH 連線到 Container 要自訂 pod 的 yaml 檔，破格 CRI-O 的 capabilities

$ nano pod-ssh.yaml
apiVersion: v1
kind: Pod
metadata:
name: a1
labels:
app: a1
spec:
containers:
- name: a1
image: 192.168.61.4/myquay/alpine.sshd:1.0.0
imagePullPolicy: IfNotPresent
securityContext:
capabilities:
add: ["AUDIT_WRITE", "SYS_CHROOT", "CAP_NET_RAW"]
restartPolicy: Always

CRI-O default 的 capabilities

 default_capabilities = [
"CHOWN",
"DAC_OVERRIDE",
"FSETID",
"FOWNER",
"SETGID",
"SETUID",
"SETPCAP",
"NET_BIND_SERVICE",
"KILL",
]

網址：CRI-O default 的 capabilities 連結

練習2

題目：請設計一個 Container Image 名為 alpine.base，代號 1.0.0，並滿足以下功能需要能啟動 httpd 具有 bigred、rbean、gbean 帳號，密碼與帳號相同登入 alpine 提示為 Welcome to ALP base 6666 第一隻程式為 sshd

將 Docker Image 上傳至落地 Quay 在 K8S 使用 alpine.base kubectl apply -f pod-base.yaml ssh bigred@a1_ip 並執行 sudo busybox1.28 httpd -f -h /opt/www ssh rbean@a1_ip 並執行 curl localhost

答案：

$ nano alpine.base/Dockerfile
FROM 192.168.61.4/myquay/alpine:3.15.4
RUN \
apk update && \
apk add --no-cache nano sudo bash wget curl git tree grep \
elinks shadow procps util-linux coreutils binutils \
findutils openssh-server tzdata && \
# 啟動httpd
wget https://web.flymks.com/busybox-x86_64 && \
chmod +x busybox-x86_64 && \
mv busybox-x86_64 bin/busybox1.28 && \
mkdir -p /opt/www && echo "let me go" > /opt/www/index.html && \
# 設定時區
cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime && \
ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key && \
echo -e 'Welcome to ALP base 6666\n' > /etc/motd && \
# 建立管理者帳號 bigred
adduser -s /bin/bash -h /home/bigred -G wheel -D bigred && \
echo "%wheel ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers && \
echo -e 'bigred\nbigred\n' | passwd bigred &>/dev/null && \
rm /sbin/reboot && rm /usr/bin/killall && \
# 建立一般使用者 rbean gbean
adduser -s /bin/bash -h /home/rbean -D rbean && \
echo -e 'rbean\nrbean\n' | passwd rbean && \
adduser -s /bin/bash -h /home/gbean -D gbean && \
echo -e 'gbean\ngbean\n' | passwd gbean
ENTRYPOINT ["/usr/sbin/sshd"]
CMD ["-D"]

sudo podman build --tls-verify=false -t $IP/myquay/alpine.base:1.0.0 alpine.base

sudo podman images | grep base
sudo podman push --tls-verify=false $IP/myquay/alpine.base:1.0.0

$ nano pod-base.yaml
apiVersion: v1
kind: Pod
metadata:
name: a1
labels:
app: a1
spec:
containers:
- name: a1
image: 192.168.61.4/myquay/alpine.base:1.0.0
imagePullPolicy: IfNotPresent
securityContext:
capabilities:
add: ["AUDIT_WRITE", "SYS_CHROOT", "CAP_NET_RAW"]
restartPolicy: Always

$ kubectl apply -f pod-base.yaml
$ kg pods -o wide
$ ssh bigred@10.244.2.13 sudo busybox1.28 httpd -f -h /opt/www
$ ssh rbean@10.244.2.13

Container Image 設計 (fbs)

$ nano svc-fbs.yaml
kind: Service
apiVersion: v1
metadata:
name: svc-fbs
spec:
externalIPs:
- 192.168.61.4
ports:
- port: 8080
targetPort: 4000
selector:
name: pod-fbs

externalIPs 可以讓我們的 pod 從外面連進來

Dockerfile 物件的參考連結 k8s pod

Distroless Image

$ mkdir distroless
$ wget https://web.flymks.com/app_golang/v1/goapp -O distroless/goapp; chmod a+x distroless/goapp

測試 goapp

$ ./distroless/goapp &
$ curl -w '\n' localhost:8080
{"message":"Hello Golang"}
$ pkill -f 'goapp'

$ echo 'FROM scratch
COPY goapp /
ENTRYPOINT ["/goapp"]' > distroless/Dockerfile

因執行的是編譯好的 GO 語言的網站，在任何作業系統都能直接跑，
所以可以從一個空白的 image 開始，而不用 FROM alpine
好處是 image 會更小

Distroless Image 建立與測試

$ sudo podman build --tls-verify=false -t $IP/myquay/goapp:1.0.0 distroless

build ，Build an image using instructions from Containerfiles
--tls-verify ，require HTTPS and verify certificates when accessing the registry (default true)
-t, --tag name ， tagged name to apply to the built image
distroless，目錄名稱，裡面放需要 build image 的檔案 (Dockerfile)

output :

STEP 1/3: FROM scratch
STEP 2/3: COPY goapp /
--> 0411ca03d77
STEP 3/3: ENTRYPOINT ["/goapp"]
COMMIT 192.168.64.21/myquay/goapp:1.0.0
--> 68227ba71f7
Successfully tagged 192.168.64.21/myquay/goapp:1.0.0
68227ba71f76403c49144cc9edcbe7cb15ae132f691c594e8946102b8c830c7

$ sudo podman run --rm --name a1 -d -p 8080:8080 $IP/myquay/goapp:1.0.0

$ curl -w '\n' localhost:8080

output :

{"message":"Hello Golang"}

Distroless Image 上傳落地 Quay

$ sudo podman stop a1

$ sudo podman login --tls-verify=false $IP
Username: myquay
Password: myquay2022

$ sudo podman push --tls-verify=false $IP/myquay/goapp:1.0.0

K8S 使用 goapp

K8S 執行
$ kubectl run a1 --image=$IP/myquay/goapp:1.0.0
$ kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE
a1 1/1 Running 0 2m1s 10.233.1.118 w1
$ curl -w '\n' 10.233.1.118:8080
{"message":"Hello Golang"}
刪除 a1 pod
$ kubectl delete pod a1

image 建置流程

建存放 image 的資料夾
編輯 Dockerfile
建置 image (podman build image )
測試 image 功能是否正常 (podman run)
上傳至 image 中心 (podman push)
image 設公開 ( Quay make public )
用 K8s 跑一次 ( kubectl run )

進企業後 image 建置流程

建立 image 的資料夾
編輯 Dockerfile
podman buid
測試 podman run
- 本地測試
- CI ( 公司內部規定的一些測試 )
- 測試環境
- 正式環境
image 上傳至落地 QUAY
image public
kubectl run

tags: `系統工程`

Podman Overview

Sat, 01 Oct 2022 03:56:46 +0800

Docker VS Podman

Docker

Docker deamon 會開啟 Internet Socket，當我們在 Docker CLI 下達指令時，就有可能會透過這個 Socket，資安漏洞
Docker deaman 建立 image、上網抓 image 內定執行的帳號為 root 作業

Podman

無 deaman
unshare 的進階版，它的底層運作就是透過 unshare 這個命令加參數，做出 Container
- 運作時不需 root 帳號
透過 skopeo 到 docker.io / quay.io …等光片中心，幫我們下載 image
- 在資訊界的 image 有兩個版本，skopeo 兩者都可以處理
  - docker 版本的 image
  - OCI 組織的 image
- skopeo 也能幫我們 push 到 image 中心
- 還能排時程將 image 從一個光片中心移到另一個 image 中心
buildah 能幫我們製作 image ，且也不須 root 帳號作業

在 Alpine Linux 安裝 Podman

在 Windows 系統的 cmd 視窗, 執行以下命令
$ ssh bigred@<alp.podman IP>
$ sudo apk update; sudo apk upgrade
$ sudo apk add podman
(1/29) Installing conmon (2.1.2-r0)
(2/29) Installing yajl (2.1.0-r4)
(3/29) Installing crun (1.4.5-r0)
(4/29) Installing ip6tables (1.8.8-r1)
(5/29) Installing ip6tables-openrc (1.8.8-r1)
(6/29) Installing libslirp (4.7.0-r0)
(7/29) Installing slirp4netns (1.2.0-r0) ---> 撥號網路
(14/29) Installing netavark (1.0.3-r0) ---> 虛擬橋接網路
(15/29) Installing aardvark-dns (1.0.3-r0) ---> DNS Server
........
(28/29) Installing podman (4.1.0-r1)
.......
$ podman -v
podman version 4.1.0
$ sudo reboot

podman 內建 crun
重要 ! 安裝完 podman 一定要重開機

小補充

如果不是老師是乾淨的 Alpine Linux 系統

要執行以下命令

# enable the cgroups service, consider enabling cgroups v2.
$ rc-update add cgroups
$ rc-service cgroups start

建立 Container

# 檢視 podman 有無 daemon
$ ps aux | grep -v grep | grep podman
# 第 21 行，新增 image 的下載點
$ sudo nano /etc/containers/registries.conf
......
unqualified-search-registries = ["docker.io","quay.io"]
......
# podman run 前面加 sudo ，代表我們用 root 的身分建立 Container
$ sudo podman run quay.io/podman/hello
........
!... Hello Podman World ...!
.--"--.
/ - - \
/ (O) (O) \
~~~| -=(,Y,)=- |
.---. /` \ |~~
~/ o o \~~~~.----. ~~
| =(X)= |~ / (O (O) \
~~~~~~~ ~| =(Y_)=- |
~~~~ ~~~| U |~~
.........

檢視與刪除 Container

# 檢視 Container
$ sudo podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f8020fa8e94d quay.io/podman/hello:latest /usr/local/bin/po... 11 minutes ago Exited (0) 11 minutes ago affectionate_visvesvaraya
# 刪除 Container
bigred@alp:~$ sudo podman rm f8020
f8020fa8e94dc99f024e611b65e31b739032747253366b4d5f2af4b34da27fd0

pdoman 前面加 sudo ，就代表用 root 作業，這種運作架構稱為 rootful mode ，事實上有 95% 就等於 docker 這個命令

撰寫 Dockerfile

# 建立工作目錄
$ mkdir ~/fbs
$ nano ~/fbs/Dockerfile
FROM quay.io/cloudwalker/alpine:latest
RUN apk --update add ca-certificates bash curl \
&& adduser -h /opt/app -D app \
&& curl -fsSL https://raw.githubusercontent.com/filebrowser/get/master/get.sh | bash
COPY entrypoint /opt/app/entrypoint
RUN chmod a+x /opt/app/entrypoint
VOLUME /srv
EXPOSE 4000
USER app
WORKDIR /opt/app
ENTRYPOINT [ "/opt/app/entrypoint" ]

image 主要是要 run filebrowser ( 網站型的檔案儲存伺服器 )
ENTRYPOINT 宣告 Container 只能 run 後面的命令

建立與測試 alp.fbs image

$ nano ~/fbs/entrypoint
#!/bin/bash
filebrowser config init --port 4000 --address "" --baseurl "" --log "stdout" --root="/srv" --auth.method='noauth' --commands "" --lockPassword --perm.admin=false --perm.create=false --perm.delete=false --perm.execute=false --perm.modify=false --perm.rename=false --signup=false
filebrowser users add anonymous "anonymous"
filebrowser
$ sudo podman build -t alp.fbs ~/fbs/
$ sudo podman run --name f1 -d -p 80:4000 --volume /tmp:/srv:ro alp.fbs
$ curl -I localhost/
.....
Content-Type: text/plain; charset=utf-8
X-Content-Type-Options: nosniff
Date: Thu, 03 Feb 2022 13:56:12 GMT
Content-Length: 14
$ sudo podman rm -f f1

--volume /tmp:/srv:ro | 將 host node 的 /tmp 目錄掛載到 Container 的 /srv 目錄，並且 read only ( 唯讀 )

建立 MySQL 的 Container

編輯 Dockerfile

FROM docker.io/mysql/mysql-server
ENV MYSQL_ROOT_PASSWORD bigred
ADD myuser.sql /docker-entrypoint-initdb.d
EXPOSE 3306

/docker-entrypoint-initdb.d ，當從 docker.io/mysql/mysql-server 這個 image 做出來的 Container ，在建立時，會到這個目錄去找有沒有可以執行的 SQL 命令檔，如果有就會在等等的 SQL Server 裡面 run 一遍 SQL 的命令檔

Podman Rootful Container

Podman Rootful 運作架構

在 Windows 系統的 cmd 視窗, 執行以下命令
$ ssh bigred@<ALP.Podman IP>
$ alias docker='sudo podman'
$ docker run --name a1 -it -d quay.io/cloudwalker/alpine sh
fc115717b17c4288b3618368f216d5fa5c170e7b08bcd3ac26fd1a5cb3717b01
$ ps aux | grep ' sh$'
root 12629 0.0 0.0 1684 944 pts/0 Ss+ 22:03 0:00 sh
$ docker exec -it a1 whoami
root
$ docker rm -f a1

在 Podman Rootful 運作架構產生 Container 的使用者，與 Container 的內定使用者，帳號都是 root

撰寫 Dockerfile

$ mkdir -p ~/fbs
$ nano ~/fbs/Dockerfile
FROM quay.io/cloudwalker/alpine:latest
RUN apk --update add ca-certificates bash curl \
&& adduser -h /opt/app -D app \
&& curl -fsSL https://raw.githubusercontent.com/filebrowser/get/master/get.sh | bash
COPY entrypoint /opt/app/entrypoint
RUN chmod a+x /opt/app/entrypoint
VOLUME /srv
EXPOSE 4000
USER app
WORKDIR /opt/app
ENTRYPOINT [ "/opt/app/entrypoint" ]

建立與測試 alp.fbs image

$ nano ~/fbs/entrypoint
#!/bin/bash
filebrowser config init --port 4000 --address "" --baseurl "" --log "stdout" --root="/srv" --auth.method='noauth' --commands "" --lockPassword --perm.admin=false --perm.create=false --perm.delete=false --perm.execute=false --perm.modify=false --perm.rename=false --signup=false
filebrowser users add anonymous "anonymous"
filebrowser
$ sudo podman build -t alp.fbs ~/fbs/
$ sudo podman run --name f1 -d -p 80:4000 --volume /tmp:/srv:ro alp.fbs
$ curl -I localhost/
.....
Content-Type: text/plain; charset=utf-8
X-Content-Type-Options: nosniff
Date: Thu, 03 Feb 2022 13:56:12 GMT
Content-Length: 14
$ sudo podman rm -f f1

Podman Rootful Container Network

++內定網路架構++

$ docker run --name b1 -itd quay.io/cloudwalker/alpine sh
$ docker run --name b2 -itd quay.io/cloudwalker/alpine sh
$ docker exec b1 hostname -i; docker exec b2 hostname -i
10.88.0.7
10.88.0.8
$ docker exec b2 ping -c 2 10.88.0.7
PING 10.88.0.5 (10.88.0.8): 56 data bytes
64 bytes from 10.88.0.5: seq=0 ttl=42 time=1.916 ms
64 bytes from 10.88.0.5: seq=1 ttl=42 time=0.122 ms
$ docker exec b2 ping -c 2 b1
ping: bad address 'b1'
$ docker exec b1 cat /etc/resolv.conf
search localdomain
nameserver 192.168.188.2
$ docker rm -f b1 b2

Podman 的 DNS Server 與 Docker 內定的一樣

$ brctl show
bridge name bridge id STP enabled interfaces
podman0 8000.86e232192730 no
$ ifconfig podman0
podman0 Link encap:Ethernet HWaddr 2A:1F:75:70:E2:54
inet addr:10.88.0.1 Bcast:10.88.255.255 Mask:255.255.0.0
..........
$ sudo iptables -t nat -L
... 以上省略
Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
NETAVARK-HOSTPORT-MASQ all -- anywhere anywhere
NETAVARK-1D8721804F16F all -- 10.88.0.0/16 anywhere
Chain NETAVARK-1D8721804F16F (1 references)
target prot opt source destination
ACCEPT all -- anywhere 10.88.0.0/16
MASQUERADE all -- anywhere !base-address.mcast.net/4
Chain NETAVARK-DN-1D8721804F16F (1 references)
target prot opt source destination
NETAVARK-HOSTPORT-SETMARK tcp -- 10.88.0.0/16 anywhere tcp dpt:http
NETAVARK-HOSTPORT-SETMARK tcp -- localhost anywhere tcp dpt:http
DNAT tcp -- anywhere anywhere tcp dpt:http to:10.88.0.5:4000
... 以下省略

Rootful Container 自建網路架構

# 透過 Podman network 自建網路、設定 Network ID 和 Gateway
$ docker network create --driver=bridge --subnet=192.168.166.0/24 --gateway=192.168.166.254 mynet
# 第一次建立自建的 Podman 網路, 不會建立 虛擬橋接器, 需產生連接 mynet 的 Container 才會產生 虛擬橋接器
$ brctl show
bridge name bridge id STP enabled interfaces
podman0 8000.86e232192730 no
# 建立 Container 時，可自訂網路、 ip 位址
$ docker run --rm --net mynet --ip=192.168.166.3 --name c1 -h cg61 -d alpine sleep 360
$ docker run --rm --net mynet --ip=192.168.166.4 --name c2 -h cg62 -d alpine sleep 360
$ docker network ls
NETWORK ID NAME DRIVER
4af7f2ee4ac9 mynet bridge
2f259bab93aa podman bridge
$ brctl show
bridge name bridge id STP enabled interfaces
podman0 8000.4e7b314d9b71 no
podman1 8000.f695873fdba7 no veth0e1577bc
vethdef97e4b
$ docker exec c2 ping -c 2 192.168.166.3
PING 192.168.166.6 (192.168.166.6): 56 data bytes
64 bytes from 192.168.166.6: seq=0 ttl=42 time=0.083 ms
64 bytes from 192.168.166.6: seq=1 ttl=42 time=0.125 ms
$ docker exec c2 ping -c 2 cg61
ping: bad address 'cg61'
$ docker stop c1 c2

在 podman 自建網路，可以 ping 主機名稱

Rootful Macvlan 網路

相當於 VMware 的 bridge 模式

$ docker network create -d macvlan -o parent=eth0 --subnet 192.168.61.0/24 newnet
* Create a Macvlan based network using the host interface eth0. Macvlan networks can only be used as root.
$ docker network ls
NETWORK ID NAME DRIVER
5d517fc03050 mynet bridge
5b828fdc0811 newnet macvlan
2f259bab93aa podman bridge
$ docker run --rm --net newnet --name c3 -h lcs12 -d --ip=192.168.61.222 quay.io/cloudwalker/alpine sleep 360
$ docker exec c3 hostname -i
192.168.61.222
$ docker exec c3 ping -c 2 192.168.61.1
PING 192.168.61.1 (192.168.61.1): 56 data bytes
64 bytes from 192.168.61.1: seq=0 ttl=42 time=0.171 ms
64 bytes from 192.168.61.1: seq=1 ttl=42 time=0.543 ms
# 目前的預設 Container 無法 ping 到 host 主機，但能 ping 到其他任何一台同 Network ID 的電腦
$ ping 192.168.61.122
PING 192.168.61.122 (192.168.61.122) 56(84) bytes of data.
From 192.168.61.152 icmp_seq=1 Destination Host Unreachable
From 192.168.61.152 icmp_seq=2 Destination Host Unreachable
From 192.168.61.152 icmp_seq=3 Destination Host Unreachable
^C
--- 192.168.61.122 ping statistics ---
4 packets transmitted, 0 received, +3 errors, 100% packet loss, time 3086ms
$ docker run --rm --net newnet --name c3 -h lcs12 -d --ip=192.168.61.222 quay.io/cloudwalker/alpine sleep 360
602af88e4fd12e2f1d3a3e6c11488b60647422d261fff0084e4422eb2f931200
$ docker run --rm --net newnet --name c4 -h lcs13 -d --ip=192.168.61.111 quay.io/cloudwalker/alpine sleep 360
af91e68f556402c7d1bca9a959e14cf98c3842ce1ec4d1f8fd30884ec956cbef
$ docker exec c4 ping -c 2 192.168.61.222
PING 192.168.61.222 (192.168.61.222): 56 data bytes
64 bytes from 192.168.61.222: seq=0 ttl=42 time=0.095 ms
64 bytes from 192.168.61.222: seq=1 ttl=42 time=0.046 ms
--- 192.168.61.222 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.046/0.070/0.095 ms

Container 運算資源管理

Application Container 記憶體管理

$ docker run --rm --name c1 -d -it quay.io/cloudwalker/alpine
$ docker stats c1
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
982a40d8711f c1 -- 1.446MB / 2.054GB 0.07% 726B / 54B -- / -- 1 4.084301ms 0.01%
按 Ctrl + C 停止監視
$ docker stop c1
$ docker run --rm --name c1 -m 300m -d -it quay.io/cloudwalker/alpine
$ docker stats c1
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
7883c220aa4f c1 0.00% 1.137MiB / 300MiB 0.38% 946B / 0B 0B / 0B 1
^C
$ docker stop c1

Podman 與 docker 都能規範 Container 的運算資源

Application Container CPU 管理

新增二個 Container, 均指定使用第二核心, c1 設定使用 20% CPU, c2 設定使用 30% CPU
$ docker run --rm --name c1 --cpuset-cpus="1" --cpus="0.2" -itd quay.io/quay/busybox yes
$ docker run --rm --name c2 --cpuset-cpus="1" --cpus="0.3" -itd quay.io/quay/busybox yes
$ docker stats c1 c2
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
18f8dc0418e5 c1 19.82% 472KiB / 5.306GiB 0.01% 0B / 0B 0B / 0B 1
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
24f07c022cc0 c2 31.11% 500KiB / 5.306GiB 0.01% 0B / 0B 0B / 0B 1
^C
$ docker stop c1 c2

Podman Container 帳號

破壞 Alpine Container

$ docker run --rm -it quay.io/cloudwalker/alpine sh
/ # which rm
/bin/rm
/ # echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
/ # rm -r -f /* &>/dev/null
/ # ls -al /
sh: ls: not found
/ # exit

防止破壞 Alpine Container

$ docker run --rm -it quay.io/cloudwalker/alpine sh
/ # echo $'#/bin/sh
args="echo $@ | tr -s \' \'"
argn="$#"
last=$($args | cut -d \' \' -f$(( $argn )))
for d in /bin /usr /var /etc /sbin /proc /dev /
do
echo "$last" | grep $d &>/dev/null
[ "$?" == "0" ] && echo "Oops" && exit 1
done
/bin/rm $@ ' > /usr/local/bin/rm; chmod +x /usr/local/bin/rm
/ # rm -r /
Oops
/ # rm -r /bin
Oops
/ # exit

指定 Container 執行的帳號

# 取得 ALP 的 bigred 帳號 ID
$ echo $UID
1000
# 指定用 bigred 帳號執行以下 Container
$ docker run --rm -it -d --name u1 --user 1000 quay.io/cloudwalker/alpine
$ ps aux | grep -v grep | grep "/bin/sh"
bigred 13298 0.0 0.0 1692 1080 pts/0 Ss+ 11:58 0:00 /bin/sh
$ docker exec -it u1 sh
/ $ whoami
whoami: unknown uid 1000
[註] 因 1000 這 UID, 在 Container 系統中找不到, 所以你會看到 "unknown uid 1000",
以致於許多 Linux 命令無法執行, 例如 passwd
/ $ rm -rf / &>/dev/null
/ $ ls /
bin etc lib mnt proc run srv tmp var
dev home media opt root sbin sys usr
/ $ sudo reboot
sh: sudo: not found
/ $ exit
$ docker stop u1

Podman Rootless Container

執行 podman 時，前面不加 sudo

$ podman run -it quay.io/cloudwalker/alpine
ERRO[0000] cannot find UID/GID for user bigred: No subuid ranges found for user "bigred" in /etc/subuid - check rootless mode in man pages.
WARN[0000] Using rootless single mapping into the namespace. This might break some images. Check /etc/subuid and /etc/subgid for adding sub*ids if not using a network user
... 以下省略
$ podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

#在 ALP.Podman 終端機, 建立 rbean 及 gbean 帳號
$ echo -e "rbean\nrbean" | sudo adduser -s /bin/sh -h /home/rbean rbean
$ echo -e "gbean\ngbean" | sudo adduser -s /bin/sh -h /home/gbean gbean
# 宣告 bigred 還需要額外的 uid，從 10 萬開始，可以用 65535 個
# 宣告 rbean還需要額外的 uid，從 20 萬開始，可以用 65535 個
# 宣告 gbean 還需要額外的 uid，從 30 萬開始，可以用 65535 個
$ echo 'bigred:100000:65535
rbean:200000:65535
gbean:300000:65535' | sudo tee /etc/subuid
# 宣告 bigred 還需要額外的 gid，從 10 萬開始，可以用 65535 個
# 宣告 rbean還需要額外的 gid，從 20 萬開始，可以用 65535 個
# 宣告 gbean 還需要額外的 gid，從 30 萬開始，可以用 65535 個
$ echo 'bigred:100000:65535
rbean:200000:65535
gbean:300000:65535' | sudo tee /etc/subgid
# 一定要重新開機, /etc/subuid 及 /etc/subgid 的設定才會生效
$ sudo reboot

當透過 podman 建立 Rootless 的 Container 時，須要幫每位使用者配發額外可用的 UID 及 GID

# 使用 rbean 帳號登入
$ ssh rbean@<ALP.Podman IP>
rbean@172.29.0.55s password: rbean
# 一般使用者 rbean run Cotainer
$ podman run --name p1 -d quay.io/cloudwalker/alpine sleep infinite
# 檢視是否符合預期
$ podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b5f203c8d44d quay.io/cloudwalker/alpine:latest sleep infinite About a minute ago Up About a minute ago p1
# bigred 使用者看不到
bigred@alp:~$ podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
# 檢視 host node 主機 ，Container 是由誰 run 的
$ ps aux | grep 'sleep infinite'
rbean 3673 0.0 0.0 1584 4 ? Ss 13:22 0:00 sleep infinite
# 進入 Contianer 內部查看使用者
$ podman exec p1 id
uid=0(root) gid=0(root)
# 刪除 p1 Container
$ podman rm -f p1

當一般使用者透過 podman 建立 Container 時，因為用 user namespace 隔離出不同的空間，所以 Container 內部的 User 為 root 。

檢視 Rootless Container 建立時所需的完整內容

$ tree -L 4 .local/
.local/
└── share
└── containers
├── cache
│   └── blob-info-cache-v1.boltdb
└── storage
├── defaultNetworkBackend
├── libpod
├── mounts
├── networks
├── overlay
├── overlay-containers
├── overlay-images
├── overlay-layers
├── secrets
├── storage.lock
├── tmp
└── userns.lock
13 directories, 4 files

因每位使用者在建立 Rootless Container 時，各自有各自的目錄，所以才能有各自把 Rootless Cotainer 建立出來

如果內外都指定要一般使用者呢?

# --userns keep-id 啟用 User Namespace
$ podman run --rm --name u1 --userns keep-id -d alpine sleep 120
# 查看 Container 外部使用者
$ ps aux | grep -v grep | grep "sleep 120"
rbean 4579 0.0 0.0 1584 4 ? Ss 13:34 0:00 sleep 120
# 進入 Container 內部，檢視使用者
$ podman exec -it u1 sh
~ $ whoami
rbean
~ $ id
uid=1002(rbean) gid=1002(rbean)
# 停止 u1 Container
$ podman stop u1

# 建立指定 uid 999 的 u1 Container
$ podman run --rm --name u1 -u 999 -d alpine sleep 360
ebda4ea769f17061966c692f7dc9c760785d7336a67b6ee4fd593c81faadd610
# 檢視外部使用者誰執行 Container 的第一支程式
# 因從 0 開始算 ，所以 uid 200998
$ ps aux | grep -v grep | grep 'sleep 360'
200998 5082 0.0 0.0 1584 4 ? Ss 13:40 0:00 sleep 360
$ podman exec -it u1 sh
~ $ whoami
999
~ $ id
uid=999(999) gid=0(root)

Podman Rootless image

# 編輯 Dockerfile (名字自取 : myuser )
# USER appuser | 指定執行 sleep infinity 的使用者為 appuser
# ENTRYPOINT ["sleep", "infinity"] | Container 第一支 run 的程式
$ echo '
FROM quay.io/cloudwalker/ubuntu
RUN groupadd appgroup
RUN useradd -r -u 1005 -g appgroup appuser
USER appuser
ENTRYPOINT ["sleep", "infinity"]' > myuser
# "-" ，標準輸入
# "<" ，重導 redirection
# 將 myuser 這個檔案，透過重導，標準輸入給 podman build 建立 image
# 在 Rootless 的操作環境，也可以透過正規 Dockerfile 來做 image
$ podman rmi myuser; podman build -t myuser - < myuser
# 檢查是否符合預期
$ podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/myuser latest 6994bb0ff970 16 seconds ago 75.5 MB
# 建立 Rootless Container u1
$ podman run --rm --name u1 -d myuser
# 檢視外部使用者誰執行 Container 的第一支程式
$ ps aux | grep -v grep | grep sleep
201004 6334 0.0 0.0 2516 592 ? Ss 13:56 0:00 sleep infinity
# 進入 u1 Container 檢視內部使用者
$ podman exec u1 id
uid=1005(appuser) gid=1000(appgroup) groups=1000(appgroup)

gbean 使用者可否使用 rbean 自製的 image ?

# podman save 備份 image 變成 *.tar 打包檔
$ podman save base.img:v1.0 > base.img.tar
# 離開
$ exit
# 登入 gbean 使用者帳號
$ ssh gbean@172.16.119.2
gbean@172.16.119.2s password: gbean
# 檢視當前沒有任何 image
$ podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
# 拷貝在 rbean 使用者的 image 打包檔，到當前目錄
$ cp /home/rbean/base.img.tar .
# 還原 base.img.tar 打包檔，透過 redirection 丟給 podman load 命令還原
$ podman load < base.img.tar
# 檢查是否符合預期
$ podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/base.img v1.0 d4e63a3c44c7 3 hours ago 820 MB
# 建立 Container
$ podman run --rm -it base.img
* Starting OpenBSD Secure Shell server sshd [ OK ]
bigred@5f13ae2cdf56:~$ exit

Podman Rootless Container Network

slirp4netns | slirp for network namespace

slirp | 撥號網路
allows connecting a network namespace to the Internet in a completely unprivileged way, by connecting a TAP device in a network namespace to the usermode TCP/IP stack (“slirp”).

實做 slirp4netns

# 安裝 Podman 會一併安裝 slirp4netns 這套件
$ slirp4netns -v
slirp4netns version 1.2.0
commit: 656041d45cfca7a4176f6b7eed9e4fe6c11e8383
libslirp: 4.7.0
SLIRP_CONFIG_VERSION_MAX: 4
libseccomp: 2.5.2
# 在 bigred 使用者
$ sudo unshare --pid --fork --mount-proc --net --uts sh
root@alp:/home/bigred$ ifconfig -a
lo: flags=8<LOOPBACK> mtu 65536
loop txqueuelen 1000 (Local Loopback)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

# 再開啟一個的 CMD 視窗, 執行以下命令
$ ssh bigred@<alp.docker IP>
# 檢視 unshare 執行 sh 和 sh 的 pid
$ ps aux | grep ' sh$'
root 8367 0.0 0.0 844 4 pts/0 S 14:29 0:00 unshare --pid --fork --mount-proc --net --uts sh
root 8368 0.0 0.0 1712 956 pts/0 S+ 14:29 0:00 sh
# 產生虛擬網路卡 tun
$ sudo modprobe tun
# 透過 slirp4netns 命令，讓 unshare 做出來的 Container 可以上網
# -mtu 設定總共有幾個封包能上網的值，
$ sudo slirp4netns --configure --disable-host-loopback --mtu=65520 8368 tap0
sent tapfd=5 for tap0
received tapfd=5
Starting slirp
* MTU: 65520
* Network: 10.0.2.0
* Netmask: 255.255.255.0
* Gateway: 10.0.2.2
* DNS: 10.0.2.3
* DHCP begin: 10.0.2.15
* DHCP end: 10.0.2.30
* Recommended IP: 10.0.2.100
# 回到 unshare 終端機 檢查
root@alp:/home/bigred$ ifconfig -a
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
tap0 Link encap:Ethernet HWaddr CE:09:B4:E4:2B:2B
inet addr:10.0.2.100 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::cc09:b4ff:fee4:2b2b/64 Scope:Link
UP BROADCAST RUNNING MTU:65520 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:9 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:726 (726.0 B)
[註] 按 ctrl + c 可停止上面命令執行, unshare 終端機中的 tap0 網卡會自動移除

Rootless Container 內定網路架構

# bigred 使用者 run Rootless Container
$ podman run --rm -it quay.io/cloudwalker/alpine
/ # ifconfig tap0
tap0 Link encap:Ethernet HWaddr 2A:8A:55:71:52:50
inet addr:10.0.2.100 Bcast:10.0.2.255 Mask:255.255.255.0
inet6 addr: fe80::288a:55ff:fe71:5250/64 Scope:Link
inet6 addr: fd00::288a:55ff:fe71:5250/64 Scope:Global
UP BROADCAST RUNNING MTU:65520 Metric:1
RX packets:1 errors:0 dropped:0 overruns:0 frame:0
TX packets:5 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:110 (110.0 B) TX bytes:430 (430.0 B)
/ # route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.0.2.2 0.0.0.0 UG 0 0 0 tap0
10.0.2.0 0.0.0.0 255.255.255.0 U 0 0 0 tap0
/ # cat /etc/resolv.conf
nameserver 10.0.2.3
nameserver 172.16.119.1
/ # ping -c 1 www.hinet.net
PING www.hinet.net (61.221.82.5): 56 data bytes
64 bytes from 61.221.82.5: seq=0 ttl=42 time=24.640 ms
/ # exit

# 建立 2 台 Rootless Container
$ podman run --rm -itd --name a1 quay.io/cloudwalker/alpine
$ podman run --rm -itd --name a2 quay.io/cloudwalker/alpine
# 查看 a1 a2 的 ip 位址
$ podman exec a1 hostname -i; podman exec a2 hostname -i
10.0.2.100
10.0.2.100
* a1 與 a2 的 IP 位址一樣, 他們網路無法互通
$ ps aux | grep -v grep | grep -e "slirp"
rbean 6326 0.0 0.0 2816 1560 ? S 13:56 0:00 /usr/bin/slirp4netns --disable-host-loopback --mtu=65520 --enable-sandbox --enable-seccomp --enable-ipv6 -c -e 3 -r 4 --netns-type=path /tmp/podman-run-1002/netns/netns-71ea094f-5c6a-859a-f7e6-04b0661a6c83 tap0
bigred 9947 0.0 0.0 2816 1552 pts/0 S 14:53 0:00 /usr/bin/slirp4netns --disable-host-loopback --mtu=65520 --enable-sandbox --enable-seccomp --enable-ipv6 -c -e 3 -r 4 --netns-type=path /tmp/podman-run-1000/netns/netns-c306bb49-44f0-2f82-21d1-2613696aa617 tap0
bigred 9977 0.0 0.0 2816 1628 pts/0 S 14:53 0:00 /usr/bin/slirp4netns --disable-host-loopback --mtu=65520 --enable-sandbox --enable-seccomp --enable-ipv6 -c -e 3 -r 4 --netns-type=path /tmp/podman-run-1000/netns/netns-e8f75675-352e-e4b4-c3b0-c5c5d10d999e tap0
$ podman rm -f a1 a2

Rootless Container 內定網路對外連通

$ mkdir html ; echo "<h1>Rootless Container</h1>" > html/index.html
# ` --publish 8080:80` | 在 podman host 主機開 8080 port
#
$ podman run --rm -d --name n1 --publish 8080:80 --volume ${PWD}/html:/usr/share/nginx/html quay.io/cloudwalker/nginx
✔ docker.io/library/nginx:latest
Trying to pull docker.io/library/nginx:latest...
.........
5d6265214ef71ffce826d38b16dffd2557a0cfcd353dbecef92b87d4a6d47071
$ curl http://localhost:8080
<h1>Rootless Container</h1>
# nginx 伺服器，會啟動子程序，來提供連線的服務
# 在 Rootless Container 中，會有很多情況會需要用到額外 uid
$ ps aux | grep -v grep | grep nginx
bigred 11649 0.0 0.2 10656 5920 ? Ss 15:18 0:00 nginx: master process nginx -g daemon off;
100100 11675 0.0 0.1 11092 2644 ? S 15:18 0:00 nginx: worker process
100100 11676 0.0 0.1 11092 2644 ? S 15:18 0:00 nginx: worker process

在 podman host 主機中，我們無法直接透過打 10.0.2.100，直接連到 Rootless Container 中

# 建立 Rootless Container
$ podman run --name b1 -itd quay.io/cloudwalker/alpine.sshd
$ podman exec b1 netstat -an | grep 22
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp6 0 0 :::22 :::* LISTEN
$ ssh bigred@10.0.2.100
^C
$ podman rm -f b1
$ podman run --name b1 -h ssn763 -p 22100:22 -itd quay.io/cloudwalker/alpine.sshd
$ ssh bigred@localhost -p 22100
Warning: Permanently added '[localhost]:22100' (ED25519) to the list of known hosts.
bigred@localhost's password: bigred
bigred@ssn763:~$ exit

Rootless Container 自建網路架構

$ podman network create --subnet=192.168.188.0/24 --gateway=192.168.188.254 mynet2
$ podman network ls
NETWORK ID NAME DRIVER
c26de056b034 mynet2 bridge
2f259bab93aa podman bridge
$ podman run --name n1 --net mynet2 -itd quay.io/cloudwalker/alpine; podman run --name n2 --net mynet2 -itd quay.io/cloudwalker/alpine
$ podman exec n1 hostname -i; podman exec n2 hostname -i
192.168.188.2
192.168.188.3
$ podman exec n2 ping -c2 192.168.188.2
PING 192.168.188.4 (192.168.188.2): 56 data bytes
64 bytes from 192.168.188.2: seq=0 ttl=42 time=0.029 ms
64 bytes from 192.168.188.2: seq=1 ttl=42 time=0.096 ms
$ podman exec n2 ping -c2 n1
PING n1 (192.168.188.1): 56 data bytes
64 bytes from 192.168.188.1: seq=0 ttl=42 time=0.033 ms
64 bytes from 192.168.188.1: seq=1 ttl=42 time=0.153 ms

Podman Pods

podman 產生出來的 pod ，裡面一定會有 Infra Container
一個 pod 對應一個企業的 soulation ，因 pod 裡可存在多台 Container，每台 Container 對應不同服務，像是 web server, Database Server… 等，最後包成一個 pod，就能成為企業的 Soulation。

建立 pod (Rootless)

$ podman pod create -n mypod
$ podman pod list
POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
b02b99948314 mypod Created 14 seconds ago 3635ac314b01 1
$ podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
3635ac314b01 localhost/podman-pause:4.1.0-1658428998 25 seconds ago Created b02b99948314-infra b02b99948314 mypod

The default infra container is based on the k8s.gcr.io/pause:4.1.0-1658428998 image
Container run 的 process 是 sleep infinite，沒動用網路和硬碟，只動用記憶體和 CPU
Every podman pod includes an infra container by default. Its purpose is to hold the namespaces associated with the pod and allow podman to connect other containers to the pod. This also lets pods live, if the pod is not running any application containers.
Kubernetes 開始 run 的是 VM。

Add a container to a pod

$ podman run -d --pod mypod --name ap1 quay.io/cloudwalker/alpine top
$ podman ps -a --pod | grep mypod
3635ac314b01 localhost/podman-pause:4.1.0-1658428998 13 minutes ago Up 28 seconds ago b02b99948314-infra b02b99948314 mypod
02a15e3c2fd4 quay.io/cloudwalker/alpine:latest top 27 seconds ago Up 28 seconds ago ap1 b02b99948314 mypod
$ podman run -d --pod mypod --name np1 quay.io/cloudwalker/nginx
$ podman exec ap1 hostname
mypod
$ podman exec np1 hostname
mypod
$ podman exec ap1 hostname -i
10.0.2.100
$ podman exec np1 hostname -i
10.0.2.100

Container 的電腦名稱共用 pod 的名字及 ip 位址

Generate a K8S YAML File

# 產生 mypod 的 yaml 檔
$ podman generate kube mypod -f mypod.yaml
# -f 強制，強制刪除運行中的 pod
$ podman pod rm -f mypod
# 檢查是否符合預期，都是空的
~$ podman pod list
POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
$ podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME

podman generate 用法

Usage:
podman generate [command]
Available Commands:
kube Generate Kubernetes YAML from containers, pods or volumes.
systemd Generate systemd units.

$ cat mypod.yml
# Save the output of this file and use kubectl create -f to import
# it into Kubernetes.
#
# Created with podman-4.1.0
apiVersion: v1
kind: Pod
metadata:
annotations:
io.kubernetes.cri-o.ContainerType/ap1: container
io.kubernetes.cri-o.ContainerType/np1: container
io.kubernetes.cri-o.SandboxID/ap1: mypod
io.kubernetes.cri-o.SandboxID/np1: mypod
io.kubernetes.cri-o.TTY/ap1: "false"
io.kubernetes.cri-o.TTY/np1: "false"
io.podman.annotations.autoremove/ap1: "FALSE"
io.podman.annotations.autoremove/np1: "FALSE"
io.podman.annotations.init/ap1: "FALSE"
io.podman.annotations.init/np1: "FALSE"
io.podman.annotations.privileged/ap1: "FALSE"
io.podman.annotations.privileged/np1: "FALSE"
io.podman.annotations.publish-all/ap1: "FALSE"
io.podman.annotations.publish-all/np1: "FALSE"
creationTimestamp: "2022-07-23T01:51:20Z"
labels:
app: mypod
name: mypod
spec:
containers:
- command:
- top
image: quay.io/cloudwalker/alpine:latest
name: ap1
resources: {}
securityContext:
capabilities:
drop:
- CAP_MKNOD
- CAP_NET_RAW
- CAP_AUDIT_WRITE
- args:
- nginx
- -g
- daemon off;
image: quay.io/cloudwalker/nginx:latest
name: np1
resources: {}
securityContext:
capabilities:
drop:
- CAP_MKNOD
- CAP_NET_RAW
- CAP_AUDIT_WRITE
restartPolicy: Never
status: {}

重建 pod

$ podman play kube mypod.yml

podman play 用法 :

Usage:
podman play [command]
Available Commands:
kube Play a pod or volume based on Kubernetes YAML.

$ podman pod list
POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
8d4b1d6a29cc mypod Running 12 minutes ago 0118b4953bee 3
bigred@alp:~$ podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
0118b4953bee localhost/podman-pause:4.1.0-1658428998 13 minutes ago Up 13 minutes ago 8d4b1d6a29cc-infra 8d4b1d6a29cc mypod
98e503e8ee12 quay.io/cloudwalker/alpine:latest 13 minutes ago Up 13 minutes ago mypod-ap1 8d4b1d6a29cc mypod
d1f37ffb76fe quay.io/cloudwalker/nginx:latest nginx -g daemon o... 13 minutes ago Up 13 minutes ago mypod-np1 8d4b1d6a29cc mypod

Wordpress Pod Application

單命令建立 Pod Application

$ podman run -d --restart=always --pod new:wpapp_pod -e MYSQL_ROOT_PASSWORD="myrootpass" -e MYSQL_DATABASE="wp-db" -e MYSQL_USER="wp-user" -e MYSQL_PASSWORD="w0rdpr3ss" -p 8080:80 --name=wptest-db quay.io/cloudwalker/mariadb

-d ，Run container in background and print container ID
new ，創建一個新的 pod，而不是嘗試將 Container 分配給現有的 pod。
-e ，environment，mariadb 需要這些變數才能建立
-p 8080:80 ，先開好 80 port ，給等下的 Wordpress 這台 Container 用

檢視 wpapp_pod 結構

$ podman ps -a --pod | grep wpapp_pod

wpapp_pod 加入 Wordpress Container

$ podman run -d --restart=always --pod=wpapp_pod -e WORDPRESS_DB_NAME="wp-db" -e WORDPRESS_DB_USER="wp-user" -e WORDPRESS_DB_PASSWORD="w0rdpr3ss" -e WORDPRESS_DB_HOST="127.0.0.1" --name wptest-web quay.io/cloudwalker/wordpress

檢視 wpapp_pod 結構

$ podman ps -a --pod | grep wpapp_pod

連接 Wordpress 網站

$ curl http://localhost:8080/wp-admin/install.php
.........
</head>
<body class="wp-core-ui language-chooser">
<p id="logo">WordPress</p>
.......

停止刪除 pod

# 停止 pod
$ podman pod stop wpapp_pod
# 刪除 pod
$ podman pod rm wpapp_pod

tags: `系統工程`

Docker-Image

Sat, 01 Oct 2022 02:16:16 +0800

前篇 Docker-AppContainer-Part1 介紹連結

認識 Dockerfile

Dockerfile 就是建置 Docker Image 的腳本
正式產生 image 的方法：Dockerfile （D一定要大寫），好處是會有文件可以交接。
手工做的 image，過了半年會忘記當初的 image 怎麼做出來的。
貨櫃化要成功，一定是自己做 image ，而不是抓別人的來用

準備 Distroless Image 的系統目錄

$ mkdir -p ~/r2d2/rootfs/{bin,sbin,usr/{bin,sbin},dev,lib,proc}; cd ~/r2d2
$ cp /bin/sh rootfs/bin; cp /lib/ld-musl-x86_64.so.1 rootfs/lib/; cp /bin/busybox rootfs/bin/; sudo chown -R root:root rootfs
# 將 /bin/busybox --install -s 這個命令的根目錄切換到 ~/r2d2/rootfs ，並在新的根目錄產生 busybox 提供所有命令的軟連結(soft link)。
# -s 它創建軟連結而不是硬鏈結。
$ sudo chroot rootfs /bin/busybox --install -s
$ sudo chroot rootfs /bin/sh
@alp:/$ find / -name busybox | wc -l
1
@alp:/$ exit
# 先切換工作目錄到 rootfs ，然後將 r2d2 的所有內容壓縮到當前目錄，再回到上一層目錄
$ cd rootfs; tar zcvf ../r2d2.tar.gz .; cd ..

z，用 gzip 的方式(解)壓縮
c，Create
v，Verbose
f，Name of TARFILE (’-’ for stdin/out)

自製與使用 Distroless image

“Distroless” images，這種 image 只有應用程式和它的相依檔(bins/libs)，不可以有 apk (package manager 以 Alpine 為例)可以新增套件，或是貝殼程式，以及其他的應用程式
“Distroless” images contain only your application and its runtime dependencies. They do not contain package managers, shells or any other programs you would expect to find in a standard Linux distribution.

$ nano Dockerfile
FROM scratch
ENV PATH=/bin:/usr/bin:/sbin:/usr/sbin
ADD r2d2.tar.gz /
CMD ["/bin/sh"]

FROM，指定 image
scratch，空白 image
ENV，設定 Container 啟動後的 PATH 環境變數
ADD r2d2.tar.gz /，image 做出來後，將 r2d2.at.gz 這個壓縮檔解壓縮到 image 的根目錄
- ADD 和 COPY 都是複製檔案到 image 的目錄，差別在下面
- ADD，local tar file auto-extraction into the image
- COPY， only supports the basic copying of local files into the container
- ADD 和 COPY 的官網文件連結
- 「初學Docker」Dockerfile 易混亂的指令
CMD ["/bin/sh"]，設定 Container 啟動後，內定執行的命令為 /bin/sh

$ docker build --no-cache -t r2d2 .
$ docker images | grep r2d2
r2d2 latest 61d53f8cccae 13 minutes ago 2.28MB
$ docker run --rm --name r2d2 -it r2d2
/ # ps
PID USER TIME COMMAND
1 0 0:00 /bin/sh
7 0 0:00 ps
/ # exit

只要是 image 裡面有的命令，Container 都能 run

$ docker run -d r2d2 sleep 600
$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5dd0d471c849 r2d2 "sleep 600" 7 seconds ago Up 6 seconds dreamy_brattain

CGI with Golang

用 Golang 語言寫一個網站，裡面跑 bash script
cgi ，Common Gateway Interface，透過一個 web server 來 run 指定的電腦語言，如 bash script, python, …等

$ mkdir -p ~/wulin/gocgi; cd ~/wulin/gocgi
$ echo 'package main
import (
"net/http"
"net/http/cgi"
)
func cgiHandler(w http.ResponseWriter, r *http.Request) {
handler := cgi.Handler{Path: "cgichild.sh"}
handler.ServeHTTP(w, r)
}
func main() {
http.HandleFunc("/", cgiHandler)
http.ListenAndServe(":8080", nil)
}' > main.go
$ go mod init gocgi
$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o main
$ echo $'#!/bin/sh
echo "Content-type: text/html"
echo ""
echo \'<html><body>\'
echo \'Hello From Bash <br/>Environment:\'
echo \'<pre>\'
/usr/bin/env
echo \'</pre>\'
echo \'</body></html>\'
exit 0 ' > cgichild.sh
$ chmod +x cgichild.sh

echo "Content-type: text/html"，會將執行結果傳回去給瀏覽器。
- /html，告訴瀏覽器，等等會回傳 html 的標籤
echo ""，顯示一個換行符號，這是格式。
<pre>，保持原本的格式，有換行就換行

當我們在自己的電腦打 http://120.96.143.110:8080/ 這個網址(URL)，會連線到我們自己用 Golang 語言寫的程式架的網站，程式裡有寫如果網址後面有/，

測試 CGI with Golang 網站

$ dir
total 6.4M
drwxr-sr-x 2 bigred bigred 4.0K Aug 23 20:19 .
drwxr-sr-x 3 bigred bigred 4.0K Aug 23 20:18 ..
-rwxr-xr-x 1 bigred bigred 182 Aug 23 20:19 cgichild.sh
-rw-r--r-- 1 bigred bigred 22 Aug 23 20:18 go.mod
-rwxr-xr-x 1 bigred bigred 6.3M Aug 23 20:19 main
-rw-r--r-- 1 bigred bigred 273 Aug 23 20:18 main.go
啟動 CGI with Golang 網站
$ screen -S gocgi
$ ./main
按 Ctrl + a, d 複合鍵, 回到原先 終端機 畫面
$ curl 'http://localhost:8080/student?name=melia&age=16'
<html><body>
Hello From Bash <br/>Environment:
<pre>
SERVER_NAME=localhost:8080
REMOTE_HOST=127.0.0.1
......
REQUEST_URI=/student?name=melia&age=16
QUERY_STRING=name=melia&age=16
.......
</pre>
</body></html>
關閉 CGI with Golang 網站
$ screen -r gocgi
按 Ctrl + C
$ exit

自製 CGI with Golang Image

$ echo 'FROM scratch
ADD main /
ADD cgichild.sh /
CMD ["/main"] ' > Dockerfile
$ docker build -t gocgi .
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
gocgi latest 4b8dcd855475 9 seconds ago 6.6MB
.....

開發 Golang 網站

建目錄

$ mkdir -p ~/wulin; cd ~/wulin; mkdir mygo; cd mygo

寫一個go語言的程式

$ echo 'package main
import (
"fmt"
"log"
"net/http"
)
func handler(w http.ResponseWriter, r *http.Request) {
fmt.Fprintln(w, "Hello, 世界")
}
func main() {
http.HandleFunc("/", handler)
log.Fatal(http.ListenAndServe(":8888", nil))
}' > main.go

宣告要用的相依檔

$ go mod init mygo

翻譯成machine code

$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o main

最後產生的main這個檔案就可以在任何作業系統都能執行，因為程式所需的相依檔已經在檔案裡

自製原生 Docker Image

$ echo 'FROM scratch
ADD main /
CMD ["/main"] ' > Dockerfile

Docketfile的命令，指定使用哪個image，可以從網路抓取別人已做好已存在的image，也可用scratch(空白)來自製 ADD main /，把剛剛用go語言寫的經過編譯的程式檔，加到rootfs的目錄裡面 CMD ["/main"] ，宣告image內定執行的命令：/main

編寫Dockerfile主要的目的是要做出image，而做出image就是要做出rootfs（系統檔案目錄）+ config.json (標準設定檔)

建立image

$ docker build -t goweb .

-t ，後面接image的名稱 . ，代表目前的目錄來讀取Dockerfile

檢查

$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
goweb latest 7f9652539fc0 14 minutes ago 6.13MB

建立 g1 container

$ docker run --rm --name g1 -d -p 8888:8888 goweb

因為Container跑的程式不是sh，所以不需要給-it 我們使用的go語言程式在翻譯時，已經打包到一個檔案，所以App+Bins+Libs會變成一個檔案，但還是會使用Host OS 的 kernel 和硬體周邊為何抓不到 g1 這台 Container 的 IP 位址 ? 因為rootfs裡面並沒有那些ifconfig、ip a s 和hostanme -i這些程式，只有main

其實還是能看得到

$ docker inspect g1 | grep '"IPAddress"'

強制刪除運行中的Container

$ docker rm -f g1
g1

重新建立一次

$ docker run --rm --name g1 -d -p 8888:8888 goweb

-p 8888:8888 ，前面4個8是alpine linux開的port，後面4個8是Container開的port

$ curl http://localhost:8888
Hello, 世界

$ docker stop g1

檢視原廠 Image 內定執行命令

查看image內定的指令

命令：

$ docker history quay.io/cloudwalker/busybox

結果：

IMAGE CREATED CREATED BY SIZE COMMENT
d3cd072556c2 12 months ago /bin/sh -c #(nop) CMD ["sh"] 0B
<missing> 12 months ago /bin/sh -c #(nop) ADD file:c423dc64e02718dd3… 1.24MB

查看nginx那張image

$ docker history --no-trunc quay.io/cloudwalker/nginx | tr -s " "

結果：

IMAGE CREATED CREATED BY SIZE COMMENT
...前面省略 CMD ["nginx" "-g" "daemon off;"] 0B
...後面省略

什麼是["nginx" "-g" "daemon off;"]？

將整個shell程式轉為前景能持續執行的程式

==Container內定執行的程式，一定要在前景執行，Container才會啟動，因為在背景執行的話，系統會認為前景還有人要執行。==

自製 Docker Image 實務範例

撰寫 alpine.base Dockerfile

以後要做image，最好都要先產生對應的目錄區

$ mkdir -p ~/wulin/base; cd ~/wulin

編輯Dockerfile

$ echo 'FROM quay.io/cloudwalker/alpine
RUN apk update && apk upgrade && apk add --no-cache nano sudo wget curl \
tree elinks bash shadow procps util-linux coreutils binutils findutils grep && \
wget https://busybox.net/downloads/binaries/1.28.1-defconfig-multiarch/busybox-x86_64 && \
chmod +x busybox-x86_64 && mv busybox-x86_64 bin/busybox1.28 && \
mkdir -p /opt/www && echo "let me go" > /opt/www/index.html
CMD ["/bin/bash"] ' > base/Dockerfile

注意如果要用別人的image，例如：alpine，一定要鎖定版本代號，才不會發生不相容的問題。 事實上build Dockerfile時，有做Chroot的動作，所以RUN後面的指令產生的檔案都會在rootfs裡面。 busybox1.28並沒有蓋掉alpine原本的內建的busybox CMD ["/bin/bash"] ，這行命令是存在config.json裡面

建立 alpine.base image

$ docker build --no-cache -t alpine.base base/

docker build命令會自動去找我們指定目錄裡面的Dockerfile

執行 alpine.base image 內定命令

$ docker run --rm -it alpine.base
bash-5.0# /bin/busybox1.28 | head -n 1
BusyBox v1.28.1 (2018-02-15 14:34:02 CET) multi-call binary.
bash-5.0# /bin/busybox | head -n 1
BusyBox v1.30.1 (2019-06-12 17:51:55 UTC) multi-call binary.
bash-5.0# busybox httpd -h /opt/www
httpd: applet not found
bash-5.0# busybox1.28 httpd -h /opt/www
bash-5.0# curl http://localhost
let me go
bash-5.0# exit
exit

測試 alpine.base image

為何沒辦法成功啟動Container ?

$ docker run --rm --name b1 alpine.base busybox1.28 httpd -h /opt/www
bigred@alp:~/wulin$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

==Container 中的第一個啟動 process 必須前景執行, 這樣 Container 才能保持在執行狀態==

$ docker run --rm --name b1 -d -p 80:80 alpine.base busybox1.28 httpd -f -h /opt/www
7e5ed9af1918a1f9909f209ebf90492a58e274deac8d3e9f0ab62123e20b7e6c

-f ，將httpd的程序推到前景執行

檢查有沒有符合預期

$ curl http://localhost
let me go

將Container 停止

$ docker stop b1
b1

檢查

$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

自製 OpenSSH Image

撰寫 alpine.sshd Dockerfile

$ cd ~/wulin; mkdir sshd
$ nano sshd/Dockerfile
FROM alpine.base
RUN apk update && \
apk add --no-cache openssh-server tzdata && \
# 設定時區
cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime && \
# 產生OpenSSH Server的key，不是給前端的使用者用的，是給Server使用的
ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key && \
# 當使用者成功登入linux時，會顯示在/etc/motd裡面的內容
echo -e 'Welcome to ALP bobo 6000\n' > /etc/motd && \
# 建立管理者帳號 bigred
adduser -s /bin/bash -h /home/bigred -G wheel -D bigred && echo '%wheel ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers && \
echo -e "bigred\nbigred\n" | passwd bigred &>/dev/null && \
# 禁止使用者重新開機和通殺程式的命令
rm /sbin/reboot && rm /usr/bin/killall
EXPOSE 22
ENTRYPOINT ["/usr/sbin/sshd"]
CMD ["-D"]

cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime，設定時區
- 在大型應用系統建置時，一定要注意時區，像如果收集 IOT 的資料，一次 100 萬筆，時區錯了，資料換算時區，會算到吐血
ENTRYPOINT 所指定的執行命令, 在建立 Container 時強制執行此命令並且不可被其它命令取代
CMD ["-D"] ，下達參數，意思是讓 OpenSSH Server 前景執行
- 當 ENTRYPOINT 出現，CMD 的功能變成為 ENTRYPOINT 的命令加參數

建立與使用 alpine.sshd image

$ docker build --no-cache -t alpine.sshd sshd/

$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
alpine.sshd latest e475bfcdf2fd 32 seconds ago 57.7MB

$ docker run --rm --name s1 -h s1 alpine.sshd sh
Extra argument sh.

[重要] 因使用 entrypoint 宣告內定命令, 便無法自行指定執行命令

建立 s1 container

$ docker run --rm --name s1 -h s1 -d -p 22100:22 alpine.sshd

-p 22100:22 ，22100 alpine 虛擬主機的 port，22 Container 的 port

用 ssh 命令登入測試 Container

$ ssh bigred@localhost -p 22100
Warning: Permanently added '[localhost]:22100' (RSA) to the list of known hosts.
bigred@localhost's password:
Welcome to ALP SSHd 6000
s1:~$

如果要新增帳號的話，修改 Dockerfile 比較好，還是在 Contianer 建立比較好 ?
- 修改 Dockerfile 缺點 : 要新增一個帳號，就要改一次 Dockerfile ，且透過 docker history ，可以看到建立 image 的歷史紀錄(其中就會包含建立帳號時的密碼)
- 用 Container 建立的話，Container 刪除，在重建回來，帳號消失。

Docker Container 備份與還原

$ docker run --name s2 -h s2 -d alpine.sshd
6e52bd5aee18c0aed8dbb17920037be0b9109158329b401c56b4f64417c2d784
$ docker exec -it s2 bash
$ sudo useradd -m -s /bin/bash rbean
$ echo "rbean:rbean" | sudo chpasswd
$ exit

使用上述命令建立 s2 Container, 這個 Container 有啟動 openssh server, 所以這個 Container 有 openssh 的執行狀態資訊檔, 這時使用 docker export 命令匯出的 Tar 檔中就會有殘留 openssh 的執行暫存檔, 以至後續做出的 image 無法啟動 openssh server, 所以必須先關閉 s2 container, 才可備份此 container

停止 Container

$ docker stop s2

備份 Container

$ docker export s2 > s2.tar

教室的網路架構

落地雲(Windows) IP 120.96.143.x 透過VMware虛擬橋接器(NAT)使用VMnet8網卡 IP 192.168.61.1/24 連到alp linux虛擬機 IP 192.168.61.x (x>=128) 虛擬機再透過docker虛擬橋接器使用docker0網卡 IP 172.17.0.1/16 連到S2 container IP 172.17.0.x

右邊這台windows主機建立一台bridged橋接模式的 VM(IP:120.96.143.xx) ，這台VM在建立一台Container，這時候VM會多一張 docker0 的網卡和 docker0 的虛擬橋接器，我們的 Container 會透過虛擬橋接裝置和VM溝通。

透過docker run -p 8888:8888，可以在 VM 和 Container 上都開一個 8888 的 port 號，這樣我們就可以在 windows 直接連到我們的 Container。

Docker Container 備份與還原

刪除 Container 和它的 image

$ docker rm s2 && docker rmi alpine.sshd

還原 image

$ cat s2.tar | docker import - alpine.sshd &>/dev/null

|，水管會把左邊 cat 看到的檔案內容丟給右邊的docker import -，標準輸入，docker import會把收到的檔案內容標準輸入新產生的 alpine.sshd 這個image

驗收有沒有還原成功

$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
alpine.sshd latest 56fa83fb7a1a 12 seconds ago 50.2MB

深度研究

$ docker history alpine.sshd
IMAGE CREATED CREATED BY SIZE COMMENT
56fa83fb7a1a About a minute ago 50.2MB Imported from -

可以發現 image 的內容被消磁，連內定執行的命令都刪除了

使用重製 alpine.sshd image

這時，如果沒指定執行的命令，就會爆錯

$ docker run --name s2 -h s2 -d alpine.sshd
docker: Error response from daemon: No command specified.
See 'docker run --help'.

重製後的 alpine.plus image 必須指定執行命令

再次建立與執行 Container

$ docker run --name s2 -h s2 -d alpine.sshd /usr/sbin/sshd -D

-D ，是因為要讓 /usr/sbin/sshd 在前景執行

強制刪除運行中的 Container

$ docker rm -f s2

為何企業要用 Container ？

Container 相比 VM 消耗資源較少（每個 VM 都擁有 OS，Container 則沒有）
精簡功能的邏輯，VM 是減法，Container 則是加法，有需要使用的才加入，效率較高
硬體的選擇可以不受限於虛擬化技術（不需要支援 VT-x、AMD SVM）
相比 VM 有著快速備份及還原的優勢
Container 可在不同環境中之間建置、部署，並簡化應用建置流程，降低 human error
可以按照企業的需求量身打造 image
將功能部署好之後，可以進行消磁處理，只有內部人員知道如何使用
製作好的的 image 可以共享、進行全球部署，就像進出口貨櫃一樣

by 第三組

研究 Docker image

skopeo is a command line utility that performs various operations on container images and image repositories.
skopeo does not require the user to be running as root to do most of its operations.
skopeo does not require a daemon to be running to perform its operations.
skopeo can work with OCI images as well as the original Docker v2 images.

skopeo ( 天蠍 )可以在我們下載 image 之前，幫忙查看 image 的主要資訊

在 Alpine Linux 執行以下命令

$ sudo apk add skopeo
$ skopeo -v
skopeo version 1.8.0 commit: b7fc5b608b641cd9b9aec2647f9236e31f8f3b27

查看 image 的版本代號
$ sudo skopeo list-tags docker://docker.io/apache/ozone
{
"Repository": "docker.io/apache/ozone",
"Tags": [
"0.3.0",
"0.4.0",
"0.4.1",
"0.5.0",
"1.0.0",
"1.1.0",
"1.2.0",
"1.2.1",
"latest"
]
}
看 image 的資訊
$ sudo skopeo inspect docker://quay.io/cloudwalker/alpine
{
"Name": "quay.io/cloudwalker/alpine",
"Digest": "sha256:def822f9851ca422481ec6fee59a9966f12b351c62ccb9aca841526ffaa9f748",
"RepoTags": [
"latest"
],
"Created": "2021-04-14T19:19:39.643236135Z",
"DockerVersion": "19.03.12",
"Labels": null,
"Architecture": "amd64",
"Os": "linux",
"Layers": [
"sha256:540db60ca9383eac9e418f78490994d0af424aab7bf6d0e47ac8ed4e2e9bcbba"
],
"Env": [
"PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
]
}

下載並研究 Docker Image 內部結構

把 image 下載到指定的目錄

skopeo --insecure-policy copy docker://quay.io/cloudwalker/alpine.sshd dir:/tmp/alpine.sshd

$ dir /tmp/alpine.sshd/
total 23M
drwxr-xr-x 2 bigred bigred 4.0K Jun 26 14:31 .
drwxrwxrwt 5 root root 4.0K Jun 26 14:31 ..
-rw-r--r-- 1 bigred bigred 3.3K Jun 26 14:31 47460458ea8df43635019e60d7c7edead32155d051143b0107c03279a3a3cee0
-rw-r--r-- 1 bigred bigred 2.7M Jun 26 14:31 5843afab387455b37944e709ee8c78d7520df80f8d01cf7f861aae63beeddb6b
-rw-r--r-- 1 bigred bigred 3.1M Jun 26 14:31 8eb646da4db772329c36c99c3edb14fce7cb3415c516104c4333d1325e908cc5
-rw-r--r-- 1 bigred bigred 17M Jun 26 14:31 efde1a2cd25c6076ffd0302bf7bfdd24c2b044772b122460fa9ad4cb32da088a
-rw-r--r-- 1 bigred bigred 951 Jun 26 14:31 manifest.json ## 結構說明檔
-rw-r--r-- 1 bigred bigred 33 Jun 26 14:31 version

manifest.json image 結構的說明檔，裡面說明了壓縮後的目錄 ( rootfs )，以及 config.json

$ cat /tmp/alpine.sshd/manifest.json
{
"schemaVersion": 2,
"mediaType": "application/vnd.docker.distribution.manifest.v2+json",
"config": {
"mediaType": "application/vnd.docker.container.image.v1+json", ## config.json 檔
"size": 3327,
"digest": "sha256:47460458ea8df43635019e60d7c7edead32155d051143b0107c03279a3a3cee0"
},
"layers": [
{
"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip", ##壓縮檔
"size": 2811478,
"digest": "sha256:5843afab387455b37944e709ee8c78d7520df80f8d01cf7f861aae63beeddb6b"
},
{
"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip", ##壓縮檔
"size": 17282773,
"digest": "sha256:efde1a2cd25c6076ffd0302bf7bfdd24c2b044772b122460fa9ad4cb32da088a"
},
{
"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip", ##壓縮檔
"size": 3146213,
"digest": "sha256:8eb646da4db772329c36c99c3edb14fce7cb3415c516104c4333d1325e908cc5"
}
]

後面的壓縮檔解壓縮以後得到的目錄會蓋掉前面的目錄這些目錄和檔案會透過 overlay2 整合

Docker Data Volume

因為 Container 的檔案系統 Overlay2 不適合用來儲存會有大量新增、修改和刪除資料的動作，所以要 bypasses the Union File System，這裡的 Union File System 指的就是 Overlay2 檔案系統，讓 Container 跳過使用 Overkay2 檔案系統，直接使用 Linux ext4 的檔案系統，來達到資料永存。
甚麼是 Data Volume ?
- 一個或多個 Container 裡面特別指定的目錄，它會跳過 Overlay2 檔案系統

Host-Based Persistence Per Container

$ docker pull quay.io/cloudwalker/mariadb
# 檢視 mariadb image 內部資訊
$ docker history mariadb
IMAGE CREATED CREATED BY SIZE COMMENT
7aff94e60a52 2 weeks ago /bin/sh -c #(nop) CMD ["mysqld"] 0B
<missing> 2 weeks ago /bin/sh -c #(nop) EXPOSE 3306/tcp 0B
<missing> 2 weeks ago /bin/sh -c #(nop) ENTRYPOINT ["docker-entry… 0B
<missing> 2 weeks ago /bin/sh -c ln -s usr/local/bin/docker-entryp… 34B
<missing> 2 weeks ago /bin/sh -c #(nop) COPY file:f73461a79523c327… 5.65kB
<missing> 2 weeks ago /bin/sh -c #(nop) VOLUME [/var/lib/mysql] 0B
.......
# 由以上資訊可得知 mariadb image 有建立 /var/lib/mysql 對應的 Data Volume
# 建立 m5 貨櫃主機
$ docker run -d -p 3301:3306 -e MYSQL_ROOT_PASSWORD=admin --name m5 quay.io/cloudwalker/mariadb
檢視 m5 內建 Data Volume 目錄
$ docker inspect --format='{{index .Mounts 0}}' m5 | cut -d' ' -f3
/var/lib/docker/volumes/7539e05831efe4887d4629b81184de82a4dbd13ae2a872cab892f2d4ec11bdc5/_data
$ docker rm -f m5
$ docker volume ls -f dangling=true
DRIVER VOLUME NAME
local 7539e05831efe4887d4629b81184de82a4dbd13ae2a872cab892f2d4ec11bdc5
$ docker volume prune
WARNING! This will remove all local volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
7539e05831efe4887d4629b81184de82a4dbd13ae2a872cab892f2d4ec11bdc5
Total reclaimed space: 35.71MB

由人家的 image 可能會有 Data volume ，當 Container 刪掉， Data Volume 會永存在主機，我們重新再建立一次 Container ，一樣會再次新增另一個 Data volume ，所以有 Data volume 的 Container 重複刪除又建立的話，會在 Host 主機殘留不需要的垃圾。
docker volume prune，Remove all unused local volumes
如果要用別人的 image ，要先執行 docker history <image name> ，看他的 Dockerfile 有沒有宣告 VOLUME

認識 Host Data Volume 運作架構

左邊的 /opt/web/{config,logs} 目錄由我們自己建立，可以將左邊的目錄掛載到右邊的 Container 裡面的 /web/{config,logs} 目錄上
Host Data Volume 就是將主機的目錄掛載到 Container 的目錄，當我們在 Container 對目錄進行作業時，實際上是發生在主機的目錄
注意， Container 的其他目錄區，仍是使用 Overlay2 檔案系統的目錄，只有我們在 Container 指定的目錄可以跳過 Overlay2 檔案系統，直接使用 Host 主機的檔案系統

使用 alpine.derby Image

$ docker run --name d1 -d -p 8888:8888 quay.io/cloudwalker/alpine.derby
$ curl http://localhost:8888/db; echo ""
Database Name = Apache Derby<br>Database Version = 10.14.2.0 - (1828579)<br>Driver Name = Apache Derby Embedded JDBC Driver<br>
$ curl http://localhost:8888/hostname; echo ""
Hostname : 5a6e238e1040
$ docker rm -f d1
d1

apache derby ，全世界第一個用 Java 語言寫的資料庫 (Hive 有使用)

Host Data Volumes

$ cd ~/wulin; mkdir db

$ docker run --name w1 -d -p 8888:8888 -v ~/wulin/db:/derby/db quay.io/cloudwalker/alpine.derby

-v ~/wulin/db:/derby/db，Host Data Volume
- 將 Host 主機的 ~/wulin/db 目錄掛載到 Container 主機上的 /derby/db 目錄

# 在 derby 資料庫產生一個資料表
$ curl http://localhost:8888/db/cars/create;echo ""
cars table created
# 新增兩筆資料
$ curl 'http://localhost:8888/db/cars/insert?id=123&name=star&price=123';echo ""
Add Records ok
$ curl 'http://localhost:8888/db/cars/insert?id=234&name=sun&price=123';echo ""
Add Records ok
# 看資料表的所有資料
$ curl http://localhost:8888/db/cars/list;echo ""
123,star,123<br>234,sun,123<br>
$ docker rm -f w1
$ docker run --name w1 -d -p 9999:8888 -v ~/wulin/db:/derby/db quay.io/cloudwalker/alpine.derby
$ curl http://localhost:9999/db/cars/list;echo ""
123,star,123<br>234,sun,123<br>
$ docker rm -f w1

tags: `系統工程`

Container-Runtime-CRI

Thu, 08 Sep 2022 06:06:12 +0800

前篇 Container 核心技術詳細介紹連結

Open Container Initiatives (OCI)

OCI 組織制定一個標準 : Image spec
- 這個標準是建置 image 的標準
- 由多個設定檔 config + 多個目錄的壓縮檔 layers 組成
- Image 的建置有分 OCI 組織訂的標準與 docker 的標準
另一個標準：Runtime spec
- 建置 Container 的標準。
- 將 Namespace ( unshare ) + Chroot + CGroup + Overlay2 + Virtual Bridge 需要的參數設定整合到一個設定檔
- 注意：runc 沒有 Overlay2 和 Bridge 的功能
- 有人將設定檔寫成程式，程式名：runc ( Golang 語言 )/ crun ( C 語言 )

將 Container Image 裡的多個設定檔 config 和多個壓縮檔 layers 經過 unpack 解包後成為 Bundle ( runtime 設定檔 + rootfs 檔案系統目錄 )，再透過 runtime spec 的程式 create 成為 Container
Create Container 的技術包含 Namespace ( unshare ) + Chroot + CGroup + Overlay2 + Virtual Bridge

runc

提問：什麼是 runc，怎麼用？答：

有人根據 OCI Container Runtime 的標準寫出來的程式，這支程式的語言是 Golang
指令：runc ，命令成功執行的必要條件：所在的工作目錄必須要有==rootfs + config.json==
config.json 產生指令：runc spec，成功的話，工作目錄裡 rootfs 目錄裡面必須要有 linux 的系統檔案
runc的使用手冊命令：runc --help
runc的版本查詢命令：ruc -v

$ sudo apk update ; sudo apk upgrade

如果遇到很多更新，最好直接 sudo reboot 將虛擬機器重新開機

檢查 runc 版本

$ runc -v

output :

runc version 1.1.2
commit: a916309fff0f838eb94e928713dbc3c0d0ac7aa4
spec: 1.0.2-dev
go: go1.18.2
libseccomp: 2.5.2

準備 Runtime Filesystem bundle

在 Windows 系統的 CMD 視窗, 執行以下命令

$ ssh bigred@<ALP.Docker IP>

$ mkdir ~/alpminifs; cd ~/alpminifs; curl -o alpine.tar.gz http://dl-cdn.alpinelinux.org/alpine/v3.16/releases/x86_64/alpine-minirootfs-3.16.2-x86_64.tar.gz; tar xvf alpine.tar.gz ;rm alpine.tar.gz; cd ..

因 runc 命令內定執行帳號為 root, 而 rootfs 目錄的 Owner 是 bigred, 所以需將 rootfs 目錄的 owner 改為 root

$ sudo chown root:root -R rootfs/

產生 OCI 標準的 Container 設定檔

$ runc spec
bigred@alp:~/c3po$ dir
total 20K
drwxr-sr-x 4 bigred bigred 4.0K May 24 14:11 .
drwxr-sr-x 15 bigred bigred 4.0K May 24 13:46 ..
-rw-r--r-- 1 bigred bigred 2.5K May 24 14:11 config.json
drwxr-sr-x 6 bigred bigred 4.0K May 20 11:21 ov2
drwxr-sr-x 19 bigred bigred 4.0K May 20 10:30 rootfs

{
"ociVersion": "1.0.2-dev",
"process": {
"terminal": true,
"user": {
"uid": 0,
"gid": 0
},
"args": [
"sh" ## 我們的process
],
...
##Chroot，重新定義根目錄到rootfs
"root": {
"path": "rootfs",
"readonly": true ## 將true -> false
},
"hostname": "runc", ## 將runc -> r2d2
## 將記憶體型的proc掛載到硬碟上的/proc
"mounts": [
{
"destination": "/proc",
"type": "proc",
"source": "proc"
},
{
"destination": "/dev",
"type": "tmpfs",

修改後

 "root": {
"path": "rootfs",
"readonly": false
},
"hostname": "r2d2",
"mounts": [
{
"destination": "/proc",
"type": "proc",
"source": "proc"
},

建立 bb8 Container (啟用 Namespace)

bigred@alp:~/c3po$ sudo runc run bb8
/ #

上面的命令成功執行的必要條件：必須要有==rootfs + config.json（一個系統檔案的目錄 + OCI 標準的 Container 設定檔）==

/ # hostname
r2d2
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 sh
8 root 0:00 ps aux
/ # whoami
root
/ # ip a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 sh
9 root 0:00 ps aux
/ # ls -al /bin | head -n 5
total 820
drwxr-sr-x 2 root root 4096 May 25 01:15 .
drwxr-sr-x 19 root root 4096 May 25 01:15 ..
lrwxrwxrwx 1 root root 12 May 25 01:15 arch -> /bin/busybox
lrwxrwxrwx 1 root root 12 May 25 01:15 ash -> /bin/busybox
# 會直接修改 Runtime Filesystem bundle 的檔案目錄, 這樣另一個 Container 不適合再使用這個檔案目錄
/ # mkdir /zzz
# 檢視記憶體資訊
/ # cat /proc/meminfo | head -n 3
MemTotal: 2005980 kB
MemFree: 1766180 kB
MemAvailable: 1828016 kB
# Linux kernel 的目錄及檔案會受到保護
/ # rm /proc/meminfo
rm: remove '/proc/meminfo'? y
rm: can't remove '/proc/meminfo': Permission denied

Container 裡的 root 帳號，會受到 seccomp + Linux Capabilities 的限制

問題討論

rootfs + config.json（一個系統檔案的目錄 + OCI 標準的 Container 設定檔）

是，在 alp 系統中，他有自己的 pid，但在 pid namespace 裡，他的 pid 是 1

沒有，因為 Container 共用 Host OS(Kernel)，沒有自己的 OS，所以沒有開機程序。

Container 做出來的應用系統，如果夠複雜，會須要停止應用程式的關機程序

$ sudo runc run bb8
/ # mkdir /zzz
/ # exit
$ ls -ld alpminifs/zzz
drwxr-sr-x 2 root root 4096 Aug 18 13:31 alpminifs/zzz

如果有使用 overlay2 的話，alpminifs 這個目錄會是 lower dir ，所以在 bb8 Container 裡面的根目錄新增一個 zzz 目錄，如果 Host 主機上的 alpminifs 目錄也有剛剛新增的 zzz 目錄的話，就可以證明 runc 沒有使用 overlay2。

設定可用記憶體大小

$ nano config.json
......
"linux": {
"resources": {
"memory": {
"limit": 100000000
},
"devices": [
{
"allow": false,
"access": "rwm"
}
]
......

測試可用記憶體大小

$ screen -r bb10
$ sudo runc run bb10
/ # cat /dev/zero | head -c 85m | tail
/ # cat /dev/zero | head -c 96m | tail
Killed
$ exit
回到原先終端機
$ exit

建立多個 Container 共用 Runtime Filesystem bundle

準備 Runtime Filesystem bundle，安裝 umoci skopeo 兩個套件

$ sudo apk update; sudo apk add umoci skopeo

$ sudo skopeo --insecure-policy copy docker://quay.io/cloudwalker/busybox:latest oci:/home/bigred/busybox-oci:latest

上網抓 quay.io/cloudwalker/busybox:latest 這個 image ，
存成 oci image 的格式，然後放在家目錄下的 busybox-oci/
--insecure-policy，run the tool without any policy check
copy，Copy an IMAGE-NAME from one location to another

檢視 busybox-oci/ 目錄結構

$ cd; tree busybox-oci/
busybox-oci/
├── blobs
│   └── sha256
│   ├── 67c32e0fe983b2f71469c2343e6747e3f664af16f1b414e14a70cbaabed53da6
│   ├── 92f8b3f0730fef84ba9825b3af6ad90de454c4c77cde732208cf84ff7dd41208
│   └── 9dcbd1eb45054c937d5cc5816bff2a9af8fa4603cb81c7ab7161dc0224ef72b9
├── index.json
└── oci-layout

blob， Binary Large Object

# 先檢視 index.json ，看哪一個檔案是 image 的結構說明檔
$ cat busybox-oci/index.json | jq
# 檢視 image 的結構說明檔
$ cat busybox-oci/blobs/sha256/67c32e0fe983b2f71469c2343e6747e3f664af16f1b414e14a70cbaabed53da6 | jq
{
"schemaVersion": 2,
"mediaType": "application/vnd.oci.image.manifest.v1+json",
"config": {
"mediaType": "application/vnd.oci.image.config.v1+json",
"digest": "sha256:9dcbd1eb45054c937d5cc5816bff2a9af8fa4603cb81c7ab7161dc0224ef72b9",
"size": 575
},
"layers": [
{
"mediaType": "application/vnd.oci.image.layer.v1.tar+gzip",
"digest": "sha256:92f8b3f0730fef84ba9825b3af6ad90de454c4c77cde732208cf84ff7dd41208",
"size": 766640
}
]
}

可以得知 9dcb 這個開頭的檔案為 config ，92f8 這個開頭的檔案為壓縮檔

產生 Runtime Filesystem bundle

# 透過 umoci 將 image unpack 成 bundle
$ sudo umoci unpack --image busybox-oci:latest busybox-oci-bundle
$ sudo tree -L 2 busybox-oci-bundle/
busybox-oci-bundle/
├── config.json
├── rootfs
│   ├── bin
│   ├── dev
│   ├── etc
│   ├── home
│   ├── root
│   ├── tmp
│   ├── usr
│   └── var
├── sha256_67c32e0fe983b2f71469c2343e6747e3f664af16f1b414e14a70cbaabed53da6.mtree
└── umoci.json
9 directories, 3 files

探索 crun

crun is a lightweight fully featured OCI runtime and C library for running containers.

“While most of the tools used in the Linux containers ecosystem are written in Go, I believe C is a better fit for a lower level tool like a container runtime. runc, the most used implementation of the OCI runtime specs written in Go, re-execs itself and use a module written in C for setting up the environment before the container process starts.”

crun is faster than runc and has a much lower memory footprint.

安裝 Crun

$ sudo apk add crun

crun 與 runc 效能比較

$ mkdir -p ~/wulin/rt/rootfs; cd ~/wulin/rt/rootfs; curl -o alpine.tar.gz http://dl-cdn.alpinelinux.org/alpine/v3.16/releases/x86_64/alpine-minirootfs-3.16.2-x86_64.tar.gz; tar xvf alpine.tar.gz ;rm alpine.tar.gz; cd ..
$ rm config.json; crun spec
$ cat config.json | head -n 2
{
"ociVersion": "1.0.0",
$ time for i in {1..100}; do echo "exit" | sudo runc run b1 &>/dev/null; done
real 0m2.842s
....
$ time for i in {1..100}; do echo "exit" | sudo crun run b1 &>/dev/null; done
real 0m0.779s
......

overlay2 檔案系統的設定標準，並沒有在 config.json 中
crun 的速度大約是 runc 的 3 倍，以前是 4 倍，代表 runc 有在努力。

Google gVisor

讓 Container 擁有自己的 user-space kernel
它也 follow OCI Runtime spec
程式名稱是 runsc ( s 是 security 的意思 )
原本的 application 運作時會呼叫的 system call ，被攔截，變成呼叫到 gVisor 做出來的 system call

gVisor Architecture

Linux 的 Syscall 總用有 319 個，這個數字會隨著 Linux 的版本變動。
gVisor 會寫了兩支程式，一支名字叫 Sentry ，這支程式用 55 個 system call 模擬 211 個 system call
當 Container 會需要動用到檔案處理相關的 syscall ，就會透過 Gofer 這支程式來模擬
總用有 108 個 Syscall 不支援模擬
當我們的 Container run 的 application 動用到特殊的 syscall ，目前就無法用到 gVisor 模擬的 syscall
gVisor 模擬的 Syscall 還是會動用到 Host 主機的 Syscall
因 gVisor 怕自己模擬的 Syscall 被攻陷，所以還有啟動 Seccomp 來保護

安裝 gVisor

# 看自己的系統是用甚麼架構
$ ARCH=$(uname -m); URL=https://storage.googleapis.com/gvisor/releases/release/latest/${ARCH}
$ echo $ARCH
x86_64
# 下載 x86_64 架構的 gVisor
$ wget ${URL}/runsc ${URL}/runsc.sha512 ${URL}/containerd-shim-runsc-v1 ${URL}/containerd-shim-runsc-v1.sha512
# 檢核 runsc 及 containerd-shim-runsc-v1 這二個執行檔
$ sha512sum -c runsc.sha512 -c containerd-shim-runsc-v1.sha512
runsc: OK
containerd-shim-runsc-v1: OK
# 刪除不需要的檢查檔
$ rm -f *.sha512
# 賦予 runsc 和 containerd-shim-runsc-v1 權限
$ chmod a+rx runsc containerd-shim-runsc-v1; sudo mv runsc containerd-shim-runsc-v1 /usr/local/bin

執行 runsc

$ rm config.json; runsc spec
# gVisor 也 follow oci 標準
$ cat config.json | head -n 10
{
"ociVersion": "1.0.0",
"process": {
"user": {
"uid": 0,
"gid": 0
},
"args": [
"sh"
],
$ nano config.json
{
"ociVersion": "1.0.0",
"process": {
"user": {
"uid": 0,
"gid": 0
},
"args": [
"sleep", "infinite"
],
.........
$ sudo runsc run bb10 &
[1] 13101
$ ps -eaf | grep -v grep | grep sleep
$ sudo runsc list; echo ""
ID PID STATUS BUNDLE CREATED OWNER
bb10 10514 running /home/bigred/wulin/rt 2022-09-02T23:04:27.669266165+08:00 root
$ sudo runsc list
ID PID STATUS BUNDLE CREATED OWNER
bb10 13110 running /home/bigred/wulin/rt 2022-09-03T10:47:48.420096624+08:00 root
$ sudo runc list
ID PID STATUS BUNDLE CREATED OWNER
$ sudo crun list
NAME PID STATUS BUNDLE PATH CREATED OWNER

透過 runsc run 的 Container ，在 Host 主機上無法用 ps -eaf 命令看到 Container run 的 Application
runsc 與 runc 和 crun 之間，無法看到對方 run 的 Container

$ sudo runsc exec bb10 whoami
root
$ sudo runsc exec bb10 ps -eaf
PID USER TIME COMMAND
1 root 0:00 sleep infinite
2 root 0:00 ps -eaf
$ sudo runsc exec bb10 cat /etc/os-release
NAME="Alpine Linux"
ID=alpine
VERSION_ID=3.14.2
PRETTY_NAME="Alpine Linux v3.14"
HOME_URL="https://alpinelinux.org/"
BUG_REPORT_URL="https://bugs.alpinelinux.org/"

檢視與刪除 runsc Container

$ ps -eaf | grep runsc
root 10504 6400 0 23:04 pts/0 00:00:00 runsc run bb10
root 10509 10504 0 23:04 pts/0 00:00:00 runsc-gofer --root=/var/run/runsc gofer --bundle /home/bigred/wulin/rt --spec-fd=3 --mounts-fd=4 --io-fds=5 --apply-caps=false --setup-root=false --sync-userns-fd=-1
nobody 10514 10504 0 23:04 ? 00:00:00 runsc-sandbox --root=/var/run/runsc boot --attached --product-name VMware Virtual Platform --bundle=/home/bigred/wulin/rt --cpu-num 2 --total-memory 8318603264 --attached --io-fds=3 --mounts-fd=4 --start-sync-fd=5 --controller-fd=6 --spec-fd=7 --stdio-fds=8 --stdio-fds=9 --stdio-fds=10 bb10
bigred 10818 6400 0 23:08 pts/0 00:00:00 grep runsc
$ sudo runsc delete --force bb10

建立 Overlay2 檔案系統

$ mkdir -p ~/c1/{rootfs,upper,work}
$ cd c1
$ sudo mount -t overlay c1 -o lowerdir=/home/bigred/busybox-oci-bundle/rootfs,upperdir=/home/bigred/c1/upper,workdir=/home/bigred/c1/work /home/bigred/c1/rootfs
$ ls -al rootfs

用 Overlay2 的原因是因為，可以讓多個 Container 同時共用 image ，且又有各自獨立的檔案系統目錄可以作業。

Containerd

daemon 就是 Linux 系統裡在背景執行的 program，在微軟的系統裡稱為"服務"
Containerd 會自己 ( 不是透過 skopeo ) 上網幫我們下載 Container image，裡面有 Container 需要的系統檔案目錄 rootfs。
下載完後，會將 image unpack 產生 bundle ，其中包含 root_file_system ( rootfs ) 和 config.json，並交給 runc 建立 Container，最後再啟動 Overlay2 ( rootfs 設為 lowerdir )，作為 Container 的檔案系統
注意 ! Containerd 本身是不會產生 Container 的，是透過 runc 建立的。
containerd 可以從外部接受 ctr 命令
管理命令
- create ，建立 Container
- Delete ，刪除 Container
- List ，列出 Container 的清單
- Pause ，將 Container 暫停
- Start ，將 Container 啟動
結論 : 透過 Containerd 可以幫助我們管理多台 Container。

安裝與啟動 Containerd

# 安裝 Containerd
$ sudo apk add containerd
(1/1) Installing containerd (1.5.4-r1)
Executing busybox-1.32.1-r6.trigger
OK: 1087 MiB in 215 packages
# 檢查 Containerd 版本
$ containerd -v
containerd github.com/containerd/containerd v1.5.4 a62e1d690afa2b9b1d43f8ece3ff4483
# 啟動 Containerd 並推入背景執行
$ sudo containerd &
......
INFO[2021-05-04T20:27:58.882462798+08:00] containerd successfully booted in 0.039280s
INFO[2021-05-04T20:27:58.887494449+08:00] Start event monitor
INFO[2021-05-04T20:27:58.887720795+08:00] Start snapshots syncer
INFO[2021-05-04T20:27:58.887902496+08:00] Start cni network conf syncer
INFO[2021-05-04T20:27:58.888012074+08:00] Start streaming server

Containerd 原生管理命令 - `ctr`

下載 Container Image

$ sudo ctr image pull quay.io/cloudwalker/busybox:latest

quay.io 這個網站是由 RedHat (紅帽)維護的，而講到紅帽它是 Linux 系統的大哥，他有培養一個小弟: Centos Linux 作業系統（免費版）
latest 為最新版

檢查有沒有下載成功

$ ctr image ls -q
quay.io/cloudwalker/busybox:latest

啟動 Container

$ sudo ctr run --tty quay.io/cloudwalker/busybox:latest b1 sh
time="2022-05-25T10:18:14.200606732+08:00" level=info msg="loading plugin \"io.containerd.event.v1.publisher\"..." runtime=io.containerd.runc.v2 type=io.containerd.event.v1
time="2022-05-25T10:18:14.200719541+08:00" level=info msg="loading plugin \"io.containerd.internal.v1.shutdown\"..." runtime=io.containerd.runc.v2 type=io.containerd.internal.v1
time="2022-05-25T10:18:14.200728474+08:00" level=info msg="loading plugin \"io.containerd.ttrpc.v1.task\"..." runtime=io.containerd.runc.v2 type=io.containerd.ttrpc.v1
time="2022-05-25T10:18:14.201096167+08:00" level=info msg="starting signal loop" namespace=default path=/run/containerd/io.containerd.runtime.v2.task/default/b1 pid=40768 runtime=io.containerd.runc.v2
/ # hostname
alp
/ # hostname bb8
hostname: sethostname: Operation not permitted
/ # whoami
root
/ #

Container他在運作時，他沒有開機程序，在跑時只有一個 Process，在 Container 裡面即使是 root 身份，在權限上還是會受到限制。

/ # ls -al /
total 44
drwxr-xr-x 1 root root 4096 May 25 02:18 .
drwxr-xr-x 1 root root 4096 May 25 02:18 ..
drwxr-xr-x 2 root root 12288 May 17 2021 bin
drwxr-xr-x 5 root root 340 May 25 02:18 dev
drwxr-xr-x 3 root root 4096 May 17 2021 etc
drwxr-xr-x 2 nobody nobody 4096 May 17 2021 home
dr-xr-xr-x 185 root root 0 May 25 02:18 proc
drwx------ 1 root root 4096 May 25 02:18 root
drwxr-xr-x 2 root root 40 May 25 02:18 run
dr-xr-xr-x 13 root root 0 May 25 02:18 sys
drwxrwxrwt 2 root root 4096 May 17 2021 tmp
drwxr-xr-x 3 root root 4096 May 17 2021 usr
drwxr-xr-x 4 root root 4096 May 17 2021 var

答：透過 ctr 指令從 quay.io 網站下載(pull)名為 busybox 的 Container image，rootfs （系統所需的檔案目錄）就是從這邊來的

透過sudo ctr container list來看 Container 的清單

$ sudo ctr container list
CONTAINER IMAGE RUNTIME
b1 quay.io/cloudwalker/busybox:latest io.containerd.runc.v2

刪除 Container 的指令

$ sudo ctr container rm b1
$ sudo ctr container list
CONTAINER IMAGE RUNTIME

$ sudo ctr image remove quay.io/cloudwalker/busybox:latest
quay.io/cloudwalker/busybox:latest
$ sudo ctr image ls -q

Containerd 設定檔

$ sed -n 6,7p /etc/containerd/config.toml
root = "/var/lib/containerd"
state = "/run/containerd"

/var/lib/containerd/io.containerd.content.v1.content/blobs/sha256/
- 這目錄, 存儲 images 的 layer 壓縮檔及 manifest 檔
/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots
- 這目錄, 存放 overlay2 檔案系統目錄
/run/containerd/io.containerd.runtime.v2.task/default
- 這目錄, 存放 container 的工作目錄

$ sudo ls -al /var/lib/containerd/io.containerd.content.v1.content/blobs/sha256/
total 8
drwxr-xr-x 2 root root 4096 Aug 17 14:10 .
drwxr-xr-x 3 root root 4096 Aug 17 12:33 ..
# 拉 image
$ sudo ctr image pull k8s.gcr.io/pause:3.5
# 檢查
$ sudo ls -al /var/lib/containerd/io.containerd.content.v1.content/blobs/sha256/
total 312
drwxr-xr-x 2 root root 4096 Sep 3 14:47 .
drwxr-xr-x 3 root root 4096 Sep 3 14:19 ..
-r--r--r-- 1 root root 296517 Sep 3 14:47 019d8da33d911d9baabe58ad63dea2107ed15115cca0fc27fc0f627e82a695c1
-r--r--r-- 1 root root 3472 Sep 3 14:47 1ff6c18fbef2045af6b9c16bf034cc421a29027b800e4f9b68ae9b1cb3e9ae07
-r--r--r-- 1 root root 526 Sep 3 14:47 369201a612f7b2b585a8e6ca99f77a36bcdbd032463d815388a96800b63ef2c8
-r--r--r-- 1 root root 901 Sep 3 14:47 ed210e3e4a5bae1237f1bb44d72a05a2f1e5c6bfe7a7e73da179e2534269c459

建立與檢視 Container

run Container

$ sudo ctr run -d k8s.gcr.io/pause:3.5 b1

檢視 Container 狀態

$ sudo ctr c list
CONTAINER IMAGE RUNTIME
b1 k8s.gcr.io/pause:3.5 io.containerd.runc.v2

透過 ps -eaf 觀察

$ ps -eaf
UID PID PPID C STIME TTY TIME CMD
root 5076 1 0 14:20 pts/0 00:00:00 /usr/bin/containerd-shim-runc-v2 -namespace default -id b1 -address /run/containerd/containerd.sock
65535 5098 5076 0 14:20 ? 00:00:00 /pause

/usr/bin/containerd-shim-runc-v2，Containerd 的 shim (2022/09/03/14:17)

看 Overlay2 檔案系統有沒有被啟動

$ mount | grep overlay
overlay on /run/containerd/io.containerd.runtime.v2.task/default/b1/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/1/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/2/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/2/work)

答 : 有的 !

停止和刪除 Container and Image

$ sudo ctr task attach b1
^CShutting down, got signal: Interrupt
$ sudo ctr container list
CONTAINER IMAGE RUNTIME
b1 k8s.gcr.io/pause:3.5 io.containerd.runc.v2
$ sudo ctr container rm b1
$ sudo ctr image remove k8s.gcr.io/pause:3.5
k8s.gcr.io/pause:3.5

用同一片 image 建利多台 Container ，觀察 Overlay2

$ sudo ctr run -d k8s.gcr.io/pause:3.5 b1
$ sudo ctr run -d k8s.gcr.io/pause:3.5 b2
$ sudo ctr c list
CONTAINER IMAGE RUNTIME
b1 k8s.gcr.io/pause:3.5 io.containerd.runc.v2
b2 k8s.gcr.io/pause:3.5 io.containerd.runc.v2
$ mount | grep overlay
overlay on /run/containerd/io.containerd.runtime.v2.task/default/b1/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/3/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/4/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/4/work)
overlay on /run/containerd/io.containerd.runtime.v2.task/default/b2/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/3/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/5/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/5/work)
$ sudo ls -l /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/3/fs
total 668
-rwxr-xr-x 1 root root 682696 Mar 16 2021 pause

Docker-Engine

Docker 和 Container 是在同一層的，與虛擬化技術的 Hyperviser 不同，他並不會透過 Docker 與底層的 Host OS (Kernel) 和硬體周邊溝通，會直接和 Host OS (kernel) 做溝通。

Docker 軟體貨櫃運作架構

Docker engine 會上網下載 Docker image，Containerd 會將這個 image unpack 變成 bundle ，runc 會根據 bundle 裡面的 config.json 和 rootfs 將 Container 做出來。
Container 建好後，runc 不再運作，Containerd 會去問 shim，container 的狀態， shim 這個 deamon 程式會負責監控 container 起來以後的 log 檔，然後回報給 Containerd，最後 Containerd 再回報給 Docker engine
Docker 命令透過 Docker Engine ( Dockerd ) 管理 Docker Image 、 bridge (Network) 和 overlay2 堆疊型檔案系統，再透過 Containerd 來管理 Container，而 Containerd 又透過 runc 來建立 Container ，其中 runc 會透過 Chroot 、 Namespace ( UTS 、 PID 和 Net …等)、CGroup 來建立與隔離出 Container。

安裝 Docker

$ sudo apk add docker
(1/10) Installing runc (1.1.2-r0) ## 建立 Container
(2/10) Installing containerd (1.6.4-r1) ## 負責管理 Container
(3/10) Installing containerd-openrc (1.6.4-r1)
(4/10) Installing ip6tables (1.8.8-r1)
(5/10) Installing ip6tables-openrc (1.8.8-r1)
(6/10) Installing tini-static (0.19.0-r0)
(7/10) Installing docker-engine (20.10.16-r0) ## Docker 的 Deamon
(8/10) Installing docker-openrc (20.10.16-r0)
(9/10) Installing docker-cli (20.10.16-r0)
(10/10) Installing docker (20.10.16-r0) ## 管理者用的命令
Executing docker-20.10.16-r0.pre-install
Executing busybox-1.35.0-r13.trigger
OK: 1263 MiB in 262 packages

設定 Docker Daemon 自動啟動

$ sudo rc-update add docker boot

將 bigred 帳號加入 docker 群組後, 就不需使用 sudo 命令執行 docker

$ sudo addgroup bigred docker

重新開機 (一定要執行)

$ sudo reboot

檢視 Docker 運作資訊

顯示 Docker 版本

$ docker info
Client:
Context: default
Debug Mode: false
Server:
Containers: 0
Running: 0
Paused: 0
Stopped: 0
Images: 0
Server Version: 20.10.16 ## 2020年10月，修改16次
Storage Driver: overlay2

顯示 Docker 版本

$ docker info
.........
Images: 0
Server Version: 20.10.7
Storage Driver: overlay2
.......

沒有任何 Container 執行時, 只有 dockerd 及 containerd 這二個 Daemon 在運作

$ ps aux | grep -v grep | grep dockerd
3904 root 0:00 supervise-daemon docker --start --retry TERM/60/KILL/10 --stderr /var/log/docker.log --stdout /var/log/docker.log /usr/bin/dockerd --
3906 root 0:00 /usr/bin/dockerd
$ ps aux | grep -v grep | grep containerd
4070 root 0:06 containerd --config /var/run/docker/containerd/containerd.toml --log-level info

檢視 Docker 運作資訊 - 執行 Container

$ docker run --rm -d quay.io/cloudwalker/alpine sleep 120

output :

## 下面這行不是錯誤訊息，是 docker 檢測到 Host 電腦沒有 quay.io/cloudwalker/alpine 這張光碟片
unable to find image 'quay.io/cloudwalker/alpine:latest' locally
latest: Pulling from cloudwalker/alpine
540db60ca938: Pull complete
Digest: sha256:def822f9851ca422481ec6fee59a9966f12b351c62ccb9aca841526ffaa9f748
Status: Downloaded newer image for quay.io/cloudwalker/alpine:latest

docker run ，產生一台 Container (貨櫃電腦)
到 RatHat 公司的網站 quay.io 下載 alpine linux 系統的 Image
rootfs 裡面一定有 sleep 命令，讓系統去執行
--rm，只要發現 Container 關閉，就會刪除 Container
-d ，讓 Container 跑到背景執行，相當於在一個 process 加一個 &

檢查 Container 的狀態

$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9fc18d849990 quay.io/cloudwalker/alpine "sleep 120" 6 seconds ago Up 5 seconds nice_proskuriakova

看 containerd-shim 有沒有偷懶

$ ps -eaf | grep -v grep | grep 'containerd-shim'
root 8966 1 0 15:17 pts/0 00:00:00 /usr/bin/containerd-shim-runc-v2 -namespace default -id b1 -address /run/containerd/containerd.sock

兩分鐘後 --rm 指令生效，刪除 Container

$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

Docker 橋接網路

Docker 原生橋接網路架構圖

$ docker run --rm -it quay.io/cloudwalker/alpine
/ # ifconfig eth0
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
........
/ # route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 172.17.0.1 0.0.0.0 UG 0 0 0 eth0
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0
/ # cat /etc/resolv.conf
search localdomain
nameserver 192.168.179.2
/ # ping -c 2 www.hinet.net
PING www.hinet.net (203.66.32.65): 56 data bytes
64 bytes from 203.66.32.65: seq=0 ttl=127 time=3.773 ms
64 bytes from 203.66.32.65: seq=1 ttl=127 time=4.372 ms
/ # exit
$ brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.0242ab7e7035 no
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:AB:7E:70:35
inet addr:172.17.0.1 Bcast:172.17.255.255 Mask:255.255.0.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:5 errors:0 dropped:0 overruns:0 frame:0
TX packets:7 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:314 (314.0 B) TX bytes:874 (874.0 B)
# 只要 source (來源)是 172.17.0.0/16 這個 net.id 的封包，destination (目的地)是 anywhere 的，都會偽裝成 eth0 的 ip 位址上網
$ sudo iptables -t nat -L | sed -n 12,14p
Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
MASQUERADE all -- 172.17.0.0/16 anywhere
# 透過 docker run 的命令，建立一台 Container，步驟有
$ docker run --rm -itd quay.io/cloudwalker/busybox sh

透過 docker 做出來的 Container 內定與 Docker Host (ALP) 相同 DNS IP

# Docker Host DNS IP
$ cat /etc/resolv.conf
nameserver 172.16.119.1
$ docker run --rm quay.io/quay/busybox cat /etc/resolv.conf
nameserver 172.16.119.1

If the container cannot reach any of the IP addresses you specify, Google’s public DNS server 8.8.8.8 is added, so that your container can resolve internet domains.

Published ports

# 透過 docker run 建立一台 Container
# image 後面如果沒放命令的話，就會執行內定的命令
$ docker run --rm --name n1 -p 8080:80 -d quay.io/cloudwalker/nginx
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ad82bd0803fe nginx "nginx -g 'daemon of…" 47 seconds ago Up 46 seconds 0.0.0.0:8080->80/tcp n1
$ curl http://localhost:8080
.........
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
$ docker exec n1 ifocnfig
OCI runtime exec failed: exec failed: unable to start container process: exec: "ifocnfig": executable file not found in $PATH: unknown
$ docker exec n1 `which ifconfig`
OCI runtime exec failed: exec failed: unable to start container process: exec: "/sbin/ifconfig": stat /sbin/ifconfig: no such file or directory: unknown
$ docker exec n1 hostname -i
172.17.0.2
$ docker inspect n1 | grep IPAddress
"SecondaryIPAddresses": null,
"IPAddress": "172.17.0.2",
"IPAddress": "172.17.0.2",
$ docker stop n1

Container 裡面只要存放 process 和它需要的相依檔就好，不需要一些用不到的命令。

透過 docker 將 MySQL Server 貨櫃化

以後出去工作，會需要將公司傳統的應用系統貨櫃化，
網站伺服器在作業時，不一定會使用 root 帳號作業

$ docker run --name m1 -e MYSQL_ROOT_PASSWORD=bigred -d -p 3306:3306 mysql/mysql-server:latest

-e，設定環境變數，將 MYSQL_ROOT_PASSWORD 設為 bigred

將 image 做備份

$ docker save mysql/mysql-server:latest -o mysql.tar
$ ls -l
-rw------- 1 bigred bigred 438820352 Aug 23 10:37 mysql.tar
# 將 mysql Server 的 Container 啟動
$ docker run --name m1 -e MYSQL_ROOT_PASSWORD=bigred -d -p 3306:3306 mysql/mysql-server:latest
# 進入 Container
bigred@alp:~/ $ docker exec -it m1 sh
# 登入 root 帳號
sh-4.4# mysql -uroot -pbigred
.........
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
# 新增 bigboss 使用者，設定它可以透過任何主機登入，密碼設為 bigboss
mysql> CREATE USER 'bigboss'@'%' IDENTIFIED BY 'bigboss';
Query OK, 0 rows affected (0.01 sec)
# 因 8.0 版本的 密碼格式是新的，所以用舊密碼格式 mysql_native_password 重設密碼為 bigboss
mysql> ALTER USER 'bigboss' IDENTIFIED WITH mysql_native_password BY 'bigboss';
# 將以上兩行命令放在一起
mysql> CREATE USER 'bigboss'@'%' IDENTIFIED WITH mysql_native_password BY 'bigboss';
Query OK, 0 rows affected (0.00 sec)
# 將任何 Database 和 Table 的所有權限都給 bigboss 這個帳號在任何主機登入時
mysql> GRANT ALL PRIVILEGES ON *.* TO 'bigboss'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.01 sec)
# 檢查有無設定成功
mysql> SELECT user,host FROM mysql.user;
+------------------+-----------+
| user | host |
+------------------+-----------+
| bigboss | % |
| healthchecker | localhost |
| mysql.infoschema | localhost |
| mysql.session | localhost |
| mysql.sys | localhost |
| root | localhost |
+------------------+-----------+
6 rows in set (0.00 sec)
# 建 Database
$ create database brave;
# 進入 Database
$ use brave;
# 建 customer 資料表
CREATE TABLE customer (
ID int NOT NULL,
NAME varchar(100) NOT NULL,
AGE int,
ADDRESS varchar(255),
SALARY DECIMAL(10,2),
PRIMARY KEY (ID)
);
# 新增資料進去
INSERT INTO customer
VALUES (1,'Ramesh',32,'Ahmedabad','2000.00'),
(2,'Khilan',25,'Delhi','1500.00'),
(3,'kaushik',23,'kota','2000.00'),
(4,'Chaitali',25,'Mumbai','6500.00'),
(5,'Hardik',27,'Bhopal','8500.00'),
(6,'Komal',22,'MP','4500.00'),
(7,'Muffy',24,'Indore','10000.00');
# 顯示 customer 的所有資料
MySQL [brave]> select * from customer;
+----+----------+------+-----------+--------+
| ID | NAME | AGE | ADDRESS | SALARY |
+----+----------+------+-----------+--------+
| 1 | Ramesh | 32 | Ahmedabad | 2000 |
| 2 | Khilan | 25 | Delhi | 1500 |
| 3 | kaushik | 23 | kota | 2000 |
| 4 | Chaitali | 25 | Mumbai | 6500 |
| 5 | Hardik | 27 | Bhopal | 8500 |
| 6 | Komal | 22 | MP | 4500 |
| 7 | Muffy | 24 | Indore | 10000 |
+----+----------+------+-----------+--------+
7 rows in set (0.002 sec)
mysql> exit
Bye
sh-4.4# exit
exit

tags: `系統工程`

Docker-AppContainer-Part1

Thu, 08 Sep 2022 06:05:58 +0800

前篇 Container-Runtime-CRI 詳細介紹連結

Docker 命令運作圖

Application Container｜軟體貨櫃
- 別稱：Container host、Container machine
  
  在外面盡量用英文表達，才不會造成誤解。
當我們執行：dcker pull，他會去 docker 公司的 image 中心/ quay.io（另一個 image 的中心），抓一片光碟片下來
當我們拿到 image，代表我們擁有整個系統檔案目錄，再打 docker run 命令，他就會幫我們產生 Container
docker stop : 關閉 container
docker start : 開啟 Container
docker restart : 將 Container 重新開機
docker save : 將 image 變成一個打包檔 (*.tar)
docker load : 將 image 的打包檔還原成 image
docker commit 把 Container 變成 image，push (上載)到 Docker 公司的 image 中心/ quay.io（另一個 image 的中心）
當你寫了一大堆的應用系統（會計系統、倉儲系統…等），把它一個一個變成 image，push 到 image 中心，其他人就可以 docker pull 下來，再 docker run ，就能直接使用這些各式各樣的應用系統，還能降低 Human Error
image 裡面有多個設定檔和多個壓縮檔組成 bundle ，
Docker 運作流程
- image 階段
  - docker pull 先從 Docker Registry、Quay.io 獲取 image
  - docker run 創建 » containers 階段（務必要有 rootfs 如同電腦需要有硬碟的前提下才能跑）
- containers 階段
  - docker stop 關機
  - docker start 開機
  - docker restart 重新啟動
  - docker commit 將更動內容再變成 image 封裝 » image 階段 docker push
  - docker push 將 image 上載至 Docker Registry、 Quay.io 供其他工程師 pull 到設備上部署
落實 Docker 的操作可以實現順暢的交付、部署流程，有效降低 human error

搜尋與下載 Docker Image

在 Windows 系統的 CMD 視窗, 執行以下命令

$ ssh bigred@<ALP.Docker IP>

上網搜尋 busybox 的 image 資訊

$ docker search quay.io/busybox
NAME DESCRIPTION STARS OFFICIAL AUTOMATED
prometheus/busybox # Prometheus Busybox Docker Base Images [![… 0
libpod/busybox 0
quay/busybox Busybox base image. 0
...

下載 quay.io 的 busybox image

$ docker pull quay.io/quay/busybox
Using default tag: latest
latest: Pulling from quay/busybox
9c075fe2c773: Pull complete
ee780d08a5b4: Pull complete
Digest: sha256:ffd944135bc9fe6573e82d4578c28beb6e3fec1aea988c38d382587c7454f819
Status: Downloaded newer image for quay.io/quay/busybox:latest
quay.io/quay/busybox:latest

檢查我們的 alpine 主機有幾個 image

$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
quay.io/cloudwalker/alpine latest 6dbb9cc54074 13 months ago 5.61MB
quay.io/quay/busybox latest e3121c769e39 20 months ago 1.22MB

docker.io 這個網站伺服器，會限制一個 IP 在 6 小時之內，只能下載 100 次，如果我們在一間公司，上網的時候有通過 NAT 轉址上網的話，很容易就會達到這個限制
docker run 、 docker pull 都會去 docker.io 拉 image ，且只要有連接，不管中間有沒有中斷，都會被算次數。

建立與執行軟體貨櫃 (Container) 主機

建立並且執行Container

$ docker run --name b1 -it quay.io/cloudwalker/busybox /bin/sh

--name，給Container 一個名字，注意，不是Hostname！ -it ，產生虛擬終端機。貝殼程式要執行，一定要有虛擬終端機 quay.io/cloudwalker 是陳松林老師在Quay.io裡的小店鋪

/ # ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
/ # ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8): 56 data bytes
64 bytes from 8.8.8.8: seq=0 ttl=127 time=3.715 ms
64 bytes from 8.8.8.8: seq=1 ttl=127 time=4.312 ms
^C
--- 8.8.8.8 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 3.715/4.013/4.312 ms
/ # route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 172.17.0.1 0.0.0.0 UG 0 0 0 eth0
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

Container 用的 kernel 是 5.15.41-0-virt

/ # uname -r
5.15.41-0-virt

如何證明 Container 用的就是 Host OS 的 kernel 再開一個終端機

Welcome to DT Platform Version 21.08 (Alpine Linux : 3.16.0)
IP : 192.168.61.144
bigred@alp:~$ uname -r
5.15.41-0-virt

發現一模一樣，得證，Container 就是用 Host OS 的 kernel

檢查 uts Namespace 和 PID namespace

/ # hostname
651adac9666e
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 /bin/sh
13 root 0:00 ps aux

刪除 Container 的 docker 命令：docker rm b1

$ docker rm b1
b1
bigred@alp:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

建立並且執行 Container 後刪除

bigred@alp:~$ docker run --name b1 -it quay.io/cloudwalker/busybox /bin/sh
/ # exit
bigred@alp:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9fe67f884ad6 quay.io/cloudwalker/busybox "/bin/sh" 19 seconds ago Exited (0) 2 seconds ago b1

Container 被刪掉，Overlay2 檔案系統的 upper 的目錄也會被刪除
如何快速復原 ?

啟動Container

bigred@alp:~$ docker start b1
b1
bigred@alp:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9fe67f884ad6 quay.io/cloudwalker/busybox "/bin/sh" About a minute ago Up 7 seconds b1

進入已啟動的Container，並且執行ps aux

bigred@alp:~$ docker exec -it b1 sh
/ # ps aux
PID USER TIME COMMAND
1 root 0:00 /bin/sh
7 root 0:00 sh
13 root 0:00 ps aux

/bin/sh 是docker run -it所連線的貝殼程式 sh 是我們docker exec -it 連線的另一個貝殼程式

exit 離開Container後，為何Container還在跑？

/ # exit
bigred@alp:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9fe67f884ad6 quay.io/cloudwalker/busybox "/bin/sh" 28 minutes ago Up 26 minutes b1

因為我們是離開第二個連線的虛擬終端機上的貝殼程式，本體的貝殼程式並未結束。

如何進入本體/bin/sh貝殼程式？

答： docker attach b1

進入本體/bin/sh貝殼程式所在的虛擬終端機，exit 離開

bigred@alp:~$ docker attach b1
/ # exit

Container關機

bigred@alp:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9fe67f884ad6 quay.io/cloudwalker/busybox "/bin/sh" 38 minutes ago Exited (0) 2 seconds ago b1

執行brctl show ( bridge control show)

bigred@alp:~$ brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.0242626524dc no

發現interfaces 沒有人

啟動Container，並檢查interface

bigred@alp:~$ docker start b1
b1
bigred@alp:~$ brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.0242626524dc no veth19b375d

發現我們的b1正在使用它 dockerd會幫我們產生docker0 虛擬橋接器在Container裡面因為它沒有docker，所以沒人幫它產生docker0 這個虛擬橋接器。

重建 n1 Container 並設定自動啟動

$ docker run -d --restart=always --name n1 quay.io/cloudwalker/nginx

--restart=always Container自動啟動

查詢IP指令：hostname -i

# hostname -i
172.17.0.2
#ip a
sh: 10: ip: not found
# ifconfig
sh: 11: ifconfig: not found

Container裡，只要有Application的相依檔就好，不需要整個系統檔案目錄，資訊安全等級才會最高。

討論

問題討論 (一) : 為何以下命令執行錯誤 ?

$ docker run --rm --name=b1 quay.io/cloudwalker/busybox
$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

quay.io/cloudwalker/busybox，這個image可以讓我們執行內定的命令，裡面有宣告跑sh貝殼程式

應將命令更正為：

$ docker run --rm -it --name=b1 quay.io/cloudwalker/busybox
/ #

-i ，虛擬終端機 -t ，交談模式

怎麼證明--rm的參數

$ exit
$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

空的，證明成功！

==任何一個image可以有內定執行的命令（也可以沒有）==

問題討論 (二) : 為何以下命令執行錯誤 ?

$ docker run --rm --name=b2 -i -t quay.io/cloudwalker/busybox /bin/bash
docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: exec: "/bin/bash": stat /bin/bash: no such file or directory: unknown.

==因為quay.io/cloudwalker/busybox 這個 image 裡面沒有bash貝殼程式==

問題討論 (三) : 為何 Container 系統中不能修改日期與時間 ?

$ docker run --rm --name=b2 -i -t quay.io/cloudwalker/busybox /bin/sh
/ # whoami
root
/ # date --set "2006-10-10 18:00:00"
date: can't set date: Operation not permitted
Tue Oct 10 18:00:00 UTC 2006
/ # exit

==root 身份在 Container 裡不是萬能的，可以被 linux capability 管控和限制 root 的行為。==

建立 Alpine 軟體貨櫃主機

$ docker run --name a1 -it quay.io/cloudwalker/alpine sh
/ # busybox | grep httpd

Docker Alpine Image 內建的 busybox 並沒提供 httpd 功能

下載 Busybox 執行檔

/ # wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64

安裝 Busybox 執行檔

/ # chmod +x busybox-x86_64; mv busybox-x86_64 bin/busybox

執行 Busybox 命令

/ # busybox | grep httpd
hexedit, hostid, hostname, httpd, hush, hwclock, i2cdetect, i2cdump, i2cget, i2cset, id, ifconfig,

建立 Busybox Httpd 網站伺服器

製作網站目錄及首頁

/ # mkdir www; echo '<h1>Busybox HTTPd</h1>' > www/index.html

啟動 Busybox Httpd 網站伺服器

/ # busybox httpd -p 8888 -h www

安裝網頁工具

/ # apk update; apk add elinks curl

取得網頁

/ # curl http://localhost:8888
<h1>Busybox HTTPd</h1>

檢視網頁

/ # elinks -dump 1 http://localhost:8888
Busybox HTTPd
/ # exit

elinks ，文字型的瀏覽器，不會看到標籤，會直接顯示結果。（Hacker 專用）

申請 Docker HUB 帳號

Docker HUB申請網站

我的帳號：hahappyman

製作 a1 image 並上載至 Docker HUB

$ docker commit a1 hahappyman/a1
sha256:f81b48d760ff4e80633321de0bfaf6522f1d4ed55ce10dcd05dac4ecec51bc6e
$ docker login
$ docker push hahappyman/a1
$ docker logout

[重要] 關閉 Docker Host 之前, 記得執行 docker logout, 然後刪除 /home/bigred/.docker 目錄

使用自製 a1 image

重新建立 testweb 貨櫃主機
$ docker run --name testa1 -d <login name>/a1 httpd -f -p 8888 -h www
$ docker exec testa1 hostname -i
172.17.0.2
$ curl http://172.17.0.2:8888
<h1>Busybox HTTPd</h1>
以強制方式移除 testa1
$ docker rm -f testa1

因為ducker的網站對同一個IP的下載有做限制，所以發生了逃難潮到quay.io申請帳號，申請完後，到recovery開頭的quay.io的網站操作image

透過 docker history 來看 image 的內定執行命令

$ docker history quay.io/cloudwalker/nginx
IMAGE CREATED CREATED BY SIZE COMMENT
d1a364dc548d 15 months ago /bin/sh -c #(nop) CMD ["nginx" "-g" "daemon… 0B
<missing> 15 months ago /bin/sh -c #(nop) STOPSIGNAL SIGQUIT 0B
<missing> 15 months ago /bin/sh -c #(nop) EXPOSE 80 0B
<missing> 15 months ago /bin/sh -c #(nop) ENTRYPOINT ["/docker-entr… 0B
<missing> 15 months ago /bin/sh -c #(nop) COPY file:09a214a3e07c919a… 4.61kB
<missing> 15 months ago /bin/sh -c #(nop) COPY file:0fd5fca330dcd6a7… 1.04kB
<missing> 15 months ago /bin/sh -c #(nop) COPY file:0b866ff3fc1ef5b0… 1.96kB
<missing> 15 months ago /bin/sh -c #(nop) COPY file:65504f71f5855ca0… 1.2kB
<missing> 15 months ago /bin/sh -c set -x && addgroup --system -… 63.9MB
<missing> 15 months ago /bin/sh -c #(nop) ENV PKG_RELEASE=1~buster 0B
<missing> 15 months ago /bin/sh -c #(nop) ENV NJS_VERSION=0.5.3 0B
<missing> 15 months ago /bin/sh -c #(nop) ENV NGINX_VERSION=1.21.0 0B
<missing> 15 months ago /bin/sh -c #(nop) LABEL maintainer=NGINX Do… 0B
<missing> 15 months ago /bin/sh -c #(nop) CMD ["bash"] 0B
<missing> 15 months ago /bin/sh -c #(nop) ADD file:7362e0e50f30ff454… 69.3MB

history，Show the history of an image
--no-trunc，可以看到被切掉的資訊

tags: `系統工程`

上傳 image

Mon, 29 Aug 2022 10:50:36 +0800

需先下載憑證

$ sudo wget http://mj509.flymks.com:8081/pem/GandiStandardSSLCA2.pem -O /etc/ssl/certs/GandiStandardSSLCA2.pem

登入落地 QUAY

$ sudo podman login mj509.flymks.com:9090

program

#!/bin/bash
q=quay.io
u=cloudwalker
if ! sudo podman pull "$q"/"$u"/$1:latest &>/dev/null; then
echo "pull Error, pls try again!" && exit 1
else
echo "pull $1 success!"
fi
if ! sudo podman tag "$q"/"$u"/"$1":latest mj509.flymks.com:9090/brave/"$1":latest &>/dev/null; then
echo "tag Error!" && exit 1
else
echo "tag $1 success!"
fi
if sudo podman push mj509.flymks.com:9090/brave/"$1":latest &>/dev/null; then
echo "push $1 success!"
else
echo "push $1 Error!"
fi

tags: `Project QUAY`

Container 核心技術思維

Sat, 27 Aug 2022 01:21:40 +0800

甚麼是 Chroot

Chroot 可以讓我們重新設定 Process 的根目錄
重新設定的根目錄裡，需有要執行的程式，以即它的相依檔

Container 為何要用 Overlay2

Overlay2 本身可以共用同一個 lower 目錄
copy up 和 whiteout 只會發生在 upper 目錄
Container 真正使用的是 Overlay2 掛載在 merged 的那層目錄
Container 使用的檔案系統可換為
- Hadoop 的檔案系統，當 Container 在運作時，產生的資料就會存在 Hadoop 裡面。
- Rook
- nfs
- 我們掛什麼檔案系統，Container 就會用什麼檔案系統
只要是檔案系統被設定為 read only 掛載 ( mount )上去以後，就算是 root 帳號也沒辦法進行更改
假設有一台 Linux 作業系統的電腦，系統一上來，硬碟被 mount read only，代表在這台電腦對硬碟的所有一切內容皆無法更改，就算登入 root 也沒辦法更改，如果要破格，該怎麼做?
- 把該電腦硬碟拔起來，插到自己的電腦上，這時候原來的作業系統不會 mount ，我們自己 mount 的時候不要設成 read only 就好
資安大漏洞 : 其實只要 Container 動用 Overlay2 ，到它所在的主機打一個 mount ，就能知道 lowerdir 和 upperdir 是甚麼目錄，因為 upper 是 read write 的權限，所以 upper 目錄有甚麼重要檔案，通通拉走

為何用 Alpine Linux

因為它很精實，所以不容易被攻擊，當主機不容易被攻，我們在裡面建的 Container ，或是其他應用系統，就會被保護起來，即使應用系統本身有資安上的遺憾，也無仿。
- 舉例 : Container 的檔案系統就難以被破壞。

Container 為何要用 CGroup

現在台灣大環境的情況，大多數人沒有針對 process 做使用硬體資源上的限制，而為何 Container 就要做限制 ? 我的電腦上面跑的一堆程式沒限制也沒事啊 ?
- 因為有了 Container 以後，一台機器可以跑很多台 Contianer，跟以前不一樣了，以前一台機器只跑一個應用系統(人資系統, MySQL …等)，現在一台電腦可以跑很多應用系統，如果不限制硬體資源，很容易出事

Install Apache Guacamole on alpine linux

Fri, 19 Aug 2022 15:34:12 +0800

Rrepare

下載 guacamole 套件

$ git clone https://gitlab.com/flysangel/oss_gmm.git

檢查

$ cd oss_gmm/
$ $ ls -al
total 84
drwxr-sr-x 6 bigred bigred 4096 Aug 11 18:05 .
drwxr-sr-x 9 bigred bigred 4096 Aug 11 18:05 ..
drwxr-sr-x 8 bigred bigred 4096 Aug 11 18:05 .git
-rw-r--r-- 1 bigred bigred 184 Aug 11 18:05 Dockerfile.ext-demeter-v1.0.0
-rw-r--r-- 1 bigred bigred 184 Aug 11 18:05 Dockerfile.ext-leopard-v1.0.0
-rw-r--r-- 1 bigred bigred 180 Aug 11 18:05 Dockerfile.ext-sre-v1.0.0
-rw-r--r-- 1 bigred bigred 184 Aug 11 18:05 Dockerfile.ext-storage-v1.0.0
-rw-r--r-- 1 bigred bigred 181 Aug 11 18:05 Dockerfile.ext-zeus-v1.0.0
-rw-r--r-- 1 bigred bigred 934 Aug 11 18:05 Dockerfile.guacenc-v1.0.0
-rw-r--r-- 1 bigred bigred 239 Aug 11 18:05 Dockerfile.mariadb-v1.0.0
-rw-r--r-- 1 bigred bigred 136 Aug 11 18:05 Dockerfile.zh-fonts-v1.0.0
-rw-r--r-- 1 bigred bigred 11357 Aug 11 18:05 LICENSE
-rw-r--r-- 1 bigred bigred 3424 Aug 11 18:05 README.md
drwxr-sr-x 6 bigred bigred 4096 Aug 11 18:05 guac-ext
drwxr-sr-x 5 bigred bigred 4096 Aug 11 18:05 kubernetes
-rw-r--r-- 1 bigred bigred 1527 Aug 11 18:05 podman.yaml
drwxr-sr-x 3 bigred bigred 4096 Aug 11 18:05 rest-api
-rw-r--r-- 1 bigred bigred 156 Aug 11 18:05 run.conf
-rwxr-xr-x 1 bigred bigred 1369 Aug 11 18:05 run.sh

看 podman.yaml 內容

$ cat podman.yaml
apiVersion: v1
kind: Pod
metadata:
name: gmm
labels:
app: gmm
spec:
containers:
- name: guacamole
image: quay.io/flysangel/gmm:ext-demeter-v1.0.0
imagePullPolicy: IfNotPresent
ports:
- containerPort: 8080
hostPort: 8080
protocol: TCP
env:
- name: GUACAMOLE_HOME
value: /guacamole-home
- name: GUACD_HOSTNAME
value: gmm
- name: MYSQL_HOSTNAME
value: gmm
- name: MYSQL_DATABASE
value: guacamole
- name: MYSQL_USER
value: guacamole
- name: MYSQL_PASSWORD
value: mymariadbguacamole
- name: TZ
value: Asia/Taipei
- name: guacd
image: quay.io/flysangel/gmm:zh-fonts-v1.0.0
imagePullPolicy: IfNotPresent
- name: mariadb
image: quay.io/flysangel/gmm:mariadb-v1.0.0
imagePullPolicy: IfNotPresent
args:
[
"--character-set-server=utf8mb4",
"--collation-server=utf8mb4_general_ci",
]
env:
- name: MYSQL_ROOT_PASSWORD
value: root
- name: MYSQL_DATABASE
value: guacamole
- name: MYSQL_USER
value: guacamole
- name: MYSQL_PASSWORD
value: mymariadbguacamole
- name: TZ
value: Asia/Taipei
volumeMounts:
- name: mariadb
mountPath: /var/lib/mysql
volumes:
- name: mariadb
hostPath:
path: ./volume/mariadb/volume
restartPolicy: Always

containers:
- name: guacamole
image: quay.io/flysangel/gmm:ext-demeter-v1.0.0

gmm:ext-demeter-v1.0.0 ，ext 的意思就是只要使用客製化的圖案，標籤前面就會有 ext。
- ext-demeter-v1.0.0，希臘神
- ext-zeus-v1.0.0，宙斯
- ext-leopard-v1.0.0，石虎
- ext-storage-v1.0.0，學士帽
要換圖片的話，換 image 的名稱就好

$ cat Dockerfile.ext-sre-v1.0.0
FROM quay.io/flysangel/guacamole
USER root
RUN \
mkdir -p /guacamole-home/extensions
COPY ./guac-ext/jar/ext-sre.jar /guacamole-home/extensions/guac-ext.jar
USER guacamole

換圖片就要換 image 的原因是因為，如果用原生的 Guacamole 他的圖案不會是我們指定的，要做到插件，會需要打包成規定的 *.jar 檔格式，因為 Guacamole 是 Java 寫的。
如果今天要把圖片客製化，或是其他內容客製化，一定要符合官網的格式，不是將圖片放到某個資料夾就好，也就是說要把自己客製化的內容，打包成 *.jar 檔， Guacamole 才會咬住新的設定。
如果 Guacamole 要放宙斯的圖，就是要 run 宙斯的 Dockerfile 來建 Container 。
產生 .jar 不容易。
如果已啟動的 Guacamole 想換圖片，要先 Remove 掉原本的。資料的部分，因為只有 mariadb 啟動之後，他會產生 volune 在資料夾(oss_gmm)下面，所以只要 volune 還在，無論怎麼重新產生 Guacamole ，資料都不會被影響到，因為 Guacamole 是直接去讀取資料，他沒有任何東西存在 Container 裡面。

oss gmm

Apache Guacamole is a clientless remote desktop gateway. It supports standard protocols like VNC, RDP, and SSH. We call it clientless because no plugins or client software are required. Thanks to HTML5, once Guacamole is installed on a server, all you need to access your desktops is a web browser.

Apache guacamole

Chinese-characters

How to start on podman

Git clone

$ git clone https://gitlab.com/flysangel/oss_gmm.git

Use oss gmm
```
$ cd oss_gmm
```
Create db volume
```
$ mkdir -p ./volume/mariadb/volume
```

podman play

# single guacd
$ sudo podman play kube podman.yaml
$ sudo podman ps -a
# stop single guacd
$ sudo podman pod stop gmm
$ sudo podman pod rm gmm
$ sudo rm -r volume

play，Play containers, pods or volumes from a structured file

Test

Open Chrome

http://localhost:8080/guacamole

username: guacadmin
password: guacadmin

Reset guacadmin password

# https://github.com/apache/guacamole-client/blob/master/extensions/guacamole-auth-jdbc/modules/guacamole-auth-jdbc-mysql/schema/002-create-admin-user.sql

-- Create default user "guacadmin" with password "guacadmin"
INSERT INTO guacamole_entity (name, type) VALUES ('guacadmin', 'USER');
INSERT INTO guacamole_user (entity_id, password_hash, password_salt, password_date)
SELECT
 entity_id,
 x'CA458A7D494E3BE824F5E1E175A1556C0F8EEF2C2D7DF3633BEC4A29C4411960', -- 'guacadmin'
 x'FE24ADC5E11E2B25288D1704ABE67A79E342ECC26064CE69C5B3177795A82264',
 NOW()
FROM guacamole_entity WHERE name = 'guacadmin';

-- Grant this user all system permissions
INSERT INTO guacamole_system_permission (entity_id, permission)
SELECT entity_id, permission
FROM (
 SELECT 'guacadmin' AS username, 'CREATE_CONNECTION' AS permission
 UNION SELECT 'guacadmin' AS username, 'CREATE_CONNECTION_GROUP' AS permission
 UNION SELECT 'guacadmin' AS username, 'CREATE_SHARING_PROFILE' AS permission
 UNION SELECT 'guacadmin' AS username, 'CREATE_USER' AS permission
 UNION SELECT 'guacadmin' AS username, 'CREATE_USER_GROUP' AS permission
 UNION SELECT 'guacadmin' AS username, 'ADMINISTER' AS permission
) permissions
JOIN guacamole_entity ON permissions.username = guacamole_entity.name AND guacamole_entity.type = 'USER';

-- Grant admin permission to read/update/administer self
INSERT INTO guacamole_user_permission (entity_id, affected_user_id, permission)
SELECT guacamole_entity.entity_id, guacamole_user.user_id, permission
FROM (
 SELECT 'guacadmin' AS username, 'guacadmin' AS affected_username, 'READ' AS permission
 UNION SELECT 'guacadmin' AS username, 'guacadmin' AS affected_username, 'UPDATE' AS permission
 UNION SELECT 'guacadmin' AS username, 'guacadmin' AS affected_username, 'ADMINISTER' AS permission
) permissions
JOIN guacamole_entity ON permissions.username = guacamole_entity.name AND guacamole_entity.type = 'USER'
JOIN guacamole_entity affected ON permissions.affected_username = affected.name AND guacamole_entity.type = 'USER'
JOIN guacamole_user ON guacamole_user.entity_id = affected.entity_id;

License

Apache License.

How to start on podman

Alpine install podman

Ubuntu install podman

Git clone

$ git clone https://gitlab.com/flysangel/oss_ncb.git

Use oss ncb
```
$ cd oss_ncb
```

Setting init-letsencrypt.conf

$ nano init-letsencrypt.conf
::
EMAIL='qazzxc5200@gmail.com'
DOMAINS='flymks.com gmm.flymks.com web.flymks.com'

Change nginx default.conf

$ nano ./volume/nginx/conf.d/default.conf
::
server_name gmm.flymks.com web.flymks.com;

Run init-letsencrypt
```
$ sudo ./init-letsencrypt.sh
```

Change init-letsencrypt.conf to prod

$ nano init-letsencrypt.conf
::
STAGING='0'

Run init-letsencrypt
```
$ sudo ./init-letsencrypt.sh
```

Change nginx default.conf

$ nano ./volume/nginx/conf.d/default.conf
::
server {
 listen 443 ssl;

 server_name gmm.flymks.com;
 include /etc/nginx/policy/ssl/flymks.com.conf;

 location / {
 include /etc/nginx/policy/websocket/websocket.conf;
 proxy_pass http://192.168.1.252:8080/guacamole/;
 }
}

podman play

$ sudo podman play kube podman.yml
$ sudo podman ps -a

License

Apache License.

 315 cd /etc/local.d/
316 ls -al
317 sudo nano gmm.start
$ cat gmm.start
sudo podman pod restart gmm
318 sudo nano ncb.start
$ cat ncb.start
sudo podman pod restart ncb
319 sudo chmod a+x gmm.start
320 sudo chmod a+x ncb.start
343 git clone https://gitlab.com/flysangel/oss_ncb.git
344 cd oss_ncb
345 nano init-letsencrypt.conf
346 ls -al
347 ./init-letsencrypt.sh
348 sudo ./init-letsencrypt.sh
349 nano init-letsencrypt.conf
350 sudo ./init-letsencrypt.sh
351 sudo nano ./volume/nginx/conf.d/default.conf
352 sudo nano ./volume/nginx/conf.d/default.conf
353 ip a
354 sudo podman play kube podman.yaml
355 sudo podman ps -a
356 sudo podman ps -a
357 sudo podman ps -a
358 ls -a-l
359 cat init-letsencrypt.sh
360 cat init-letsencrypt.conf
361 sudo podman pod ps
362 sudo podman ps -a
363 sudo podman logs ncb-nginx
364 sudo nano ./volume/nginx/conf.d/default.conf
365 sudo podman pod stop ncb
366 sudo podman pod rm ncb
367 sudo podman play kube podman.yaml
368 cat init-letsencrypt.sh
369 cat init-letsencrypt.conf
370 sudo podman pod ps
371 sudo podman pod stop ncb
372 sudo podman pod rm ncb
373 sudo podman ps -a
374 ls -al
375 sudo ./init-letsencrypt.sh
376 cat volume/nginx/conf.d/default.conf
377 sudo nano volume/nginx/conf.d/default.conf
378 sudo podman play kube podman.yaml
379 sudo passwd bigred

tags: `Apache Guacamole`

Unshare program

Sun, 14 Aug 2022 06:47:44 +0800

`uc.sh`

#!/bin/bash
# run daemon
bash /home/bigred/suc.sh &
# var
alp_url="http://dl-cdn.alpinelinux.org/alpine/v3.16/releases/x86_64/alpine-minirootfs-3.16.1-x86_64.tar.gz"
CGROUP="/sys/fs/cgroup"
# 建立 rootfs 目錄
if [ ! -d "~/rootfs" ]; then
mkdir -p ~/rootfs && echo -e "\nrootfs dir 建立成功 !"
else
echo -e "\nrootfs dir 已存在!"
fi
# 下載和解壓縮 Alpine linux 最小的檔案系統
if [ ! -f ~/rootfs/alpine.tar.gz ]; then
cd ~/rootfs; curl -s -o alpine.tar.gz ${alp_url}
[ -f ~/rootfs/alpine.tar.gz ] && tar xvf alpine.tar.gz &>/dev/null && rm alpine.tar.gz; cd ..
[ -d ~/rootfs/bin/ ] && sudo chown -R root:root ~/rootfs && echo "Alpine 最小的檔案系統已下載和解壓縮完畢 !"
else
cd ~
[ -d ~/rootfs/bin/ ] && sudo chown -R root:root ~/rootfs && echo "Alpine 最小的檔案系統已存在!!"
fi
# 建立 Overlay2 檔案系統所需的目錄
if [ ! -d ~/ov22 ]; then
cd ~;mkdir -p ~/ov22/{upper,lower,merged,work}
[ "$?" == "0" ] && sudo chown -R root:root ~/ov22/
[ "$?" == "0" ] && echo "Overlay2 檔案系統所需的目錄建立成功！"
else
echo "Overlay2 檔案系統所需的目錄已存在 !"
fi
# 掛載 Overlay2
if ! mount | grep -w "^overlay" &>/dev/null; then
sudo mount -t overlay overlay -o lowerdir=${HOME}/ov22/lower:${HOME}/rootfs,upperdir=${HOME}/ov22/upper,workdir=${HOME}/ov22/work ${HOME}/ov22/merged
[ "$?" == "0" ] && echo "掛載 Overlay2 成功 !"
else
echo "Overlay2 已存在 !"
fi
# mount 零號裝置
if ! mount | grep 'devtmpfs on ${HOME}/ov22/merged/dev' &>/dev/null; then
sudo mount --bind -o ro /dev ${HOME}/ov22/merged/dev
[ "$?" == "0" ] && echo "零號裝置安裝成功！"
else
echo "零號裝置已存在！"
fi
# 在 /sys/fs/cgroup/memory/ 目錄下建立 demo2 目錄
if [ ! -d ${CGROUP}/memory/demo2 ]; then
sudo mkdir ${CGROUP}/memory/demo2
[ "$?" == "0" ] && echo "${CGROUP}/memory/demo2 建立成功!"
else
echo "${CGROUP}/memory/demo2 已存在"
fi
# 關閉記憶體不夠自動拿硬碟來使用的功能
if echo "0" | sudo tee ${CGROUP}/memory/demo2/memory.swappiness &>/dev/null; then
echo "memory.swappiness 已關閉 !"
else
echo "memory.swappiness 異常 !" && exit 1
fi
# 限制記憶體大小 ，Default : 1 G
meml="1073741824"
if echo "$meml" | sudo tee ${CGROUP}/memory/demo2/memory.limit_in_bytes &>/dev/null; then
echo "限制記憶體大小 ${meml} !"
else
echo "記憶體限制 ${mem1} 失敗!" && exit 1
fi
# 建立和設定 cpuset 控制子群組 - first
if [ ! -d ${CGROUP}/cpuset/first ]; then
sudo mkdir ${CGROUP}/cpuset/first
[ "$?" == "0" ] && sudo chown bigred:root -R ${CGROUP}/cpuset/first
[ "$?" == "0" ] && echo "${CGROUP}/cpuset/first 建立和設定成功!"
else
echo "${CGROUP}/cpuset/first 已存在!"
fi
# 關閉 CPU 直接存取記憶體的功能
if echo "0" | sudo tee ${CGROUP}/cpuset/first/cpuset.mems &>/dev/null; then
echo "已關閉 CPU 直接存取記憶體的功能"
else
echo "關閉 CPU 直接存取記憶體的功能 not ok , Error !!!" && exit 1
fi
# 以 root 來建立 low 控制子群組，low 繼承了 cpu controller 的所有屬性
cpulow="512"
if sudo mkdir ${CGROUP}/cpu/low &>/dev/null; then
sudo chown bigred:root -R ${CGROUP}/cpu/low
[ "$?" == "0" ] && echo "$cpulow" | sudo tee ${CGROUP}/cpu/low/cpu.shares &>/dev/null
[ "$?" == "0" ] && echo "已將 low 控制子群組分配比率設成 $cpulow"
fi
# 建立 cpu 的 high 控制子群組
cpuhigh="2048"
if sudo mkdir ${CGROUP}/cpu/high &>/dev/null; then
sudo chown bigred:root -R ${CGROUP}/cpu/high
[ "$?" == "0" ] && echo "$cpuhigh" | sudo tee ${CGROUP}/cpu/high/cpu.shares &>/dev/null
[ "$?" == "0" ] && echo "已將 high 控制子群組分配比率設成 $cpuhigh"
else
echo "${CGROUP}/cpu/high existed !"
fi
# 檢視原本 cpuset 裡的設定：
core=$(cat ${CGROUP}/cpuset/cpuset.cpus | grep -e "0-1")
if [ "$core" == "0-1" ]; then
echo "有二個 cpu core, 分別是 0 和 1"
else
echo "請確認 cpu core : ${core}" && exit 1
fi
# 設定 first 控制子群組, 將 first 控制子群組設成第一個 cpu core
if echo 0 | sudo tee ${CGROUP}/cpuset/first/cpuset.cpus &>/dev/null; then
echo "已成功將 first 控制子群組設成第一個 cpu core !"
else
echo "設定 first 控制子群組設成第一個 cpu core，出現異常，Error !!!" && exit 1
fi
# 啟動 Namespace 的功能
echo ""; read -s -n1 -p "按任意鍵啟動 sh unshare 電腦"
clear; sudo unshare --pid --fork --mount-proc --net --uts -R ~/ov22/merged sh

`suc.sh`

#!/bin/bash
# var
shPID=$(pidof sh)
# daemon
until [ "$shPID" != "" ]
do
shPID=$(pidof sh)
sleep 1
done
sleep 5
# var
shNPID=$(sudo lsns -t net | fmt -u | tail -n 2 | head -n 1 | cut -d" " -f 1)
# 將 sh process 設定只能使用 1 G 的限制
if echo ${shPID} | sudo tee /sys/fs/cgroup/memory/demo2/tasks &>/dev/null; then
echo "${shPID} process 受到記憶體 1G 的限制"
else
echo "${shPID} process set memory error !"
fi
# 將 sh process 的 PID 加入到 first 控制子群組
if echo ${shPID} | sudo tee /sys/fs/cgroup/cpuset/first/tasks &>/dev/null; then
echo "${shPID} process 只能使用 CPU Core 0 "
fi
# 新增 ve1 虛擬網路卡到 Default Namespace
# 新增 ve2 虛擬網路卡到 ${shNPID} 的 Network Namespace
# 以上這兩張網路卡會透過 ip link 用一條網路線連接起來
# veth ，Virtual Ethernet Device
# peer ，一組的意思
if ! ifconfig -a ve1 &>/dev/null; then
sudo ip link add ve1 netns 1 type veth peer name ve2 netns ${shNPID}
[ "$?" == "0" ] && echo -e "成功新增 ve1 虛擬網路卡到 Default Namespace \n成功新增 ve2 虛擬網路卡到 ${shNPID} 的 Network Namespace"
else
echo "ve1 and ve2 existed !"
fi
# 將 ve1 這張網路卡啟動，因為內定網路卡沒有啟動
if ! ifconfig vel &>/dev/null; then
sudo ip link set ve1 up && echo "ve1 網路卡啟動成功 !"
else
echo "ve1 網路卡已啟動 !"
fi
# 設定 ve1 網路卡 IP 位址
if ! ip -4 addr | grep ve1 &>/dev/null; then
sudo ip addr add 192.168.1.100/24 dev ve1 && echo "已設定 ve1 網路卡的 ip 位址為 : 192.168.1.100/24"
else
echo "ve1 ip existed !" && exit 1
fi

PTY allocation request failed on channel 0

如果遇到 ssh 連線 PTY allocation request failed on channel 0 時執行

$ umount /dev/pts
$ mount devpts /dev/pts -t devpts

tags: `系統工程`

Limit CPU Usage of a Process on Linux

Sat, 13 Aug 2022 08:53:34 +0800

Limiting CPU Usage with nice and renice:

nice 值
- 決定了哪個程序具有更高的優先級，哪個具有更低的優先級。
- nice 值為 -20 的程序將具有最高優先級，並且將使用最多的 CPU 週期。
- nice 值為 19 的程序將具有最低優先級，並且將在沒有其他程序僅使用它時使用 CPU。
- Nice 值可以在 -20 到 19 之間。

使用 nice 命令啟動一個程序

$ nice -n NICE_VALUE COMMAND_TO_RUN

-n ，--adjustment=N，設定 nice 的值，預設是 10
NICE_VALUE ，nice 值，可以是 -20 到 19 之間的任何值
COMMAND_TO_RUN ，要執行的命令

將 sleep 命令的 nice 值設為 10

$ nice -n 10 sleep 60 &
[1] 56860

檢查

$ ps -fl
F S UID PID PPID C PRI NI ADDR SZ WCHAN STIME TTY TIME CMD
0 S bigred 4009 4008 0 80 0 - 663 - 00:57 pts/1 00:00:00 -bash
0 S bigred 56860 4009 0 90 10 - 669 - 15:39 pts/1 00:00:00 sleep 60
0 R bigred 56880 4009 0 80 0 - 427 - 15:39 pts/1 00:00:00 ps -fl

注意 ! nice 值設定小於 0 ，需要管理員的權限

$ nice -n -1 sleep 60 &
nice: cannot set niceness: Permission denied

設定已經在跑的程序

$ sudo renice -n NEW_NICE_VALUE -p PROCESS_PID

-n ，設定 nice 值
-p ，設定要重新指定 nice 值的 process 的 PID

# 設定 nice 值為 10 的 sleep 命令
$ nice -n 10 sleep 600 &
# 檢查
$ ps -fl
F S UID PID PPID C PRI NI ADDR SZ WCHAN STIME TTY TIME CMD
0 S bigred 4009 4008 0 80 0 - 792 - 00:57 pts/1 00:00:00 -bash
0 S bigred 57412 4009 0 90 10 - 669 - 15:48 pts/1 00:00:00 sleep 600
0 R bigred 57470 4009 0 80 0 - 427 - 15:49 pts/1 00:00:00 ps -fl
# 重新設定 sleep 命令的 nice 值為 5
$ sudo renice -n 5 -p 57412
57412 (process ID) old priority 10, new priority 5
# 檢查是否符合預期
$ ps -fl
F S UID PID PPID C PRI NI ADDR SZ WCHAN STIME TTY TIME CMD
0 S bigred 4009 4008 0 80 0 - 792 - 00:57 pts/1 00:00:00 -bash
0 S bigred 57412 4009 0 85 5 - 669 - 15:48 pts/1 00:00:00 sleep 600
0 R bigred 57500 4009 0 80 0 - 427 - 15:50 pts/1 00:00:00 ps -fl

使用 CGROUPS 限制 CPU 使用率

在 Alpine Linux 3.16.1 安裝套件

$ sudo apk add cgroup-tools

Podman-Skopeo-Buildah

Sun, 07 Aug 2022 14:42:24 +0800

認識與安裝 Skopeo

skopeo is a command line utility that performs various operations on container images and image repositories.
skopeo does not require the user to be running as root to do most of its operations.
skopeo does not require a daemon to be running to perform its operations.
skopeo can work with OCI images as well as the original Docker v2 images.

在 Alpine Linux 執行以下命令

$ sudo apk add skopeo
$ skopeo -v
skopeo version 1.8.0 commit: b7fc5b608b641cd9b9aec2647f9236e31f8f3b27

Inspect an image in a remote registry

skopeo 可以透過 list-tags / inspect 在還沒下載 image 下來之前，得知 image 的資訊

$ sudo skopeo list-tags docker://docker.io/apache/ozone
{
"Repository": "docker.io/apache/ozone",
"Tags": [
"0.3.0",
"0.4.0",
"0.4.1",
"0.5.0",
"1.0.0",
"1.1.0",
"1.2.0",
"1.2.1",
"latest"
]
}
$ sudo skopeo inspect docker://quay.io/cloudwalker/alpine
{
"Name": "quay.io/cloudwalker/alpine",
"Digest": "sha256:def822f9851ca422481ec6fee59a9966f12b351c62ccb9aca841526ffaa9f748",
"RepoTags": [
"latest"
],
"Created": "2021-04-14T19:19:39.643236135Z",
"DockerVersion": "19.03.12",
"Labels": null,
"Architecture": "amd64",
"Os": "linux",
"Layers": [
"sha256:540db60ca9383eac9e418f78490994d0af424aab7bf6d0e47ac8ed4e2e9bcbba"
],
"Env": [
"PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
]
}

下載並研究 Docker Image 內部結構

$ sudo skopeo --insecure-policy copy docker://quay.io/cloudwalker/alpine dir:/tmp/alpine
Getting image source signatures
Copying blob ca3cd42a7c95 done
Copying config 49f356fa45 done
Writing manifest to image destination
Storing signatures
$ tree /tmp/alpine
/tmp/alpine
├── 540db60ca9383eac9e418f78490994d0af424aab7bf6d0e47ac8ed4e2e9bcbba
├── 6dbb9cc54074106d46d4ccb330f2a40a682d49dda5f4844962b7dce9fe44aaec
├── manifest.json
└── version
* The Config and Image Layers are there, but remember we need to rely on a graph driver in a container engine to map them into a RootFS

檢視 Docker Image Manifest 資訊

$ cat /tmp/alpine/manifest.json
{
"schemaVersion": 2,
"mediaType": "application/vnd.docker.distribution.manifest.v2+json",
"config": {
"mediaType": "application/vnd.docker.container.image.v1+json",
"size": 1472,
"digest": "sha256:6dbb9cc54074106d46d4ccb330f2a40a682d49dda5f4844962b7dce9fe44aaec"
},
"layers": [
{
"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
"size": 2811969,
"digest": "sha256:540db60ca9383eac9e418f78490994d0af424aab7bf6d0e47ac8ed4e2e9bcbba"
}
]
}

檢視 Docker Image Layer 資訊

$ cd /tmp/alpine; sudo mkdir img
$ sudo tar xvfz 59bf1c3509f33515622619af21ed55bbe26d24913cedbca106468a5fb37a50c3 -C img/
$ tree -L 1 img
img/
├── bin
├── dev
├── etc
├── home
├── lib
├── media
├── mnt
├── opt
├── proc
├── root
├── run
├── sbin
├── srv
├── sys
├── tmp
├── usr
└── var
17 directories, 0 files
$ cat 6dbb9cc54074106d46d4ccb330f2a40a682d49dda5f4844962b7dce9fe44aaec | jq
{
"architecture": "amd64",
"config": {
"Hostname": "",
"Domainname": "",
"User": "",
"AttachStdin": false,
"AttachStdout": false,
"AttachStderr": false,
"Tty": false,
"OpenStdin": false,
"StdinOnce": false,
"Env": [
"PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
],
"Cmd": [
"/bin/sh"
],
"Image": "sha256:d3d4554f8b07cf59894bfb3551e10f89a559b24ee0992c4900c54175596b1389",
"Volumes": null,
"WorkingDir": "",
"Entrypoint": null,
"OnBuild": null,
"Labels": null
},
"container": "60a3cdd128a8b373b313ed3e1083ff45e6badaad5dca5187282b005c38d04712",
"container_config": {
"Hostname": "60a3cdd128a8",
"Domainname": "",
"User": "",
"AttachStdin": false,
"AttachStdout": false,
"AttachStderr": false,
"Tty": false,
"OpenStdin": false,
"StdinOnce": false,
"Env": [
"PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
],
"Cmd": [
"/bin/sh",
"-c",
"#(nop) ",
"CMD [\"/bin/sh\"]"
],
"Image": "sha256:d3d4554f8b07cf59894bfb3551e10f89a559b24ee0992c4900c54175596b1389",
"Volumes": null,
"WorkingDir": "",
"Entrypoint": null,
"OnBuild": null,
"Labels": {}
},
"created": "2021-04-14T19:19:39.643236135Z",
"docker_version": "19.03.12",
"history": [
{
"created": "2021-04-14T19:19:39.267885491Z",
"created_by": "/bin/sh -c #(nop) ADD file:8ec69d882e7f29f0652d537557160e638168550f738d0d49f90a7ef96bf31787 in / "
},
{
"created": "2021-04-14T19:19:39.643236135Z",
"created_by": "/bin/sh -c #(nop) CMD [\"/bin/sh\"]",
"empty_layer": true
}
],
"os": "linux",
"rootfs": {
"type": "layers",
"diff_ids": [
"sha256:b2d5eeeaba3a22b9b8aa97261957974a6bd65274ebd43e1d81d0a7b8b752b116"
]
}
}

認識 OCI Image

This specification defines an OCI Image, consisting of a manifest, an image index (optional), a set of filesystem layers, and a configuration.

檢視 OCI Image 結構順序 Image Index -> Image Manifest -> Image Configuration + Filesystem Layer

Runtime Filesystem bundle is what you get when you download the container image and unpack it.

OCI Image -> OCI Runtime Filesystem Bundle -> OCI Runtime (runc)

$ sudo skopeo --insecure-policy copy docker://quay.io/cloudwalker/busybox:latest oci:/home/bigred/busybox-oci:latest
$ cd; tree busybox-oci/
busybox_oci/
├── blobs
│ └── sha256
│ ├── 03781489f3738437ae98f13df5c28cc98bbc582254cfbf04cc7381f1c2ac1cc0
│ ├── 3cb635b06aa273034d7080e0242e4b6628c59347d6ddefff019bfd82f45aa7d5
│ └── bcd679c508ab0387148e6208479400b004f9bf9959124ce536b4be155f3251ca
├── index.json
└── oci-layout
* blob : Binary Large Object

透過 skopeo 看 image 可以得知， image 分為 docker image 以及 OCI image。

產生 Runtime Filesystem bundle

$ sudo apk add umoci
$ sudo umoci unpack --image busybox-oci:latest busybox-oci-bundle
$ sudo tree -L 2 busybox-oci-bundle/
busybox-oci-bundle/
├── config.json
├── rootfs
│   ├── bin
│   ├── dev
│   ├── etc
│   ├── home
│   ├── root
│   ├── tmp
│   ├── usr
│   └── var
├── sha256_67c32e0fe983b2f71469c2343e6747e3f664af16f1b414e14a70cbaabed53da6.mtree
└── umoci.json
9 directories, 3 files

umoci ，可以幫我們把 rootfs 和 config.json 做整理，整理後就可以直接丟給 runc / crun / runsc 來使用

Skopeo Syncing registries

$ sudo skopeo login --tls-verify=false -u myquay -p myquay2022 $IP
將 Quay.io 中的 alpine image (包含所有 Tag) 同步到 自建的 Project Quay
$ sudo skopeo sync --tls-verify=false --src docker --dest docker quay.io/cloudwalker/alpine $IP/myquay
檢視同步到 自建 Project Quay 所有不同 Tag 的 alpine image
$ sudo skopeo list-tags --tls-verify=false docker://$IP/myquay/alpine
{
"Repository": "192.168.61.149/myquay/alpine",
"Tags": [
"latest"
]
}

YAML file content (sync.yml)

$ nano sync.yaml
quay.io:
images:
cloudwalker/busybox: []
cloudwalker/alpine.sshd:
- latest
cloudwalker/alpine.derby:
- latest
$ sudo skopeo sync --tls-verify=false --src yaml --dest docker sync.yaml $IP/myquay/
$ sudo skopeo list-tags --tls-verify=false docker://$IP/myquay/busybox
{
"Repository": "192.168.61.149/myquay/busybox",
"Tags": [
"1.35.0",
"latest"
]
}

探索 Buildah

$ mkdir ~/alpine.sshd; cd ~/alpine.sshd
$ nano Dockerfile
FROM 192.168.61.149/myquay/alpine
RUN \
apk update && \
apk add --no-cache nano sudo bash wget curl git tree grep \
elinks shadow procps util-linux coreutils binutils \
findutils openssh-server tzdata && \
# 設定時區
cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime && \
ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key && \
echo -e 'Welcome to ALP sshd 6000\n' > /etc/motd && \
# 建立管理者帳號 bigred
adduser -s /bin/bash -h /home/bigred -G wheel -D bigred && \
echo "%wheel ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers && \
echo -e 'bigred\nbigred\n' | passwd bigred &>/dev/null && \
rm /sbin/reboot && rm /usr/bin/killall
ENTRYPOINT ["/usr/sbin/sshd"]
CMD ["-D"]

$ buildah bud --tls-verify=false --format=docker --squash -t alp.sshd .

--squash 這參數在 image 中只產生一個資料目錄 (layer), 但會保留 image 製作過程, 也就是 Dockerfile 內容，如果沒有加這個參數，Dockerfile 裡面有幾個參數，就會有幾個壓縮檔

$ buildah images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/alp.sshd latest f662096fabbe 6 minutes ago 62.2 MB
$ podman run --name s1 -d -p 22100:22 localhost/alp.sshd
00125e52bcb7f56ef74d63a8937a67c41bd00f16c0f21eaf37092b8ee0598505
$ ssh bigred@localhost -p 22100
bigred@localhost's password: bigred
Welcome to ALP sshd 6000
00125e52bcb7:~$ exit

Building a Image

$ container=$(buildah from alpine)
$ echo $container
alpine-working-container
$ buildah run $container -- apk add bash
$ buildah run $container -- apk add --update nodejs nodejs-npm
# 在外面設定 Dockerfile 的命令
$ buildah config --workingdir /usr/src/app/ $container
$ buildah run $container -- npm init -y
Wrote to /usr/src/app/package.json:
{
"name": "app",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"keywords": [],
"author": "",
"license": "ISC"
}

Building a Image

$ nano HelloWorld.js
const express = require('express')
const app = express()
const port = 3000
app.get('/', (req, res) => res.send('Hello World!'))
app.listen(port, () => console.log(`Example app listening on port ${port}!`))
$ buildah copy $container HelloWorld.js
$ buildah config --entrypoint "node HelloWorld.js" $container
WARN[0000] cmd "/bin/sh" exists but will be ignored because of entrypoint settings
# 將 $container 做成 image
$ buildah commit $container buildah-hello-world
$ buildah images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/buildah-hello-world latest b685e41a1079 6 seconds ago 69.6 MB

tags: `系統工程`

Podman Create Project Quay

Sun, 07 Aug 2022 14:30:12 +0800

Project Quay 官網
Project Quay，open source distribution of Red Hat Quay

部署前置作業

$ sudo apk update; sudo apk add acl
$ wget https://web.flymks.com/podman/quay-podman.zip
$ unzip quay-podman.zip; cd quay-podman
$ ./keyman.sh

檢視目錄結構

$ tree
.
├── config
│ └── config.yaml
├── initdb.sql
├── keyman.sh
└── quay-pod.yaml

檢視 `keyman.sh`

envsubst < quay-pod.yaml | sudo podman play kube -

將 quay-pod.yaml ，丟給 qnvsuset 做變數的置換，再將置換的結果透過 - (stdin) ，輸入給 sudo podman play kube

部署 Quay

Quay 部署時需要初始化，需等待3~5分鐘

$ sed -i "s|192.168.1.197|${IP}|g" keyman.sh
$ ./keyman.sh start
wait quay ready...ok
create superuser [quay] successfully!

檢查是否符合預期

$ sudo podman pod list
POD ID NAME STATUS CREATED INFRA ID # OF CONTAINERS
b13cc3380349 quay Running 5 minutes ago 620e9810b091 4
$ sudo podman ps -a --pod
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES POD ID PODNAME
620e9810b091 localhost/podman-pause:4.1.0-1658428998 5 minutes ago Up 4 minutes ago 0.0.0.0:80->8080/tcp, 0.0.0.0:5432->5432/tcp, 0.0.0.0:6379->6379/tcp b13cc3380349-infra b13cc3380349 quay
cdff0bf3375a quay.io/flysangel/quay-rhel8:v3.6.6 registry 5 minutes ago Up 4 minutes ago 0.0.0.0:80->8080/tcp, 0.0.0.0:5432->5432/tcp, 0.0.0.0:6379->6379/tcp quay-quay-app b13cc3380349 quay
56025da2482f quay.io/flysangel/postgres:9.6.24-alpine postgres 4 minutes ago Up 4 minutes ago 0.0.0.0:80->8080/tcp, 0.0.0.0:5432->5432/tcp, 0.0.0.0:6379->6379/tcp quay-postgresql b13cc3380349 quay
7b9109217f3a quay.io/flysangel/redis-5:1-169 run-redis 4 minutes ago Up 4 minutes ago 0.0.0.0:80->8080/tcp, 0.0.0.0:5432->5432/tcp, 0.0.0.0:6379->6379/tcp quay-redis b13cc3380349 quay

登入 Quay

打開瀏覽器，網址 http://<vm ip>

建立 Quay User

更改 Quay User 密碼

Image 上傳落地 Quay

從 quay.io pull image

$ sudo podman run -it --rm quay.io/flysangel/busybox:1.35.0 echo 'Hello Quay'

output :

Trying to pull quay.io/flysangel/busybox:1.35.0...
Getting image source signatures
Copying blob fc0cda0e09ab done
Copying config d8c0f97fc6 done
Writing manifest to image destination
Storing signatures
Hello Quay

檢視 image 資訊

$ sudo podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/podman-pause 4.1.0-1658428998 bdb66cf48ae5 21 minutes ago 50.3 kB
quay.io/flysangel/busybox 1.35.0 d8c0f97fc6a6 6 weeks ago 1.47 MB

設定 image 新的 tag

$ sudo podman tag quay.io/flysangel/busybox:1.35.0 $IP/myquay/busybox:1.35.0

檢視 image 資訊

$ sudo podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/podman-pause 4.1.0-1658428998 bdb66cf48ae5 24 minutes ago 50.3 kB
quay.io/flysangel/busybox 1.35.0 d8c0f97fc6a6 6 weeks ago 1.47 MB
192.168.61.155/myquay2022/busybox 1.35.0 d8c0f97fc6a6 6 weeks ago 1.47 MB

登入落地 Quay

$ sudo podman login $IP
Username: myquay
Password: myquay2022
Error: authenticating creds for "192.168.61.4": pinging container registry 192.168.61.4: Get "https://192.168.61.4/v2/": dial tcp 192.168.61.4:443: connect: connection refused
$ sudo nano /etc/hosts
127.0.0.1 localhost alp
<VM IP> quay
$ sudo podman login --tls-verify=false $IP
Username: myquay
Password: myquay2022
Login Succeeded!

把 image 上傳至落地 Quay

$ sudo podman push --tls-verify=false $IP/myquay/busybox:1.35.0

使用 myquay 登入落地 Quay, 打開瀏覽器，網址 http://<VM IP>

設定 image 公開下載

刪除原來的 images

$ sudo podman rmi 192.168.61.155/myquay/busybox:1.35.0
$ sudo podman rmi quay.io/flysangel/busybox:1.35.0
# 檢查是否符合預期
$ sudo podman images
REPOSITORY TAG IMAGE ID CREATED SIZE

檢測是否可以透過落地 quay 的 image 來建立 Container

$ sudo podman run --rm --tls-verify=false -it 192.168.61.155/myquay/busybox:1.35.0
Trying to pull 192.168.61.155/myquay/busybox:1.35.0...
Getting image source signatures
Copying blob 2ef81dadf7f0 done
Copying config d8c0f97fc6 done
Writing manifest to image destination
Storing signatures
/ # exit

養成好習慣，不上傳 image 就要登出

$ sudo podman logout $IP
Removed login credentials for 192.168.61.155

tags: `Project QUAY`

`keyman.sh`

Sun, 07 Aug 2022 14:25:38 +0800

#!/bin/bash
set -euo pipefail
set -a
script_dir=$(cd "$(dirname "${BASH_SOURCE[0]}")" &>/dev/null && pwd -P)
QUAY="${script_dir}"
QUAY_URL="192.168.61.155"
QUAY_HOSTPATH="${QUAY}/storage"
PSQL_HOSTPATH="${QUAY}/postgresql-quay"
usage() {
cat <<EOF
Usage:
$(basename "${BASH_SOURCE[0]}") [options]
Available options:
ps podman ps -a
start deploy quay
stop delete quay
stop -v delete quay and hostPath volume
clean delete hostPath volume
EOF
exit
}
wait_quay_ready() {
echo -n "wait quay ready..."
until [ "$(curl -s ${QUAY_URL} -o /dev/null --write-out '%{http_code}')" -eq 200 ]; do
sleep 5
done
echo "ok"
}
super_user_data(){
cat <<EOF
{
"username": "quay",
"password": "Quay12345",
"email": "quay@cia.com"
}
EOF
}
create_super_user() {
curl -X POST -k http://"${QUAY_URL}"/api/v1/user/initialize \
--header 'Content-Type: application/json' \
--data "$(super_user_data)" &>/dev/null
echo "create superuser [quay] successfully!"
}
if ! command -v envsubst &>/dev/null; then
echo "Command 'envsubst' not found" && exit 1
fi
case "${1-}" in
start)
if sudo podman pod ps | grep "quay" &>/dev/null; then
echo "quay is deployed!" && exit 1
fi
if [ ! -d "${PSQL_HOSTPATH}" ]; then
mkdir -p "${PSQL_HOSTPATH}"
setfacl -m u:26:-wx "${PSQL_HOSTPATH}"
fi
if [ ! -d "${QUAY_HOSTPATH}" ]; then
mkdir -p "${QUAY_HOSTPATH}"
setfacl -m u:1001:-wx "${QUAY_HOSTPATH}"
fi
envsubst < quay-pod.yaml | sudo podman play kube -
wait_quay_ready
create_super_user
;;
stop)
if sudo podman pod ps | grep "quay" &>/dev/null; then
sudo podman pod stop quay
sudo podman pod rm quay
else
echo "quay is not deployed!" && exit 1
fi
if [ "${2-}" == "-v" ]; then
sudo rm -r "${QUAY_HOSTPATH}"
sudo rm -r "${PSQL_HOSTPATH}"
fi
;;
clean)
[ -d "${QUAY_HOSTPATH}" ] && sudo rm -r "${QUAY_HOSTPATH}"
[ -d "${PSQL_HOSTPATH}" ] && sudo rm -r "${PSQL_HOSTPATH}"
;;
ps)
sudo podman ps -a
;;
*)
usage
;;
esac
set +a

tags: `Project QUAY`

Alpine Linux SSH 僅允許透過憑證連線

Sun, 07 Aug 2022 13:28:38 +0800

重點觀念

a2 要連到 a1 ，a1 需有 a2 的公鑰

變數說明

$a1ip ，a1 主機的 ip

a1 主機設定

# 修改 ssh 設定檔
$ sudo nano /etc/ssh/sshd_config
PasswordAuthentication no ## 不允許透過密碼登入系統
PermitEmptyPasswords no ## 不允許空密碼登入系統
PubkeyAuthentication yes ## 允許透過公鑰登入
# 重啟 ssh 服務
$ sduo service sshd restart
# 透過 rsa 加密演算法產生私鑰和公鑰，並且不要密碼
$ ssh-keygen -t rsa -P ''
# 檢查
$ ls -al .ssh/
total 16
drwx--S--- 2 bigred bigred 4096 Jun 21 09:16 .
drwxr-sr-x 8 bigred bigred 4096 Jun 21 09:16 ..
-rw------- 1 bigred bigred 2590 Jun 21 09:16 id_rsa ## 私鑰
-rw-r--r-- 1 bigred bigred 563 Jun 21 09:16 id_rsa.pub ## 公鑰

補充說明/etc/ssh/sshd_config :

PubkeyAuthentication yes
# The default is to check both .ssh/authorized_keys and .ssh/authorized_keys2
# but this is overridden so installations will only check .ssh/authorized_keys
AuthorizedKeysFile .ssh/authorized_keys

AuthorizedKeysFile ，用來設定公鑰驗證檔案的路徑
.ssh/authorized_keys ，系統驗證公鑰的檔案路徑 ( 系統預設 )

補充說明 : ssh-keygen

Description:
authentication key generation, management and conversion
生成、管理和轉換，身份驗證的密鑰
-t type
Specifies the type of key to create.
透過甚麼加密演算法來生成密鑰
-P passphrase
Provides the (old) passphrase.
給(舊)密碼

補充說明 : ssh-copy-id

Description :
install your public key in a remote machines authorized_keys
把你的公鑰安裝到指定主機的使用者家目錄裡 .ssh 目錄下的 "authorized_keys"
-i [identity_file]
指定要把哪一把密鑰 append 到 使用者家目錄的.ssh/authorized_keys 的檔案裡

a2 主機設定

# 將公鑰複製到 a1 主機
$ ssh-copy-id bigred@$a1ip
# 看自己的公鑰
$ cat .ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDUIHhk3PGxWKKNa/gTBzIVQAk5n2zWUZAg3Z10aIO/l0RGTlTXApcylKjGHFwHTJN5AE7YnjE/V1XiwkUGyaYK18Mih7sNI4E/BDIBZV3h41hX6imvqtLJrlcH6dNFRQJWvMF0DbjkIkAG7ubBHEtmqXlmo1XUGh+Og+bBvYfzOA7nmV1LUblN8trOZvFQlzWKCJ+yQLQrAsPqFsyUT5Z4VaN0JG/8vT7euyUwwDeGApMDVISejaZIfQHbXHDUzQ+Vm+xSfBU9zDpfVDN4Y+Hiwrr/8uheDNXbnX0BrL92cLNmKGed82LxxEJ55KVWMSjvilPGoxug2Fh0vbAhszUKU+tdTRMuLZUw0f5B40lDi5JRrfn1Eb9y/oY2x/Nc4Psz82sH+m21jA+rY2YPpmY4Iar1iJh7KqtAt228PIaBPsLlhZAuFsfDi7NmDv+ZUm96nrJiRZ3dVvQeMJLloA/FH1jjgtmTX8Vch+yRtHDxeXIPNcNEKoJWOlL1A1O8lYs= bigred@a2

在 a1 電腦檢查有無收到 a2 的公鑰

$ cat .ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQDUIHhk3PGxWKKNa/gTBzIVQAk5n2zWUZAg3Z10aIO/l0RGTlTXApcylKjGHFwHTJN5AE7YnjE/V1XiwkUGyaYK18Mih7sNI4E/BDIBZV3h41hX6imvqtLJrlcH6dNFRQJWvMF0DbjkIkAG7ubBHEtmqXlmo1XUGh+Og+bBvYfzOA7nmV1LUblN8trOZvFQlzWKCJ+yQLQrAsPqFsyUT5Z4VaN0JG/8vT7euyUwwDeGApMDVISejaZIfQHbXHDUzQ+Vm+xSfBU9zDpfVDN4Y+Hiwrr/8uheDNXbnX0BrL92cLNmKGed82LxxEJ55KVWMSjvilPGoxug2Fh0vbAhszUKU+tdTRMuLZUw0f5B40lDi5JRrfn1Eb9y/oY2x/Nc4Psz82sH+m21jA+rY2YPpmY4Iar1iJh7KqtAt228PIaBPsLlhZAuFsfDi7NmDv+ZUm96nrJiRZ3dVvQeMJLloA/FH1jjgtmTX8Vch+yRtHDxeXIPNcNEKoJWOlL1A1O8lYs= bigred@a2

在 a2 端登入 a1 測試是否符合預期

$ ssh bigred@$a1ip

tags: `Alpine`

改裝 Alpine ( Container )

Sun, 07 Aug 2022 10:42:04 +0800

登入這台continer後，直接跳出問題，5秒內沒猜對數字的話，帳號凍結、container 作廢

bigred@alp:~/wulin$ docker run --name aa -it ncue/alpine sh
# 先創建一台alpine的container
Unable to find image 'ncue/alpine:latest' locally
latest: Pulling from ncue/alpine
a0d0a0d46f8b: Pull complete
b3aa9bb698fd: Pull complete
Digest: sha256:1ad35e31b372f2c982b7e9d19dfb7c9f2f0baaa7c7348ec09e501e4e81847f04
Status: Downloaded newer image for ncue/alpine:latest

/ # echo $PATH
# 查看環境變數。
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

PATH主要是告訴linux說，等下我要run的命令，在這幾個目錄做尋找。

PATH環境變數是所有作業系統，Windows也好、Mac也好和IBM大型主機也好，當然包括linux，裡面存放的是一堆目錄區的名字，每當我們在作業系統打一個命令，他就會到這幾個目錄裡面去做尋找，例如:下面的which ping

/usr/local/sbin 我們目前使用的container裡面實際上不存在這個目錄。

/ # which ping
/bin/ping

我們run ping這個命令，他是存放在/bin這個目錄區裡面。

/ # apk add nano
# 新增nano這個檔案
fetch https://dl-cdn.alpinelinux.org/alpine/v3.14/main/x86_64/APKINDEX.tar.gz
fetch https://dl-cdn.alpinelinux.org/alpine/v3.14/community/x86_64/APKINDEX.tar.gz
(1/4) Installing libmagic (5.40-r1)
(2/4) Installing ncurses-terminfo-base (6.2_p20210612-r0)
(3/4) Installing ncurses-libs (6.2_p20210612-r0)
(4/4) Installing nano (5.7-r2)
Executing busybox-1.33.1-r3.trigger
OK: 16 MiB in 23 packages

/ # nano /usr/local/sbin/ping

提問:現在要寫的這個程式ping，為甚麼要寫在/usr/local/sbin目錄裡面?
今天只要把自己寫的ping程式，寫在/usr/local/sbin，我們的程式一定第一個執行，也就是說以後在這個Linux作業系統裡面，我們只要打ping，他一定第一個被執行，因為它的目錄區是PATH環境變數裡面的第一個，他一定第一個被執行，所以系統的排在最後一名就沒人理啦。

/ # mkdir /usr/local/sbin
/ # nano /usr/local/sbin/ping
/ # cat /usr/local/sbin/ping
#!/bin/sh #我們的程式是由sh貝殼程式執行。
read -t 20 -p '192.168.30.127/26 ,network id is? ' ans
# -t 20 代表等待20秒，20秒後如果沒打資料，ans會是空的
if [ "$ans" = "192.168.30.64" ]
then
rm `which $0` # $0是程式本身，如果這個條件式成立，代表系統可以去run原先的ping。
else
rm `which sh` # 老師是 which busybox，直接把busybox刪掉
echo 'gg'
fi

測試改裝完的alpine

$ chmod +x /usr/local/sbin/ping
- 先給程式執行權限。
$ exit
- 離開container。
$ docker start aa
- 把aa啟動
$ docker exec -it aa sh
- 下面是docker exec的補充
- https://www.runoob.com/docker/docker-exec-command.html
/ # ping 8.8.8.8 192.168.30.127/26 ,network id is? 192.168.30.64
/ # ping 8.8.8.8

改裝 alpine 2 (使用 ping curl 指令後，問 network id，打不出來的話，`nc ifconfig route ip ping curl` 不可使用)

/ # nano /usr/local/bin/sh #(一樣把程式寫在/bin這個目錄區裡面。)
#!/bin/sh
echo 'you have 10 second to answer the question'
read -t 10 -p '1632457 byte = ?M (請用無條件捨去法算到小數點第1位)' ans
if [ "$ans" = "1.6" ]
then
rm `which $0`
sh
else
echo "gg"
rm `which busybox`
fi

這個程式做完上面的動作後，只能用docker commit燒成光碟，無法用Dockerfile。

另一種寫法 by禹志同學

tags: `Alpine`

Alpine Linux 設定帳號自動登入

Sun, 07 Aug 2022 10:37:40 +0800

Prepare

確認有沒有 agetty 這個命令

$ which agetty
/sbin/agetty

安裝命令

$ sudo apk add agetty

注意，以下套件下載網址沒有 agetty

$ cat /etc/apk/repositories
http://mirrors.gigenet.com/alpinelinux/v3.15/main
http://mirrors.gigenet.com/alpinelinux/v3.15/community
# 需改成 v3.16 才會有
http://mirrors.gigenet.com/alpinelinux/v3.16/main
http://mirrors.gigenet.com/alpinelinux/v3.16/community

Set bigred user auto-login

$ sudo nano -l /etc/inittab

修改內容

註解第 8 行
再下一行，新增 tty1::respawn:/sbin/agetty --autologin bigred --noclear 38400 tty1
註解第 26 行
再下一行，新增 ttyS0::respawn:/bin/login -f bigred

# /etc/inittab
::sysinit:/sbin/openrc sysinit
::sysinit:/sbin/openrc boot
::wait:/sbin/openrc default
# Set up a couple of getty's
#tty1::respawn:/sbin/getty 38400 tty1
tty1::respawn:/sbin/agetty --autologin bigred --noclear 38400 tty1
... 中間省略
# enable login on alternative console
#ttyS0::respawn:/sbin/getty -L 0 ttyS0 vt100
ttyS0::respawn:/bin/login -f bigred

tags: `Alpine`

Alpine Linux 詳細安裝說明

Sun, 10 Jul 2022 14:29:12 +0800

左下角鯨魚：Docker（碼頭工人），事實上是一間公司的名字，上面的方塊圖形是container（貨櫃）

container（貨櫃）

一台container就是一台電腦
一台實體電腦，可以同時執行很多台container
在同樣的實體硬體規格，虛擬技術做出來10台的虛擬機器，container可以做出30台

左下角第二個圖， kubernetes（簡稱：k8s,因為k到s中間有8個字母）它的圖示是一個船舵，他是雲端作業系統，功能是用來管理Container，以上的架構是新一代的系統工程

這套系統是google公司設計的，因為是google公司設計的，微軟沒有這種技術，現在真正技術主導的是Google、Amazon和Yahoo

Cloud Native Computing Foundation 負責推動雲原生技術，主導系統工程的網站

2022年電腦基礎概論，就是以上的系統工程架構

第三個圖示，和第四個圖示 Hadoop和Spark為資料工程，建立在系統工程之上，他們主要為企業做出分析，和AI人工智慧

之後可以找的工作： 1. 網路工程師要會的技能：TCP/IP網路系統和Ip tables 2. 資料庫管理師（Database manager）要會的技能：主軸在MySQL,SQL command,MySQL instance,CDC 以上兩者底層加分技術：linux和bash script

2022/04/20 複習前面的課程

下載Alpine

Standard

下載下來的都是光碟片(.iso)，是把alpine linux裝在實體電腦裡面，實體電腦規格可以用5年前的電腦cpu i5（i3其實也可以）記憶體 8GB， x86 是32位元 x86_64 是64位元

現在台灣大部分的網路工程師，是把Ubuntu裝在實體機器

為何使用Alpine Linux？

Alpine linux = Kernel + musl + busybox + apk * linux kernel，linux 的核心，能用 CPU、記憶體、硬碟和網路，有它才可以使用電腦 * musl ，C語言的程式庫，可以在alpine linux裡面用C語言設計要用的功能(linux 作業系統的核心大部分還是用C語言) * busybox ，800k的大小，可以模擬出linux 60幾個指令（像是cut、grep、zip…等） * apk ，全名alpine package ，如果原本沒有套件，可以透過apk add安裝 * 因為內容簡單，所以資安等級A，且舊的設備也可跑起來

台灣現況：Centos 也是一種linux系統，因內容眾多，只要系統一起來，就把防火牆和很多防護機制啟動，windows 10/11 也是

VIRTUAL

給VMware和linux KVM使用

啟動 VMware Workstation Player

建立 alp.takoyaki 虛擬主機

請選擇 “I will install the operating system later”, 開始建立 alp.takoyaki 虛擬主機
Guest operating system 選擇 Linux, Version 為 Other Linux 5.x kernel 64-bit
- 選Other Linux 5.x kernel 64-bit，是因為alpine 所使用的 kernel 為最新的 5 系列
Virtual Machine name 設為 alp.takoyaki, Location 設為 c:\alp.takoyaki
Maximum disk size (GB): 800, 點選 “Store virtual disk as a single file”，代表一個檔案最大可以到800 GB，算是單檔作業
點選 Customize Hardware 按鈕, 移除 Printer, Sound Card, USB Controller, 因為用不到還啟動他們會浪費運算資源
然後設定 New CD/DVD(IDE), 點選 Use ISO Image File, 選擇 alpine-virt-3.15.4-x86_64.iso,
點選 Processors, 勾選 Virtualize Intel VT-x/EPT or AMD-V/RVI
啟動 alp.dt 虛擬主機

一個資料夾代表一台電腦副檔名（.vmdk），虛擬電腦的硬碟檔，就是剛剛選擇的800 GB的硬碟，事實上它就是windows裡面的一個檔案，我們的alpine linux就是存在裡面，不僅如此，我們之後在alpine linux所做的一切linux命令動作，也會通通放在裡面

dk 就是disk的簡寫

副檔名（.vmx），虛擬電腦的設定檔，點他右鍵，用記事本開啟，可以看到設定檔，像是記憶體有多大，cpu幾個核心

將記憶體大小改成：memsize = “2048”

如果有軟體在使用這台虛擬電腦，他的資料夾裡面會多出.lck檔

開始安裝(setup-alpine)

用root登入，我們用光碟片啟動的系統

透過setup-alpine這個命令，把alpine linux系統裝到硬碟裡面

localhost:~# setup-alpine

第一個是設定鍵盤的排列方式，因為我們台灣的鍵盤是美規，所以這邊打us或是tw都一樣第二個是地區性的按鍵是什麼規格，在us裡面還有分很多不同的規格，一樣打us

Select keyboard layout [none]: us
Select variant []: us
* Caching service dependencies ...
[ ok ]
* Setting keymap ...
[ ok ]

設定電腦名稱: takoyaki

Enter system hostname (short form, e.g. 'foo') [localhost]: takoyaki

設定這台alpine linux虛擬電腦的網路卡名稱，使用內定名稱"eth0"就好，不要修改

Available interfaces are: eth0.
Enter '?' for help on bridges, bonding and vlans.
Which one do you want to initialize? (or '?' or 'done') [eth0]

有了網路卡，就要有IP位址，這邊透過DHCP Sserver配發IP，VMware workstation扮演Dhcp Server

Ip address for eth0? (or 'dhcp', 'none', '?') [dhcp]

是否要手動設定其他的網路設定: no

Do you want to do any manual network configuration? [no]
udhcpc: started, v1.31.1
udhcpc: sending discover
udhcpc: sending discover
udhcpc: sending select for 10.0.2.15
udhcpc: lease of 10.0.2.15 obtained, lease time 86400

設定root的密碼

Changing password for root
New password: root
passwd: password for root changed by root

設定時區，Asia的A一定要大寫，Taipei的T也要大寫，我們在的時區是亞洲台北

Which timezone are you in? ('?' for list) [UTC] Asia
What sub-timezone of 'Asia' are you in? ('?' for list) Taipei
* Starting busybox acpid ...
[ ok ]
* Starting busybox crond ...
[ ok ]

系統詢問我們的工作環境是否有proxy server，回答: none

HTTP/FTP proxy URL? (e.g. 'http://proxy:8080', or 'none') [none]

NTP : network time protocol，網路時間協定 chrony:他是一套軟體，會跟網路上的時間伺服器做同步每台電腦時間一定要同步，不然會導致部分軟體無法使用

Which NTP client to run? ('busybox', 'openntpd', 'chrony' or 'none') [chrony]
* service chronyd added to runlevel default
* Caching service dependencies ...
[ ok ]
* Starting chronyd ...
[ ok ]
Available mirrors:
1) dl-cdn.alpinelinux.org
2) uk.alpinelinux.org
3) dl-2.alpinelinux.org
4) dl-4.alpinelinux.org
5) dl-5.alpinelinux.org
6) dl-8.alpinelinux.org
7) mirror.yandex.ru
8) mirrors.gigenet.com
9) mirror1.hs-esslingen.de
.............
r) Add random from the above list
f) Detect and add fastest mirror from above list
e) Edit /etc/apk/repositories with text editor

apk的套件有72個下載點，要選擇第6個下載點，因為他是alpine官網下載的第六個網址，依照老師的經驗，出錯比例低

Enter mirror number (1-72) or URL to add (or r/f/e/done) [1]: 6
Added mirror dl-8.alpinelinux.org
Updating repository indexes... done.

安裝哪個SSH Server(遠端管理電腦的伺服器)?

Which SSH server? ('openssh', 'dropbear' or 'none') [openssh]
* service sshd added to runlevel default
* Caching service dependencies ...
[ ok ]
ssh-keygen: generating new host keys: RSA DSA ECDSA ED25519
* Starting sshd ...
[ ok ]

選擇我們當初創造出來的名字叫sda的硬碟

Available disks are:
sda (536.9 GB ATA QEMU HARDDISK )
Which disk(s) would you like to use? (or '?' for help or 'none') [none] sda
The following disk is selected:
sda (536.9 GB ATA QEMU HARDDISK )

系統問我們硬碟裡面要裝什麼因為我們的硬碟要裝整個作業系統，所以打sys

How would you like to use it? ('sys', 'data', 'lvm' or '?' for help) [?] sys
WARNING: The following disk(s) will be erased:
sda (536.9 GB ATA QEMU HARDDISK )

是否要清理硬碟的內容: 是

WARNING: Erase the above disk(s) and continue? [y/N]: y
Creating file systems...
Installing system on /dev/sda3:
/mnt/boot is device /dev/sda1
100% ############################################==> initramfs: creating /boot/initramfs-virt
/boot is device /dev/sda1
Installation is complete. Please reboot.

把虛擬機器關機

alp:~# poweroff

再次啟動 VMware Workstation Player

移除 CD/DVD 裝置, (因為我們已經把alpine系統裝到硬碟上，所以可以把光碟刪掉)然後啟動 alp.takoyaki 虛擬主機,

登入 Alpine 虛擬主機

takoyaki login: root
Password: root

安裝nano和sudo兩個指令

$ apk add nano sudo

更改OpenSSH Server的設定檔，允許root可以透過ssh登入

$ nano /etc/ssh/sshd_config
....
PermitRootLogin yes (原本是prohibit-password，禁止密碼)
....

將虛擬機器重新開機

$ reboot

Alpine 系統環境設定

在 Windows 命令提示字元視窗, 登入 alp.takoyaki 虛擬主機
```
$ ssh root@192.168.61.xxx
root@192.168.61.xxx's password: root
```
如果出現這個畫面，代表之前有同樣的IP位址被Windows電腦記住憑證，可以用notepad 進去把那個IP刪掉

系統更新

# nano /etc/apk/repositories
......
http://mirrors.gigenet.com/alpinelinux/v3.15/main
# 官方本身會維護的套件下載點
http://mirrors.gigenet.com/alpinelinux/v3.15/community (取消這行 備註)
# 是到非官方的社群、其他第三方單位維護的套件下載點
## 以上兩個網址，在一般外面工作都稱為穩定版的套件下載點
......
$ apk update; apk upgrade
# update : 到上面的兩個網站，下載套件清單
# upgrade : 把舊的套件根據前面新的套件清單做比對，把舊的套件升級到最新版

———————–以上兩點就是將系統更新

安裝應用套件

$ apk add tree unzip curl wget zip grep bash procps util-linux-misc dialog go udev

建立與設定管理者帳號 (bigred) 建立使用者 : bigred

$ echo -e "bigred\nbigred" | adduser -s /bin/bash bigred
# /bin/bash 就是我們跟Linux交談的終端機程式

將bigred加入wheel群組

$ addgroup bigred wheel
# wheel 群組只有在alpine linux有，如果要在Ubuntu或其他linux系統，可以自己創一個wheel系統，再把bigred加進去。

修改sudo的授權檔

 $ nano /etc/sudoers
....
%wheel ALL=(ALL) NOPASSWD: ALL (取消這行 備註)
# 取消註解會讓wheel這個群組裡面的成員在執行sudo時，不用打密碼
....

冷凍 root 帳號

$ passwd -dl root
宣告root的密碼，永遠過期

關閉 IPv6 (有先軟體預設會先找IPV6溝通，會影響到我們的網路速度)

$ nano /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:EE:79:EA
inet addr:192.168.61.136 Bcast:192.168.61.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feee:79ea/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:105588 errors:0 dropped:0 overruns:0 frame:0
TX packets:10794 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:157168681 (149.8 MiB) TX bytes:768421 (750.4 KiB)

重新開機
```
$ reboot
```

在 Windows 命令提示字元視窗, 使用 bigred 帳號, 登入 alp.takoyaki 虛擬主機

$ ssh bigred@192.168.61.xxx
bigred@192.168.61.xxx's password: bigred

檢查IPV6有沒有關閉

$ ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:0C:29:EE:79:EA
inet addr:192.168.61.136 Bcast:192.168.61.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:104 errors:0 dropped:0 overruns:0 frame:0
TX packets:99 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:13399 (13.0 KiB) TX bytes:12816 (12.5 KiB)

設定 SSH ，產生公私鑰，並複製公鑰成 authorized_keys

$ ssh-keygen -t rsa -P ''
# keygen的gen，全名是genarate，所以就是產生兩把鑰匙
# -t rsa 是用rsa演算法
Enter file in which to save the key (/home/bigred/.ssh/id_rsa): 按 Enter
# 上面這行是問你鑰匙是否存放在/home/bigred/.ssh/目錄下

檢查

takoyuki:~$ ls -al .ssh
total 16
drwx--S--- 2 bigred bigred 4096 Apr 19 15:36 .
drwxr-sr-x 3 bigred bigred 4096 Apr 19 15:36 ..
-rw------- 1 bigred bigred 2602 Apr 19 15:36 id_rsa 這是私鑰
-rw-r--r-- 1 bigred bigred 569 Apr 19 15:36 id_rsa.pub 這是公鑰

以上的私鑰和公鑰是給bigred使用的

做ssh設定檔的修改，以後當我們要來=連接對方，對方給我們的公鑰，我們就直接收了，不用打yes

$ echo 'StrictHostKeyChecking no' | sudo tee -a /etc/ssh/ssh_config

這是後面大數據平台要用的

$ echo 'PermitUserEnvironment yes' | sudo tee -a cat /etc/ssh/sshd_config

設定登入訊息

$ echo 'Takoyaki 22.04.0' | sudo tee /etc/motd
# /etc/motd 這個檔案裡面只能放文本，只要我們一登入進去，就會看到的文字說明

重新開機
```
$ sudo reboot
```
備份 alp.takoyaki 虛擬主機壓縮虛擬機器的資料夾

2020/04/20 上課

Encryption

當Host A主機要傳資料給Host B主機時，會先用Host B的公鑰（public key）將明文(plaintext)加密，Host B 收到密文後，用自己的私鑰（private key）解密出明文(plaintext)

SSH

當client端第一次連線到Server端的時候，Server端會問你要不要收公鑰，回答：yes，就會接收到Server的公鑰，如果我們的client端是windows系統，這把公鑰會放在C:\Users\ybean.ssh目錄裡面的Known_host檔案裡面，

192.168.61.140 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBOWo9mcmIQL5mFLnZtuNmXtNB0w7UNI7aPIbOvgthFO7f/R2EeLeh/lEOYlo5WEJM2spiQMaf8UZljeyb4QcyTM=
Server的IP位址 演算法 公鑰

章魚燒系統

[職能考驗項目]

資料容量大小計算
網路代號計算
檔案目錄權限判讀

[系統設計]

在 Windows 命令提示字元視窗, 使用 bigred 帳號, 登入 alp.takoyaki 虛擬主機 $ ssh bigred@192.168.61.xxx bigred@192.168.61.xxx’s password: bigred
檢視命令目錄

$ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
$ which sh
/bin/sh

根據『PATH』這個環境變數所紀錄的路徑，去搜尋『執行檔』的檔名

在alpine linux裡面很多命令真正的執行，都會導向/bin/busybox

自製攔截命令

$ mkdir takoyaki
$ nano takoyaki/sh
#!/bin/sh
echo '5 second to answer question'
read -t 5 -p '57+42/6 = ' ans
[ $? == 1 ] && echo -e "\nbye" && exit 1
$ chmod +x takoyaki/sh
$ ./takoyaki/sh
5 second to answer question
57+42/6 =
bye
$ ./takoyaki/sh
5 second to answer question
57+42/6 = 64
$ sudo cp takoyaki/sh /usr/local/bin/
$ sh
5 second to answer question
57+42/6 =
bye

修改攔截命令

$ nano takoyaki/sh
#!/bin/sh
echo '5 second to answer question'
read -t 5 -p '57+42/6 = ' ans # -t ,給秒數
[ $? == 1 ] && echo -e "\nbye" && exit 1
if [ "$ans" == "64" ]; then
sudo rm /usr/local/bin/sh &>/dev/null # 刪除sh的程式，並且丟到黑洞
[ "$?" == 1 ] && echo -e "\nerror" && exit 1
echo "pass"
fi


$ sudo cp takoyaki/sh /usr/local/bin/
$ sh
5 second to answer question
57+42/6 = 64
pass
$ sh
-bash: /usr/local/bin/sh: No such file or directory
$ exit
練習:
1. 設計 攔截 ping 命令, 問題如下:
192.168.30.127/26 ,network id is ?
2. 設計 攔截 mkdir 命令, 問題如下:
rwxr--r-x = ? (number)
---
### IP
Class A

0.x.x.x /8 ~ 127.0.0.0 /8 8是subnet mask 這個8也是subnet mask 8的意思是8個bit，也就是1111 1111 = 255 ，完整地表示255.0.0.0 Class A的網段，子網路遮罩一定是8開始，往後數


Class B

128.x.x.x /16 ~ 191.x.x.x /16 Class B的網段，子網路遮罩一定是16開始，往後數

Class c

192.x.x.x /24 ~ 223.x.x.x /24 Class C的網段，子網路遮罩一定是24開始，往後數


行規IP分配（沒有強制性）
120.96.143.128/25 代表Network ID （頭）
120.96.143.129 ~ 120.96.143.138 代表IP Server （前面10個）
120.96.143.250 ~ 120.96.143.254 代表網路設備 （後5個）
120.96.143.255/25 代表廣播位址 （尾）
口訣：去頭去尾前十後五

tags: `Alpine`

Docker-AppContainer-Part3

Sun, 10 Jul 2022 08:11:32 +0800

process (程序) 運作

program 程式人寫好的一堆程式碼，變成一個檔案，儲存在檔案系統中。
process 程序執行一個程式或指令，就會產生一個程序，這個程序一定在記憶體中執行，而在記憶體中程序會產生 PID 、執行者的權限參數 ( UID 、 GID )，和程式所需的程式碼以及相關資料

$ ps -eo user,pid,ruid,euid,cmd | grep bigred
root 3408 0 0 /bin/login -f bigred
bigred 3418 1000 1000 -bash
bigred 3473 1000 1000 dialog --title Cloud Native Trainer --textbox /tmp/sinfo 24 85
root 3682 0 0 sshd: bigred [priv]
bigred 3686 1000 1000 sshd: bigred@pts/0
bigred 3687 1000 1000 -bash
bigred 3784 1000 1000 ps -eo user,pid,ruid,euid,cmd
bigred 3785 1000 1000 grep bigred

-e 參數是代表輸出所有程序的資訊 -o 參數則是用來指定輸出欄位用的，後面接著所有想要輸出的欄位名稱

在 Alpine Linux 系統中 , 內定 ps 命令是由 busybox 執行, 如要執行全功能 ps 命令, 請執行 sudo apk add procps

Real UserID : For a process, Real UserId is simply the UserID of the user that has started it. It defines which files that this process has access to.
Effective UserID : It is normally the same as Real UserID, but sometimes it is changed to enable a non-privileged user to access files that can only be accessed by a privileged user like root.
Saved UserID : It is used when a process is running with elevated privileges (generally root) needs to do some under-privileged work, this can be achieved by temporarily switching to a non-privileged account.

以 go 語言為例 :

$ echo 'package main
import (
"fmt"
"io/ioutil"
"os/exec"
)
func main() {
cmd := exec.Command("sleep", "60")
cmd.Run()
err := ioutil.WriteFile("/mulan.txt", []byte("Hello"), 0755)
if err != nil {
fmt.Printf("Unable to write file: %v\n", err)
} else {
fmt.Printf("/mulan.txt created\n")
}
} ' > myfile.go

程式功能 :

先睡 60 秒後，在根目錄上產生一個檔案，如果成功噴訊息，如果失敗也噴訊息

翻譯為 2 進位檔

$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a myfile.go

取得 ALP 的 bigred 帳號 ID
$ echo $UID
1000
確認執行權限
$ dir myfile
-rwxrwxr-x 1 bigred bigred 2.0M Jul 26 05:13 myfile
bigred 帳號沒有權限在 根目錄 (/) 產生檔案
$ ./myfile &
[1] 4698
$ ps -eo user,pid,ruid,euid,cmd | grep myfile
bigred 4698 1000 1000 ./myfile
bigred 4715 1000 1000 grep myfile

Setuid

回到原先終端機, 一定要先設定 owner, 才可設定 setuid

$ sudo chown root myfile; sudo chmod 4755 myfile

檢查是否符合預期

$ dir myfile
-rwsr-xr-x 1 root bigred 2.0M Jul 26 06:57 myfile

推到背景執行

$ ./myfile &
/mulan.txt created

查看 process 資訊

$ ps -eo user,pid,ruid,euid,cmd | grep myfile
root 4983 1000 0 ./myfile
bigred 4994 1000 1000 grep myfile

檢視系統中有多少具有 setuid 功能的命令

$ sudo find / -user root -perm -4000 2>/dev/null | grep -E '^/bin|^/usr/bin'
/usr/bin/sudo
/bin/mount
/bin/bbsuid
/bin/umount
/bin/ping
/bin/fusermount

查看 /bin/ping

bigred@alp:~/setuid$ ls -al /bin/ping
-rwsr-xr-x 1 root root 64120 Apr 16 06:51 /bin/ping

setuid 的檔案容易被 hacker 鎖定，故這種檔案越少越好。

下面這隻程式 5 顆星攻擊首要目標，因為只要攻陷，所有使用者的帳號密碼都有啦，目前只能透過演算法，檢查 2 進位碼有沒有被更改。

$ which passwd
/usr/bin/passwd
$ ls -al /usr/bin/passwd
lrwxrwxrwx 1 root root 11 Jul 5 10:01 /usr/bin/passwd -> /bin/bbsuid
$ ls -al /bin/bbsuid
---s--x--x 1 root root 14144 Jun 12 00:59 /bin/bbsuid

指定 Container 執行的帳號

$ docker run --rm -it -d --name u1 quay.io/cloudwalker/alpine sleep infinite
776c951a8670186e8a01a72e555beefe03cfa0604badfe8177b3717cbab567fb
$ ps -eo user,pid,ruid,euid,cmd | grep "sleep infinity"
bigred 7686 1000 1000 grep sleep infinity
$ docker exec u1 whoami
root
$ docker stop u1
u1

$ docker run --rm -it -d --name u1 --user bigred quay.io/cloudwalker/alpine
5e3d1ac1776ad3215289fc26a13ea76e0065c11fb5b11d908f530e6aa80f68a0
docker: Error response from daemon: unable to find user bigred: no matching entries in passwd file.
--user bigred ，表示在 Container 裡面要指定 bigred 使用者

指定用 UID 1001 帳號執行以下 Container

$ docker run --rm -it -d --name u1 --user 1001 quay.io/cloudwalker/alpine

檢查 docker host 主機的 uid, pid, ruid, euid, cmd

$ ps -eo user,pid,ruid,euid,cmd | grep "/bin/sh$"
1001 5925 1001 1001 /bin/sh

Container 裡面雖然沒有 uid = 1001 的帳號名稱，但在建立 Container 時，允許這樣透過沒有對應帳號名稱的 uid 來建立 Container，但注意這位使用者可能無法執行系統命令。

$ docker exec u1 whoami
Error: No such container: u1

停止 Container

$ docker stop u1

Dockerfile with a defined user

# 編輯 image 內容
$ echo 'FROM quay.io/cloudwalker/alpine
RUN apk update && apk add tree nano
RUN addgroup appgroup
RUN adduser -u 1002 -G appgroup -D appuser
USER appuser
ENTRYPOINT ["sleep", "infinity"]' > myuser
# build image
$ docker build -t myuser - < myuser
# run Container
$ docker run --rm --name u1 -d myuser
$ ps -eo user,pid,ruid,euid,cmd | grep "sleep infinity"
1002 8129 1002 1002 sleep infinity
bigred 8180 1000 1000 grep sleep infinity
$ docker exec -it u1 sh
/ $ rm -rf /* &>/dev/null; echo $?
1
/ $ whoami
appuser
/ $ tree /dev | wc -l
19
/ $ rm -rf /dev &>/dev/null; echo $?
1
/ $ exit
$ docker stop u1; docker rmi myuser

Container Volume Permission

$ id -u bigred; id -g bigred
1000
1000
$ mkdir ~/zzz; ls -lsd ~/zzz
4 drwxr-sr-x 2 bigred bigred 4096 Jul 10 10:42 /home/bigred/zzz
$ docker run --rm -v ~/zzz:/opt --name u1 -d myuser
c3e9b054e02a997be0a938eb0f9b6aeefd141ba58c515392fb3bf307712734e9
$ docker exec u1 ls -al /opt
total 8
drwxr-sr-x 2 1000 appgroup 4096 Jul 10 02:42 .
drwxr-xr-x 1 root root 4096 Jul 10 02:43 ..
$ docker exec u1 cat /etc/passwd | grep appuser
appuser:x:1002:1000:Linux User,,,:/home/appuser:/bin/ash
$ docker exec u1 cat /etc/group | grep appuser
appgroup:x:1000:appuser
$ docker exec u1 id
uid=1002(appuser) gid=1000(appgroup) groups=1000(appgroup)

Container 中的 /opt 權限是套用 Docker Host ~/zzz 目錄權限，Container 只會抓 uid 與 gid 來套用，uid 找不到對應的使用者帳號，只好顯示代號，而 gid 有找到對應的 group 名稱，則顯示 appgroup

$ docker exec -it u1 sh
/ $ whoami
appuser
/ $ mkdir /opt/vvv
mkdir: cannot create directory '/opt/vvv': Permission denied
/ $ exit
$ chmod -R 777 ~/zzz
$ docker exec u1 mkdir /opt/vvv
$ ls -al ~/zzz
total 12
drwxrwsrwx 3 bigred bigred 4096 Jul 8 21:21 .
drwxr-sr-x 11 bigred bigred 4096 Jul 8 21:00 ..
drwxr-sr-x 2 1002 bigred 4096 Jul 8 21:21 vvv

如果在 Container 中建立目錄 /opt/vvv 到剛剛掛載在 Docker Host 主機上的 /opt 目錄，則以 Container 裡的那位 User 的 Uid 及 gid 為主

Linux System Call & Seccomp

Linux Process 運作架構

Program 放在檔案系統時，
User program 被執行時，一定會呼叫 system library
Seccomp 管控 User program 可用那些 system library
當程式進入 kernel Mode 後，會由 CGroup 、 Capabilities 和 SElinux/AppArmor 來控管 process

Container 會共用 Host OS Kernel, 所以可以透過 CGroup 、 Capabilities 和 SElinux/AppArmor 來管控 Container run 的 process ，來避免單一 Container 影響到其他一起共用共用 Host OS Kernel 的 Container。

檢視 mkdir System Call

安裝命令 :

$ sudo apk add strace

mkdir 會用到 3 個 System Call

$ rm -r /tmp/x; strace -qcf -e trace=file mkdir /tmp/x
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
0.00 0.000000 0 8 3 open
0.00 0.000000 0 1 execve
0.00 0.000000 0 1 mkdir
------ ----------- ----------- --------- --------- ----------------
100.00 0.000000 0 10 3 total
$ rm -r /tmp/x; strace -e trace=file mkdir /tmp/x
execve("/bin/mkdir", ["mkdir", "/tmp/x"], 0x7ffe34279858 /* 22 vars */) = 0
open("/etc/ld-musl-x86_64.path", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = -1 ENOENT (No such file or directory)
open("/lib/libacl.so.1", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = 3
open("/lib/libattr.so.1", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = 3
open("/lib/libgmp.so.10", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = -1 ENOENT (No such file or directory)
open("/usr/local/lib/libgmp.so.10", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = -1 ENOENT (No such file or directory)
open("/usr/lib/libgmp.so.10", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = 3
open("/lib/libutmps.so.0.1", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = 3
open("/lib/libskarnet.so.2.11", O_RDONLY|O_LARGEFILE|O_CLOEXEC) = 3
mkdir("/tmp/x", 0777) = 0
+++ exited with 0 +++

認識 Seccomp

Seccomp (short for security computing mode) is a useful feature provided by the Linux kernel since 2.6.12 and is used to control the syscalls made by a process. Seccomp has been implemented by numerous projects such as Docker, Android, OpenSSH and Firefox to name a few.

Searchable Linux Syscall Table for x86 and x86_64 https://filippo.io/linux-syscall-table/

Seccomp 實作範例

建立工作目錄

$ cd; mkdir syscall; cd syscall

編輯 go 語言程式

$ nano main.go
package main
import (
"fmt"
"syscall"
)
func main() {
var syscalls = []string{
"rt_sigaction", "mkdirat", "clone", "mmap", "readlinkat", "futex",
"rt_sigprocmask","exit_group","mprotect", "write", "sigaltstack", "gettid", "read",
"open", "close", "fstat", "munmap","brk", "access", "execve", "getrlimit",
"arch_prctl", "sched_getaffinity", "set_tid_address", "set_robust_list"}
whiteList(syscalls)
err := syscall.Mkdir("/tmp/moo", 0755)
if err != nil {
panic(err)
} else {
fmt.Printf("I just created a file\n")
}
}

$ wget http://www.oc99.org/ctn/whitelist.go
# 安裝 alpine linux 要用的 seccomp
$ sudo apk add libseccomp-dev
(1/2) Installing linux-headers (5.16.7-r1)
(2/2) Installing libseccomp-dev (2.5.2-r1)
OK: 1053 MiB in 255 packages
$ go mod init mygo
# 安裝 Golang 所需的 Seccomp 套件，他會去呼叫 alpine linux 要用的 seccomp
$ go get github.com/seccomp/libseccomp-golang
go: downloading github.com/seccomp/libseccomp-golang v0.9.1
go: added github.com/seccomp/libseccomp-golang v0.9.1
$ go build -o test
$ ./test
...........
I just created a file
$ ls -al /tmp | grep moo
drwxr-xr-x 2 bigred bigred 4096 Jul 21 12:51 moo

$ nano main.go
package main
import (
"fmt"
"syscall"
"os"
)
func main() {
........
whiteList(syscalls)
err := syscall.Mkdir("/tmp/moo", 0755)
if err != nil {
panic(err)
} else {
fmt.Printf("I just created a file\n")
}
fmt.Printf("pid: %d\n", os.Getpid())
}

$ go build -o test
$ ./test
[+] Whitelisting: rt_sigaction
[+] Whitelisting: mkdirat
[+] Whitelisting: clone
[+] Whitelisting: mmap
[+] Whitelisting: readlinkat
[+] Whitelisting: futex
[+] Whitelisting: rt_sigprocmask
[+] Whitelisting: exit_group
[+] Whitelisting: mprotect
[+] Whitelisting: write
[+] Whitelisting: sigaltstack
[+] Whitelisting: gettid
[+] Whitelisting: read
[+] Whitelisting: open
[+] Whitelisting: close
[+] Whitelisting: fstat
[+] Whitelisting: munmap
[+] Whitelisting: brk
[+] Whitelisting: access
[+] Whitelisting: execve
[+] Whitelisting: getrlimit
[+] Whitelisting: arch_prctl
[+] Whitelisting: sched_getaffinity
[+] Whitelisting: set_tid_address
[+] Whitelisting: set_robust_list
I just created a file
pid: -1

$ nano main.go
package main
import (
"fmt"
"syscall"
"os"
)
func main() {
var syscalls = []string{
"rt_sigaction", "mkdirat", "clone", "mmap", "readlinkat", "futex",
"rt_sigprocmask","exit_group","mprotect", "write", "sigaltstack", "gettid", "read",
"open", "close", "fstat", "munmap","brk", "access", "execve", "getrlimit","getpid",
"arch_prctl", "sched_getaffinity", "set_tid_address", "set_robust_list"}
whiteList(syscalls)
err := syscall.Mkdir("/tmp/moo", 0755)
if err != nil {
panic(err)
} else {
fmt.Printf("I just created a file\n")
}
fmt.Printf("pid: %d\n",os.Getpid())
}

$ go build -o test; rm -r /tmp/moo
$ ./test
[+] Whitelisting: rt_sigaction
[+] Whitelisting: mkdirat
[+] Whitelisting: clone
[+] Whitelisting: mmap
[+] Whitelisting: readlinkat
[+] Whitelisting: futex
[+] Whitelisting: rt_sigprocmask
[+] Whitelisting: exit_group
[+] Whitelisting: mprotect
[+] Whitelisting: write
[+] Whitelisting: sigaltstack
[+] Whitelisting: gettid
[+] Whitelisting: read
[+] Whitelisting: open
[+] Whitelisting: close
[+] Whitelisting: fstat
[+] Whitelisting: munmap
[+] Whitelisting: brk
[+] Whitelisting: access
[+] Whitelisting: execve
[+] Whitelisting: getrlimit
[+] Whitelisting: getpid
[+] Whitelisting: arch_prctl
[+] Whitelisting: sched_getaffinity
[+] Whitelisting: set_tid_address
[+] Whitelisting: set_robust_list
I just created a file
pid: 19923

Docker Seccomp 實作範例

建立工作目錄 :

$ mkdir ~/seccomp; cd ~/seccomp

編輯 chmod.json

$ nano chmod.json
{
"defaultAction": "SCMP_ACT_ALLOW",
"architectures": [
"SCMP_ARCH_X86_64",
"SCMP_ARCH_X86",
"SCMP_ARCH_X32"
],
"syscalls": [
{
"name": "chmod",
"action": "SCMP_ACT_ERRNO",
"args": []
},
{
"name": "chown",
"action": "SCMP_ACT_ERRNO",
"args": []
},
{
"name": "chown32",
"action": "SCMP_ACT_ERRNO",
"args": []
}
]
}

docker run Container

即使是 root ，也會被阻擋
$ docker run --rm -it --security-opt seccomp=chmod.json quay.io/cloudwalker/alpine chmod 400 /etc/hosts
chmod: /etc/hosts: Operation not permitted
$ docker run --rm -it quay.io/cloudwalker/alpine chmod 400 /etc/hosts

Docker 內定的 Secomp Profile 連結

如果企業內部有規定哪個 syscall 要拿掉，可以拷貝上面連結的內容，再參考上面的作法。

Linux Capabilities & Privilege Escalation

$ grep Cap /proc/$$/status
CapInh: 0000000000000000
CapPrm: 0000000000000000
CapEff: 0000000000000000
CapBnd: 000001ffffffffff
CapAmb: 0000000000000000

$$ 指的程式為 /bin/bash，執行的使用者為 bigred

$ capsh --decode=0000001fffffffff
0x0000001fffffffff=cap_chown,cap_dac_override,cap_dac_read_search,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_linux_immutable,cap_net_bind_service,cap_net_broadcast,cap_net_admin,cap_net_raw,cap_ipc_lock,cap_ipc_owner,cap_sys_module,cap_sys_rawio,cap_sys_chroot,cap_sys_ptrace,cap_sys_pacct,cap_sys_admin,cap_sys_boot,cap_sys_nice,cap_sys_resource,cap_sys_time,cap_sys_tty_config,cap_mknod,cap_lease,cap_audit_write,cap_audit_control,cap_setfcap,cap_mac_override,cap_mac_admin,cap_syslog,cap_wake_alarm,cap_block_suspend

設定 Capabilities

$ echo 'package main
import (
"syscall"
"log"
"fmt"
)
func main() {
fmt.Print("Press any key to continue ")
var input string
fmt.Scanln(&input)
err := syscall.Reboot(syscall.LINUX_REBOOT_CMD_POWER_OFF)
if err != nil {
log.Printf("power off failed: %v", err)
}
}' > mypoff.go

Compile mypoff.go

$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a mypoff.go

執行 mypoff

./mypoff
Press any key to continue

在第二個 Bigred 終端機執行以下命令

$ pidof mypoff
22413
$ grep Cap /proc/22413/status
CapInh: 0000000000000000
CapPrm: 0000000000000000
CapEff: 0000000000000000 ---> 重點是這行，要有數字程式才能跑
CapBnd: 000001ffffffffff
CapAmb: 0000000000000000

再回去第一個終端機

$ ./mypoff
Press any key to continue (按個按鍵)
2022/07/10 13:47:52 power off failed: operation not permitted
$ sudo setcap cap_sys_boot+ep /home/bigred/seccomp/mypoff
$ getcap /home/bigred/seccomp/mypoff

在第二個 Bigred 終端機執行以下命令

$ pidof mypoff
22995
$ grep Cap /proc/22995/status
CapInh: 0000000000000000
CapPrm: 0000000000400000
CapEff: 0000000000400000
CapBnd: 000001ffffffffff
CapAmb: 0000000000000000

Linux Capabilities - cap_setuid

$ echo -e "ybean\nybean" | sudo adduser -s /bin/sh -h /home/ybean ybean
Changing password for ybean
New password:
Bad password: too short
Retype password:
passwd: password for ybean changed by root
# 設定 rbean 家目錄中的 python3 命令檔, 具有 Capabilities setuid 權限
# 代表 python3 所執行的 程式可設定 setuid 功能
$ sudo cp /usr/bin/python3 /home/ybean
$ sudo setcap cap_setuid+ep /home/ybean/python3
$ ls -al /home/ybean/python3
-rwxr-xr-x 1 root root 13976 Jul 21 14:15 /home/ybean/python3
$ exit

Linux Privilege Escalation

$ ssh ybean@<ALP.Podman IP>
ybean@<ALP.Docker IP>s password: ybean
ybean@alp:~$ ./python3 -c 'import os,time;os.setuid(1002);time.sleep(120)'
# ybean 的 UID 是 1002, 上面命令透過 python3 的 setuid Capabilities 動態改變 python3 自己的 UID 為 ybean
ybean@alp:~$ exit
$ ssh bigred@<ALP.Podman IP>
bigred@<ALP.Docker IP>s password: bigred
$ ps -eo user,pid,ruid,euid,cmd | grep "python"
ybean 5254 1002 1002 ./python3 -c import os,time;os.setuid(1002);time.sleep(120)
bigred 5258 1000 1000 grep python
# 開啟另一個終端機, 使用 ybean 登入
$ ssh ybean@<ALP.Docker IP>
ybean@<ALP.Docker IP>s password: ybean
# 列出有設定 Linux capabilities 的所有命令
$ getcap -r / 2>/dev/null
/usr/sbin/fping cap_net_raw=ep
/home/bigred/seccomp/mypoff cap_sys_boot=ep
/home/ybean/python3 cap_setuid=ep
# 由以下命令得知 python3 命令檔並沒有設定 setuid 功能
$ ls -al python3
-rwxr-xr-x 1 root root 13976 Jul 28 04:56 python3
#在以下 python3 命令所執行的 程式可執行 os.setuid(0) 這行命令, 提升 /bin/bash 這命令為 root 權限
ybean@alp:~$ ./python3 -c 'import os;os.setuid(0);os.system("/bin/bash")'
root@alp:~$ id
uid=0(root) gid=1002(ybean) groups=1002(ybean)
root@alp:~$ ps aux | grep '/bin/bash'
root 14981 0.0 0.2 5844 4808 pts/0 S 23:27 0:00 ./python3 -c import os;os.setuid(0);os.system("/bin/bash")
root 14982 0.0 0.1 2584 2288 pts/0 S 23:27 0:00 /bin/bash
root 15004 0.0 0.0 1592 852 pts/0 S+ 23:28 0:00 grep /bin/bash
# 上面的 ./python3 -c import os;os.setuid(0);os.system("/bin/bash") 命令的 UID 也被改變
root@alp:~$ exit

Docker Capabilities

$ docker run --rm -it quay.io/cloudwalker/alpine
/ # apk add libcap
fetch https://dl-cdn.alpinelinux.org/alpine/v3.13/main/x86_64/APKINDEX.tar.gz
fetch https://dl-cdn.alpinelinux.org/alpine/v3.13/community/x86_64/APKINDEX.tar.gz
(1/1) Installing libcap (2.46-r0)
Executing busybox-1.32.1-r6.trigger
OK: 6 MiB in 15 packages

/ # capsh --print
Current: cap_chown,cap_dac_override,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_net_bind_service,cap_net_raw,cap_sys_chroot,cap_mknod,cap_audit_write,cap_setfcap=ep
Bounding set =cap_chown,cap_dac_override,cap_fowner,cap_fsetid,cap_kill,cap_setgid,cap_setuid,cap_setpcap,cap_net_bind_service,cap_net_raw,cap_sys_chroot,cap_mknod,cap_audit_write,cap_setfcap
Ambient set =
Current IAB: !cap_dac_read_search,!cap_linux_immutable,!cap_net_broadcast,!cap_net_admin,!cap_ipc_lock,!cap_ipc_owner,!cap_sys_module,!cap_sys_rawio,!cap_sys_ptrace,!cap_sys_pacct,!cap_sys_admin,!cap_sys_boot,!cap_sys_nice,!cap_sys_resource,!cap_sys_time,!cap_sys_tty_config,!cap_lease,!cap_audit_control,!cap_mac_override,!cap_mac_admin,!cap_syslog,!cap_wake_alarm,!cap_block_suspend,!cap_audit_read,!cap_perfmon,!cap_bpf,!cap_checkpoint_restore
Securebits: 00/0x0/1'b0
secure-noroot: no (unlocked)
secure-no-suid-fixup: no (unlocked)
secure-keep-caps: no (unlocked)
secure-no-ambient-raise: no (unlocked)
uid=0(root) euid=0(root)
gid=0(root)
groups=0(root),1(bin),2(daemon),3(sys),4(adm),6(disk),10(wheel),11(floppy),20(dialout),26(tape),27(video)
Guessed mode: UNCERTAIN (0)

Current: (docker 內定開啟的 Capabilities) Docker 內定無開啟可以修改時間的 Capabilities

$ docker build -t capimg capimg/
$ docker run --rm -u 1000 capimg capsh --print
$ docker run --rm capimg chown nobody /
$ docker run --rm -it --cap-drop ALL --cap-add CHOWN capimg chown nobody /
$ docker run --rm -it --cap-drop CHOWN capimg chown nobody /
chown: /: Operation not permitted
$ docker run --rm -it --cap-add chown -u nobody capimg chown nobody /
chown: /: Operation not permitted
The above command fails because Docker does not yet support adding capabilities to non-root users.

Container 用 root 跑，會有內定的 Capabilities ，但如果用一般使用者則不給加 Capabilities

Google gVisor

認識 gVisor

gVisor is a light weight user-space kernel, written in Go, that implements a substantial portion of the Linux system surface. By implementing Linux system surface,it provides isolation between host and application.Also it includes an Open Container Initiative (OCI) runtime called runsc so that isolation boundary between the application and the host kernel is maintained.

It intercepts all application system calls and acts as the guest kernel, without the need for translation through virtualized hardware. Also, gVisor does not simply redirect application system calls through to the host kernel. Instead, gVisor implements most kernel primitives (like signals, file systems, futexes, pipes, mm, etc.) and has complete system call handlers built on top of these primitives.

透過 runsc 命令 run 的 Container ，會多一層 user-space kernel
user-space kernel 模擬 Container 會呼叫的 system call，與虛擬化技術不同，他只模擬約 50 or 60 % 的 kernel，所以啟動 Container 的速度會比傳統的 Container 慢

安裝 gVisor

$ ARCH=$(uname -m); URL=https://storage.googleapis.com/gvisor/releases/release/latest/${ARCH}
$ wget ${URL}/runsc ${URL}/runsc.sha512 ${URL}/containerd-shim-runsc-v1 ${URL}/containerd-shim-runsc-v1.sha512
# 檢核 runsc 及 containerd-shim-runsc-v1 這二個執行檔
$ sha512sum -c runsc.sha512 -c containerd-shim-runsc-v1.sha512
runsc: OK
containerd-shim-runsc-v1: OK
$ rm -f *.sha512
# 因為在 PATH 環境變數裡面有 /usr/local/bin 這個目錄
# 所以把 runsc 和 containerd-shim-runsc-v1 放到這個目錄下
# 我們就可以直接 run 這兩支程式
$ chmod a+rx runsc containerd-shim-runsc-v1; sudo mv runsc containerd-shim-runsc-v1 /usr/local/bin
$ echo $PATH
/home/bigred/bin:/home/bigred/vmalpdt/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

設定 gVisor

$ sudo nano /etc/docker/daemon.json
{
"runtimes": {
"runsc": {
"path": "/usr/local/bin/runsc"
}
}
}
$ sudo reboot
在 Windows 系統的 CMD 視窗, 執行以下命令
$ ssh bigred@<ALP.Docker IP>

注意，上面的設定是讓 docker 可以透過 runsc run Container ，但 docker 預設的還是 runc ，所以執行 docker run 時，要加參數 --runtime=runsc

執行 gVisor

$ docker run --rm --runtime=runsc -d -p 8080:80 --name n1 quay.io/cloudwalker/nginx
$ curl -I http://localhost:8080
HTTP/1.1 200 OK
Server: nginx/1.17.10
Date: Sat, 21 May 2022 11:50:28 GMT
........
$ ps aux | grep runsc
root 4359 0.0 0.9 736384 18972 ? Sl 21:53 0:00 runsc-gofer --root=/var/run/docker/runtime-ru ..........
$ $ docker stop n1

注意，透過 runsc 產生出來的一台 Container ，會有一個 runsc-gofer 以及一個 runsc-sandbox 這兩支 daemon 去罩這台 Container，所以兩台 Container 就會有 4 個 daemon ，要安全就會需要硬體上的支援。

如果完全模擬 kernel ，不就跟虛擬化技術一樣? 使用 katacontainers 這個專案，他完全模擬系統的 kernel，給一台 Container 一個專屬的 kernel，會動用到 QEMU 和 KVM 這兩項技術，這種 Container 在標準開機程序裡面，不會有 Boot Loader ，所以開機速度比 VM 快，又有屬於自己的 kernel 可以玩耍。

tags: `系統工程`

在Alpine Linux架站

Thu, 05 May 2022 17:30:24 +0800

下載一般的server版可以跑的busybox，像是Ubuntu server或是Centos server版 alp:~$ wget https://busybox.net/downloads/binaries/1.28.1-defconfig-multiarch/busybox-x86_64

而alpine linux是sudo apk add busybox-extras

alp:~$ sudo apk add busybox-extras
(1/1) Installing busybox-extras (1.34.1-r4)
Executing busybox-extras-1.34.1-r4.post-install
Executing busybox-1.34.1-r4.trigger
OK: 77 MiB in 97 packages

先建立一個目錄 mkdir webroot

寫入網站內容 alp:~$ echo '<html><head>Welcome to Alpine Linux</head><body><p>Hello</p></body></html>' >index.html

p 是文字標籤網頁文字樣式查詢

把寫好的內容丟到剛剛的目錄 alp:~$ mv index.html ./webroot/

把busybox網站服務啟動 alp:~$ sudo busybox-extras httpd -p 80 -h ./webroot/

-p 預設是80 port -h 是

下載新的網頁 alp:~$ wget https://www.free-css.com/assets/files/free-css-templates/download/page275/edulab.zip

解壓縮edulab.zip

alp:~$ unzip edulab.zip

確定有無index.html，打到/edulab/in按tab鍵看有沒有自動補上 alp:~$ ls -al /edulab/index.html

刪掉壓縮檔 alp:~$ rm edulab.zip

把edulab名字改成myweb alp:~$ mv edulab myweb

啟動網站 alp:~$ sudo busybox-extras httpd -p 8080 -h myweb/

如何刪除網站 alp:~$ ps aux

root 3554 0.0 0.0 876 40 ? Ss 09:31 0:00 busybox-extras httpd -p 80 -h ./webroot/
root 3717 0.1 0.0 0 0 ? I 09:58 0:02 [kworker/u256:2-events_unbound]
root 3739 0.0 0.0 0 0 ? R 10:02 0:01 [kworker/u256:3+events_unbound]
root 3838 0.0 0.0 876 392 ? Ss 10:19 0:00 busybox-extras httpd -p 8080 -h myweb/
root 3891 0.0 0.0 0 0 ? R 10:20 0:00 [kworker/u256:0-events_unbound]
root 3936 0.0 0.0 1584 4 ttyS0 Ss+ 10:28 0:00 /sbin/getty -L 0 ttyS0 vt100
bigred 3938 0.0 0.1 1708 884 pts/0 R+ 10:28 0:00 ps aux

找到我們開啟的 myweb

root 3838 0.0 0.0 876 392 ? Ss 10:19 0:00 busybox-extras httpd -p 8080 -h myweb/

刪除他的pid sudo kill -9 3838

看哪個port號沒被應用程式佔用 http://www.penguintutor.com/linux/services-tcp-udp-port-numbers-quickreference

編輯網頁內容

<html>
<head>Welcome to Alpine Linux</head>
<body>
<p style="color:red; ">Hello</p>
<div style="background-color:tomato; text-align:center; ">A red paragraph </div>
</body>
</html>

如果改完網站內容，發現網站沒有更新

到 “設定” »> “安全性與隱私權” »> “清除歷史資料”

按清除資料

最後再重新整理網站

下載口罩資料

先建立一個目錄 alp:~$ mkdir raw

到政府開放平台下載資料，在csv那裡按右鍵，選複製連結網址

下載資料，用-O參數把名字改成mask.csv，網址前後加單引號

alp:~$ wget 'https://quality.data.gov.tw/dq_download_csv.php?nid=116285&md5_url=53a72b2dcfdd9ecae43afda4b86089be' -O mask.csv

--2022-03-30 13:10:27-- https://quality.data.gov.tw/dq_download_csv.php?nid=116285&md5_url=53a72b2dcfdd9ecae43afda4b86089be
Resolving quality.data.gov.tw (quality.data.gov.tw)... 223.200.181.141
Connecting to quality.data.gov.tw (quality.data.gov.tw)|223.200.181.141|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/csv]
Saving to: 'mask.csv'
mask.csv [ <=> ] 540.55K --.-KB/s in 0.03s
2022-03-30 13:10:27 (15.9 MB/s) - 'mask.csv' saved [553522]

確認資料是否正確

alp:~$ cat raw/mask.csv | head -n 5
醫事機構代碼,醫事機構名稱,醫事機構地址,醫事機構電話,成人口罩剩餘數,兒童口罩剩餘數,來源資料時間
0145080011,衛生福利部花蓮醫院豐濱原住民分院,花蓮縣豐濱鄉豐濱村光豐路４１號,8358141,1770,1720,2021/06/30 14:32:25
0291010010,連江縣立醫院,連江縣南竿鄉復興村２１７號,623995,8000,1150,2021/06/30 14:32:25
2312010014,新竹市東區衛生所,新竹市東區民族路４０之２號,(03)5236158,4230,1260,2021/06/30 14:32:25
2312041028,新竹市北區衛生所,新竹市北區國華街六十九號一樓,(03)5353969,800,1370,2021/06/30 14:32:25

把mask.csv移到raw目錄下 alp:~$ mv mask.csv raw/

把第一行去掉，並輸出到./raw/mask0330.csv alp:~$ cat raw/mask.csv | tail -n +2 >./raw/mask0330.csv

檢查剛剛的動作有無錯誤

alp:~$ ls -l raw
total 1088
-rw-r--r-- 1 bigred bigred 553522 Mar 30 13:10 mask.csv
-rw-r--r-- 1 bigred bigred 553383 Mar 30 13:16 mask0330.csv

收尋開頭是0的資料

alp:~$ cat ./raw/mask0330.csv | grep "^0"
0145080011,衛生福利部花蓮醫院豐濱原住民分院,花蓮縣豐濱鄉豐濱村光豐路４１號,8358141,1770,1720,2021/06/30 14:32:25
0291010010,連江縣立醫院,連江縣南竿鄉復興村２１７號,623995,8000,1150,2021/06/30 14:32:25

把藥局(5) 醫院(0) 衛生所(2)分別輸出到h.txt c.txt m.txt

alp:~$ cat ./raw/mask0330.csv | grep "^0" >h.txt
alp:~$ cat ./raw/mask0330.csv | grep "^2" >c.txt
alp:~$ cat ./raw/mask0330.csv | grep "^5" >m.txt
alp:~$ ls -l
total 564
drwxr-sr-x 2 bigred bigred 4096 Mar 30 09:15 bin
-rw-r--r-- 1 bigred bigred 17606 Mar 30 13:32 c.txt
-rw-r--r-- 1 bigred bigred 251 Mar 30 13:32 h.txt
-rw-r--r-- 1 bigred bigred 535526 Mar 30 13:33 m.txt
drwxr-sr-x 6 bigred bigred 4096 Mar 30 09:43 myweb
drwxr-sr-x 2 bigred bigred 4096 Mar 30 13:16 raw
drwxr-sr-x 2 bigred bigred 4096 Mar 30 09:24 webroot

練習1:寫程式算一下，今日全省健康中心剩於的成人口罩數量是多少

練習2:金門縣兒童口罩及成人口罩剩餘

 300 cat raw/mask0330.csv | grep '金門縣' | cut -d ',' -f5 >sum_a.csv
301 cat raw/mask0330.csv | grep '金門縣' | cut -d ',' -f6 >sum_k.csv
302 ls
305 cp test1/sum.sh sum3.sh
306 nano sum3.sh
#!/bin/bash
s=0
while read -r line
do
s=$((s+$line))
done < sum_a.csv
echo "Aldult mask,$s" >>result2.txt
307 ./sum3.sh
308 cat result2.txt
309 cp sum3.sh sum4.sh
310 nano sum4.sh
#!/bin/bash
s=0
while read -r line
do
s=$((s+$line))
done < sum_k.csv
echo "Kid mask,$s" >>result2.txt
311 ./sum4.sh
312 cat result2.txt
313 clear
314 ls -l webroot/
315 ls -l webroot/result.files/
316 mv webroot/result.files/result.htm webroot/
317 ls -l webroot/
318 tree webroot/

tags: `Alpine`

Untitled

Sun, 24 Oct 2021 12:54:54 +0800

#　０９２８ Seccomp　限制ＰＩＤ，只要process被限制的對象(指令沒有在白名單內)，即使大哥ｒｏｏｔ後台很硬也同樣不行。UID也受限

seccomp (security computing) :第一層防守，保護 System call (其實就是 System Library)(其實就是 SELinux 的一部分)
是控制 process 的 syscall , 因此是控制 PID 的權限，所以說甚至是 root 也可以做限制!! go的 seccomp 實作：
透過 go 裡面的 libseccomp-golang 來和 Linux 的 seccomp 溝通
使用以上 lib ，位置是在 system lib 的上方，再來控制 seccomp 是否放行
接著再使用 go 裡面的 syscall 來呼叫
在程式語言中的 os lib 為比較高階的syscall ，使用 os.Getpid() 時，若無權限則回傳 -1