Skip to content

antony@notes:~/data-platform$ cat "建置靜宜大學落地雲系統.md"

建置靜宜大學落地雲系統

2022-08-11· data-platform ·Hadoop Cluster

建置靜宜大學落地雲系統

目標

在靜宜大學落地雲系統，建置兩套 Hadoop 以及一座 Kubernetes Cluster

整間教室的大架構

  • 總共有 28 ( 29 - 1 ) 台電腦
    • 4 台 Gateway , 21 台 Windows 電腦 , 3 台 alp 電腦
  • 一套 Hadoop ， 12 台 VM
  • 一套 Hadoop ， 11 台 VM
  • 一座 Kubernetes Cluster，11 台 VM
  • IOT Gateway ，一台 Windows 電腦
  • MQTT Broker ，一台 alpine 電腦

細項規劃

  • 第一件事 : 硬體交接

    • 幾台電腦、Switch，網路線有沒有接，把不要的椅子搬到外面。

    • 大家一起確認，網路架構和硬體設備是否和網路圖一致。 網路圖

    • 總共 4 台 Gateway + 24 台 windows 主機

  • 第二件事 : 整理系統環境

    • 東軒、玟伶、淑雯、小佳和佳恩
      • 把 S1 ( Switch ) 的兩台 Alp 主機接到 S3 ( Switch ) 上，另一台 Alp 接到 S5 ( Switch ) ，最後在把 3 台主機的作業系統都灌成 Windows 。( 注意，要關閉 Windows 更新 )
      • 參考講義連結 示意圖
    • 麒安和妙賢
      • 整理 4 台 Gateway 的系統，包括 update 和 upgrade ，以及刪除多餘的使用者帳號，最後啟動僅允許憑證登入。

  • 第三件事 : 設定網路

    • 大家一起把所有機器的 ip 重設 ( 比照網路圖 )。
    • 要做 Default Gateway 的設定 S2 和 S3 Switch 連接的所有電腦，先設 192.168.66.2 為第一個，在設 192.168.66.5 為第二個。 S4 和 S5 Switch 連接的所有電腦，先設 192.168.66.5 為第一個，在設 192.168.66.2 為第二個。
    • 透過 Guacamole 連線測試所有 Windows 電腦 ( 注意! rbean、gbean、ybean 和 bigred 使用者都要做連線測試。)

  • 第四件事

    • 一套 Hadoop 系統

      • Administrator 與 Student
      • 規格 :
        • 作業系統 : Ubuntu Server 22.04 LTS
        • 記憶體 : 6 GB
        • CPU : 2 C
        • 硬碟 : 400 GB
        • 網路模式 : bridge
        • ip : 所在的 Windows 主機 ip + 100
        • Hostname : dta1,, dts( 1..3 )
      • dtm1, dtm2
      • 規格 :
        • 作業系統 : Ubuntu Server 22.04 LTS
        • 記憶體 : 4 G
        • CPU : 2 C
        • 硬碟 : 400 GB
        • 網路模式 : bridge
        • ip : 所在的 Windows 主機 ip + 100
        • Hostname : dtm( 1, 2 )

    • 以上 6 台 VM 分別建立在 S2 和 S4 ( Switch ) 連接的所有 Windows 電腦 。

      • Data node + Node Manager
      • VM 規格 :
        • 作業系統 : Ubuntu Server 22.04 LTS
        • 記憶體 : 10 GB
        • CPU : 2 C
        • 硬碟 : 800 GB
        • 網路模式 : bridge
        • ip : 所在的 Windows 主機 ip + 100
        • Hostname : dtw( 1..6 )

    • 以上 6 台 VM 分別建立在 S3 和 S5 ( Switch ) 連接的所有 Windows 電腦 。

    兩座 Hadoop 建置完成後，會剩 8 台記憶體 4 GB 的 VM，以及 4 台記憶體 6 GB 的 VM

    • 一套 Kubernetes 系統
      • Worker node
      • 規格 :
        • 作業系統 : Alpine Linux 3.16
        • 記憶體 : 6 GB
        • CPU : 2 C
        • 硬碟 : 400 GB
        • 網路模式 : bridge
        • ip : 所在的 Windows 主機 ip + 200
        • Hostname : w( 1, 2, 5, 6 )
      • master node & worker node
      • 規格 :
        • 作業系統 : Alpine Linux 3.16
        • 記憶體 : 4 G
        • CPU : 2 C
        • 硬碟 : 400 GB
        • 網路模式 : bridge
        • ip : 所在的 Windows 主機 ip + 200
        • Hostname : m( 1..5 ) ,w( 3, 4 )
    • 以上 11 台 VM 分別建立在 S2 和 S4 ( Switch ) 連接的所有 Windows 電腦 。

:::spoiler 預期建置完成圖

:::

MQTT Broker 會搬到 192.168.66.5 的機器 IOT Gateway 將會裝在距離們最近的電腦 ( 依照片推測為 .31 )

建置嶺東科大落地雲系統建置 Apache Hadoop 3.3.3