antony@notes:~$ cd data-platform && ls
資料與儲存平台
42 articles · sorted by date desc
Oracle MySQL NDB 實作
本篇文章會主要會介紹如何， 可以透過點擊以下目錄，選擇想看的內容，跳轉至特定章節
MySQL_CDC (Change Data Capture)
skip-networking=0 ，允許使用者透過 Internet Domain Socket 登入，其實就是遠端連線 user=rbean ，指定 mysql 的使用者 rbean…
了解 Btrfs Filesystem 運作
Btrfs 檔案系統的所有寫入操作都會使用「Copy on Write（CoW）的機制」 如果你只是寫入一個之前不存在的檔案，那麼資料就會被寫入到空的空間中，並且組成檔案系統的一些 metadata blocks 會被「CoWed」（寫時複製）。 在「一般」的檔案系統中，如果你回頭覆蓋該檔案的一部分，那麼你正在寫入的那部分會直接覆蓋掉它所替換的資料。
Hadoop ha
m1, m2 都會有 Name Node, 和 Resource Manager
Apache Spark
在 2014 年的資料排序基準競賽（Sort Benchmark Competition）中，Databricks 公司使用 Spark，在 207 台的叢集中，以 23 分鐘完成 100 TB 的資料排序，刷新了2013年由 Yahoo 創下的記錄 (在2,100台的叢集中使用MapReduce，花費了72分鐘完成)。
Hive 資料倉儲工具
Schema on Read 資料庫本身沒有定義schema結構，寫入資料時不受schema限制，只有在讀取資料(Raw Data)時，由使用者做Code to schema的動作
dt*_script 簡介
當我們透過 dtwget 33 到 apache.org 網站下載資料，要先確定 套件是否有更新，再執行 dtwget 33 這個命令
看見 HDFS 底層運作
Client 在 dta1 虛擬主機，使用者為資料管理師 or 資料分析師 or 資料科學家 wget File.txt 上網要分析的資料集，檔名為 File.txt ，由 client 端的使用者下載 hdfs dfs -put…
MYSQL 的 資料庫引擎 有兩個 都是單機版
優點 : innodb 強在交易 ( 新增 修改 刪除 ...等) myissam 強在搜尋
Linux Data Process
RAID 5 ExFAT 檔案系統 第一行 | 宣告下面的程式用 /bin/bash 貝殼程式執行，這行如果是 #!/bin/pyton3 ，那麼下面的程式就會用 python3 執行 /etc/hosts 5 顆星重點，hacker 可能會偷改一個名稱對應的 ip ，所以要注意。