antony@notes:~$ cd data-platform && ls
資料與儲存平台
42 articles · sorted by date desc
配置 YARN 運算資源前需具備的 CPU 基礎觀念
中央處理器 （英語：Central Processing Unit，縮寫：CPU） CPU 型號 : i7-8700 6C/12T 插槽 : 1 ，實體的電腦可以插幾顆 CPU，一般家用電腦為 1 ，伺服器的機器可能會有 1 以上…
Hadoop - MapReduce - YARN
啟動 YARN 系統， Node Manager 會透過網路一起向 Resource Mananger 報告，幾 G 的記憶體和 幾 core 的 cpu ，每台 Node Manager 都會透過網路報告自己所在主機的運算資源，此時 Resource Manager 就會知道 YARN 的總運算資源。
DataTechnology - Overview
OLTP｜線上交易處理｜Online transaction processing Transactional 代表 4 大動作 crud，新增,修改,刪除,查詢，多人同時去執行這幾個動作 create read update…
資科平台重要資訊
-d ，Directories are listed as plain files.
手動建制資科平台
下載 US2004.CVN80.zip 虛擬主機壓縮檔, 然後解壓縮至使用者家目錄 Open jdk-8 已安裝 libisal-dev libsnappy-dev libz-dev 設定 SSH /etc/ssh/sshd_config…
Hadoop 實戰篇
目錄 下載 VMware Workstation Player 軟體,下載網址如下…
RDD
目錄 14:50 Resilient This means fault-tolerant. By using RDD lineage graph(DAG), we can recompute missing or damaged partitions due to node failures.
實測資科平台
YARN最大運算總量 請各組 3 位同學在 dta2，使用不同的帳號登入，同時執行以下 3 個命令，告知執行結果的平均時間
Hadoop 實戰篇(舊版)
在製作的過程中，會把bin跟ssh兩個目錄區裡面的內容放到光碟片裡面去，一個是bin裡面會有一段程式(bash.append)，另一個是ssh裡面的私鑰(idrsa)和自動登入的憑證檔(idrsa.pub)，代表用這個Dockerfile做…
Datatechnology 資料科技 (舊版)
前言 學完以後，可以應徵資料工程師、資料管理師、資料分析師、資料科學家、資料架構師，資料科學家有個必要條件，數學(統計機率、工程數學)要很強，資料分析師要把這幾天的核心掌握，就有部分去使用一些分析工具，像微軟公司出的Power BI、Mathlab...等的分析工具，資料管理師和資料工程師是要學的，但只要學會以後要去應徵資料分析師或資料科學家會比別人更有競爭力，因為你會後端的技術。