antony@notes:~$ cd data-platform && ls
資料與儲存平台
41 articles · sorted by date desc
Hadoop - MapReduce - YARN
:::spoiler 目錄 ( 點我可展開 )
DataTechnology - Overview
:::warning :::spoiler 目錄 ( :mag_right: 點我，可展開 )
資科平台重要資訊
-d ，Directories are listed as plain files.
手動建制資科平台
下載 US2004.CVN80.zip 虛擬主機壓縮檔, 然後解壓縮至使用者家目錄 Open jdk-8 已安裝 libisal-dev libsnappy-dev libz-dev 設定 SSH /etc/ssh/sshd_config…
Hadoop 實戰篇
目錄 下載 VMware Workstation Player 軟體,下載網址如下:
RDD
目錄 14:50 Resilient This means fault-tolerant. By using RDD lineage graph(DAG), we can recompute missing or damaged…
實測資科平台
YARN最大運算總量 請各組 3 位同學在 dta2，使用不同的帳號登入，同時執行以下 3 個命令，告知執行結果的平均時間
Hadoop 實戰篇(舊版)
在製作的過程中，會把bin跟ssh兩個目錄區裡面的內容放到光碟片裡面去，一個是bin裡面會有一段程式(bash.append)，另一個是ssh裡面的私鑰(idrsa)和自動登入的憑證檔(idrsa.pub)，代表用這個Dockerfile做…
Datatechnology 資料科技 (舊版)
前言 學完以後，可以應徵資料工程師、資料管理師、資料分析師、資料科學家、資料架構師，資料科學家有個必要條件，數學(統計機率、工程數學)要很強，資料分析師要把這幾天的核心掌握，就有部分去使用一些分析工具，像微軟公司出的Power…
Hadoop 程式解析
確認組內dt系列的虛擬機器是否有在線上 更改ssh client的設定檔，在ssh連到別人時，如果一開始第一次不想回答yes，才下載公鑰，就做下面的更改