軟體主廚的程式料理廚房

Hadoop HDFS 是透過 Block Size 的設定來決定對一個檔案切割的大小，HDFS 預設的 Block Size 是 128mb，意思就是說當一個檔案超過 128mb 時，就會被切成至少 2 個 Block 以上存放。

但是在海量圖檔的情況之下，一個圖檔通常不會超過 128mb，一個檔案還是佔用了一個 Block 個數，實際佔用的磁碟空間是依照檔案的實際大小沒錯，可是檔案的實際大小未達到 Block Size 的設定值時，還是硬生生地佔用了 1 個 Block 個數，當 Block 的數量太多的時候，對於 Hadoop Name Node 的記憶體空間就會有相當大程度的耗損。

同事架設了 Hadoop 用來測試 HDFS，公司有海量的圖檔需要做永久存放的需求，而且都要是 Online 的，在思考解決方案時先考慮到的就是分散式的儲存系統，Hadoop 正夯，所以就拿它來試試看，Hadoop 有很多功能可以使用，但是我們只需要 HDFS 就好了。