有在碰大數據的人一定都聽過hadoop和spark,但常常會不清楚他們差別在哪裡,他們彼此其實是互補的,所以還是要看個人需求。在了解的過程中,我有看到一些蠻好的說明,在這邊做一些重點整理。
-
Spark因為其處理數據的方式不一樣,會比MapReduce快上很多。Spark的批處理速度比MapReduce快近10倍,內存中的數據分析速度則快近100倍。
有在碰大數據的人一定都聽過hadoop和spark,但常常會不清楚他們差別在哪裡,他們彼此其實是互補的,所以還是要看個人需求。在了解的過程中,我有看到一些蠻好的說明,在這邊做一些重點整理。
Spark因為其處理數據的方式不一樣,會比MapReduce快上很多。Spark的批處理速度比MapReduce快近10倍,內存中的數據分析速度則快近100倍。