加州大学伯克利分校:MapReduce Spark
程序员文章站
2022-10-30 18:13:17
加州大学伯克利分校的教授，从历史发展的角度，讲述了在超级计算机中如何编程，从而引出风行几十年的MPI编程框架，然后这个框架编程过于复杂，进而演化出了MapReduce模型，这个模型的第一个开源实践版本是Hadoop，Hadoop风光了近10年以后，其中的计算引擎MapReduce被Apache Sp ......
加州大学伯克利分校的教授，从历史发展的角度，讲述了在超级计算机中如何编程，从而引出风行几十年的mpi编程框架，然后这个框架编程过于复杂，进而演化出了mapreduce模型，这个模型的第一个开源实践版本是hadoop，hadoop风光了近10年以后，其中的计算引擎mapreduce被apache spark所取代，spark在mapreduce（bsp）模型基础之上，有增加了很多其它编程模式，比如sql/streaming/ml/graph等等，让当今大数据时代的并行编程变得如此简单。本文是整个历史的亲见者和推动者所写，让我们从源头和根本理解并行编程的发展史！