山西嵌入式系统课程| Spark与Hadoop计算模型之Spark比Hadoop更...

    上次我们分享了Spark与Hadoop计算模型的内存问题，今天山西思软嵌入式学员为大家分享Spark与Hadoop计算模型的Spark比Hadoop更通用的问题。

    Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap,sample, groupByKey, reduceByKey, union, join,cogroup, mapValues, sort,partionBy等多种操作类型，他们把这些操作称为Transformations.同时还提供Count, collect, reduce, lookup, save等多种actions.

    这些多种多样的数据集操作类型，给上层应用者提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的分区等。可以说编程模型比Hadoop更灵活。

这是什么情况?