Spark发展现状与战线

Spark发展现状与战线

前言

现今Spark正是风头正劲时，Spark本是UCBerkeley的AMPLab诞生的项目，后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理，到交互式查询，一直到图计算和机器学习，可谓摆开了架势、拉长了战线，一方面挑战老前辈Hadoop和MapReduce，另一方面又随时准备迎接同样的后起之秀的挑战。

大数据的今天

今天的大数据系统生物圈百花齐放，有已经如日中天的通用批处理MapReduce，也有针对不同应用场景而特殊化的处理系统。

全栈式的Spark

Spark作为后起之秀，以其RDD模型的强大表现能力，不断完善自己的功能，逐渐形成了一套自己的生物圈，提供了full-stack的解决方案。其中主要包括Spark内存中批处理，Shark交互式查询，Spark Streaming流式计算三大部分。此外还有GraphX和MLBase提供的常用图计算和机器学习算法。

而Spark由于采用Scala编写，底层使用Akka，代码十分简洁。而且借助RDD的强大表现力，Spark各种子项目的代码量也很小。

Spark使用情况