本文将介绍利用Spark RDD实现分组并排序。
未分类
未分类
未分类
SparkContext初始化过程
SparkContext在构造的过程中，已经完成了各项服务的启动。因为Scala语法的特点，所有构造函数都会调用默认的构造函数，而默认构造函数的代码直接在类定义中。 除了初始化各类配置、日志之外，最重...
未分类
Spark RDD的Shuffle
Shuffle的概念来自Hadoop的MapReduce计算过程。当对一个RDD的某个分区进行操作而无法精确知道依赖前一个RDD的哪个分区时，依赖关系变成了依赖前一个RDD的所有分区。比如，几乎所有&...
未分类
Spark RDD的Action
RDD的Action是相对Transformation的另一种操作。Transformation代表计算的中间过程，从一个RDD生成新的RDD；而Action代表计算的结束，一次Action调用之后，...
未分类
Spark RDD的Transformation
RDD的Transformation是指由一个RDD生成新RDD的过程，比如前面使用的flatMap、map、filter操作都返回一个新的RDD对象，类型是MapPartitionsRDD，它是RD...
未分类
Spark核心数据结构RDD的定义
RDD是Spark最重要的抽象，掌握了RDD，可以说就掌握了Spark计算的精髓。它不但对理解现有Spark程序大有帮助，也能提升Spark程序的编写能力。
未分类
Spark的容错机制
分布式系统通常在一个机器集群上运行，同时运行的几百台机器中某些出问题的概率大大增加，所以容错设计是分布式系统的一个重要能力。
未分类
Spark的共享变量
Spark程序的大部分操作都是RDD操作，通过传入函数给RDD操作函数来计算。这些函数在不同的节点上并发执行，内部的变量有不同的作用域，不能相互访问，有些情况下不太方便，所以Spark提供了两类共享变...
未分类
让Spark运行在YARN上（Spark on YARN）
在Spark Standalone模式下，集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责，其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资...
未分类
利用Spark通过nginx日志离线统计网站每日pv
本文将介绍通过Apache Spark实现离线统计网站每日pv的思路及代码。