Java HotSpot G1垃圾优先型垃圾回收器调优 未分类

Java HotSpot G1垃圾优先型垃圾回收器调优

G1(Garbage-First)收集器是当今收集器技术发展的最前沿成果之一,早在JDK 1.7刚刚确立项目目标,Sun公司给出的JDK 1.7 RoadMap里面,它就被视为JD...
阅读全文
让Spark运行在YARN上(Spark on YARN) 未分类

让Spark运行在YARN上(Spark on YARN)

在Spark Standalone模式下,集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责,其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资...
阅读全文
我眼中的并发编程——Fork/Join模型 Java

我眼中的并发编程——Fork/Join模型

简介 Fork/Join模型是ExecutorService的接口实现,可以帮助你利用多个处理器。它被设计用可以递归地分解成更小的任务,目的是所有可用的处理能力来提高应用程序性能,与分而治之思路类似。...
阅读全文
Spark RDD的Transformation Spark

Spark RDD的Transformation

RDD的Transformation是指由一个RDD生成新RDD的过程,比如前面使用的flatMap、map、filter操作都返回一个新的RDD对象,类型是MapPartitionsRDD,它是RD...
阅读全文
Spark核心数据结构RDD的定义 未分类

Spark核心数据结构RDD的定义

RDD是Spark最重要的抽象,掌握了RDD,可以说就掌握了Spark计算的精髓。它不但对理解现有Spark程序大有帮助,也能提升Spark程序的编写能力。
阅读全文
Spark的容错机制 未分类

Spark的容错机制

分布式系统通常在一个机器集群上运行,同时运行的几百台机器中某些出问题的概率大大增加,所以容错设计是分布式系统的一个重要能力。
阅读全文