我眼中的并发编程——Fork/Join模型 Java

我眼中的并发编程——Fork/Join模型

简介 Fork/Join模型是ExecutorService的接口实现,可以帮助你利用多个处理器。它被设计用可以递归地分解成更小的任务,目的是所有可用的处理能力来提高应用程序性能,与分而治之思路类似。...
阅读全文
MapReduce程序的几种提交运行模式 未分类

MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。 本地模型运行 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行...
阅读全文
Spark核心数据结构RDD的定义 未分类

Spark核心数据结构RDD的定义

RDD是Spark最重要的抽象,掌握了RDD,可以说就掌握了Spark计算的精髓。它不但对理解现有Spark程序大有帮助,也能提升Spark程序的编写能力。
阅读全文
Akka之简单的自定义RPC框架(乞丐版) 未分类

Akka之简单的自定义RPC框架(乞丐版)

关于Akka Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。系统几乎不会宕机(高可用性 99...
阅读全文
Spark RDD中的持久化 未分类

Spark RDD中的持久化

持久化在早期被称作缓存(cache),但缓存一般指将内容放在内存中。虽然持久化操作在绝大部分情况下都是将RDD缓存在内存中,但一般都会在内存不够时用磁盘顶上去(比操作系统默认的磁盘交换性能高很多)。当...
阅读全文
Spark的共享变量 未分类

Spark的共享变量

Spark程序的大部分操作都是RDD操作,通过传入函数给RDD操作函数来计算。这些函数在不同的节点上并发执行,内部的变量有不同的作用域,不能相互访问,有些情况下不太方便,所以Spark提供了两类共享变...
阅读全文