• Hadoop简介

    Hadoop简介

  • 利用zookeeper实现服务上线(离线)自动感知

    利用zookeeper实现服务上线(离线)自动感知

一次nginx引起的线上502故障 未分类

一次nginx引起的线上502故障

今天突然接到某PM的求救,说微信支付到应用的请求一直返回502,于是初步了解完情况后,就进入了问题排查阶段。 nginx verison 1.10.2 1,查看Nginx error.log,异常信息...
阅读全文
我眼中的并发编程——Fork/Join模型 Java

我眼中的并发编程——Fork/Join模型

简介 Fork/Join模型是ExecutorService的接口实现,可以帮助你利用多个处理器。它被设计用可以递归地分解成更小的任务,目的是所有可用的处理能力来提高应用程序性能,与分而治之思路类似。...
阅读全文
Redis-3.x集群安装(三主三从) 未分类

Redis-3.x集群安装(三主三从)

什么是Redis Redis是目前一个非常优秀的key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、...
阅读全文
Spark DAG调度 未分类

Spark DAG调度

SparkContext在初始化时,创建了DAG调度与Task调度来负责RDD Action操作的调度执行。 DAGScheduler DAGScheduler负责Spark的最高级别的任务调度,调度...
阅读全文
SparkContext初始化过程 未分类

SparkContext初始化过程

SparkContext在构造的过程中,已经完成了各项服务的启动。因为Scala语法的特点,所有构造函数都会调用默认的构造函数,而默认构造函数的代码直接在类定义中。 除了初始化各类配置、日志之外,最重...
阅读全文
Spark RDD的Shuffle 未分类

Spark RDD的Shuffle

Shuffle的概念来自Hadoop的MapReduce计算过程。当对一个RDD的某个分区进行操作而无法精确知道依赖前一个RDD的哪个分区时,依赖关系变成了依赖前一个RDD的所有分区。比如,几乎所有&...
阅读全文