Hadoop之MapReduce原理及运行机制 未分类

Hadoop之MapReduce原理及运行机制

MapReduce概述 MapReduce是Hadoop的另一个重要组成部分,是一种分布式的计算模型。由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MapReduce执行主要分为两个...
阅读全文
项目进度估算难题 未分类

项目进度估算难题

  程序员要面临的挑战千千万,项目进度评估是有史以来就存在而且到现在也没有完美解决的重量级问题。 项目进度这个坎儿其实又可以拆分为两个: 1.工作量评估 2.项目执行与评估 前一阵圈子里流行...
阅读全文
Spark的容错机制 未分类

Spark的容错机制

分布式系统通常在一个机器集群上运行,同时运行的几百台机器中某些出问题的概率大大增加,所以容错设计是分布式系统的一个重要能力。
阅读全文