让Spark运行在YARN上(Spark on YARN) 未分类

让Spark运行在YARN上(Spark on YARN)

在Spark Standalone模式下,集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责,其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资...
阅读全文
MapReduce程序的几种提交运行模式 未分类

MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。 本地模型运行 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行...
阅读全文
Nginx性能优化的那些事 未分类

Nginx性能优化的那些事

nginx作为最优秀的web服务器之一,以轻量级,高并发而著称,用户遍及全球各地。下面来讲述一下nginx常规的一些优化。仅供参考! 并发数调整 谈到web服务器,并发是一个无法规避的问题。那我们来看...
阅读全文
项目进度估算难题 未分类

项目进度估算难题

  程序员要面临的挑战千千万,项目进度评估是有史以来就存在而且到现在也没有完美解决的重量级问题。 项目进度这个坎儿其实又可以拆分为两个: 1.工作量评估 2.项目执行与评估 前一阵圈子里流行...
阅读全文
Spark的容错机制 未分类

Spark的容错机制

分布式系统通常在一个机器集群上运行,同时运行的几百台机器中某些出问题的概率大大增加,所以容错设计是分布式系统的一个重要能力。
阅读全文