未分类 Nginx 启用upstream模块后,location块中的相关参数说明 前言 写这一篇文章之前,一直很头疼一件事。就是nginx需要配置哪些东西,哪些东西需要注意什么。还有就是有关http下面的location块中都有哪些参数可以设置,设置完都能有什么样的效果。这些细节的... 11月01日 阅读 1,629 views Nginx 启用upstream模块后,location块中的相关参数说明已关闭评论 阅读全文
未分类 让Spark运行在YARN上(Spark on YARN) 在Spark Standalone模式下,集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责,其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资... 01月20日 阅读 1,493 views 让Spark运行在YARN上(Spark on YARN)已关闭评论 阅读全文
未分类 利用Hadoop Mapreduce实现pv统计分析 本文将介绍通过Hadoop Mapreduce实现离线统计网站每日pv的思路及代码。 11月23日 阅读 1,202 views 利用Hadoop Mapreduce实现pv统计分析已关闭评论 阅读全文
未分类 Nginx启用具有一般的TCP代理和负载均衡的stream模块 一直以来,nginx并不支持TCP协议,一些基于TCP的业务必须依靠别的高可用负载软件来实现。但在nginx 1.9.0以后,意识到了此问题,终于得到了重大的重写。 2015-04-28 nginx更... 10月31日 阅读 1,137 views Nginx启用具有一般的TCP代理和负载均衡的stream模块已关闭评论 阅读全文
未分类 Spark的容错机制 分布式系统通常在一个机器集群上运行,同时运行的几百台机器中某些出问题的概率大大增加,所以容错设计是分布式系统的一个重要能力。 01月23日 阅读 986 views Spark的容错机制已关闭评论 阅读全文
未分类 将SparkSQL计算结果写入Mysql中 编写代码 package com.itunic.sql import java.util.Properties import org.apache.spark.sql.{Row, SQLContext... 01月03日 阅读 955 views 将SparkSQL计算结果写入Mysql中已关闭评论 阅读全文
Java 我眼中的并发编程——Fork/Join模型 简介 Fork/Join模型是ExecutorService的接口实现,可以帮助你利用多个处理器。它被设计用可以递归地分解成更小的任务,目的是所有可用的处理能力来提高应用程序性能,与分而治之思路类似。... 08月15日 阅读 892 views 我眼中的并发编程——Fork/Join模型已关闭评论 阅读全文