本文介绍hive工具的安装及整合mysql
行业资讯
行业资讯
未分类
Nginx 启用upstream模块后，location块中的相关参数说明
前言 写这一篇文章之前，一直很头疼一件事。就是nginx需要配置哪些东西，哪些东西需要注意什么。还有就是有关http下面的location块中都有哪些参数可以设置，设置完都能有什么样的效果。这些细节的...
未分类
利用Hadoop Mapreduce实现pv统计分析
本文将介绍通过Hadoop Mapreduce实现离线统计网站每日pv的思路及代码。
未分类
利用Spark通过nginx日志离线统计网站每日pv
本文将介绍通过Apache Spark实现离线统计网站每日pv的思路及代码。
未分类
让Spark运行在YARN上（Spark on YARN）
在Spark Standalone模式下，集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责，其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资...
未分类
Nginx启用具有一般的TCP代理和负载均衡的stream模块
一直以来，nginx并不支持TCP协议，一些基于TCP的业务必须依靠别的高可用负载软件来实现。但在nginx 1.9.0以后，意识到了此问题，终于得到了重大的重写。 2015-04-28 nginx更...
未分类
Spark的容错机制
分布式系统通常在一个机器集群上运行，同时运行的几百台机器中某些出问题的概率大大增加，所以容错设计是分布式系统的一个重要能力。
未分类
CentOS Linux安装nginx及负载均衡的配置
centos安装nginx 一、安装nginx 1、在nginx官方网站下载一个包nginx官方下载 2、WinSCP(ftp上传工具).exe FTP 上传工具上传达到CentOS中 3、我是先建一...
HBase
HBase集群搭建与调优（持续更新）
hbase集群搭建与调优。
未分类
将SparkSQL计算结果写入Mysql中
编写代码 package com.itunic.sql import java.util.Properties import org.apache.spark.sql.{Row, SQLContext...
未分类
利用zookeeper实现服务上线（离线）自动感知
1、环境说明 1.1、zookeeper环境 运行于centos 6.5 X64系统zookeeper-3.4.8版本，运行于三台节点ha环境，分别对应如下： zookeeperServer1、zoo...