Hive基本概念 未分类

Hive基本概念

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
阅读全文
Nginx性能优化的那些事 未分类

Nginx性能优化的那些事

nginx作为最优秀的web服务器之一,以轻量级,高并发而著称,用户遍及全球各地。下面来讲述一下nginx常规的一些优化。仅供参考! 并发数调整 谈到web服务器,并发是一个无法规避的问题。那我们来看...
阅读全文
Nginx 启用upstream模块后,location块中的相关参数说明 未分类

Nginx 启用upstream模块后,location块中的相关参数说明

前言 写这一篇文章之前,一直很头疼一件事。就是nginx需要配置哪些东西,哪些东西需要注意什么。还有就是有关http下面的location块中都有哪些参数可以设置,设置完都能有什么样的效果。这些细节的...
阅读全文
Nginx启用具有一般的TCP代理和负载均衡的stream模块 未分类

Nginx启用具有一般的TCP代理和负载均衡的stream模块

一直以来,nginx并不支持TCP协议,一些基于TCP的业务必须依靠别的高可用负载软件来实现。但在nginx 1.9.0以后,意识到了此问题,终于得到了重大的重写。 2015-04-28 nginx更...
阅读全文
MapReduce程序的几种提交运行模式 未分类

MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。 本地模型运行 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行...
阅读全文
Hadoop之MapReduce原理及运行机制 未分类

Hadoop之MapReduce原理及运行机制

MapReduce概述 MapReduce是Hadoop的另一个重要组成部分,是一种分布式的计算模型。由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MapReduce执行主要分为两个...
阅读全文
Hadoop之HDFS源码分析 未分类

Hadoop之HDFS源码分析

HDFS的读取数据过程 初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每...
阅读全文
Hadoop之RPC机制 未分类

Hadoop之RPC机制

什么是RPC机制 Remote Procedure Call(简称:RPC):远程过程调用协议。 RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输...
阅读全文
Hadoop之HDFS概念与体系结构 未分类

Hadoop之HDFS概念与体系结构

HDFS是什么 Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。 HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署...
阅读全文