Hadoop之MapReduce原理及运行机制 未分类

Hadoop之MapReduce原理及运行机制

MapReduce概述 MapReduce是Hadoop的另一个重要组成部分,是一种分布式的计算模型。由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MapReduce执行主要分为两个...
阅读全文
Hadoop之HDFS源码分析 未分类

Hadoop之HDFS源码分析

HDFS的读取数据过程 初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每...
阅读全文
Hadoop之RPC机制 未分类

Hadoop之RPC机制

什么是RPC机制 Remote Procedure Call(简称:RPC):远程过程调用协议。 RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输...
阅读全文
Hadoop之HDFS概念与体系结构 未分类

Hadoop之HDFS概念与体系结构

HDFS是什么 Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。 HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署...
阅读全文
SSH免登陆原理及配置 未分类

SSH免登陆原理及配置

SSH简介 SSH(Secure Shell的缩写):是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管...
阅读全文
CentOS Linux安装nginx及负载均衡的配置 未分类

CentOS Linux安装nginx及负载均衡的配置

centos安装nginx 一、安装nginx 1、在nginx官方网站下载一个包nginx官方下载 2、WinSCP(ftp上传工具).exe FTP 上传工具上传达到CentOS中 3、我是先建一...
阅读全文