让Spark运行在YARN上(Spark on YARN) 未分类

让Spark运行在YARN上(Spark on YARN)

在Spark Standalone模式下,集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责,其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资...
阅读全文
Scala概述及环境安装 未分类

Scala概述及环境安装

Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。
阅读全文
Hive基本概念 未分类

Hive基本概念

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
阅读全文
Hadoop之HDFS概念与体系结构 未分类

Hadoop之HDFS概念与体系结构

HDFS是什么 Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。 HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署...
阅读全文