Spark的共享变量 未分类

Spark的共享变量

Spark程序的大部分操作都是RDD操作,通过传入函数给RDD操作函数来计算。这些函数在不同的节点上并发执行,内部的变量有不同的作用域,不能相互访问,有些情况下不太方便,所以Spark提供了两类共享变...
阅读全文
Spark RDD中的持久化 未分类

Spark RDD中的持久化

持久化在早期被称作缓存(cache),但缓存一般指将内容放在内存中。虽然持久化操作在绝大部分情况下都是将RDD缓存在内存中,但一般都会在内存不够时用磁盘顶上去(比操作系统默认的磁盘交换性能高很多)。当...
阅读全文
Scala概述及环境安装 未分类

Scala概述及环境安装

Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。
阅读全文
项目进度估算难题 未分类

项目进度估算难题

  程序员要面临的挑战千千万,项目进度评估是有史以来就存在而且到现在也没有完美解决的重量级问题。 项目进度这个坎儿其实又可以拆分为两个: 1.工作量评估 2.项目执行与评估 前一阵圈子里流行...
阅读全文
SSH免登陆原理及配置 未分类

SSH免登陆原理及配置

SSH简介 SSH(Secure Shell的缩写):是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管...
阅读全文
CentOS Linux安装nginx及负载均衡的配置 未分类

CentOS Linux安装nginx及负载均衡的配置

centos安装nginx 一、安装nginx 1、在nginx官方网站下载一个包nginx官方下载 2、WinSCP(ftp上传工具).exe FTP 上传工具上传达到CentOS中 3、我是先建一...
阅读全文