Hadoop是什么
Hadoop是一个由Apache基金会的发布的开源的,可靠的,可扩展的,分布式的运算存储系统。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop可以解决什么问题
- 海量数据的存储(HDFS)
- 海量数据的分析(MapReduce)
- 资源管理调度(YARN)
Hadoop来源与历史
- Hapdoop是Google的集群系统的开源实现
-Google集群系统:
GFS(Google File System) 、MapReduce、BigTable
-Hadoop主要由HDFS(Hadoop Distributed File System即hadoop分布式文件系统)、MapReduce和Hbase组成。
- Hadoop的最初是为了解决Nutch的海量数据爬取和存储需要。
- Hadoop在2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
Hadoop具体能做什么
hadoop擅长日志分析
- facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析.
- 淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似com的协同过滤的推荐效果。淘宝的商品推荐也是!
- 在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)
哪些公司使用了Hadoop
- Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。
比较大型IT公司如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。
- 在淘宝:
- 从09年开始,用于对海量数据的离线处理,例如对日志的分析,交易记录的分析
- 规模从当初的3~4百台节点,增加到现在的一个集群有3000个节点,淘宝现在已经有2~3个这样的集群
- 在支付宝的集群规模也有700台节点,使用Hbase对用户的消费记录可以实现毫秒级查询
Hadoop生态圈
- 这一切是如何开始的—Web上庞大的数据!
- 使用Nutch抓取Web数据
- 要保存Web上庞大的数据——HDFS应运而生
- 如何使用这些庞大的数据?
- 采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析
- 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse,webdav, chukwa, flume, Scribe
- Hiho和sqoop将数据加载到HDFS中,关系型数据库也能够加入到Hadoop队伍中
- MapReduce编程需要的高级接口——Pig, Hive, Jaql
- 具有先进的UI报表功能的BI工具- Intellicus
- Map-Reduce处理过程使用的工作流工具及高级语言
- 监控、管理hadoop,运行jobs/hive,查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia
- 支持框架—Avro (进行序列化), Zookeeper (用于协同)
- 更多高级接口——Mahout, Elastic map Reduce
- 同样可以进行Hbase
hadoop1.0和hadoop2.0的对比
Hadoop特点
- 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。
- 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
- 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
- 可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。
2017年01月05日 下午3:36 沙发
说的阿萨德阿萨德阿萨大声道阿萨德阿萨德