Hadoop 是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。
MapReduce 是Google提出的一种算法,用于超大型数据集的并行运算。它是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。
Chukwa 是基于Hadoop集群中监控系统,可以用他来分析和收集系统中的数据(日志)
Hive 是DataWareHouse 和 Map Reduce交集,适用于ETL方面的工作
HBase 是一个面向列的分布式数据库。
HDFS 可以支持千万级的大型分布式文件系统。
Zookeeper 提供的功能包括:配置维护、名字服务、分布式同步、组服务等,用于分布式系统的可靠协调系统。
Avro 是一个数据序列化系统,设计用于支持大批量数据交换的应用
Sqoop 是一个可以将关系型数据库中的数据导入到Hadoop文件系统(HDFS)中的工具 。例如 Mysql的数据向Hive/HBase迁移。支持 Hsqldb、MySQL、Oracle、PostgreSQL等。
相关推荐
扫描完整版 Hadoop技术详解.Hadoop Operation Hadoop技术详解.Hadoop Operation
hadoop技术内幕 墙裂推荐 高清pdf 含Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理 和Hadoop技术内幕:深入解析YARN架构设计与实现原理
hadoop技术内幕,权威资料,内容全面,讲解通透!!!
Hadoop技术讲解.ppt Hadoop技术讲解.ppt
Hadoop云计算技术介绍 Hadoop云计算技术介绍 Hadoop云计算技术介绍 Hadoop云计算技术介绍
Facebook的实时Hadoop系统 hadoop的首次使用 Hadoop命令手册 Hadoop权威指南(第2版) hadoop伪分布配置自写 在Windows上安装Hadoop教程
Hadoop技术内幕 深入解析
Hadoop技术内幕深入解析YARN架构设计与实现原理
Hadoop技术答疑汇总
hadoop技术全套图书:开发运维资料、培训资料 1、Facebook的实时Hadoop系统 2、hadoop的首次使用 3、Hadoop命令手册 4、Hadoop权威指南 5、hadoop伪分布配置自写 6、在Windows上安装Hadoop教程 7、Transwarp 8、HDFS...
hadoop技术内幕,包括了HDFS和MapReduce,2本PDF书籍 。
分布式系统基础架构,由Apache基金会开发。
Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理
Hadoop平台技术 Hadoop平台技术-课程标准.docx 学习资料 复习资料 教学资源
Hadoop技术内幕,适合新手阅读,容易上手,共同赏阅。
Hadoop技术内幕_YARN-reading.part1.rar
Hadoop云计算2.0笔记第一课Hadoop介绍