Hadoop生态系统及各模块的功能?
1.HDFS(Hadoop分布式文件系统)
HDFS是一个在Hadoop生态中提供分布式存储支持的系统,很多上层计算框架(Hbase,Spark等。)依靠HDFS存储。
(分布式计算模型)离线计算
什么是离线计算,其实就是非实时计算。
3.分布式资源管理器
纱线与纺织品。;的出现主要是为了解决原有Hadoop扩展性差,不支持多种计算模式的问题。
4.存储计算
Spark在内存中提供分布式计算能力,比传统的MapReduce大数据分析更高效、更快速。
5.分布式列存储数据库
Hbase继承了列存储的特点,非常适合数据的随机读写。其次,Hbase建立在HDFS之上,它内部管理的所有文件都存储在HDFS。这使得它具有高度的容错性和可扩展性,并支持Hadoopmapreduce编程模型。
6.数据仓库
7.Oozie(工作流调度程序)
Oozie是一个基于工作流引擎的调度器,它实际上是一个运行在JavaServlet容器(如Tomcat)中的JavaWeb应用程序,在其上可以运行诸如Hadoop地图缩小和猪。
8.Sqoop和Pig
9.Flume(日志收集工具)
Flume将数据从产生、传输、处理到最终写入目标路径的过程抽象成数据流。在具体的数据流中,数据源支持在Flume中定制数据发送方,从而支持不同协议的数据采集。
10.Kafka(分布式消息队列)
Kafka是Apach
hadoop生态圈包含哪些系统?
Hadoop生态系统:
1.HDFS:Hadoop分布式文件系统,用来解决机器组存储数据的问题。
第一代Hadoop计算引擎分为两步:map和reduce。很好用,但是很繁琐。
3.spark:第二代计算引擎,模糊了map和reduce之间的界限,需要更少的磁盘读写。
4.pig:上面计算引擎的MapReduce程序很难写。与汇编语言相比,pig的描述更接近脚本。
配置单元是用sql描述的。将sql语言翻译成MapReduce程序。
6.Tez和spark:新一代计算引擎,可以满足低速数据处理的要求。
:流式计算平台。数据流和统计。
8.zookeeper:分布式访问协作系统
9.纱:中央管理调度系统