博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop入门扫盲:hadoop发行版介绍与选择
阅读量:5889 次
发布时间:2019-06-19

本文共 1821 字,大约阅读时间需要 6 分钟。

一、hadoop发行版介绍

目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,是由于Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。

目前而言,不收费的Hadoop版本主要有三个,都是国外厂商,分别是:

Apache(最原始的版本,所有发行版均基于这个版本进行改进)

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)

Hortonworks版本(Hortonworks Data Platform,简称“HDP”)

对于国内用户而言,绝大多数选择CDH版本,Cloudera的CDH和Apache的Hadoop的区别如下:

(1) CDH对Hadoop版本的划分非常清晰,截止目前为止,CDH共有5个版本,其中,前三个已经不再更新,最近的两个,分别是CDH4和CDH5,CDH4基于Hadoop2.0,CDH5基于hadoop2.2/2.3/2.5/2.6.相比而言,Apache版本则混乱得多;同时,CDH发行版比Apache hadoop在兼容性,安全性,稳定性上有很大增强。  

(2)CDH3是CDH第三个版本,基于Apache hadoop0.20.2改进而来,并融入了最新的patch,CDH4版本是基于Apache hadoop2.0.0改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证.

(4)CDH文档完善清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。 

(5)CDH支持yum/apt包,RPM包,tar包,Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。

二、CDH发行版本介绍

CDH首先是100%开源,基于Apache协议。基于Apache Hadoop和相关projiect开发。可以做批量处理,交互式sql查询和及时查询,基于角色的权限控制。在企业中使用最广的Hadoop分发版本。

Cloudera完善了CDH的版本,并提供了对hadoop的发布、配置和管理,监控,诊断工具,在官网提供了多种集成发行版。如下图所示:

 

1、单纯CDH版本下载,目前最新版本为CDH5.8.2,可自由下载并免费无限制使用。

2、Cloudera Express,可免费下载使用,包含了CDH,以及Cloudera Manager(简称CM),CM提供了对集群的管理功能,比如自动化部署,中心化管理,监控,诊断功能等。CM属于非开源产品,Cloudera提供有限功能使用,之前对管理的数据节点限制为50个,目前已经取消了此限制,可无限增加数据节点。

3、Cloudera Enterprise是官方的收费产品,可免费试用60天全功能版本,过期后需要注册码才能继续使用,否则将变为Cloudera Express版本,包含CDH,以及Cloudera Manager。Cloudera Enterprise在发布、配置和管理,监控,诊断,集成四个部分的功能是相同的。只有在高级管理功能中有区别,Cloudera Enterprise拥有这些功能,而Cloudera Express则没有。

三、CDH发行版下载地址

可到官方网站下载页面:, 也可以知道到下面地址下载不同版本:

四、CDH与操作系统的依赖

CDH发行版本与操作系统的关系如下:

 

经验推荐:

hadoop-2.3.0-cdh5.1.5以及之前的版本,推荐linux操作系统版本为Centos6.x以上

hadoop-2.5.0-cdh5.2.0以及之后的版本,推荐linux操作系统版本为Centos7.x(Centos7.1/7.2,7.0不支持)以上。

本文转自南非蚂蚁51CTO博客,原文链接: http://blog.51cto.com/ixdba/1869043,如需转载请自行联系原作者

你可能感兴趣的文章
线性表--单链表(C++)
查看>>
mysql 5.7.9 免安装版本
查看>>
【基础技术】Java基础那些事儿系列-成员变量与局部变量
查看>>
0726linux基础内容小记
查看>>
【加密工具】2019年网络安全加密工具排行,好用的计算机加密软件推荐
查看>>
练习题
查看>>
mysql中Timestamp,time,datetime 区别
查看>>
使用Python快速建立FTP服务器
查看>>
Python和Cython有什么关系?
查看>>
bind安装域名解析服务,以及分离服务
查看>>
Netfilter/Iptables Layer7 应用层过滤策略部署
查看>>
12.21 php-fpm的pool 12.22 php-fpm慢执行日志 12.23 open_b
查看>>
如何挂载另一个lvm硬盘
查看>>
安装cobbler
查看>>
第3章 方法的重载及参数传递
查看>>
多选下拉相互切换
查看>>
SSH服务详解
查看>>
小程序--时间处理(显示几分钟前,,几小时前,,几天前...)
查看>>
23种设计模式介绍(三)---- 行为型模式
查看>>
项目owner看这里,MaxCompute全表扫描新功能,给你“失误”的机会
查看>>