我应该在 1.x、2.2 和 0.23 中选择哪个 hadoop 版本

2023-12-01

您好,我是 Hadoop 新手,对版本名称非常困惑,我应该使用 1.x(强大的支持和学习资源)、2.2 或 0.23 中的哪一个。

我读到 hadoop 正在从 v0.23 完全迁移到 YARN(link1 ).
但与此同时,整个网络都在说 hadoop v2.0 正在迁移到 YARN(link2)并且我可以在 Hadoop 2.2 本身中看到 YARN 配置文件。

  • 但由于 0.23 对我来说似乎是最新版本,2.2 也可以吗 支持纱线? (参考链接1,它说hadoop将支持YARN v0.23)
  • 作为初学者,我应该选择 1.x 还是 2.x 版本 hadoop的学习视角。
  • 还有其他与hadoop一起使用的技术吗,比如pig、hive等? 最新版本的 hadoop 是否可用?

Thanks.

UPDATE
谢谢大家的回复。 我最终使用了 hadoop 2.2,因为所有著名的教程和资源都已经过时了,尽管我找到了一本好书来开始使用 v2.2。

《Hadoop:权威指南,第三版》作者:Tom White(Buy Here)

支持hadoop v2.2。

The 源代码是在github上给出的https://github.com/tomwhite/hadoop-book

正如github上提到的,本书的代码经过测试

This version of the code has been tested with:
 * Hadoop 1.2.1/0.22.0/0.23.x/2.2.0
 * Avro 1.5.4
 * Pig 0.9.1
 * Hive 0.8.0
 * HBase 0.90.4/0.94.15
 * ZooKeeper 3.4.2
 * Sqoop 1.4.0-incubating
 * MRUnit 0.8.0-incubating

希望能帮助到你..!!!


有一些活跃的版本系列。 1.x 版本系列是 0.20 的延续 发布系列。 0.23 发布几周后,以前称为 0.20.205 的 0.20 分支被重新编号为 1.0。 0.20.205 和 1.0 之间几乎没有功能差异。这只是重新编号。

0.23 包括几个主要的新功能,包括一个新的 MapReduce 运行时,称为 MapReduce 2,在称为 YARN(又一个资源协商器)的新系统上实现,YARN 是用于运行分布式应用程序的通用资源管理系统。同样,2.x 版本是 0.23 版本系列的延续。所以2.2也支持YARN。

根据Hadoop 2.2 发行说明

  • 1.2.X - 当前稳定版本,1.2 版本

  • 2.2.X - 当前稳定的 2.x 版本

  • 0.23.X - 与 2.X.X 类似,但缺少 NN HA。

我建议从Cloudera分配,因为你刚开始学习。 CDH 4.5 包含您正在寻找的 YARN 功能。你也可以尝试霍顿工厂分配。与这些供应商合作的优点是,您无需担心哪个版本的组件(例如 Hive、Pig)可以与您的 Hadoop 安装配合使用。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

我应该在 1.x、2.2 和 0.23 中选择哪个 hadoop 版本 的相关文章

随机推荐

  • 无法从 BASH 中的 WHILE 中获取变量的值

    我有一个代码 od An t x1 lt file while read line do for char in line do if needspace eq 0 then export hexs hexs printf 2s char
  • 如何移动放置在容器底部的最小化组件?

    我的容器中有三个组件 其中有按钮 当我点击最小化按钮时 组件会最小化到容器的底部 当我点击最小化组件时 它会最大化 假设三个组件位于底部 如果我最大化第二个组件 那么它就会最大化 而第三个最小化组件不会占据第二个组件的位置 并且这仍然是空间
  • 如何在 Code::blocks 中使用自定义项目模板

    在 MS Visual studio 中 我可以制作自己的项目 然后将其保存为自定义模板以供下次使用 有谁知道如何在代码块中做到这一点 一张图片胜过千言万语 https i stack imgur com BX5lM png
  • Raspberry pi 与 pygame.mixer 音频仅产生静态

    我对树莓派很陌生 而且很新 但我试图通过 pi B 上的 python 文件播放音频文件 我使用 omxplayer 从命令行播放音频 它工作正常 但是当我运行以下命令时它仅播放静态代码 from pygame import mixer m
  • 在Java中表示卡片的类?

    我正在用 Java 编写一个二十一点程序 并且开始为对象 Card 编写类声明 这足够了 还是有一些我应该掩盖的方法 public class Card public int suit Value 1 4 to represent suit
  • 如何使用锁定提示以便两个并行查询返回不相交的结果?

    我有一个 SQL 表Tasks有柱子Id and State 我需要执行以下操作 找到任何一项具有状态的任务ReadyForProcessing 检索其所有列并将其状态设置为Processing 类似于 伪代码 BEGIN TRANSACT
  • GCC LTO 是否执行跨文件死代码消除?

    说我有一个函数 void do something ifdef FEATURE X feature x endif 我可以毫无问题地编译和运行它 如果我想要这个功能我可以通过 D FEATURE X它有效 但是 如果我想把do someth
  • 长时间运行的线程如何在 Web 应用程序中工作

    所以我在 MVC 控制器方法内部有以下代码 public ActionResult ProcessFile ThreadStart threadStart new ThreadStart gt Doing some long process
  • 使用 dplyr mutate 根据列名向量创建新列

    我想获取一些列的日志 并创建全部命名为 log 原始列名称 的新列 下面的代码有效 但是我如何传递名为columnstolog变异 谢谢 library dplyr data mtcars columnstolog lt c mpg cyl
  • 适用于 Twitter API 的 Windows Phone SDK

    我想在 WindowsPhone7 上为 Twitter 开发一个示例应用程序 所以有人建议我是否有适用于 Windows Phone 的 SDK 可用 还有 OAuth API 实现的任何代码示例 谢谢 有一些关于构建 Twitter 应
  • 在 C 语言中 strcmp() 到底返回什么?

    我用 C 语言编写了这段代码 include
  • 使用 COALESCE 函数使值以逗号分隔

    我有一张桌子 EMP 我知道使用COALESCE函数我们可以通过这种方式获取任意列的值 23 23 45 34 SELECT OfferID FROM Emp where EmpID 23 但我没有得到实现此目的的语法 任何帮助都会很好地解
  • NPAPI 插件之上的 HTML

    在我使用 FireBreath 和 OpenGL 编写完浏览器插件并使用对象标签嵌入插件后 我尝试在插件之上覆盖各种 HTML 元素 不幸的是 无论我如何尝试 标签和插件图形始终位于页面上任何其他 HTML 元素的顶部 据我所知 flash
  • 使用 awk 在数字和数字之间转换月份

    在过去的考试试卷中 我有一个问题 月份可以用不同的方式表示 例如数字 1 2 12 或三字母月份名称 Jan Feb Dec 建议如何使用 awk 中的关联数组来转换 三个字母的月份名称到月份数字 反之亦然 到 将月份数字翻译为三个字母的月
  • nodejs - mongodb - 如何找到所有a!= b?

    这是征集会 id R65i3SmvucW9imK2cxA6wdFb GXoSHjly7obzFNslklNCBvE0UrW qOiNmiBtPN24 1c session channel all username xuka expires
  • STL 容器分配放置新

    我找不到这个问题的确切答案 因此在这里发帖 当我想到向量时 它需要在连续的内存位置构建对象 这意味着向量保持分配的内存 并且必须对推入其中的对象进行就地构造 放置新的 这是一个有效的假设吗 另外 这是否意味着容器正在手动调用析构函数而不是调
  • 如何使用 lxml 从此 HTML 片段获取文本?

    谁能解释为什么这个片段在断言上失败 from lxml import etree s div h2 img XYZZY h2 div root etree fromstring s elements root xpath contains
  • asp.net core 运行时标签中的 6 个奇怪属性

    我有一个 VS2022 asp net core 6 Web 应用程序 运行时许多 Layout cshtml 标记中的 html 标记属性 b g6ltozs93r 无效 这是一个未受影响的项目的示例 VS2019 net5 或更早版本不
  • 发送短信和彩信

    我正在考虑用我自己的应用程序替换默认的 Android 短信应用程序 但我不完全知道如何发送短信和彩信短信 我想至少得到它 以便我可以先发送短信 因为我认为发送彩信会困难得多 那么 发送这些类型的消息时具体应该怎么做呢 有没有足够容易理解的
  • 我应该在 1.x、2.2 和 0.23 中选择哪个 hadoop 版本

    您好 我是 Hadoop 新手 对版本名称非常困惑 我应该使用 1 x 强大的支持和学习资源 2 2 或 0 23 中的哪一个 我读到 hadoop 正在从 v0 23 完全迁移到 YARN link1 但与此同时 整个网络都在说 hado