大数据相关常用软件下载地址集锦

2023-11-17

每日一句正能量

  生命中有一些人与我们擦肩了,却来不及遇见;遇见了,却来不及相识;相识了,却来不及熟悉;熟悉了,却还是要说再见。

前言

  由于大数据开发中经常需要用到Zookeeper、Hadoop、Spark、HBase、Kafka、Flume、Redis、Hive等软件,安装的时候需要它们的下载地址,这里就汇总一下,方便同学们查找。

一、软件下载地址如下

  1. VMware下载地址:https://www.vmware.com/cn.html
  2. centos镜像下载地址:http://mirrors.aliyun.com/centos/7/isos/x86_64/
  3. JDK下载地址:https://www.oracle.com/java/technologies/downloads/#java8
  4. HBase下载地址:https://hbase.apache.org/downloads.html
  5. Hive下载地址:https://dlcdn.apache.org/hive/
  6. zookeeper下载地址:https://archive.apache.org/dist/zookeeper/
  7. Hadoop下载地址:http://archive.apache.org/dist/hadoop/core/
  8. Spark下载地址:https://archive.apache.org/dist/spark/
  9. Kafka下载地址:http://kafka.apache.org/downloads.html
  10. Flume下载地址:https://flume.apache.org/download.html
  11. Redis下载地址:http://download.redis.io/releases/
  12. windows版本的Redis安装包 下载地址:https://github.com/tporadowski/redis/releases

二、文档地址如下

  1. Apache Hadoop文档:http://hadoop.apache.org/docs/r2.2.0/
  2. CDH Hadoop文档:http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6/
  3. Hive文档:http://hive.apache.org/index.html
  4. Hbase文档:https://hbase.apache.org/
  5. Zookeeper文档:http://zookeeper.apache.org/doc/r3.4.5/
  6. Flume文档:http://archive.cloudera.com/cdh/3/flume/
  7. Flume ng文档:http://flume.apache.org/index.html

结语

  每个人刚开始学习的时候都是小白,这个过程中或多或少的都会看看别人写的博客,过程中也可能会踩过很多坑。遇到问题的时候,我们可以记录下来,不管是对自己还是对其他学习的小伙伴都很有帮助。程序员大多都是很孤独的,写作也可以让自己的孤独“有处安放”,多去表达,多点表达,对于不善言辞的程序员总是有很多好处,博文写作的过程中最重要的是思路清晰有条理,和敲代码最大的不同是,编程有了明确的目标,日复一日必成高手,而写作如果只是为了写而写,往往会失了初心,丢了本真。写作不仅可以提高言语表达能力,更可以培养持续做事情的毅力,最好得是能遇到很多志同道合的朋友。

转载自:https://blog.csdn.net/u014727709/article/details/131314267
欢迎start,欢迎评论,欢迎指正

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

大数据相关常用软件下载地址集锦 的相关文章

  • 线程“main”中出现异常java.lang.UnsupportedClassVersionError,不支持的major.minor版本52.0

    我尝试在 hadoop 1 0 4 上运行 WordCount 示例 但收到以下错误 Exception in thread main java lang UnsupportedClassVersionError WordCount Uns
  • Amazon MapReduce 日志分析最佳实践

    我正在解析 Apache Nginx Darwin 视频流服务器 生成的访问日志 并按日期 引用者 用户代理聚合每个交付文件的统计信息 每小时都会生成大量日志 而且这个数字在不久的将来可能会急剧增加 因此通过 Amazon Elastic
  • 如何在hadoop/map reduce中创建固定行数的输出文件?

    假设我们有 N 个具有不同行数的输入文件 我们需要生成输出文件 使得每个输出文件恰好有 K 行 最后一个输出文件可以有 是否可以使用单个 MR 作业来完成此操作 我们应该打开文件以便在reducer中显式写入 输出中的记录应该被打乱 tha
  • 远程执行hadoop作业时出现异常

    我正在尝试在远程 hadoop 集群上执行 Hadoop 作业 下面是我的代码 Configuration conf new Configuration conf set fs default name hdfs server 9000 c
  • Hadoop setInputPathFilter错误

    我正在使用 Hadoop 0 20 2 无法更改 并且我想向我的输入路径添加一个过滤器 数据如下 path1 test a1 path1 test a2 path1 train a1 path1 train a2 我只想处理所有文件trai
  • 一个目录下可以有两个oozieworkflow.xml文件吗?

    一个目录下可以有两个oozieworkflow xml文件吗 如果是这样 我如何指示 oozie runner 运行哪一个 您可以有两个工作流程文件 只需为它们指定唯一的名称 然后您可以通过设置oozie wf application pa
  • Sqoop Import --password-file 功能在 sqoop 1.4.4 中无法正常工作

    我使用的是hadoop 1 2 1 sqoop版本是1 4 4 我正在尝试运行以下查询 sqoop import connect jdbc mysql IP 3306 database name table clients target d
  • 将 hadoop fs 路径转换为 ​​EMR 上的 hdfs:// 路径

    我想知道如何将数据从 EMR 集群的 HDFS 文件系统移动到 S3 存储桶 我认识到我可以直接在 Spark 中写入 S3 但原则上 之后执行它也应该很简单 到目前为止 我还没有发现在实践中这是正确的 AWS 文档建议s3 dist cp
  • Curl下载到HDFS

    我有这个代码 curl o fileName csv url xargs hdfs dfs moveFromLocal 1 somePath 当我执行此代码时 curl 将请求中的值放入 fileName csv 中 该文件将移动到 HDF
  • 无法从 JAR 文件加载主类

    我有一个 Spark scala 应用程序 我尝试显示一条简单的消息 Hello my App 当我编译它时sbt compile并运行它sbt run没关系 我成功显示了我的消息 但他显示了错误 像这样 Hello my applicat
  • 连接到 Hive 时使用 Spark 进行 Kinit

    我正在尝试从独立的 Spark 连接到 Hive hadoop 集群具有 kerberos 身份验证 有人可以让我知道如何在 Spark 程序中执行 kinit 我可以连接到配置单元吗 更新 我的 Spark 与 Hadoop 位于不同的集
  • 2017 年在 OS X 上从源代码构建 Apache Hadoop

    到目前为止 我已经分叉了 Git 存储库 https github com apache hadoop 我一直在寻找有关如何从源代码构建的信息 我尝试过以下命令 mvn package Pdist Dtar DskipTests 这导致了以
  • Spark JDBC 仅返回带有列名的数据帧

    我正在尝试使用 Spark JDBC 连接到 HiveTable 代码如下 val df spark read format jdbc option driver org apache hive jdbc HiveDriver option
  • 在 Hadoop 中处理带标头的文件

    我想在 Hadoop 中处理很多文件 每个文件都有一些头信息 后面跟着很多记录 每个记录都存储在固定数量的字节中 对此有何建议 我认为最好的解决方案是编写一个自定义的InputFormat http hadoop apache org co
  • 计算行的排名

    我想根据一个字段对用户 ID 进行排名 对于相同的字段值 排名应该相同 该数据位于 Hive 表中 e g user value a 5 b 10 c 5 d 6 Rank a 1 c 1 d 3 b 4 我怎样才能做到这一点 可以使用ra
  • R+Hadoop:如何从HDFS读取CSV文件并执行mapreduce?

    在以下示例中 small ints to dfs 1 1000 mapreduce input small ints map function k v cbind v v 2 MapReduce函数的数据输入是一个名为small ints的
  • 获取 emr-ddb-hadoop.jar 将 DynamoDB 与 EMR Spark 连接

    我有一个 DynamoDB 表 需要将其连接到 EMR Spark SQL 才能对该表运行查询 我获得了带有发行标签 emr 4 6 0 和 Spark 1 6 1 的 EMR Spark Cluster 我指的是文档 使用 Spark 分
  • Namenode高可用客户端请求

    谁能告诉我 如果我使用java应用程序请求一些文件上传 下载操作到带有Namenode HA设置的HDFS 这个请求首先去哪里 我的意思是客户端如何知道哪个名称节点处于活动状态 如果您提供一些工作流程类型图或详细解释请求步骤 从开始到结束
  • hive创建表的多个转义字符

    我正在尝试将带有管道分隔符的 csv 加载到配置单元外部表 数据值包含单引号 双引号 括号等 使用 Open CSV 版本 2 3 测试文件 csv id name phone 1 Rahul 123 2 Kumar s 456 3 Nee
  • 如何将Hive数据表迁移到MySql?

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB

随机推荐

  • Ubuntu16.04下安装sogou输入法

    1 首先进入搜狗输入官方网站 找到对应的for Ubuntu进行下载 链接如下 https pinyin sogou com 进入进行下载 下载完成的文件后缀名为 deb文件 2 开始安装
  • 软件测试用例常用七大方法

    第一 测试用例格式包括十大特点 用例编号 测试项 测试标题 用例属性 重要级别 高中低 预置条件 测试输入 操作步骤 预期结果 实际结果 第二 等价类 1 等价类定义 2 等价类划分 3 等价类划分规则 4 进行等价类用例设计 5 案例加以
  • css——优先级(权重)

    阅读本文需要一定的css基础如有需要可以先了解一下 css选择器 首先来说一下我们的核心CSS 层叠样式表 Cascading Style Sheets 缩写为 CSS 是一种 样式表 语言 用来描述 HTML 或 XML 包括如 SVG
  • Python爬虫从入门到精通:(23)Selenium扩展知识小技巧_Python涛哥

    如何让selenium规避检测 有的网站会检测请求是否为selenium发起 如果是的话则让该次请求失败 规避检测的方法 selenium接管chrome浏览器 实现步骤 必须将你电脑中安装的谷歌浏览器的驱动所在的目录找到 且将目录添加到环
  • 【后端】Java根据日期获取哪年的第几季度

    记录自己日常写的通用方法 根据日期 Date 获取哪年的第几季度 如下面代码 public String GetQuarterByDate String date throws ParseException if date equals d
  • jQuery ajax重复调用问题

    前段时间项目中遇到有的页面调用一次ajax会发送两次请求的问题 发现注释掉构造jQuery Dialog代码后正常 最终找出的原因是构造jQuery Dialog的div中有多余且未闭合的标签所致
  • 彩虹表(rainbow table)

    1 彩虹表引入 在看微众银行开源的WeIdentity规范中的可验证凭证Credential数据结构时 看到有关于防止彩虹表方式反向破解哈希的问题 如下图所示 在执行选择性披露用户的信息时 是将claim中的其他字段内容进行hash 只披露
  • vue.js -- 条件渲染

    目录 条件渲染 v if的用法 v if v else的用法 v if v else if v else的用法 v show的用法 v if 和 v show 的区别 条件渲染 v if的用法 代码演示
  • 蓝桥杯专题之思维篇

    题目列表 2014年 蚂蚁感冒 2016年 交换瓶子 2018年 乘积最大 2019年 后缀表达式 2022年第一次模拟赛 停车位 1 蚂蚁感冒 题目描述 长100厘米的细长直杆子上有n只蚂蚁 它们的头有的朝左 有的朝右 每只蚂蚁都只能沿着
  • leaflet-editable

    请参阅演示 UI 下面是更多示例 这也是uMap背后的绘图引擎 安装 您需要 Leaflet gt 1 0 0 然后包含src Leaflet Editable js 路径拖动 如果你想要路径拖动 你还需要包含Path Drag js 快速
  • vscode 预览图片 插件_真的动手写的VSCode的插件(图片浏览)之1

    由于本职工作中经常做图像处理 于时大量的图片浏览是不可避免的 怎么样不离开最近经常使用的VSCode 同时去看大量的图像对我来讲就是个不错的需求 尤其是某个目录下的文件 先谈基本的需求吧 显示一个目标下的所有图像 最好图像可以按列表 块显示
  • DQN学习使用混合规则的柔性车间AGV实时调度(关注点:状态、奖励函数的设置)

    1 文章简介 本文原文可查阅文献 Deep reinforcement learning based AGVs real time scheduling with mixed rule for flexible shop floor in
  • 1013: 防水堤坝_当堤坝断裂时:网页溢出问题的解决方案

    1013 防水堤坝 After unexpected gaps in pages perhaps the most common layout problem is content overflow Thankfully there are
  • Nginx负载均衡与高可用的实现

    当生产环境里有很大的流量产生时 通常需要用负载均衡技术来做优化 并确保容错配置 Nginx不光可以实现Web Server 还可以作为HTTP负载均衡来分发流量给后端的应用程序服务器 以此来提高性能 Nginx的负载均衡功能依赖于ngx h
  • Aix topas命令解析

    author skate time 2009 07 31 在网上闲逛时发现一片关于topas命令的详解 写的很全 于是记录在这 1 1 Aix topas命令解析 1 1 1 概述 1 1 2 命令报告及其输出 1 1 2 1 主要说明 1
  • C语言打印各种图案

    C语言打印各种图案 1 线段图案 include
  • 扩展练习4(学生类设计).设计一个友元函数,按照成绩从高到低的顺序输出姓名、学号和成绩信息

    include
  • 网络协议与分层模型

    文章目录 网络协议与分层模型 概述 网络分层模型 应用层 传输层 网络层 数据链路层 物理层 嵌入式设备接入互联网的需求越来越大 要想深层次的理解和应用好网络传输 就不得不挖一下计算机网络模型的老底 从系统角度 对网络应用进行分析 做到心中
  • XGBoost输入和输出维数

    XGBoost的输入和输出维数 python包 输入数据 2维 样本数 训练or测试 特征数 输出数据 1维 样本数 PS 单个树模型的输入似乎都是1维的
  • 大数据相关常用软件下载地址集锦

    文章目录 每日一句正能量 前言 一 软件下载地址如下 二 文档地址如下 结语 每日一句正能量 生命中有一些人与我们擦肩了 却来不及遇见 遇见了 却来不及相识 相识了 却来不及熟悉 熟悉了 却还是要说再见 前言 由于大数据开发中经常需要用到Z