程序员经验分享-hwhale

IDEA配置Hadoop插件

2023-05-16

一、安装插件

1.1搜索的方式安装：

setting中找到plugins插件，然后搜索big Data,如下图：

如果找不到可以修改几个配置试一下： 

如果还是不行，你可以在cmd里面 ping plugins.jetbrains.com 一下 

 https://my.oschina.net/u/4359728/blog/3305115

1.2 第二种本地插件的安装（成功）

 我的是2018版的IDE，还是搜不到，搜到了如下办法：

https://blog.csdn.net/weixin_43311978/article/details/105558773?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-5.control&spm=1001.2101.3001.4242 

下载HadoopIntellijPlugin

github链接：
https://github.com/fangyuzhong2016/HadoopIntellijPlugin

修改pom.xml文件

用记事本打开 pom.xml，将版本号改成你自己的 hadoop 版本号，路径改成你 idea 的安装路径

 编译打包生成插件

打开 cmd，进入到解压的这个目录（可以直接在某文件夹上方地址栏输入cmd+回车，就会直接进入该目录）

执行命令：mvn clean 

可以看到 BUILD SUCCESS


接着执行：mvn assembly:assembly

 在刚刚解压的目录可以看到多了一个 target 文件夹

 

 idea 配置插件

打开 idea，Configure --> Settings

 选择刚刚生成的 HadoopIntellijPlugin-1.0.zip （再次提醒是 zip 不是 jar）

 

然后重启 idea，可以看到hadoop项；

 

 连接HDFS文件系统：

 

 我填写了自己的IP，是连接失败；我本地电脑装了hadoop，所以我连接了本地地址127.0.0.1

好像连接成功：

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

IDEA

Hadoop

IDEA配置Hadoop插件 的相关文章

  • Hive：在查询中将 array 转换为 array

    我有两张桌子 create table a 1 array

  • 将 Spark 添加到 Oozie 共享库

    默认情况下 Oozie 共享 lib 目录提供 Hive Pig 和 Map Reduce 的库 如果我想在 Oozie 上运行 Spark 作业 最好将 Spark lib jar 添加到 Oozie 的共享库 而不是将它们复制到应用程序

  • 适用于 Python 3.x 的 Hive 客户端

    是否可以使用 Python 3 x 连接到 hadoop 并运行 hive 查询 我正在使用Python 3 4 1 我发现可以按照这里写的方式完成 https cwiki apache org confluence display Hiv

  • Python 包安装：pip 与 yum，还是两者一起安装？

    我刚刚开始管理 Hadoop 集群 我们使用 Bright Cluster Manager 直至操作系统级别 CentOS 7 1 然后使用 Ambari 以及适用于 Hadoop 的 Hortonworks HDP 2 3 我不断收到安装

  • 与文件名中的冒号“：”作斗争

    我有以下代码 用于加载大量 csv gz 并将它们转储到其他文件夹中 并将源文件名作为一列 object DailyMerger extends App def allFiles path File List File val parts

  • 为什么我们需要将外部表移动到托管 Hive 表？

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

  • 如何有效地将数据从 Kafka 移动到 Impala 表？

    以下是当前流程的步骤 Flafka http blog cloudera com blog 2014 11 flafka apache flume meets apache kafka for event processing 将日志写入

  • Impala：如何查询具有不同模式的多个镶木地板文件

    在 Spark 2 1 中我经常使用类似的东西 df spark read parquet path to my files parquet 即使具有不同的模式 也可以加载镶木地板文件的文件夹 然后我使用 SparkSQL 对数据帧执行一些

  • sqoop 通过 oozie 导出失败

    我正在尝试将数据导出到mysql from hdfs通过sqoop 我可以通过 shell 运行 sqoop 并且它工作正常 但是当我通过调用oozie 它出现以下错误并失败 我还包括了罐子 没有描述性日志 sqoop脚本 export c

  • 伪模式下没有名称节点错误

    我是hadoop新手 正处于学习阶段 根据 Hadoop Definitve 指南 我已将 hadoop 设置为伪分布式模式 一切正常 昨天我什至能够执行第三章中的所有示例 今天 当我重新启动我的unix并尝试运行start dfs sh然

  • AWS EMR 引导操作为 sudo

    我需要更新 etc hosts适用于我的 EMR 集群 EMR AMI 4 3 中的所有实例 整个脚本无非就是 bin bash echo e ip1 uri1 gt gt etc hosts echo e ip2 uri2 gt gt e

  • Hadoop 作业：任务在 601 秒内无法报告状态

    在伪节点上运行 hadoop 作业时 任务失败并被杀死 错误 任务尝试 在 601 秒内无法报告状态 但同一个程序正在通过 Eclipse 运行 本地作业 任务 大约有 25K 个关键字 输出将是所有可能的组合 一次两个 即大约 25K 2

  • Hadoop 减速器数量配置选项优先级

    以下3个设置reduce数量的选项的优先级是什么 换句话说 如果三者都设置了 会考虑哪一个呢 Option1 setNumReduceTasks 2 within the application code Option2 D mapredu

  • 关于 Hadoop 和压缩输入文件的非常基本的问题

    我已经开始研究 Hadoop 如果我的理解是正确的 我可以处理一个非常大的文件 它会被分割到不同的节点上 但是如果文件被压缩 那么文件就无法分割 并且需要由单个节点处理 有效地破坏了运行一个mapreduce 一个并行机器集群 我的问题是

  • S3并行读写性能？

    考虑 Spark 或任何其他 Hadoop 框架 从 S3 读取大型 例如 1 TB 文件的场景 多个spark执行器如何从S3并行读取非常大的文件 在 HDFS 中 这个非常大的文件将分布在多个节点上 每个节点都有一个数据块 在对象存储中

  • Hive 有相当于 DUAL 的东西吗？

    我想运行这样的语句 SELECT date add 2008 12 31 1 FROM DUAL Hive 在 Amazon EMR 上运行 是否有类似的功能 最好的解决方案是不要提及表名 select 1 1 给出结果 2 但是可怜的 H

  • 名称节点与辅助名称节点

    Hadoop 具有一致性和分区容忍性 即它属于 CAP 理论的 CP 类别 Hadoop不可用 因为所有节点都依赖于名称节点 如果名称节点崩溃 集群就会崩溃 但考虑到 HDFS 集群有一个辅助名称节点 为什么我们不能称 hadoop 为可用

  • PHP中通过Hive/Thrift查询数据库不起作用

    我正在尝试通过 PHP 中的 Hive Thrift 查询数据库 但是 我不断收到错误 TSocket timed out reading 4 bytes from XYZ 我正在使用来自的代码 https cwiki apache org

  • HBase中删除多行的有效方法

    有没有一种有效的方法可以删除 HBase 中的多行 或者我的用例是否不适合 HBase 有一个表称为 图表 其中包含图表中的项目 行键的格式如下 chart date reversed ranked attribute value reve

  • Hive 错误：parseException 缺少 EOF

    我不确定我在这里做错了什么 hive gt CREATE TABLE default testtbl int1 INT string1 STRING stored as orc tblproperties orc compress NONE

随机推荐

  • the Contextual Loss论文理解

    Maintaining Natural Image Statistics with the Contextual Loss 2018 https github com roimehrez contextualLoss http cgm te

  • OpenStack octavia 详解

    一 Octavia架构分析 具体架构图请参考 xff1a https docs openstack org octavia latest reference introduction html 组件分析 xff1a Octavia API

  • Squid中的日志出现TCP_CLIENT_REFRESH_MISS的问题排除

    http www php oa com 2008 07 15 tcp client refresh miss html 今天检查Squid发现大量的日志出现TCP CLIENT REFRESH MISS 见到Cacti中的流量 xff0c

  • 三种方法教你如何在 Ubuntu 20 上安装 WoeUSB

    三种方法教你如何在 Ubuntu 20 上安装 WoeUSB 知乎 上次给大家分享开源软件的时候说过 xff0c 我们公司所有的电脑安装都是ubuntu系统 工作中使用的所有软件都是免费开源的项目 今天我们测试兼容性的时候需要一台windo

  • IIC总线的时钟同步和总线仲裁

    IIC简介 xff1a IIC 即Inter Integrated Circuit 集成电路总线 xff09 xff0c 这种总线类型是由飞利浦半导体公司在八十年代初设计出来的 xff0c 主要是用来连接整体电路 ICS xff0c IIC

  • ubuntu中如何使用中文输入法

    今天我的一个小朋友问我 xff0c 如何在ubuntu中使用中文 xff0c 对于一个初入门的人来说 xff0c 这确实是一个好的问题 xff0c 我看了一下我的系统 xff0c 竟然也不能输入中文哎 我也老搞一下 首先 xff0c 要先下

  • MySQL查看配置文件my.ini或my.conf路径

    查看配置文件my ini或my conf路径 select 64 64 basedir 查看文件存储路径 select 64 64 datadir

  • linux安装软件报错：有未能满足的依赖关系

    一 问题描述 解决了上一个问题 另外一个进程已经为 dpkg 状态数据库 加锁 又一个问题接踵而来 xff08 真是深得命运宠爱呀 xff09 二 问题分析 很明显 xff0c 这不是重启能解决的问题了 xff0c 继续向命运抗争吧 1 依

  • 用Bootstrap写一份简历

    以前学习Bootstrap时练手用的 分享给大家 注意Bootstrap相关文件的路径 xff0c Bootstrap依赖jQuery xff0c 需要先加载jQuery Github代码链接 xff1a 链接 如果有点小用 xff0c 求

  • Linux创建新环境

    Linux的环境操作 1 下载anaconda2 conda导出环境3 conda创建新环境4 pip创建和导出新环境5 pytorch版本安装6 通过通道安装cpython7 通过SCP指定对方端口传输文件8 释放服务器中的缓存 1 下载

  • 【树莓派】树莓派开放WiFi热点

    树莓派4B上创建WiFi热点 xff08 真实可用 xff09 第一步 xff1a 给树梅派4B刷写系统 xff0c 我用的是目前最新的官方系统 xff0c 镜像名称为2021 01 11 raspios buster armhf img

  • Python爬虫攻略(1)>使用Requests获取LOL游戏攻略

    申明 xff1a 本文对爬取的数据仅做学习使用 xff0c 不涉及任何商业活动 xff0c 侵删 Python爬虫教程 gt 1 使用Requests获取LOL游戏攻略 前戏 如果你想先了解一下什么是爬虫 建议看一下这篇文章 学习爬虫前你需

  • Linux下gitee的使用—— 一看就懂得操作

    在做基于ds18b20温度监控的项目开始时 xff0c 就一直在使用git仓库 xff0c 一直没有写过博客 xff0c 基于今天家里没事 xff0c 刚好可以写一下git版本控制的使用 xff01 废话不多说 xff0c 上教程 xff0

  • 文献阅读2：Deep Video Super-Resolution Network

    Deep Video Super Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation 隐式运动补偿的动态上采样滤波

  • 形参和实参

    形参和实参的区别 形参出现在函数定义中 xff0c 在整个函数体内都可以使用 xff0c 离开该函数则不能使用 实参出现在主调函数中 xff0c 进入被调函数后 xff0c 实参变量也不能使用 形参和实参的功能是作数据传送 发生函数调用时

  • centos 连接windows远程桌面方法

    目录 1 下载并安装软件nux dextop release rpm 2 安装rdesktop软件 3 远程windows桌面 4 rdesktop退出全屏模式 1 下载并安装软件nux dextop release rpm wget ht

  • Winpcap教程（高级应用）

    循序渐进学习使用WINPCAP xff08 五 xff09 WinPcap或libpca最强大的特点之一就是数据流的过滤引擎 它提供一种高效的方法来只捕获网络数据流的某些数据而且常常和系统的捕获机制相集成 过滤数据的函数是pcap comp

  • linux/ubuntu取消sudo输入密码的办法

    Linux Ubuntu sudo不用输入密码的方法 通常我们并不以root身份登录 xff0c 但是当我们执行某些命令 command 时需要用到root权限 xff0c 我们通常都是用 34 sudo command 34 来执行com

  • verilog通过中+：与-：解决变量内固定长度数据位的动态选取

    在FPGA设计过程 xff0c 尤其是算法实现时hi xff0c 有时往往需要选取某个变量的动态范围地址 xff0c 而verilog中常规的向量标识方法a MSB LSB 往往会发生错误 xff0c 在此可借用a BASE WIDTH 的

  • IDEA配置Hadoop插件

    一 安装插件 1 1搜索的方式安装 xff1a setting中找到plugins插件 xff0c 然后搜索big Data 如下图 xff1a 如果找不到可以修改几个配置试一下 xff1a 如果还是不行 xff0c 你可以在cmd里面 p

热门标签