关于hive的启动和连接

2023-11-04

目录

一.前言

二.hive的启动与连接

2.1 启动hadoop

2.2 启动hive

2.3 一些注意事项


一.前言

        太久没用hive了,今天想重新熟悉一下,结果发现自己甚至忘记了怎么启动。。于是特此记录篇笔记,便于以后忘记时查阅,不会写的太细。

        顺便从这篇文章开始改变自己文章的格式,以前都是乱整,想稍微更好看一点。

二.hive的启动与连接

2.1 启动hadoop

        以root权限登录hadoop中心节点计算机(亲测用户登录不能启动hadoop),使用以下命令开启hadoop集群。

start-all.sh

        可以通过以下代码查看是否成功启动hadoop。

jps

        输出长这样:

        这时候就可以访问hadoop网页了:http://ip:9870,ip为你hadoop中心节点计算机ip。

        顺便提一下yarn的默认端口:8088

2.2 启动hive

        这一步与许多教程不一样,可能是版本原因。root登录你安装hive的计算机,我的就在hadoop中心计算机上,在没有配置环境变量的情况下,进入hive安装目录:

cd /export/servers/hive-3.1.2/

        然后启动hive metastore服务,这一步可以后台启动也可以前台启动。我现在使用前台启动,因为可以看到日志。使用前台启动之后这个命令框就不能动了。接下来开另一个命令框,如果不想再开命令框,可以选择后台启动。

前台启动:bin/hive --service metastore
后台启动:nohup bin/hive --service metastore &

        在启动metastore服务后,同样在hive安装目录下接着启动hiveserver2服务:

前台启动:bin/hive --service hiveserver2
后台启动:nohup bin/hive --service hiveserver2 &

        如果是前台启动,成功后会看到Hive session ID过十几秒会变一个。到此hive服务完全启动。接下来就是hive连接了。关于hive连接没啥好注意的,和mysql连接差不多。不过注意hive默认是不需要密码的。所以账号输root,密码填空就行。测试链接,如果没问题的话hiveserver2那边的命令框会跳出"OK"。

2.3 一些注意事项

        今天在启动hive服务时出现了连接不上的情况,经过分析发现是因为我前台启动然后ctrl+z(因为用的Xshell所以是ctrl+z,等同ctrl+c)后程序并没有被完全杀死。然后我又开了一个后台启动,就出错了。所以退出服务后一定要检查jps,如果程序还在一定要先kill -9。

        正常情况下,开启了metastore和hiveserver2后jps显示的只有两个Runjar。如果不是两个说明可能开多了。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

关于hive的启动和连接 的相关文章

  • AWS Athena 扁平化来自嵌套 JSON 源的数据

    我想从 Athena 中的嵌套 JSON 创建一个表 描述的解决方案here http docs aws amazon com athena latest ug json html使用 hive Openx JsonSerDe 等工具尝试在
  • 在 Hadoop 中处理带标头的文件

    我想在 Hadoop 中处理很多文件 每个文件都有一些头信息 后面跟着很多记录 每个记录都存储在固定数量的字节中 对此有何建议 我认为最好的解决方案是编写一个自定义的InputFormat http hadoop apache org co
  • Sqoop mysql错误-通信链路故障

    尝试运行以下命令 sqoop import connect jdbc mysql 3306 home credit risk table bureau target dir home sqoop username root password
  • 使用 python 从 hive 读取数据时的性能问题

    我在 hive 中有一个表 其中包含 351 837 110 MB 大小 记录 我正在使用 python 读取该表并写入 sql server 在此过程中 从 hive 读取数据到 pandas dataframe 需要很长时间 当我加载整
  • Spark 上的 Hive 2.1.1 - 我应该使用哪个版本的 Spark

    我在跑蜂巢2 1 1 Ubuntu 16 04 上的 hadoop 2 7 3 根据Hive on Spark 入门 https cwiki apache org confluence display Hive Hive on Spark
  • 当气流 initdb 时,导入错误:无法导入名称 HiveOperator

    我最近安装了airflow对于我的工作流程 在创建项目时 我执行了以下命令 airflow initdb 返回以下错误 2016 08 15 11 17 00 314 init py 36 INFO Using executor Seque
  • 如何将Hive数据表迁移到MySql?

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB
  • 在 Amazon EMR 上使用 java 中的 hbase 时遇到问题

    因此 我尝试使用作为 MapReduce 步骤启动的自定义 jar 来查询 Amazon ec2 上的 hbase 集群 我的 jar 在地图函数内 我这样调用 Hbase public void map Text key BytesWri
  • 如何通过Python访问Hive?

    https cwiki apache org confluence display Hive HiveClient HiveClient Python https cwiki apache org confluence display Hi
  • 在 Hive 中获取数据的交集

    我在配置单元中有以下数据 userid cityid 1 15 2 15 1 7 3 15 2 8 3 9 3 7 我只想保留具有 cityid 15 和 cityid 7 的用户 ID 在我的示例中 它将是用户 ID 1 和 3 我试过
  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA
  • Hive“添加分区”并发

    我们有一个外部 Hive 表 用于处理原始日志文件数据 这些文件每小时一次 并按日期和源主机名分区 目前 我们正在使用简单的 python 脚本导入文件 这些脚本每小时触发几次 该脚本根据需要在 HDFS 上创建子文件夹 从临时本地存储复制
  • 为 Presto 和 AWS S3 设置独立 Hive Metastore 服务

    我工作的环境中使用 S3 服务作为数据湖 但没有 AWS Athena 我正在尝试设置 Presto 以便能够查询 S3 中的数据 并且我知道我需要通过 Hive Metastore 服务将数据结构定义为 Hive 表 我正在 Docker
  • 如何在蜂巢中的每个组中按计数 desc 进行排序?

    这是 HQL select A B count as cnt from test table group by A B order by cnt desc 示例输出如下 a1 b1 5 a2 b1 3 a1 b2 2 a2 b2 1 但我想
  • 将数据从 oracle 移动到 HDFS,处理并从 HDFS 移动到 Teradata

    我的要求是 将数据从 Oracle 移至 HDFS 处理HDFS上的数据 将处理后的数据移至 Teradata 还需要每 15 分钟执行一次整个处理 源数据量可能接近50GB 处理后的数据也可能相同 在网上搜索了很多之后 我发现 PRARO
  • 如何将SQL数据加载到Hortonworks中?

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做
  • 猪的组连接等效吗?

    试图在 Pig 上完成这个任务 寻找 MySQL 的 group concat 等效项 例如 在我的表中 我有以下内容 3fields userid clickcount pagenumber 155 2 12 155 3 133 155
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx
  • InvalidRequestException(为什么:empid 如果包含 Equal,则不能被多个关系限制)

    这是关于我从 Apache Spark 查询 Cassandra 时遇到的问题 Spark 的正常查询工作正常 没有任何问题 但是当我使用关键条件进行查询时 出现以下错误 最初 我尝试查询复合键列族 它也给出了与下面相同的问题 由以下原因引
  • HDFS 中的文件数量与块数量

    我正在运行单节点 hadoop 环境 当我跑的时候 hadoop fsck user root mydatadir block 我真的对它给出的输出感到困惑 Status HEALTHY Total size 998562090 B Tot

随机推荐

  • vue的全局指令

    vue有四个全局指令 directive extent set component directive 自定义指令 写一个改变颜色的指令 Vue directive amie function el binding vnode el sty
  • 人脸年龄识别

    人脸年龄识别 人脸识别背景 人脸识别研究概况 人脸识别算法分类 人脸识别的意义 一张有趣的人脸年龄识别结果图 本文目的 数据集 dataloader py generate train val file py img aug py net
  • stm32矩阵键盘c语言程序,stm32矩阵键盘原理图及程序介绍

    STM32F0 系列产品基于超低功耗的 ARM Cortex M0 处理器内核 整合增强的技术和功能 瞄准超低成本预算的应用 该系列微控制器缩短了采用 8 位和 16 位微控制器的设备与采用 32 位微控制器的设备之间的性能差距 能够在经济
  • 大话数据结构1 - 概念、线性表

    程序设计 数据结构 算法 数据 数据元素 数据项 数据对象 数据结构 逻辑结构 集合结构 线性结构 树形结构 图形结构 物理结构 顺序存储结构 链式存储结构 空间优势 数据类型 抽象数据类型 ADT abstract data type 算
  • Python工业项目实战01:项目介绍及环境构建

    知识点01 课程目标 项目目标 项目1 在线教育 学习如何做项目 项目中大数据工程师要负责实现的内容和流程 学习数仓基础理论 建模 分层 项目2 一站制造 企业中项目开发的落地 代码开发 代码开发 SQL DSL SQL SparkCore
  • 免费的插画素材网站有哪些?

    面对紧急设计项目 设计师会选择使用外力来完成项目 免费插图网站可以帮助我们在这个时候解决问题 但大多数插图网站都是收费的 需要版权或特别丑陋的 基本上很少有免费的没有版权的好插图 但今天我想推荐一个免费的插图网站 即时设计资源社区 即时设计
  • 程序员是否可以在家办公——在家办公的利与弊

    对软件技术工作者来说 办公的场所对工作效率似乎并没有大的影响 毕竟 大部分软件工程师给人的印象是埋头于电脑前 似乎只要给他们一 台能够连上Internet或是公司VPN的电脑 他们就能产出我们期望的代码 在理想情况下 公司还能通过这样的方式
  • 马尔可夫链模型的信贷风险分析与预测

    今天为大家介绍马尔科夫链模型 信贷中计算风险分析与预测的一个重要模型 马尔科夫链模型是啥 数学模型中的一个重要的模型 是属于一类重要的随机过程 马尔可夫链模型 由俄国数学家 马尔可夫于1907年提出 人们在实际中常遇到具有下述特性的随机过程
  • 条件分支if和else的使用详解

    顺序结构没什么好讲的 就是从上到下的写代码 所以接下来 壹哥就直接带各位来学习分支结构里的条件分支 我们在前面说过 分支结构 或者叫做条件分支 其实有两种情况 一种是if else 类型的条件分支 一种是switch case 类型的条件分
  • 链表反转全家桶(一):动画详解单链表反转

    单链表的反转是一个easy级别的题目 这个题目在力扣上的提交次数达到47万次 而且在面试中也频频出现 可谓是大受欢迎 它的兄弟们也跟着风光了 这道题本身是比较简单的 而它的 难兄难弟 就不是那么简单了 今天这篇文章先从简单开始 分析单链表的
  • Navicat运行sql文件导入数据不全或导入失败

    前言 我们平时想把数据从一个数据库中导入另外一个数据库中的时候 一般都是把所需的数据表进行转储sql文件 然后再运行sql文件 导入新的数据库中 这么做 数据少的时候一般不会出现什么错 但是如果数据量比较大 表比较多 就会出现缺少数据表 或
  • Android自定义控件-----放大镜

    public class ShaderView extends View private final Bitmap bitmap private final ShapeDrawable drawable 放大镜的半径 private sta
  • 转载:原文http://www.cnblogs.com/gao241/p/3522143.html

    shell实例手册 0说明 手册制作 雪松 更新日期 2013 12 06 欢迎系统运维加入Q群 198173206 请使用 notepad 打开此文档 alt 0 将函数折叠后方便查阅 请勿删除信息 转载请说明出处 抵制不道德行为 错误在
  • 常见的图像滤波算法

    本文介绍五种常见的图像滤波方式 线性滤波 方框滤波 均值滤波 高斯滤波 非线性滤波 中值滤波 双边滤波 提醒 本文主要是算法公式 没有具体完整的代码 一 线性滤波 总的来说 这三种线性滤波原理 每个像素的输出值是输入像素的加权和 其处理方式
  • mysql通过二进制日志回复数据_详解如何通过Mysql的二进制日志恢复数据库数据...

    经常有网站管理员因为各种原因和操作 导致网站数据误删 而且又没有做网站备份 结果不知所措 甚至给网站运营和盈利带来负面影响 所以本文我们将和大家一起分享学习下如何通过Mysql的二机制日志 binlog 来恢复数据 系统环境 操作系统 Ce
  • Apache HTTPD 换行解析漏洞(CVE-2017-15715)

    简介 HTTPD就是平常大家说的apache服务器 HTTPD才是他的真实名字 环境搭建 使用vulhub里现成的环境部署即可 进入vulhub下的httpd CVE 2017 15715 docker compose build dock
  • 【python办公自动化】使用PysimpleGUI实现AHP指标的添加和删除及编号重新排序

    使用PysimpleGUI实现AHP指标的添加和删除 1 运行界面 2 添加指标 3 删除指标 4 编码重新排序 5 全部代码 1 运行界面 2 添加指标 输入框中输入内容 点击 添加指标 按钮 然后就会自动添加到上方列表中 3 删除指标
  • 浩鲸科技2020届c++

    1 C 是类型安全的 Java c 语言是类型安全的 除非强制类型转换 C语言不是类型安全的 因为同一段内存可以用不同的数据类型来解释 比如1用int来解释就是1 用boolean来解释就是true 2 float a b c 那么可以如下
  • 记一次SpringBoot打包Jar引入第三方jar包,部署出现ClassNotFound的现象

    心有猛虎 细嗅蔷薇 最近公司和第三方项目进行 于是需要引入第三方的SDK来调用一些东西 引入进来什么都是很好的 但是发布出去就出现各种ClassNotFuoundException等问题 然后看下测试环境的log发现了第三方的SDK中的类不
  • 关于hive的启动和连接

    目录 一 前言 二 hive的启动与连接 2 1 启动hadoop 2 2 启动hive 2 3 一些注意事项 一 前言 太久没用hive了 今天想重新熟悉一下 结果发现自己甚至忘记了怎么启动 于是特此记录篇笔记 便于以后忘记时查阅 不会写