程序员经验分享-hwhale

Sqoop的简单使用案例和一些常用命令及参数

2023-11-01

Sqoop的简单使用案例

1、导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

1.1、RDBMS到HDFS

1) 确定Mysql服务开启正常

2) 在Mysql中新建一张表并插入一些数据

$ mysql -uroot -p123456

mysql> create database company;

mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));

mysql> insert into company.staff(name, sex) values('Thomas', 'Male');

mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

3) 导入数据

       （1）全部导入

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--target-dir /user/company \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t"

 

       （2）查询导入

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--target-dir /user/company \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

尖叫提示：must contain '$CONDITIONS' in WHERE clause.

尖叫提示：如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

尖叫提示：--query选项，不能同时与--table选项使用

       （3）导入指定列

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--target-dir /user/company \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--columns id,sex \

--table staff

尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

       （4）使用sqoop关键字筛选查询导入数据

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--target-dir /user/company \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--table staff \

--where "id=1"

尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。

1.2、RDBMS到Hive

bin/sqoop import \

--connect jdbc:mysql://Faded103:3306/db_sqoop_test \

--username root \

--password 123456 \

--table staff \

--target-dir /user/db_sqoop_test \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--hive-import \

--fields-terminated-by "\t" \

--hive-overwrite \

--hive-table staff_hive

尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库

尖叫提示：第一步默认的临时目录是/user/admin/表名

2、导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

2.1、HIVE/HDFS到RDBMS

$ bin/sqoop export \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--num-mappers 1 \

--export-dir /user/hive/warehouse/staff_hive \

--input-fields-terminated-by "\t"

尖叫提示：Mysql中如果表不存在，不会自动创建

思考：数据是覆盖还是追加

3、脚本打包

使用opt格式的文件打包sqoop命令，然后执行

1) 创建一个.opt文件

$ mkdir opt

$ touch opt/job_HDFS2RDBMS.opt

 

2) 编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

 

export

--connect

jdbc:mysql://linux01:3306/company

--username

root

--password

123456

--table

staff

--num-mappers

1

--export-dir

/user/hive/warehouse/staff_hive

--input-fields-terminated-by

"\t"

3) 执行该脚本

$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

 

Sqoop一些常用命令及参数

1、常用命令列举

这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。

序号

命令

类

说明

1

import

ImportTool

将数据导入到集群

2

export

ExportTool

将集群数据导出

3

codegen

CodeGenTool

获取数据库中某张表数据生成Java并打包Jar

4

create-hive-table

CreateHiveTableTool

创建Hive表

5

eval

EvalSqlTool

查看SQL执行结果

6

import-all-tables

ImportAllTablesTool

导入某个数据库下所有表到HDFS中

7

job

 

JobTool

用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。

8

list-databases

ListDatabasesTool

列出所有数据库名

9

list-tables

ListTablesTool

列出某个数据库下所有表

10

merge

MergeTool

将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中

11

metastore

 

MetastoreTool

记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。

12

help

HelpTool

打印sqoop帮助信息

13

version

VersionTool

打印sqoop版本信息

2、命令&参数详解

刚才列举了一些Sqoop的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。

首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。

2.1、公用参数：数据库连接

序号

参数

说明

1

--connect

连接关系型数据库的URL

2

--connection-manager

指定要使用的连接管理类

3

--driver

JDBC的driver class

4

--help

打印帮助信息

5

--password

连接数据库的密码

6

--username

连接数据库的用户名

7

--verbose

在控制台打印出详细信息

2.2、公用参数：import

序号

参数

说明

1

--enclosed-by <char>

给字段值前后加上指定的字符

2

--escaped-by <char>

对字段中的双引号加转义符

3

--fields-terminated-by <char>

设定每个字段是以什么符号作为结束，默认为逗号

4

--lines-terminated-by <char>

设定每行记录之间的分隔符，默认是\n

5

--mysql-delimiters

Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。

6

--optionally-enclosed-by <char>

给带有双引号或单引号的字段值前后加上指定字符。

2.3、公用参数：export

序号

参数

说明

1

--input-enclosed-by <char>

对字段值前后加上指定字符

2

--input-escaped-by <char>

对含有转移符的字段做转义处理

3

--input-fields-terminated-by <char>

字段之间的分隔符

4

--input-lines-terminated-by <char>

行之间的分隔符

5

--input-optionally-enclosed-by <char>

给带有双引号或单引号的字段前后加上指定字符

2.4、公用参数：hive

序号

参数

说明

1

--hive-delims-replacement <arg>

用自定义的字符串替换掉数据中的\r\n和\013 \010等字符

2

--hive-drop-import-delims

在导入数据到hive时，去掉数据中的\r\n\013\010这样的字符

3

--map-column-hive <map>

生成hive表时，可以更改生成字段的数据类型

4

--hive-partition-key

创建分区，后面直接跟分区名，分区字段的默认类型为string

5

--hive-partition-value <v>

导入数据时，指定某个分区的值

6

--hive-home <dir>

hive的安装目录，可以通过该参数覆盖之前默认配置的目录

7

--hive-import

将数据从关系数据库中导入到hive表中

8

--hive-overwrite

覆盖掉在hive表中已经存在的数据

9

--create-hive-table

默认是false，即，如果目标表已经存在了，那么创建任务失败。

10

--hive-table

后面接要创建的hive表,默认使用MySQL的表名

11

--table

指定关系数据库的表名

 

公用参数介绍完之后，我们来按照命令介绍命令对应的特有参数。

2.5、命令&参数：import

将关系型数据库中的数据导入到HDFS（包括Hive，HBase）中，如果导入的是Hive，那么当Hive中没有对应表时，则自动创建。

1) 命令：

如：导入数据到hive中

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--hive-import

 

如：增量导入数据到hive中，mode=append

append导入：

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--num-mappers 1 \

--fields-terminated-by "\t" \

--target-dir /user/hive/warehouse/staff_hive \

--check-column id \

--incremental append \

--last-value 3

尖叫提示：append不能与--hive-等参数同时使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）

 

如：增量导入数据到hdfs中，mode=lastmodified

先在mysql中建表并插入几条数据：

mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);

mysql> insert into company.staff_timestamp (id, name, sex) values(1, 'AAA', 'female');

mysql> insert into company.staff_timestamp (id, name, sex) values(2, 'BBB', 'female');

先导入一部分数据：

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff_timestamp \

--delete-target-dir \

--m 1

再增量导入一部分数据：

mysql> insert into company.staff_timestamp (id, name, sex) values(3, 'CCC', 'female');

$ bin/sqoop import \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff_timestamp \

--check-column last_modified \

--incremental lastmodified \

--last-value "2017-09-28 22:20:38" \

--m 1 \

--append

尖叫提示：使用lastmodified方式导入数据要指定增量数据是要--append（追加）还是要--merge-key（合并）

尖叫提示：last-value指定的值是会包含于增量导入的数据中

2) 参数：

序号

参数

说明

1

--append

将数据追加到HDFS中已经存在的DataSet中，如果使用该参数，sqoop会把数据先导入到临时文件目录，再合并。

2

--as-avrodatafile

将数据导入到一个Avro数据文件中

3

--as-sequencefile

将数据导入到一个sequence文件中

4

--as-textfile

将数据导入到一个普通文本文件中

5

--boundary-query <statement>

边界查询，导入的数据为该参数的值（一条sql语句）所执行的结果区间内的数据。

6

--columns <col1, col2, col3>

指定要导入的字段

7

--direct

直接导入模式，使用的是关系数据库自带的导入导出工具，以便加快导入导出过程。

8

--direct-split-size

在使用上面direct直接导入的基础上，对导入的流按字节分块，即达到该阈值就产生一个新的文件

9

--inline-lob-limit

设定大对象数据类型的最大值

10

--m或–num-mappers

启动N个map来并行导入数据，默认4个。

11

--query或--e <statement>

将查询结果的数据导入，使用时必须伴随参--target-dir，--hive-table，如果查询中有where条件，则条件后必须加上$CONDITIONS关键字

12

--split-by <column-name>

按照某一列来切分表的工作单元，不能与--autoreset-to-one-mapper连用（请参考官方文档）

13

--table <table-name>

关系数据库的表名

14

--target-dir <dir>

指定HDFS路径

15

--warehouse-dir <dir>

与14参数不能同时使用，导入数据到HDFS时指定的目录

16

--where

从关系数据库导入数据时的查询条件

17

--z或--compress

允许压缩

18

--compression-codec

指定hadoop压缩编码类，默认为gzip(Use Hadoop codec default gzip)

19

--null-string <null-string>

string类型的列如果null，替换为指定字符串

20

--null-non-string <null-string>

非string类型的列如果null，替换为指定字符串

21

--check-column <col>

作为增量导入判断的列名

22

--incremental <mode>

mode：append或lastmodified

23

--last-value <value>

指定某一个值，用于标记增量导入的位置

2.6、命令&参数：export

从HDFS（包括Hive和HBase）中奖数据导出到关系型数据库中。

1) 命令：

如：

$ bin/sqoop export \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--export-dir /user/company \

--input-fields-terminated-by "\t" \

--num-mappers 1

 

2) 参数：

序号

参数

说明

1

--direct

利用数据库自带的导入导出工具，以便于提高效率

2

--export-dir <dir>

存放数据的HDFS的源目录

3

-m或--num-mappers <n>

启动N个map来并行导入数据，默认4个

4

--table <table-name>

指定导出到哪个RDBMS中的表

5

--update-key <col-name>

对某一列的字段进行更新操作

6

--update-mode <mode>

updateonly

allowinsert(默认)

7

--input-null-string <null-string>

请参考import该类似参数说明

8

--input-null-non-string <null-string>

请参考import该类似参数说明

9

--staging-table <staging-table-name>

创建一张临时表，用于存放所有事务的结果，然后将所有事务结果一次性导入到目标表中，防止错误。

10

--clear-staging-table

如果第9个参数非空，则可以在导出操作执行前，清空临时事务结果表

 

2.7、命令&参数：codegen

将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。

如：

$ bin/sqoop codegen \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--bindir /home/admin/Desktop/staff \

--class-name Staff \

--fields-terminated-by "\t"

 

序号

参数

说明

1

--bindir <dir>

指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径

2

--class-name <name>

设定生成的Java文件指定的名称

3

--outdir <dir>

生成Java文件存放的路径

4

--package-name <name>

包名，如com.z，就会生成com和z两级目录

5

--input-null-non-string <null-str>

在生成的Java文件中，可以将null字符串或者不存在的字符串设置为想要设定的值（例如空字符串）

6

--input-null-string <null-str>

将null字符串替换成想要替换的值（一般与5同时使用）

7

--map-column-java <arg>

数据库字段在生成的Java文件中会映射成各种属性，且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型，例如：--map-column-java id=long, name=String

8

--null-non-string <null-str>

在生成Java文件时，可以将不存在或者null的字符串设置为其他值

9

--null-string <null-str>

在生成Java文件时，将null字符串设置为其他值（一般与8同时使用）

10

--table <table-name>

对应关系数据库中的表名，生成的Java文件中的各个属性与该表的各个字段一一对应

2.8、命令&参数：create-hive-table

生成与关系数据库表结构对应的hive表结构。

命令：

如：

$ bin/sqoop create-hive-table \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--hive-table hive_staff

参数：

序号

参数

说明

1

--hive-home <dir>

Hive的安装目录，可以通过该参数覆盖掉默认的Hive目录

2

--hive-overwrite

覆盖掉在Hive表中已经存在的数据

3

--create-hive-table

默认是false，如果目标表已经存在了，那么创建任务会失败

4

--hive-table

后面接要创建的hive表

5

--table

指定关系数据库的表名

2.9、命令&参数：eval

可以快速的使用SQL语句对关系型数据库进行操作，经常用于在import数据之前，了解一下SQL语句是否正确，数据是否正常，并可以将结果显示在控制台。

命令：

如：

$ bin/sqoop eval \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--query "SELECT * FROM staff"

参数：

序号

参数

说明

1

--query或--e

后跟查询的SQL语句

 

2.10、命令&参数：import-all-tables

可以将RDBMS中的所有表导入到HDFS中，每一个表都对应一个HDFS目录

命令：

如：

$ bin/sqoop import-all-tables \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--warehouse-dir /all_tables

 

参数：

序号

参数

说明

1

--as-avrodatafile

这些参数的含义均和import对应的含义一致

2

--as-sequencefile

3

--as-textfile

4

--direct

5

--direct-split-size <n>

6

--inline-lob-limit <n>

7

--m或—num-mappers <n>

8

--warehouse-dir <dir>

9

-z或--compress

10

--compression-codec

 

2.11、命令&参数：job

用来生成一个sqoop任务，生成后不会立即执行，需要手动执行。

命令：

如：

$ bin/sqoop job \

 --create myjob -- import-all-tables \

 --connect jdbc:mysql://linux01:3306/company \

 --username root \

 --password 123456

$ bin/sqoop job \

--list

$ bin/sqoop job \

--exec myjob

尖叫提示：注意import-all-tables和它左边的--之间有一个空格

尖叫提示：如果需要连接metastore，则--meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop

参数：

序号

参数

说明

1

--create <job-id>

创建job参数

2

--delete <job-id>

删除一个job

3

--exec <job-id>

执行一个job

4

--help

显示job帮助

5

--list

显示job列表

6

--meta-connect <jdbc-uri>

用来连接metastore服务

7

--show <job-id>

显示一个job的信息

8

--verbose

打印命令运行时的详细信息

尖叫提示：在执行一个job时，如果需要手动输入数据库密码，可以做如下优化

<property>

       <name>sqoop.metastore.client.record.password</name>

       <value>true</value>

       <description>If true, allow saved passwords in the metastore.</description>

</property>

 

2.12、命令&参数：list-databases

命令：

如：

$ bin/sqoop list-databases \

--connect jdbc:mysql://linux01:3306/ \

--username root \

--password 123456

 

参数：与公用参数一样

2.13、命令&参数：list-tables

命令：

如：

$ bin/sqoop list-tables \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456

参数：与公用参数一样

2.14、命令&参数：merge

将HDFS中不同目录下面的数据合并在一起并放入指定目录中

数据环境：

new_staff

1       AAA     male

2       BBB     male

3       CCC     male

4       DDD     male

old_staff

1       AAA     female

2       CCC     female

3       BBB     female

6       DDD     female

尖叫提示：上边数据的列之间的分隔符应该为\t，行与行之间的分割符为\n，如果直接复制，请检查之。

命令：

如：

创建JavaBean：

$ bin/sqoop codegen \

--connect jdbc:mysql://linux01:3306/company \

--username root \

--password 123456 \

--table staff \

--bindir /home/admin/Desktop/staff \

--class-name Staff \

--fields-terminated-by "\t"

 

开始合并：

$ bin/sqoop merge \

--new-data /test/new/ \

--onto /test/old/ \

--target-dir /test/merged \

--jar-file /home/admin/Desktop/staff/Staff.jar \

--class-name Staff \

--merge-key id

结果：

1     AAA      MALE

2     BBB       MALE

3     CCC       MALE

4     DDD      MALE

6     DDD      FEMALE

 

参数：

序号

参数

说明

1

--new-data <path>

HDFS 待合并的数据目录，合并后在新的数据集中保留

2

--onto <path>

HDFS合并后，重复的部分在新的数据集中被覆盖

3

--merge-key <col>

合并键，一般是主键ID

4

--jar-file <file>

合并时引入的jar包，该jar包是通过Codegen工具生成的jar包

5

--class-name <class>

对应的表名或对象名，该class类是包含在jar包中的

6

--target-dir <path>

合并后的数据在HDFS里存放的目录

 

2.15、命令&参数：metastore

记录了Sqoop job的元数据信息，如果不启动该服务，那么默认job元数据的存储目录为~/.sqoop，可在sqoop-site.xml中修改。

命令：

如：启动sqoop的metastore服务

$ bin/sqoop metastore

 

参数：

序号

参数

说明

1

--shutdown

关闭metastore
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

SQOOP

Sqoop的简单使用案例和一些常用命令及参数

Sqoop的简单使用案例和一些常用命令及参数 的相关文章

  • 记一次使用SQOOP抽数到Hive遇到的问题

    记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1 源端数据库类型为Mysql 2 目标端是Hive库 xff0c beeline为1 1 0 3 Hive建表时使用了分桶 xff0c 并且加入了stored as orc参数 xf

  • sqoop报错ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Query

    一 详细报错 ERROR tool ImportTool Encountered IOException running import job java io IOException Query select id login name f

  • HBase(分布式、面向列、非结构化数据存储，基础框架，设计和操作)总结

    sqoop 总结 1 HBase 介绍 2 面向列数据库 2 1 HBase 与 传统关系数据库的区别 2 2 Hive 和 Hbase区别 2 3 Hbase 和 传统关系型数据库区别 3 Hbase 数据模型 4 HBase 基础架构

  • Sqoop 使用详解

    Sqoop 概述 Sqoop 是Apache 旗下的一款开源工具 用于Hadoop与关系型数据库之间传送数据 其核心功能有两个 导入数据和导出数据 导入数据是指将MySQL Oracle等关系型数据库导入Hadoop的HDFS Hive H

  • SQOOP从mysql导入数据到hive问题

    需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下 sqoop import connect jdbc mysql 10 1 x x 3306 dbname characterEncoding utf 8 username

  • SQL 入门的必读好书

    点击蓝色 有关SQL 关注我哟 加个 星标 天天与10000人一起快乐成长 最近 很多朋友来问我 有没有入门 SQL 的好书 与这些朋友聊天发现 大部分人都没有系统学过计算机专业的专修课 有从物流转行的 有从会计专业扩展的 还有从运维行业转

  • Hive 中的增量/增量负载

    我有以下用例 我的应用程序有一个表多年数据 in RDBMSD B 我们已经用过sqoop将数据获取到 HDFS 并加载到按以下分区的 hive 表中年 月 现在 应用程序每天都会更新并将新记录插入 RDBMS 表中 这些更新的记录可以跨越

  • 如何在Java程序中使用Sqoop？

    我知道如何通过命令行使用 sqoop 但不知道如何使用java程序调用sqoop命令 谁能提供一些代码视图吗 您可以通过在类路径中包含 sqoop jar 并调用Sqoop runTool 方法 您必须以编程方式创建 sqoop 所需的参数

  • sqoop 与 mysql 的导入问题

    我有一个基于 cdh5 的 hadoop ha 设置 我尝试使用 sqoop 从 mysql 导入表失败 并出现以下错误 15 03 20 12 47 53 ERROR manager SqlManager Error reading fr

  • sqoop 和使用密码文件选项的密码加密

    我正在使用 sqoop 1 4 3 cdh4 6 0 jar 我想知道 password file 选项在该版本中是否可用 如果是 有人能给我一个如何调用加密过程的例子吗 提供一个命令示例 我可以看到该补丁已在cdh4 6 0中引入 但不确

  • 何时使用 Sqoop --create-hive-table

    谁能说出两者之间的区别create hive table hive import方法 两者都会创建一个 Hive 表 但各自的意义是什么 配置单元导入命令 hive import命令自动填充 hive 元存储中填充表的元数据 如果Hive中

  • Sqoop 将所有表导入 hive 时遇到以下语句

    默认情况下 表将移动到 HDFS 而不是仓库目录 user hive warehouse sqoop import all tables num mappers 1 connect jdbc mysql quickstart clouder

  • Apache Sqoop 通信链路故障

    当我连接到一个集群上的 mysql 时 出现以下错误 aaaaaa1 和 sqooop 在不同的服务器上 aaaaaa2 尽管在 mySql 中创建了一个表并授予其他集群完全权限 请帮我确定这个问题的原因是什么 谢谢 sqoop impor

  • SQOOP增量导入：当从数据库中删除一行时，它如何处理数据？

    假设我有一个包含列 emp id emp name emp age emp update ts 的员工表 如果表上有更新 则 updat ts 字段每次都会自动更新为当前时间戳 现在我的问题是 当我更新 插入表中的行并使用lastmodif

  • 如何将数据从一个HDFS复制到另一个HDFS？

    我有两个 HDFS 设置 想要将一些表从 HDFS1 复制 而不是迁移或移动 到 HDFS2 如何将数据从一个HDFS复制到另一个HDFS 是否可以通过 Sqoop 或其他命令行 DistCp 分布式复制 是用于在集群之间复制数据的工具 它

  • 通过 Oozie HDP 2.1 进行的作业未创建 job.splitmetainfo

    当尝试执行 sqoop 作业时 该作业将我的 Hadoop 程序作为 jar 文件传递 给 jarFiles参数 执行失败并出现以下错误 任何解决方案似乎都无法实现 具有相同 Hadoop 用户的其他作业正在成功执行 org apache

  • 如何使用 sqoop 在 Hive 中创建外部表。需要建议

    使用 sqoop 我可以创建托管表 但不能创建外部表 请让我知道从数据仓库卸载数据并将其加载到 Hive 外部表中的最佳实践是什么 1 仓库中的表是分区的 有些是按日期分区 有些是按状态分区 请将您的想法或做法应用于生产环境 Sqoop 不

  • sqoop导入多个表

    我们正在使用 Cloudera CDH 4 并且能够按预期将表从 Oracle 数据库导入到我们的 HDFS 仓库中 问题是我们的数据库中有数十万张表 而 sqoop 一次只支持导入一张表 有哪些选项可用于将多个表导入 HDFS 或 Hiv

  • Sqoop - 数据分割

    Sqoop 能够使用以下方式从多个表导入数据 query子句 但不清楚是否能够导入以下查询 按部门号从员工组中选择部门号 平均工资 另一个问题是 sqoop import connect jdbc mysql myserver 1202 u

  • Couchbase/hadoop 连接器：sqoop 作业失败“找到接口 org.apache.hadoop.mapreduce.TaskAttemptContext，但需要类”

    我的配置 CouchBase服务器2 0 Sqoop 1 4 2 针对hadoop版本2 0 0编译 堆栈Hadoop CDH4 1 2 我想使用 CouchBase Hadoop 连接器 http www couchbase com de

随机推荐

  • OAuth使用教程（一）:初识OAuth

    一 OAuth介绍 OAuth 开放授权 是一个开放标准 允许用户授权第三方移动应用访问他们存储在另外的服务提供者上的信息 而不需要将用户名和密码提供给第三方移动应用或分享他们数据的所有内容 OAuth允许用户提供一个令牌给第三方网站 一个

  • mmdetection3d 源码学习 mvxnet（多模态融合）

    mmdetection3d 源码学习 mvxnet 多模态融合 配置文件 dv mvx fpn second secfpn adamw 2x8 80e kitti 3d 3class py 模型 model settings voxel s

  • 餐饮便利店服装店线下零售场景都有刷脸支付需求

    此前 支付宝已经开始打通江浙沪数个城市之间的二维码乘车 前几天也在北欧促成了两大移动支付APP的互通 如今刷脸支付还未普及 但是刷脸支付的前景可谓一片大好 未来包括超市 便利店 药房 服装店等等的众多线下零售场景都会有刷脸支付的需求 常见蜻

  • MySQL之Innodb锁机制：Next-Key Lock 浅谈

    阅读 InnoDB存储引擎 第六章涉及锁的三种算法 整理结合转载文档 https www cnblogs com zhoujinyi p 3435982 html 数据库使用锁是为了支持更好的并发 提供数据的完整性和一致性 InnoDB是一

  • 6个步骤，告诉你如何用树莓派和机器学习DIY一个车牌识别器！（附详细分析）...

    作者 Robert Lucian Chiriac 翻译 天道酬勤 编辑 Carol 出品 AI科技大本营 ID rgznai100 几个月前 作者开始考虑让汽车能够具备检测和识别物体的能力 他很喜欢这个主意 因为已经见识到了特斯拉的能力 并

  • （渗透学习）理解java反序列化漏洞原理---层序渐进

    没真正学过java 对很多概念理解的不清晰 所以下面所有都是参考资料结合我自己的理解 可能存在错误 1 为什么要序列化 因为只有字节数据才能进行存储和传输 所以为了使对象 如class类 能够存储 传输 就需要将对象转成字节的形式 存储 把

  • tomcat显示启动成功，访问不了

    问题阐述 解压tomcat成功之后 发现访问不了 问题分析 1 开通了防火墙 但是没有放开8080端口号 查看防火墙状态 firewall cmd state 显示running表示防火墙是开启状态 执行放开8080端口的命令 firewa

  • 三个月后，快手To B怎么样了？

    未来 如何独立作战和走出快手的TOC 客户资源圈 或将成为快手TOB新的十字路口 作者 斗斗 编辑 皮爷 出品 产业家 人口红利终结 流量红利终结 超常规的高速增长终结 TOC模式的路越来越难走了 快手与抖音作为短视频行业 的两大巨头 主要

  • Linux下的TCP通信

    Linux下的TCP通信 今天我们介绍如何编写Linux下的TCP程序 关于UDP程序可以参考这里 http blog csdn net htttw article details 7519971 本文绝大部分是参考 Linux程序设计 第

  • Java算法给定一个整数数组，找出其中两个数相加等于目标值

    给定一个整数数组 找出其中两个数相加等于目标值 例如 给定数组及目标值 nums 2 7 11 15 target 9 因为nums 0 nums 1 2 7 9 返回 0 1 使用辅助空间 使用哈希表 时间复杂度是O n 空间复杂度 O

  • 半监督目标检测yolo+FixMatch

    目前实验发票印章检测 只需1张训练集即可达到0 921 mAP 5 如果用31张训练集可达到0 952 mAP 5 无标签数据均使用600张 待填坑 敬请期待

  • tkinter窗口切换

    方法1 按钮 Frame 步骤 1 1创建主桌面 import tkinter as tk root tk Tk 1 2 创建不同的Frame 相当于不同的桌布 分别用来创建不同的窗口 face1 tk Frame root face2 t

  • Java面试官最爱问的volatile关键字

    在Java的面试当中 面试官最爱问的就是volatile关键字相关的问题 经过多次面试之后 你是否思考过 为什么他们那么爱问volatile关键字相关的问题 而对于你 如果作为面试官 是否也会考虑采用volatile关键字作为切入点呢 为什

  • 如何建立chrony服务器

    Chrony由两个程序组成 分别是chronyd和chronyc chronyd是一个后台运行的守护进程 用于调整内核中运行的系统时钟和时钟服务器同步 它确定计算机增减时间的比率 并对此进行补偿 chronyc提供了一个用户界面 用于监控性

  • 生成 Linux 运行时间报告的 Bash 脚本

    出于一些原因 你可能需要每月收集一次 Linux 系统运行时间报告 Magesh Maruthamuthu 出于一些原因 你可能需要每月收集一次 Linux 系统运行时间报告 如果是这样 你可以根据需要使用以下 bash 脚本 之一 我们为

  • Effect Hook

    1 数据获取 设置订阅以及手动更改 React 组件中的 DOM 都属于副作用 2 可以把 useEffect Hook 看做 componentDidMount componentDidUpdate 和 componentWillUnmo

  • 关于 Windows 10 下安装 Linux 过程及报 'WSL...' 错误的解决办法

    今天下午在群里看到有朋友发有关 Windows 10 下按安装 Linux 系统 的消息 小白我很是激动啊 Linux 贴近工作 Windows 贴近生活 割舍不下 虽然可以在Windows下安装虚拟机 但是真的很占空间 0 0 而这个消息

  • 逻辑回归、激活函数sigmoid、损失及优化、案例代码实现

    一 逻辑回归 逻辑回归 Logistic Regression 是机器学习中的一种分类模型 是一种分类算法 与回归之间有一定的联系 由于算法的简单和高效 在实际中应用非常广泛 应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账

  • Java-API简析_java.lang.Float类（基于 Latest JDK）（浅析源码）

    版权声明 未经博主同意 谢绝转载 请尊重原创 博主保留追究权 https blog csdn net m0 69908381 article details 131129886 出自 进步 于辰的博客 因为我发现目前 我对Java API的

  • Sqoop的简单使用案例和一些常用命令及参数

    Sqoop的简单使用案例 1 导入数据 在Sqoop中 导入 概念指 从非大数据集群 RDBMS 向大数据集群 HDFS HIVE HBASE 中传输数据 叫做 导入 即使用import关键字 1 1 RDBMS到HDFS 1 确定Mysq

热门标签