linux安装datax

2023-11-18

1.创建文件夹,存放安装包

cd /opt

mkdir datax

cd datax/

2.下载安装包

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

3.解压到指定目录

tar -zxvf datax.tar.gz -C /opt/datax

4.修改/job/job.json文件

{
  "job":{
    "content":[
      {
        "reader":{
          "parameter":{
            "password":"root",
            "connection":[
              {
                "querySql":[
                  "SELECT * FROM user"
                ],
                "jdbcUrl":[
                  "jdbc:mysql://ip:端口号/库名"
                ]
              }
            ],
            "username":"root"
          },
          "name":"mysqlreader"
        },
        "writer":{
          "parameter":{
            "password":"root",
            "session":[
              "set session sql_mode='ANSI';"
            ],
            "column":[
              "*"
            ],
            "connection":[
              {
                "jdbcUrl":"jdbc:mysql://ip:端口号/库名",
                "table":[
                  "user1"
                ]
              }
            ],
            "writeMode":"insert",
            "username":"root",
            "preSql":[
              "truncate table user1"
            ]
          },
          "name":"mysqlwriter"
        }
      }
    ],
    "setting":{
      "errorLimit":{
        "record":10,
        "percentage":0.01
      },
      "speed":{
        "channel":1
      }
    }
  }
}

5.删除隐藏文件 (重要)

​​rm -rf /opt/datax/plugin/*/._*​​

6.添加mysql 8 的jar包

7.运行

python datax.py /opt/datax/job/dataxjob1.json

0

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

linux安装datax 的相关文章

  • Web 本地应用程序 Apache:运行 shell 脚本

    我开发了一个 shell 脚本 我想用它创建一个 UI 我决定使用带有本地服务器的 Web 界面 因为我对 HTML PHP 的了解很少 比 QT 或 Java 的了解更多 我只是希望我的 html 可以在我的计算机上运行 shell 脚本
  • Linux 源代码中的哪个位置会识别特定的 USB 设备?

    我有一个特定的 USB 设备 我想检查其 Linux 驱动程序源代码 我的理解是 USB 驱动程序执行的第一步是注册自己能够处理具有特定供应商 ID 和产品 ID 的设备 就我而言 供应商 ID 是0BDA产品 ID 是8187 有了这些信
  • 套接字发送并发保证

    如果我在两个进程 或两个线程 之间共享一个套接字 并且在这两个进程中我尝试发送一条阻塞的大消息 大于下划线协议缓冲区 是否可以保证这两个消息将按顺序发送 或者消息可以在内核内部交错吗 我主要对 TCP over IP 行为感兴趣 但了解它是
  • 使用无效命令进行 fork 会导致 valgrind 中的内存泄漏

    我有以下代码 它在分叉内执行无效命令 以下代码在 valgrind 中返回内存泄漏 include
  • 从汇编程序获取命令行参数

    通读 专业汇编语言书籍 似乎它提供了用于读取命令行参数的错误代码 我纠正了一点 现在它从段错误变成了读取参数计数 然后是段错误 这是完整的代码 data output1 asciz There are d params n output2
  • 使用 WGET 运行 cronjob PHP

    我尝试执行一个 cron 并每 5 分钟运行一个 url 我尝试使用 WGET 但我不想下载服务器上的文件 我只想运行它 这是我使用的 crontab 5 wget http www example com cronit php 除了 wg
  • 从 Java 读取 /dev/input/js0

    我正在尝试阅读 dev input js0来自Java 但我不断得到 java io IOException Invalid argument at java io FileInputStream read0 Native Method a
  • 如何让 PHP、符号链接和 __FILE__ 很好地协同工作?

    在本地主机上 我有以下目录结构 share www trunk wp content plugins otherfolders share www portfolio wp content symlink Where symlink是一个符
  • libusb 和轮询/选择

    我正在使用 Linux 操作系统 想知道是否有任何文件描述符可以轮询 选择 当数据等待从 USB 设备读取时会触发这些文件描述符 我也在使用 libusb 库 但尚未找到可以使用的文件描述符 Use libusb 的轮询函数 http li
  • Linux shell 命令逐块读取/打印文件

    是否有一个标准的 Linux 命令可以用来逐块读取文件 例如 我有一个大小为 6kB 的文件 我想读取 打印第一个 1kB 然后是第二个 1kB 看来猫 头 尾在这种情况下不起作用 非常感谢 你可以这样做read n在循环中 while r
  • 当我通过 shell 脚本创建 .txt 文件时,为什么文件名末尾出现问号? [复制]

    这个问题在这里已经有答案了 我正在编写一个 shell 脚本 我应该在其中创建 1 个文本文件 当我这样做时 文件名末尾出现一个问号 是什么原因 我正在 bash 脚本中尝试以下方法 1 grep ERROR a1 gt text txt
  • 在单个命令中使用前缀重命名文件夹中的所有文件

    重命名带有前缀的文件夹中的所有文件 Unix 假设一个文件夹有两个文件 a txt b pdf 那么它们都应该从一个命令重命名为 Unix a txt Unix b pdf 如果您的文件名包含没有空格并且你没有任何子目录 你可以使用一个简单
  • 在64位操作系统上以32位模式和64位模式编译ioctl函数的执行有什么不同?

    我有 64 位 Enterprise SuSE 11 我有一个应用程序 它打开 HIDRAW 设备并在其上操作 ioctl 函数以从该设备获取原始信息 如下所示 struct hidraw devinfo devinfo int fd op
  • 有关 Linux 内存类型的问题

    关于Linux内存我有以下问题 我知道活动内存是最常访问的内存部分 但是有人可以解释一下 linux 如何考虑将内存位置用于活动内存或非活动内存 主动存储器由哪些部分组成 磁盘 文件缓存是否被视为活动内存的一部分 有什么区别Buffers
  • 跟踪 pthread 调度

    我想做的是创建某种图表 详细说明 Linux 中 两个 线程的执行情况 我不需要查看线程的作用 只需查看它们何时被安排以及持续多长时间 基本上是一条时间线 在过去的几个小时里 我一直在互联网上搜索跟踪 pthread 调度的方法 不幸的是
  • 变量作为 bash 数组索引?

    bin bash set x array counter 0 array value 1 array 0 0 0 for number in array do array array counter array value array co
  • ARM 系统调用的接口是什么?它在 Linux 内核中的何处定义?

    我读过有关 Linux 中的系统调用的内容 并且到处都给出了有关 x86 架构的描述 0x80中断和SYSENTER 但我无法追踪 ARM 架构中系统调用的文件和进程 任何人都可以帮忙吗 我知道的几个相关文件是 arch arm kerne
  • 将 stdout 作为命令行 util 的文件名传递?

    我正在使用一个命令行实用程序 该实用程序需要传递文件名以将输出写入 例如 foo o output txt 它唯一写入的东西stdout是一条消息 表明它运行成功 我希望能够通过管道传输写入的所有内容output txt到另一个命令行实用程
  • 静态链接共享对象?或者损坏的文件?

    我有一个从专有来源获得的库 我正在尝试链接它 但出现以下错误 libxxx so 文件无法识别 文件格式无法识别 Collect2 ld 返回 1 退出状态 确实 ldd libxxx so statically linked 这究竟意味着
  • gnome-terminal 新选项卡,使用别名作为要执行的命令

    我已经创建了一个别名 bashrc文件如下 alias myproject cd Desktop myproject 当我重新启动终端时保存文件后 输入myproject带我到项目目录 但是当我尝试使用别名作为新的命令参数时gnome te

随机推荐

  • 前端实现图片悬浮_悬浮图片之上效果实现

    其实很简单 就是一个margin top的问题 但是需要relative的定位方式才能悬在上面 html部分 草帽的创新 聚集国内外优秀人才 聚焦新技术及产品研究 以开放互联的理念 驱动企业创新发展 实现怎样的创新 服务全国品牌用户 实现多
  • Anchor-Free目标检测模型

    FCOS Fully Convolutional One Stage Object Detection 已开源 FoveaBox Beyond Anchor based Object Detector 未开源 FCOS 摘要 我们提出了一种
  • Android2023暑期实习---网易游戏一面面经

    Android2023暑期实习 网易游戏一面面经 2022 03 28 14 00 网易游戏一面 个人感觉网易游戏面试 题目有一定难度特别考验基础 自己基础不太行 加之开盘就慌了 肯定后面就是全局崩溃 主要是那些算法和操作系统 还有一些框架
  • Nginx配置-开启Http认证basic authentication

    Nginx配置 开启Http认证basic authentication txt 生成密码 将密放置于配置文件 修改nginx conf 重新加载nginx配置生效 认证测试 生成密码 可以使用htpasswd 或者使用openssl 比如
  • Android APP安装后在桌面上不显示应用图标

    前几天在写项目的时候运行的时候突然Android桌面上没有了应用图标 但是应用里面下载的应用有 调试版本和发布正式的版本都没有 之前以为是因为用了不同的keystore发布了两个不同的正式版本造成的问题 后来在看别人的文章才知道是什么问题
  • Win10中将WSL Ubuntu20.04设置普通用户为默认用户

    直接通过Microsoft Store安装的Ubuntu默认安装于C盘中 会占用一定空间 在导出wsl至本人电脑E盘后 每次登录都是root用户 参考网上教程使用 Ubuntu 20 04 config default user 用户名来更
  • prometheus通过node_exporter抓取的数据准确计算磁盘使用率

    公司使用的openstack的备份服务组件karbor 要查询所使用的备份nas磁盘使用率的需求 根据以前的查询语句 很快写出如下的prom sql 100 topk 1 node filesystem free device 100 no
  • SDRAM详解(结构框图、容量计算、寻址方式、初始化)

    1 SDRM介绍 SDRAM Syncronized Dynamic Ramdam Access Memory 是同步动态随机存储器 是DRAM的升级版 在SDRAM的基础上又发展出DDR double rate 即双倍速度的SDRAM D
  • vue-cli 工程中 访问插槽 数据

    具体解释参考文档 这个插槽啊 怎么说呢 如果你不开发组件 几乎很少用到 甚至用不到 访问插槽呢 使用方法vm slots 插槽名字 如果有的插槽没有名字 则使用vm slots default 访问 打印得到都是数组 得到dom 元素 vm
  • make_moons函数

    生成半环形数据 sklearn datasets make moons n samples 100 shuffle True noise None random state None 参数 n samples 整数型 可选 默认为100 产
  • Java中return、continue和break的区别

    之前一直对return continue break用法有混淆 今日特此学习 1 return 直接跳出当前的方法 返回到该调用的方法的语句处 继续执行 2 break 在循环体内结束整个循环过程 3 continue 结束本次的循环 直接
  • Flame Graphs 火焰图安装与使用

    一 火焰图概述 火焰图 flame graph 是性能分析的利器 通过它可以快速定位性能瓶颈点 perf 命令 performance 的缩写 是 Linux 系统原生提供的性能分析工具 会返回 CPU 正在执行的函数名以及调用栈 stac
  • 380. O(1) 时间插入、删除和获取随机元素

    实现RandomizedSet 类 RandomizedSet 初始化 RandomizedSet 对象 bool insert int val 当元素 val 不存在时 向集合中插入该项 并返回 true 否则 返回 false bool
  • [机缘参悟-74]:沟通技巧-无论在职场还是在家,尽量少用反问句

    目录 反问句的案例 尽量不要使用反问句 避免使用反问词 把反问句改为陈述句 反问句的案例 那天闲聊 邻居老贾向老友们诉苦 老伴今天又用反问句 款待 他了 中午炒菜时 老伴让他拿一瓶油来 老贾问 油瓶在哪里 你觉得油瓶会在哪里 老贾又问 是不
  • 解决k8s集群环境内存不足导致容器被kill问题

    背景 最近线上环境上出现了一个问题 k8s集群环境Pod中的tomcat容器运行一段时间后直接被killd 但有时一切看起来正常 不能准确判断在什么时机出现被Killd问题 本文就此问题介绍了Linux内存不足原因以及为什么特定进程会被杀死
  • nRF24L01单芯片2.4GHz收发模块射频信道频率

    框架图 管脚图 操作模式配置 射频信道频率 RF通道频率决定了 nRF24L01 使用的通道中心 该通道在 1Mbps 时占用 1MHz 带宽 在 2Mbps 时占用 2MHz 带宽 nRF24L01 可以在 2 400GHz 到 2 52
  • poll()函数详解

    poll提供的功能与select类似 不过在处理流设备时 它能够提供额外的信息 include
  • 测试流程简述

    测试流程 整体流程如下 需求评审 功能需求 性能需求 接口需求 测试计划 测试用例 用例评审 测试环境搭建 平台 架构 web服务器 数据库 执行用例 缺陷记录 缺陷跟踪和回归测试 测试报告 测试计划 测试计划 描述了要进行的测试活动的范围
  • 第八站:JavaScript的数据类型、运算符、流程控制语句

    第八站 JavaScript的数据类型 运算符 流程控制语句 欢迎来到第八站 JavaScript的数据类型 运算符 流程控制语句 在这一站 我们将深入探索JavaScript中的核心概念 为你揭示这个语言的奇妙之处 准备好继续冒险了吗 让
  • linux安装datax

    1 创建文件夹 存放安装包 cd opt mkdir datax cd datax 2 下载安装包 wget http datax opensource oss cn hangzhou aliyuncs com datax tar gz 3