Apache Hop-使用介绍【持续完善中】

2023-11-07

文章目录

Pipelines(管道)

Pipeline Editor(管道编辑器)

TOOLBAR

您在“创建管道”中学习了如何创建管道。您将在管道画布上执行许多操作,但是从管道编辑器的主工具栏中还可以获得许多额外的功能。

还有另外两个重要的工具栏用于处理单元测试以及项目和环境。查看相关页面,了解有关管理项目和环境的更多信息,并了解如何为管道编写单元测试。

让我们看看最上面的工具栏:

Action Icon Description
run 在这里插入图片描述 Start the execution of the pipeline;
开始执行管道;
pause [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BecZyUI8-1670217736507)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\image-20221127081024252.png)] pause the execution of the pipeline;
暂停管道的执行;
stop 在这里插入图片描述 stop the execution of the pipeline;
停止管道的执行;
preview 在这里插入图片描述 preview the pipeline;
预览管道
debug 在这里插入图片描述 debug the pipeline;
调试管道
print 在这里插入图片描述 print the pipeline;
打印管道
undo 在这里插入图片描述 undo an operation;
撤销操作
redo 在这里插入图片描述 redo an operation;
重复操作
align 在这里插入图片描述 align the specified (selected) transforms to the specified grid size;
将指定的(选定)变换与指定的网格大小对齐
align left 在这里插入图片描述 align the selected transforms with left-most selected transform in the selection;
将选择的转换与选择的最左边的转换对齐
align right 在这里插入图片描述 align the selected transforms with right-most selected transform in the selection;
将选择的转换与选择的最右边的转换对齐
align top 在这里插入图片描述 align the selected transforms with top-most selected transform in the selection;
将选择的转换与选择的最上面的转换对齐
align bottom 在这里插入图片描述 align the selected transforms with bottom-most selected transform in the selection;
将选择的转换与选择的最底部的转换对齐
distribute horizontally 在这里插入图片描述 Distribute the selected transforms evenly between the left-most and right-most transform in your selection;
将选择的转换均匀分布在选择的最左和最右转换之间
distribute vertically 在这里插入图片描述 Distribute the selected transforms evenly between the top-most and bottom-most transform in your selection;
将选择的转换均匀分布在选择的最顶部和最底部的转换之间

Create a Pipeline(创建管道)

How pipelines work(管道如何工作)

管道是Hop项目的基本构建块。

管道完成了繁重的工作:它们从各种来源读取数据,执行许多操作(合并、清理、完善、转换等),并将数据写入某些目标平台。管道以预定义的顺序并并行地执行所有这些操作。

在下面的图片中,一个非常简单的管道从数据库读取数据,向数据添加一条消息,然后发送一封电子邮件。所有这些操作都按照预定义的顺序执行(从数据库读取、添加消息、发送邮件)并并行执行。管道执行这些转换,假设我们的数据库表或查询包含数千行。管道将开始从查询中读取结果,并将它们传递给’Add message’转换。一旦添加了消息,我们将从mail转换发送一封邮件。所有这些都是并行的,所以邮件转换.

在这里插入图片描述

Concepts(概念)

管道由跳连接的转换组成。在邮件示例“Table input”中,“Add message”和“mail”都是转换。

  • 转换是管道中的基本操作。管道通常由许多由跃点连接在一起的转换组成。转换是细粒度的,从某种意义上说,每个转换都被设计和优化为执行且仅执行一项任务。尽管一个转换本身可能不能提供令人惊叹的功能,但是管道中所有转换的组合将使您的管道变得强大。
  • 把所有的转换连接在一起。当转换处理完成它接收到的数据集时,该数据集通过一个跳传递给下一个转换。跳是单向的(数据不能反向流动)。跳只缓冲和传递数据,跳本身与转换无关,它不知道将数据从哪来来,传递给哪些转换。一些转换可以有条件地从其他转换向其他转换进行读写,但这是一种特定于转换的配置。跳跃者并不知道这一点。跳可以通过点击或右击来禁用

Create a pipeline(创建管道)

通过工作项对话框创建一个新的管道。您将看到下面的对话框。

在这里插入图片描述

当您完成管道创建后,保存它。这可以通过“文件”菜单、图标或使用CTLR或Command s来完成。对于新的管道,文件浏览器将显示,以导航到您想要存储文件的位置。

Add Transform to your pipelines(将Transform添加到管道中)

单击管道画布中的任意位置,即您将看到下图的区域。

在这里插入图片描述

单击后,将显示如下所示的对话框。通过顶部的搜索框搜索转换、名称、标签(TODO)等。找到要查找的转换后,单击它将其添加到管道中。点击的另一种选择是方向键导航+回车。现在重复此步骤,或者在您想向管道添加更多转换时重复此步骤。向管道添加转换后,可以拖动它来重新定位它。

查看要添加到管道中的转换列表以获得更多详细信息。

在这里插入图片描述

添加“Generate Rows”和“Add Sequence”转换,你的管道应该如下图所示。

在这里插入图片描述

可以通过对对象的一次单击来配置转换对象。下面显示的菜单将基于您的转换对象显示。

在这里插入图片描述

Action Description
Edit
编辑转换
Edit the transform’s metadata
编辑转换的元数据
Copy to clipboard
复制
Copies selected items to clipboard.
复制选中的转换
Create hop
创建跳
Creates a new hop between two transforms.
在两个转换之间创建一个新的跳转
Detach transform
分离转换
Detach the transform from the pipeline
从管道中分离转换
Show input fields 显示输入字段
Show output fields 显示输出字段
Edit transform description
编辑转换描述
Add a description to the transform.
向转换添加描述。
Delete
删除
Delete selected transform from the canvas.
从画布中删除选中的转换
Data routing
Specify copies
指定复制
复制指定行数
Copy rows
复制行
In case of more than one hop the daya is copied to the next transforms.
如果有多个跳,则将daya复制到下一个转换
Set partitioning
设置分区
Specify how rows of data need to be grouped into partitions allowing parallel execution where similar rows need to end up on the same transform copy
指定需要如何将数据行分组到允许并行执行的分区中,其中相似的行需要在相同的转换副本上结束
Error handling
错误处理
Set the error handling for the transform, not available for all transforms.
为转换设置错误处理,但不是所有转换都可用
Add web service
添加web服务
Preview
View output
视图输出
Preview output
预览输出
Allows you to preview the results of the transform.
允许您预览转换的结果
Debug output
调试输出
Sniff output
嗅探输出
Take a look at 50 rows coming out of this transform. This will show a real-time table with a continuous output of the selected transform.
看看这个转换产生的50行。这将显示一个具有所选转换连续输出的实时表
Add data probe
添加数据探针
添加数据探针
Logging
Edit Custom Logging
编辑自定义日志
Edit the custom log settings for this transform. This will change the log level used for this transform.
编辑此转换的自定义日志设置。这将更改用于此转换的日志级别
Clear Custom Logging
清除自定义日志
Clear custom log settings. This will clear the log level used for this transform.
清除自定义日志设置。这将清除用于此转换的日志级别
Unit Testing
Create data set
创建数据集
Create an empty dataset with the output fields of this transform
使用此转换的输出字段创建一个空数据集
Write rows to data set
把行写到数据集中
Run the current pipeline and write the data to a data set
运行当前管道并将数据写入数据集
其他属性
Set the number of transforms
设置转换的数量
Starts several instances of a transform in parallel.
并行启动转换的多个实例
Show the fields entering this transform
显示输入此转换的字段
Shows metadata, like the field name and type for fields coming into the transform.
显示元数据,比如进入转换的字段的字段名和类型
Show the fields exiting this transform
显示退出此转换的字段
Shows metadata, like the field name and type for fields coming out of the transform.
显示元数据,比如转换输出的字段的字段名和类型
Distribute rows
分配行
In case of more than one hop the data is distributed between the next transforms.
在有多个跳的情况下,数据会分布在下一个转换之间
Set input data set
设置输入数据集
Defines which data to use instead of the active input transform, applies to the selected unit test
定义要使用哪些数据来代替活动输入转换,应用于选定的单元测试
Clear input data set
清除输入数据集
Remove a defined data set from the selected unit test
从选定的单元测试中删除已定义的数据集
Set golden data set
黄金数据集
The input to this transform is taken and compared to the golden data set you are selecting.\nThe transform itself is not executed during testin
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache Hop-使用介绍【持续完善中】 的相关文章

  • Amazon Elasticache Redis 集群 - 无法获取端点

    我需要获取 Amazon Elasticache 中 Redis 集群的终端节点 以下代码适用于 Memcached 集群 但不适用于 Redis import com amazonaws auth AWSCredentials impor
  • Java - 红、绿、蓝获取RGB

    通过致电getRGB int x int y with a BufferedImage对象 得到一个负数 如何将三个不同的值 红色 绿色和蓝色 转换为这个单个负数 使用颜色类 new Color r g b getRGB
  • 使用 Eclipse 将具有外部依赖项的 Java 项目导出到 jar

    有没有一种简单的方法可以将 Java 项目 包括其所有外部依赖项 导出到标准 jar 文件 我开发了一个使用多个 Apache 库的 SDK 我希望能够将该项目作为单个 jar 发布 到目前为止我找到的这个问题的答案要求将项目打包为 Run
  • 最终字段可能尚未/已经初始化[重复]

    这个问题在这里已经有答案了 可能的重复 如何处理抛出检查异常的静态最终字段初始值设定项 https stackoverflow com questions 1866770 how to handle a static final field
  • Android CursorAdapter、ListView 和后台线程

    我一直在开发的这个应用程序有包含数兆字节数据的数据库可供筛选 许多活动只是列表视图 通过数据库中的各个级别的数据下降 直到到达 文档 即从数据库中提取并显示在手机上的 HTML 我遇到的问题是 其中一些活动需要能够通过捕获击键并重新运行带有
  • APNS(Apple 推送通知服务器)的反馈服务

    我们正在使用Java作为推送通知提供商APNS I我能够将消息发送到APNS但我不知道如何获得该消息的反馈 请帮忙 反馈服务具有类似于用于发送推送通知的接口的二进制接口 您可以通过以下方式访问生产反馈服务feedback push appl
  • 如何添加 Java 正则表达式实现中缺少的功能?

    我是 Java 新手 作为一名 Net 开发人员 我非常习惯Regex Net 中的类 Java 实现Regex 正则表达式 还不错 但它缺少一些关键功能 我想为 Java 创建自己的帮助器类 但我想也许已经有一个可用的了 那么 是否有任何
  • 为本地@ExceptionHandler编写JUnit测试

    我有以下控制器 class Controller ResponseStatus HttpStatus OK RequestMapping value verifyCert method RequestMethod GET public vo
  • 生产者程序中的 kafka 网络处理器错误(ArrayIndexOutOfBoundsException:18)

    我有下面的 kafka Producer Api 程序 我对 kafka 本身是新手 下面的代码从 API 之一获取数据并将消息发送到 kafka 主题 package kafka Demo import java util Propert
  • java数学中的组合“N选择R”?

    java库中是否有内置方法可以为任何N R计算 N选择R 公式 实际上很容易计算N choose K甚至不需要计算阶乘 我们知道 公式为 N choose K is N N K K 因此 公式为 N choose K 1 is N N N
  • 单元测试、集成测试还是设计中的问题?

    我编写了我的第一个单元测试 我认为它过于依赖其他模块 我不确定是否是因为 这是一个复杂的测试 我实际上已经编写了集成测试或 我的设计有问题 我首先要说的是 虽然我有大约 4 年的开发经验 但我从未学过 也没有人教过自动化测试 我刚刚使用 H
  • Java:java.util.Preferences 失败

    我的程序将加密的产品密钥数据保存到计算机上java util Preferences类 系统首选项 而不是用户 问题是 在 Windows 和 Linux 上 尚未在 OSX 上测试过 但可能是相同的 如果我不运行该程序sudo或者具有管理
  • java中的第三个布尔状态是什么?

    虽然我知道根据定义 布尔值仅包含两种状态 真或假 我想知道布尔值在用这些状态之一初始化之前有什么值 它默认为 false http java sun com docs books tutorial java nutsandbolts dat
  • 在片段之间切换时底部导航栏会向下推

    在我的活动中 我有一个底部导航栏和框架布局来显示片段 一切正常 但问题是当我开始按顺序从 1 4 移动时 底部导航栏保持在其位置 但当我突然从 4 跳到2 然后底部导航栏就会超出屏幕 当再次单击同一项目时 它就会回到正常位置 该视频将清楚地
  • 如何在 Java 中创建一个带有连字符的值的静态枚举?

    如何创建如下所示的静态枚举 static enum Test employee id employeeCode 截至目前 我遇到了错误 这对于 Java 来说是不可能的 因为每个项目都必须是有效的标识符 并且有效的 Java 标识符可能不包
  • Java给定长度的随机数

    我需要在 Java 中生成一个恰好 6 位数字的随机数 我知道我可以在随机发生器上循环 6 次 但是在标准 Java SE 中还有其他方法可以做到这一点吗 要生成 6 位数字 Use Random http download oracle
  • 线程上下文类加载器和普通类加载器的区别

    线程的上下文类加载器和普通类加载器有什么区别 也就是说 如果Thread currentThread getContextClassLoader and getClass getClassLoader 返回不同的类加载器对象 将使用哪一个
  • 一个类中有多个具有相同参数类型的方法

    我知道 至少已经有了关于这个主题的一个问题 https stackoverflow com questions 5561436 can two java methods have same name with different retur
  • 乔达时间中两个日期之间的天数

    如何找到两次之间的天数差异乔达时间 http www joda org joda time DateTime http www joda org joda time apidocs org joda time DateTime html实例
  • Swing:创建可拖动组件...?

    我在网上搜索了可拖动 Swing 组件的示例 但我发现示例不完整或不起作用 我需要的是一个摇摆组件那可以是dragged通过鼠标 在另一个组件内 被拖拽的时候 应该已经 改变它的位置 而不仅仅是 跳 到目的地 我很欣赏无需非标准 API 即

随机推荐

  • java-面试题

    来源 牛客网 1 什么是Java虚拟机 为什么Java被称作是 平台无关的编程语言 Java虚拟机是一个可以执行Java字节码的虚拟机进程 Java源文件被编译成能被Java虚拟机执行的字节码文件 java的跨平台不是java源程序的跨平台
  • 小程序多种姿势更换文章

    概述 简单的文章切换demo 通过倒计时 摇一摇 双击进行文章切换 详细 直接看效果图吧 比较简单 主要是练习一下 小程序不带双击事件 可以记录第一次单击事件和第二次单机事件进行双击操作 1 摇一摇是通过调用官方的 2 wx onAccel
  • MATLAB安装MinGW-w64 C/C++ 编译器

    参考链接 matlab安装 MinGW w64 C C 编译器 上面的链接非常详细 可以之间看上面的 下面是我安装过程的总结 1 官网安装不成功 2 MinGW w64 for 32 and 64 bit Windows download
  • 通过Python在Windows或Linux上快速搭建HTTP服务器

    在Windows 7 10或Ubuntu上可以通过python2 x或python3 x来快速搭建一个简单的HTTP服务器 如果python为2 x 则可执行 python m SimpleHTTPServer 或 python2 m Si
  • 网上能搞什么副业?适合网上搞的副业

    现如今互联网时代 线上副业早已经普遍 有些工作不再需要线下交谈对接 只要有网络就可以搞定 线上副业已经不再是个人的选择 而是刚需 很多普通人的工资收入都不高 但是又不敢轻易辞职 于是就冒出了开启副业的想法 互联网的兴起让一大批人实现了副业收
  • Python的virtualenv虚拟环境

    Python的virtualenv虚拟环境 1 安装虚拟环境 1 1 创建虚拟环境 1 2 激活虚拟环境 1 3 退出虚拟环境 1 4 删除虚拟环境 2 使用虚拟环境 其实一直在Python的虚拟环境 确实很好用 这次想总结一下 好方便自己
  • 性能需求指标

    通常我们都从两个层面定义性能场景的需求指标 业务指标和技术指标 性能测试行业常用的性能指标表示法 TPS 每秒事务数 T没有规定 所有相关的人都要知道你的 T 是如何定义的 通常情况下 我们会根据场景的目的来定义 TPS 的粒度 如果是接口
  • python开发工程师是干嘛的-python工程师是做什么的

    对于大多数人来说 可能只知道python这个名字 或者也听说过Python在云计算 大数据 人工智能里面都有运用 学Python未来发展前景还比较好 但是并不知道Python具体可以做些什么 在哪些应用场景下可以使用Python语言 最近也
  • 品味树莓派:GPIO Zero库远程控制功能使用

    文章目录 目的 使用前准备 树莓派设置 控制端设置 远程控制GPIO口 总结 目的 使用GPIO Zero库可以通过网络远程控制树莓派的上GPIO口 本文将对该功能进行简单说明 使用前准备 树莓派设置 使用GPIO Zero库远程功能首先需
  • Unity实现2D游戏跟随摄像机(平滑移动)

    文章目录 运行效果 玩家角色 脚本 字段 跟随逻辑 完整代码 其他相关文章连接 运行效果 摄像机运行效果如下所示 玩家角色 首先创建一个可用的玩家角色 写好移动逻辑 如果要使用在Unity商店中购买的资源 可以点击Window菜单栏 gt
  • 【Hexo】【Blog】更换主题【简】

    下载 Hexo themes Github NEXT主题 新建文件夹 这里想偷个懒一次装好 需要安装一些插件工具 有些小头疼 还是从GitHub拉下来再去改个性化的界面吧 ps 用git拉下来的话也比较慢 如果不换源的话 我依旧down下来
  • 解密Kerberos流量

    以下主要演示如何通过将keytab导入到wireshark 实现对Kerberos协议进行解密 Keytab 那么Keytab是什么 keytab是可以理解为一个密钥表 是key table的缩写 用途类似于用户的密码 keytab中包含一
  • Docker实战:docker compose 搭建Rocketmq

    1 配置文件准备 1 1 新建目录 home docker data rocketmq conf mkdir home docker data rocketmq conf 1 2 在上面目录下新建文件broker conf文件 内容如下 b
  • JSX的基础使用(二)

    1 事件绑定 React 事件的 命名采用小驼峰式 camelCase 而不是纯小写 们需要 通过 传入一个事件处理函数 这个函数会在事件发生时被执行 2 this绑定 bind给btnClick显示绑定this 使用 ES6 class
  • 面向过程编程

    p 面向过程编程 p p p
  • Qt 使用中文引起的错误error: C2001: 常量中有换行符;error: C1071: 在注释中遇到意外的文件结束

    中文编码问题导致的错误 解决办法 1 使用英文注释 2 在中文的结尾加上英文 或者空格 3 修改设置 编辑 gt 选择编码 gt system gt 编码保存
  • 六、Audio-ALSA架构中的codec

    一 codec简介 处理器如果既想 听到 外界的声音 又想向外界传达自己的 心声 那么就需要同时用到 DAC 和 ADC 这两款芯片 那是不是买两颗 DAC 和 ADC 芯片就行了呢 答案肯定是可以的 但是音频不单单是能出声 能听到就行 我
  • VC6 ”add files to project“功能失效的解决方案

    在Win7系统下 安装MS2007以后 VC6 0 add files to project 功能失效了 网上的资料表明 这是与MS2007不兼容导致的 其具体解决方案如下 1 到如下网址 http download microsoft c
  • 服务器硬件规格常用查看命令——磁盘相关命令

    smartctl smartctl是一个能够控制和监控磁盘的SMART Self Monitoring Analysis and Reporting Technology 自我监测 分析和报告技术 命令 使用方法 提示 使用该命令只能查看到
  • Apache Hop-使用介绍【持续完善中】

    文章目录 Pipelines 管道 Pipeline Editor 管道编辑器 TOOLBAR Create a Pipeline 创建管道 How pipelines work 管道如何工作 Concepts 概念 Create a pi