如何构建和使用flink-connector-kinesis?

2024-01-09

我正在尝试将 Apache Flink 与 AWS kinesis 结合使用。这document https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/kinesis.html说我必须自己构建连接器。

因此,我构建了连接器并为我的项目添加了 jar 文件,并且还将依赖项放在了 pom.xml 文件中。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>

但是,当我尝试使用构建时mvn clean package我收到这样的错误消息

[INFO] -----------------------< kkaldk:flink-kinesis >-----------------------
[INFO] Building Flink Quickstart Job 0.1
[INFO] --------------------------------[ jar ]---------------------------------
[WARNING] The POM for org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT is missing, no dependency information available
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.458 s
[INFO] Finished at: 2018-12-19T17:45:43+09:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project flink-kinesis: Could not resolve dependencies for project kkaldk:flink-kinesis:jar:0.1: Failure to find org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT in https://repository.apache.org/content/repositories/snapshots/ was cached in the local repository, resolution will not be reattempted until the update interval of apache.snapshots has elapsed or updates are forced -> 
[Help 1]
[ERROR] 

你能帮我解决这个问题吗?

- - - - -添加 - - - - -

这就是我所做的(这是错误的程序)

  1. 在此之后开始项目document https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/projectsetup/java_api_quickstart.html
  2. 构建连接器flink主源码 https://github.com/apache/flink(这是 1.8 快照)
  3. 添加1.6.1版本的依赖。


这就是我为解决方案所做的。

  1. 我从以下位置下载了 1.6.1 版本here https://github.com/apache/flink/archive/release-1.6.1.zip.

  2. 解压缩文件(存档将解压缩到.../flink-release-1.6.1/

  3. 建造它的mvn clean install -Pinclude-kinesis -DskipTests

然后我的本地 Maven 存储库中有 flink-connector-kinesis_2.11 版本 1.6.1

(对我来说,路径是这样的):~/.m2/repository/org/apache/flink/flink-connector-kinesis_2.11

之后,我可以通过添加此代码的依赖关系在任何项目中使用此连接器。 (我不必再添加 jar 文件了。)

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何构建和使用flink-connector-kinesis? 的相关文章

  • 如何从引用的java项目访问静态资源(WEB-INF)文件夹中的文件?

    我有一个 Web 应用程序 其中包含一个作为 spring bean 公开的应用程序服务之一的配置 xml 文件 另外 我在同一工作区中有一个独立的 java 应用程序 它从其 pom xml 引用我的 Web 应用程序项目 它使用 Spr
  • 如何在Windows上安装机器人操作系统ROSJava?

    ROS 的文档很糟糕 一个很大的讽刺是 ROS 的 Groovy 和 ROSJava 版本的创建是为了让 Windows 等平台上的开发人员能够利用出色的机器人 SDK 而所有安装说明仍然面向 Linux ubuntu 用户 The ROS
  • Terraform - 可选的 SSM 参数查找

    我正在查找 SSM 参数 该参数可能存在也可能不存在 具体取决于传入的变量 data aws ssm parameter server tags name var env number server tags 然后我在本地文件中像下面一样使
  • maven 构建错误:创建阴影 jar 时出错(访问被拒绝)

    我尝试使用 Maven 制作 uberjar 时遇到以下错误 您知道可能发生什么情况吗 INFO ERROR BUILD ERROR INFO INFO Error creating shaded jar C Projects info b
  • 更新项目时,NUMBER_VALUE 无法转换为字符串

    我在 DynamoDB 上遇到了这个奇怪的问题 我似乎无法更新项目 这是我的命令 TableName UserTable Key UID S h4XJj3YRxZiF7TDcGkxAhc UpdateExpression SET numRa
  • EC2专用实例是否共享RAM带宽?

    如果我创建一个专用实例并且它在多芯片服务器上启动 它是否共享其自己的 CPU 的 RAM 带宽 如果邻居运行一些消耗内存带宽的任务会发生什么 它会影响我的实例吗 这在共享实例上怎么样 RAM有哪几种寻址方式 仅在其自己的 numa 节点上还
  • 编译致命错误:目标版本无效:1.8 -> [帮助 1]

    与发布的问题类似的问题无效目标版本 1 7 https stackoverflow com questions 19891423 invalid target release 1 7但关注博客后我的问题仍然没有解决 无法在项目 hm app
  • 使用 Amazon SQS 的 .net 应用程序示例

    我正在寻找一个示例 Net 应用程序 该应用程序会持续检查 Amazon SQS 是否有新消息 并在发现新消息时执行一项操作并将其从队列中删除 我的目标是让一个在 EC2 上运行的应用程序监视我的 SQS 队列中的新消息 当找到一条消息时
  • eclipse中导入项目文件夹图标

    我在 Eclipse 工作区中新导入的 Maven 项目有J and M项目文件夹顶部的图标 项目和包资源管理器 而其他导入的 Maven 项目只有一个J icon 有人可以解释其中的区别吗 该项目有J装饰器被称为 Java 项目和具有M装
  • Kinesis Firehose 的 Lambda.InvokeAccessDenied

    我正在尝试使用 Firehose 传输流设置 Lambda 转换 我为 Firehose 定义了一个 IAM 角色 其中包括以下策略文档 Statement Action lambda InvokeFunction lambda GetFu
  • 访问 maven-release-plugin 的发布版本

    我在 Jenkins 作业中使用 maven release plugin 并且在执行 shell 脚本时启用了 在 SCM 运行之前运行构建步骤 我想访问此 shell 脚本中的发布版本 但无法访问它 我不确定这个插件中存储发布版本的变量
  • ECS相当于docker-compose的命令

    我有一个使用 docker compose 运行的应用程序 现在我正在将应用程序迁移到 ECS 上托管 我正在将 docker compose 设置转换为 boto3 ECS 等效项 不幸的是我没有找到相当于 docker compose
  • Maven 构建在 Jenkins 上失败,但可以在本地计算机上运行

    我有一个全新安装的 Debian Wheezy 服务器 运行 Jenkins 1 596 最新版本 安装自官方deb包 http pkg jenkins ci org debian 为了与詹金斯一起玩 我创建了一个新的Maven项目使用 G
  • Maven + Resteasy JAXB 找不到内容类型 application/xml 的 writer

    我想创建一个将在其他项目中使用的 jar 其中包括使用 ReastEasy 库 jaxb jaxrs jaxrs clients 等 虽然我包含了所有库 并且在基于 Maven 的项目中一切正常 但显然有些库未包含在 jar 中 并且我在简
  • 发布到 AWS...Visual Studio 2017 中缺失

    我正在尝试将 lambda 函数发布到 AWS 但我的 VS 解决方案资源管理器的项目右键单击菜单在 Visual Studio 2017 中没有 发布到 AWS 选项 这是一天前出现的 如何或可以将 发布到 AWS 添加到 Visual
  • 为什么changeResourceRecordSets没有被授权访问此资源?

    我正在尝试在 Route 53 中创建一条别名类型的新记录 以告诉 Route 53 起诉 CloudFront 来为该站点提供服务 我正在尝试使用以下代码来执行此操作 let options ChangeBatch Changes Act
  • 更改 Maven 项目中的 JDK (Eclipse)

    New Maven项目创建于Eclipse on Windows 使用默认的 JRE 系统库 J2SE 1 5 Maven项目中的默认系统库 https i stack imgur com a50x7 png 该项目是通过以下方式创建的 新
  • 使用 lambda 更新 amazon s3 对象元数据而不执行对象复制?

    是否可以使用 lambda 函数添 加或更新 s3 对象元数据而不复制对象 这篇 2 年前的帖子说我们确实需要复制一份 https stackoverflow com questions 32646646 how do i update m
  • Artifact 尚未打包 - maven-dependency-plugin

    当我构建一个多模块 Maven 项目时 使用mvn clean compile 其中使用 dependency copy 将一个依赖项 构建反应器的一部分 复制到另一个依赖项中 然后 Maven 抱怨以下错误 Artifact has no
  • AWS Lambda 和 S3 - 上传的 pdf 文件为空/损坏

    我有一个 Spring 应用程序 在 AWS Lambda 上运行 它获取文件并将其上传到 AWS S3 Spring控制器发送一个MultipartFile到我的方法 使用 Amazon API Gateway 将其上传到 AWS S3

随机推荐