Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Spark - 写入Avro文件
在如下流程中使用 Spark 使用 Scala API 编写 Avro 文件的常见做法是什么 从 HDFS 解析一些日志文件 对于每个日志文件应用一些业务逻辑并生成 Avro 文件 或者可能合并多个文件 将 Avro 文件写入 HDFS 我
apachespark
Avro
无法使用 Maven 从 .avsc 编译和创建 .avro 文件
我是 Maven 新手 一直在查看教程和网络以获取有关如何从架构文件 avsc 构建 avro 的文档 基于 apache maven org 站点上的文档 我必须添加以下内容
Maven
Avro
卡夫卡连接|无法反序列化主题数据 |检索 id 的 Avro 键/值架构版本时出错 |未找到主题错误代码:40401
首先感谢 OneCricketeer 迄今为止的支持 到目前为止我已经尝试了很多配置 我不知道还能尝试什么 使用汇合connect standalone worker properties sink properties访问外部流 连接正在
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
在 Windows 中启动 Confluence Schema Registry
我有Windows环境和我自己的一套kafka和zookeeper正在运行 为了使用自定义对象 我开始使用 Avro 但我需要启动注册表 下载 Confluence 平台并运行 bin schema registry start etc s
Apache Kafka 和 Avro:org.apache.avro.generic.GenericData$Record 无法转换为 com.harmeetsingh13.java.Customer
每当我尝试从 kafka 队列读取消息时 我都会收到以下异常 error run main 0 java lang ClassCastException org apache avro generic GenericData Record
Java
ApacheKafka
Avro
kafkaconsumerapi
kafkaproducerapi
访问 AVRO GenericRecord (Java/Scala) 中的嵌套字段
我有一个带有嵌套字段的 GenericRecord 当我使用genericRecord get 1 它返回一个包含嵌套 AVRO 数据的对象 我希望能够像这样访问该对象genericRecord get 1 get 0 但我不能 因为 AV
Java
scala
Avro
为时间戳记录创建正确的 avro 架构
我想知道对于这种格式的 json 到 avro 转换 正确的 avro 模式是什么 entryDate 2018 01 26T12 00 40 930 我的架构 type record name schema fields name ent
json
Avro
apachenifi
dataconversion
avro 类型的 createDataFrame 中的无限递归
在此示例中 我从 createDataFrame 调用内部收到 StackOverflowError 它起源于涉及 java 类型推断的 scala 代码 该代码在无限循环中调用自身 final EventParser parser new
apachespark
apachesparksql
Avro
在 Scala 中导入 avro 模式
我正在编写一个简单的 Twitter 程序 我正在使用 Kafka 阅读推文 并希望使用 Avro 进行序列化 到目前为止 我刚刚在 Scala 中设置了 twitter 配置 现在想使用此配置来阅读推文 如何导入程序中文件 tweets
scala
Maven
twitter
Avro
ApacheKafka
为什么将 Avro 与 Kafka 结合使用 - 如何处理 POJO
我有一个 Spring 应用程序 它是我的 kafka 生产者 我想知道为什么 avro 是最好的选择 我读到了它以及它提供的所有内容 但为什么我不能序列化我用 jackson 自己创建的 POJO 并将其发送到 kafka 我这样说是因为
Java
ApacheKafka
Avro
confluentschemaregistry
从 HDFS 读取简单的 Avro 文件
我正在尝试对存储在 HDFS 中的 Avro 文件进行简单读取 我发现当它位于本地文件系统上时如何读取它 FileReader reader DataFileReader openReader new File filename new G
Java
IO
Avro
架构注册表中的向后兼容性问题和不确定性
我有一个用例 我有一个 JSON 我想生成架构并从 JSON 中记录并发布记录 我已经配置了值序列化器 并且架构设置是向后兼容的 第一个 JSON 字符串 json n id 1 n name Headphones n price 1250
ApacheKafka
Avro
kafkaproducerapi
confluentschemaregistry
检索 id 1 的 Avro 模式时出错,未找到主题。;错误代码:40401
Caused by org apache kafka common errors SerializationException Error retrieving Avro schema for id 1 Caused by io confl
ApacheKafka
Avro
confluentplatform
confluentschemaregistry
在模式注册表中,消费者的模式可能与生产者的模式不同,这实际上意味着什么
在向 Kafka 生成 AVRO 数据时 Avro 序列化程序在写入数据时使用的字节数组中写入相同的架构 ID Kafka Consumer 根据接收到的字节数组中的模式 ID 从模式注册表中获取模式 因此 生产者和消费者等模式都使用相同的
ApacheKafka
Avro
kafkaproducerapi
confluentschemaregistry
显式指定 KSQL 流主题名称
我有两个 KSQL 主题my topic 1 and my topic 2 消息通过 AVRO 序列化 由于历史原因 my topic 1架构不在推荐范围内topic value格式 而是my custom subject name 我想通
ApacheKafka
Avro
ksqldb
如何通过 from_avro 标准函数使用 Confluence Schema Registry? [复制]
这个问题在这里已经有答案了 My Kafka 和 Schema Registry 基于 Confluence Community Platform 5 2 2 My Spark 版本为 2 4 4 我使用以下命令启动 Spark REPL
Kafka Connect 不支持主题策略
Context 我编写了几个小代码卡夫卡连接 https docs confluent io current connect index html连接器 一个每秒生成随机数据 另一个将其记录在控制台中 它们集成了一个模式注册表 https
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
将 Spark 结构化流与 Confluence 架构注册表集成
我在 Spark 结构化流中使用 Kafka Source 来接收 Confluence 编码的 Avro 记录 我打算使用Confluence SchemaRegistry 但与spark结构化流的集成似乎是不可能的 我已经看到这个问题
如何在python 3.5.2中读取avro文件
我正在尝试使用 python 读取 avro 文件 我按照此处的说明成功安装了 Apache Avro 我想我这样做是因为我能够在 python shell 中 导入 avro https avro apache org docs 1 8
python3x
Avro
Avro在消费端通过kafka自定义解码UUID
我编写了一个类来将 UUID 类型的对象自定义编码为要在 kafka 和 avro 之间传输的字节 为了使用这个类 我放了一个 AvroEncode using UUIDAsBytesEncoding class 在我的目标对象中的 uui
Java
ApacheKafka
Avro
UUID
«
1
2
3
4
»