Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
使用 avro-tools 连接 Avro 文件
我正在尝试将 avro 文件合并为一个大文件 问题是concat命令不接受通配符 hadoop jar avro tools jar concat input part output bigfile avro I get 线程 main 中
Hadoop
HDFS
Avro
avrotools
使用 fastavro 从 Kafka 进行 Avro 反序列化
我正在构建一个从 Kafka 接收数据的应用程序 当使用 Apache 提供的标准 avro 库时 https pypi org project avro python3 https pypi org project avro python
python
ApacheKafka
Avro
fastavro
Avro 模式中的多态性和继承
是否可以编写一个 Avro 模式 IDL 来生成一个扩展基类或实现接口的 Java 类 生成的 Java 类似乎扩展了org apache avro specific SpecificRecordBase 因此 工具可能是一条出路 但是 我
Java
Avro
在 KafkaConnect 中使用 Avro,无需 Confluence Schema 注册表
我们在当前的基础设施中设置了普通的 apache Kafka 并开始记录一些我们想要使用 Kafka Connect 处理的数据 目前 我们使用 Avro 作为消息格式 但我们的基础设施中没有架构注册表 将来 我们计划用 Confluenc
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
如果字段顺序更改,Avro 架构不兼容
设想 客户端使用 Avro Reflect Datum Writer 序列化 POJO 并将 GenericRecord 写入文件 通过反射获得的模式是这样的 注意顺序A B D C namespace storage management
Java
schema
Avro
递归数据类型(如 Avro 架构中的树)
Reading https avro apache org docs current spec html https avro apache org docs current spec html它说模式必须是以下之一 一个 JSON 字符串
Protocols
Avro
recursivedatastructures
从 JSON 到 Avro 的 Kafka 流
我尝试使用 Kafka Stream 将带有 String JSON 消息的主题转换为另一个主题 作为 Avro 消息 流主要方法 streamsConfiguration put StreamsConfig KEY SERDE CLASS
json
ApacheKafka
Avro
apachekafkastreams
在 SparkSQL 中使用 Avro 模式和 Parquet 格式进行读/写
我正在尝试从 SparkSQL 写入和读取 Parquet 文件 出于模式演变的原因 我想在写入和读取中使用 Avro 模式 我的理解是 这可以在 Spark 之外 或在 Spark 中手动 使用例如AvroParquetWriter 和
apachespark
apachesparksql
Avro
parquet
如何在 PySpark 中读取 Avro 文件
我正在使用 python 编写 Spark 作业 但是 我需要读取一大堆 avro 文件 This https github com apache spark blob master examples src main python avr
python
apachespark
Avro
PySpark
带有 BigQuery 分区表的 BigQuery 数据传输服务 [已关闭]
Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 我可以访问 BigQuery 中的一个项目 我希望按摄取时间创建一个分区表 按天分区 然后设置一个 BigQuery 数据传输流程
如何sqoop将oracle clob数据导入到hdfs上的avro文件
当我将数据从 oracle DB sqooping 到 HDFS 时 出现了一个奇怪的错误 Sqoop 无法将 clob 数据导入到 hadoop 上的 avro 文件中 这是 sqoop 导入错误 ERROR tool ImportToo
Oracle
Hadoop
SQOOP
Avro
CLOB
Apache Avro 框架可以在序列化期间处理参数化类型吗?
Apache Avro 可以在序列化期间处理参数化类型吗 当我尝试序列化使用泛型的实例时 我看到 Avro 框架抛出此异常 org apache avro AvroTypeException Unknown type T at org ap
Java
generics
Avro
parameterized
parameterizedtypes
如何正确使用 Spark -> Kafka -> JDBC Sink 连接器和 Avro?
我有一个简单的 Spark 应用程序 通过以下方式生成 Kafka 消息 import org apache spark sql SparkSession import org apache spark sql functions col
apachespark
ApacheKafka
apachekafkaconnect
Avro
aiven
尝试序列化 avro 记录时,B 无法转换为 java.nio.ByteBuffer
我编写了一个小型 Java 程序 该程序应该监视目录中的新文件并将它们以 binay Avro 格式发送到 Kafka 主题 我是 Avro 新手 我使用 Avro 文档和在线示例编写了这篇文章 监控部分运行良好 但程序在运行时到达 Avr
Java
ApacheKafka
Avro
是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式?
据我所知 我们可以在Kafka上定义AVRO模式 并且使用该模式定义的主题将只接受与该模式匹配的数据 在接受队列之前验证数据结构非常有用 Google Pub Sub 中有类似的东西吗 Kafka 本身并不验证模式 因此主题除了一对字节数组
ApacheKafka
MessageQueue
Avro
googlecloudpubsub
有没有办法以编程方式将 JSON 转换为 AVRO Schema?
我需要创建 AVRO 文件 但为此我需要两件事 1 JSON 2 Avro 架构 根据这两个要求 我有 JSON web app servlet servlet name cofaxCDS servlet class org cofax c
json
schema
Avro
avrotools
Kafka AVRO - 从长时间到日期时间的转换
当我想要发送包含 long 类型字段的 AVRO 消息时 出现以下错误 Caused by org apache kafka common errors SerializationException Error deserializing
ApacheKafka
deserialization
Avro
confluentplatform
AVRO 原始类型的 Serde 类
我正在用 Java 编写一个 Kafka 流应用程序 它接受由连接器创建的输入主题 该连接器使用架构注册表和 avro 作为键和值转换器 连接器生成以下模式 key schema int value schema type record n
Java
ApacheKafka
Avro
apachekafkastreams
confluentplatform
创建方案 .avsc Avro 时出现问题
我在创建 avro 方案时遇到问题 下面我将放置我的方案 推特 avsc type record name twitter schema namespace com miguno avro fields name id type recor
json
Avro
Cloudera 5.4.2:使用 Flume 和 Twitter 流时 Avro 块大小无效或太大
当我尝试 Cloudera 5 4 2 时出现了一个小问题 基于这篇文章 Apache Flume 获取 Twitter 数据http www tutorialspoint com apache flume fetching twitter
HDFS
flume
Avro
flumeng
flumetwitter
«
1
2
3
4
»