Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
在 Mac OS X 中安装 Avro
我正在查看 Avro RPC for Python 网址为https github com phunt avro rpc quickstart python https github com phunt avro rpc quickstar
python
osxmountainlion
Avro
Avro 架构和生成的文件中的十进制数据类型支持
这个问题涉及 Avro 版本 1 8 1 我们的 AVRO 模式中有以下字段 name sale price type bytes null logicalType decimal precision 18 scale 17 如您所见 该字
Java
Avro
带有 kafka-avro-console-consumer 的未知魔法字节
我一直在尝试将 Confluence 中的 kafka avro console consumer 连接到我们的旧版 Kafka 集群 该集群是在没有 Confluence Schema Registry 的情况下部署的 我使用以下属性显式
ApacheKafka
Avro
confluentplatform
confluentschemaregistry
使用kafka lib反序列化PRIMITIVE AVRO KEY
我目前无能力反序列化 avro PRIMITIVE 密钥在 KSTREAM 应用程序中 使用 avro 模式编码的密钥 在模式注册表中注册 当我使用 kafka avro console consumer 时 我可以看到密钥已正确反序列化
Java
ApacheKafka
Avro
apachekafkastreams
confluentschemaregistry
PySpark:反序列化 eventhub 捕获 avro 文件中包含的 Avro 序列化消息
初始情况 AVRO 序列化事件被发送到 azure 事件中心 这些事件使用 azure 事件中心捕获功能持久存储 捕获的数据以及事件中心元数据以 Apache Avro 格式写入 应使用 py Spark 分析捕获 avro 文件中包含的原
apachespark
PySpark
Avro
azureeventhub
Spark 读取分区 avro 比指向确切位置慢得多
我正在尝试读取分区的 Avro 数据 该数据是根据年 月和日分区的 这似乎比直接将其指向路径要慢得多 在物理计划中 我可以看到分区过滤器正在传递 因此它不会扫描整个目录集 但速度仍然慢得多 例如 像这样读取分区数据 profitLossPa
apachespark
PySpark
Avro
azuredatabricks
Apache AVRO 与休息
我正在评估将 Apache AVRO 用于我的 Jersey REST 服务 我将 Springboot 与 Jersey REST 结合使用 目前我接受 JSON 作为输入 并使用 Jackson 对象映射器将其转换为 Java Pojo
Java
REST
JAXRS
Avro
在 python 中使用 snappy 和 avro 时出现问题
我正在读取 gz 文件并转换为 AVRO 格式 当我使用codec deflate 它运行良好 即 我能够转换为 avro 格式 当我使用codec snappy 它抛出一个错误 说明如下 raise DataFileException U
python
python27
Avro
snappy
Kafka Streams - SerializationException:未知的魔术字节
我正在尝试创建一个处理 Avro 记录的 Kafka Streams 应用程序 但出现以下错误 Exception in thread streams application c8031218 8de9 4d55 a5d0 81c30051
Java
ApacheKafka
Avro
apachekafkastreams
confluentschemaregistry
Avro 架构中嵌套记录的默认值
这个问题 答案 如何在 Avro 模式中嵌套记录 https stackoverflow com questions 11764287 how to nest records in an avro schema 澄清了如何嵌套复杂类型 在本
Avro
在 avro 文件中存储空值
我有一些 json 数据 如下所示 id 1998983092 name Test Name 1 type search string creationDate 2017 06 06T13 49 15 091 0000 lastModifi
Java
Avro
avrotools
如何在storm中注册kryo序列化器实例?
我拼命尝试配置序列化器实例以在我的风暴拓扑中使用 Storm 文档指出 有两种注册序列化器的方法 1 The name of a class to register In this case Storm will use Kryo s Fi
Java
apachestorm
Avro
kryo
从 POJO 到 Avro Record 的通用转换
我正在寻找一种以通用方式将 POJO 转换为 avro 对象的方法 该实现对于 POJO 类的任何更改都应该具有鲁棒性 我已经实现了它 但明确填写了 avro 记录 请参见下面的示例 有没有办法摆脱硬编码的字段名称 只从对象中填充 avro
Java
Avro
如何使用 kafka 模式管理和 Avro 进行重大更改
使用 avro 进行 kafka 模式管理为我们提供了向后兼容性的灵活性 但是我们如何处理模式中的重大更改 假设生产者A向消费者C发布消息M 假设消息 M 的方案发生了重大变化 例如 名称字段现在分为名字和姓氏 并且我们有新的方案 M Ne
Java
ApacheKafka
Avro
当我使用“STORED AS AVRO”子句创建 Hive 表时,Avro 架构存储在哪里?
至少有两种不同的方法来创建由 Avro 数据支持的 Hive 表 基于 Avro 模式创建表 在本例中 存储在 hdfs 中 创建表 users from avro schema 行格式 SERDE org apache hadoop hi
hive
schema
Avro
MetaStore
如何使用spark-avro包从spark-shell读取avro文件?
我正在尝试使用spark avro包如所述Apache Avro 数据源指南 https spark apache org docs latest sql data sources avro html 当我提交以下命令时 val df sp
apachespark
apachesparksql
Avro
sparkavro
Spark - 写入Avro文件
在如下流程中使用 Spark 使用 Scala API 编写 Avro 文件的常见做法是什么 从 HDFS 解析一些日志文件 对于每个日志文件应用一些业务逻辑并生成 Avro 文件 或者可能合并多个文件 将 Avro 文件写入 HDFS 我
apachespark
Avro
无法使用 Maven 从 .avsc 编译和创建 .avro 文件
我是 Maven 新手 一直在查看教程和网络以获取有关如何从架构文件 avsc 构建 avro 的文档 基于 apache maven org 站点上的文档 我必须添加以下内容
Maven
Avro
卡夫卡连接|无法反序列化主题数据 |检索 id 的 Avro 键/值架构版本时出错 |未找到主题错误代码:40401
首先感谢 OneCricketeer 迄今为止的支持 到目前为止我已经尝试了很多配置 我不知道还能尝试什么 使用汇合connect standalone worker properties sink properties访问外部流 连接正在
ApacheKafka
Avro
apachekafkaconnect
confluentschemaregistry
在 Windows 中启动 Confluence Schema Registry
我有Windows环境和我自己的一套kafka和zookeeper正在运行 为了使用自定义对象 我开始使用 Avro 但我需要启动注册表 下载 Confluence 平台并运行 bin schema registry start etc s
1
2
3
4
»