Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Spark 流自定义指标
我正在开发一个 Spark Streaming 程序 它检索 Kafka 流 对流进行非常基本的转换 然后将数据插入到数据库 如果相关 则为 voltdb 我正在尝试测量向数据库插入行的速率 我认为metrics http metrics
Java
apachespark
jmx
SparkStreaming
codahalemetrics
如何一起使用SparkSession和StreamingContext?
我正在尝试从本地计算机 OSX 上的文件夹流式传输 CSV 文件 我将 SparkSession 和 StreamingContext 一起使用 如下所示 val sc SparkContext createSparkContext spa
scala
apachespark
apachesparksql
SparkStreaming
将 ROW_NUMBER 列添加到流数据帧
我对 Spark 和 SQL 还很陌生 我正在尝试向我的 df 添加一列 然后将其保存到 Delta 表 该列为每个记录 行提供唯一的 id 并在每次更新特定记录时递增它 我试图执行以下操作 SELECT etc CONCAT somero
sql
apachesparksql
sqlorderby
SparkStreaming
rownumber
从 kafka-Spark-Streaming 读取数据时获取空集
大家好 我是 Spark Streaming 的新手 我正在尝试读取 xml 文件并将其发送到 kafka 主题 这是我的 Kafka 代码 它将数据发送到 Kafka console consumer Code package org a
apachespark
ApacheKafka
SparkStreaming
apachesparksql
如何在 Yarn 上配置应用程序驱动程序自动重启
来自 Spark 编程指南 要自动从驱动程序故障中恢复 用于运行流应用程序的部署基础架构必须监视驱动程序进程 并在驱动程序失败时重新启动驱动程序 不同的集群管理器有不同的工具来实现这一点 火花独立 火花独立 Spark应用程序驱动程序可以提
apachespark
hadoopyarn
SparkStreaming
如何优化 Apache Spark 应用程序中的 shuffle 溢出
我正在运行一个有 2 个工作人员的 Spark 流应用程序 应用程序具有连接和并集操作 所有批次均已成功完成 但注意到 shuffle 溢出指标与输入数据大小或输出数据大小不一致 溢出内存超过 20 倍 Please find the sp
apachespark
SparkStreaming
apachespark14
Spark 跨接收器的结构化流一致性
我想在以下情况下更好地理解 Spark 2 2 结构化流的一致性模型 一个来源 Kinesis 从此源向 2 个不同接收器进行 2 次查询 一个用于存档目的的文件接收器 S3 另一个用于处理数据的接收器 数据库或文件 尚未决定 我想了解跨接
apachespark
SparkStreaming
使用 textFileStream 的 Python Spark Streaming 示例不起作用。为什么?
我使用spark 1 3 1和Python 2 7 这是我第一次体验 Spark Streaming 我尝试使用 Spark Streaming 从文件中读取数据的代码示例 这是示例的链接 https github com apache s
python
apachespark
SparkStreaming
PySpark
Spark 序列化错误:当我将 Spark Stream 数据插入 HBase 时
我对 Spark 如何在数据格式方面与 HBase 交互感到困惑 例如 当我在下面的代码片段中省略 ERROR 行时 它运行良好 但是添加该行后 我发现了与序列化问题相关的 任务不可序列化 的错误 如何更改代码 发生错误的原因是什么 我的代
Java
apachespark
Hbase
SparkStreaming
使用 jmxagent 将 Spark Worker/Executor 指标导出到 Prometheus
我已按照说明进行操作here https argus sec com monitoring spark prometheus 启用指标导出到 Prometheus for Spark 为了不仅可以从作业中导出指标 还可以从主控器和工作器中导
apachespark
SparkStreaming
jmx
Metrics
Prometheus
Spark 文件流获取文件名
我需要知道从输入目录流式传输的输入文件的文件名 下面是scala编程中的spark FileStreaming代码 object FileStreamExample def main args Array String Unit val s
scala
apachespark
SparkStreaming
filestream
wordCounts.dstream().saveAsTextFiles("本地文件系统路径", "txt");不写入文件
我正在尝试将 JavaPairRDD 写入本地系统中的文件中 代码如下 JavaPairDStream
apachespark
Streaming
PySpark
SparkStreaming
hadoopstreaming
Spark Streaming kafka 偏移量管理
我一直在做 Spark Streaming 工作 通过 kafka 消费和生成数据 我使用的是directDstream 所以我必须自己管理偏移量 我们采用redis来写入和读取偏移量 现在有一个问题 当我启动我的客户端时 我的客户端需要从
apachespark
ApacheKafka
SparkStreaming
offset
sparkstreamingkafka
为什么我只能看到一个 Spark Streaming kafkaReceiver
我很困惑为什么我只能在 Spark Web UI 页面 8080 中看到一个 KafkaReceiver 但我在Kafka中有10个分区 并且在spark集群中使用了10个核心 我的Python代码如下 kvs KafkaUtils cre
apachespark
ApacheKafka
SparkStreaming
即使在应用程序中设置核心,Spark UI 也显示 0 核心
我在运行 Spark Master url 之外的应用程序时遇到了一个奇怪的问题 其中 UI 无限期地报告 等待 的 状态 因为无论我将核心计数配置为什么 正在运行的应用程序 表下都会显示 0 个核心是 我已经使用以下设置配置了我的应用程序
apachespark
PySpark
SparkStreaming
apachesparksql
Spark Streaming:读取Kafka Stream并将其作为RDD提供以供进一步处理
我目前有以下设置 应用程序将数据写入 Kafka gt SparkStreaming 读取存储的数据 始终从最早的条目读取 并转换为流 gt 应用程序需要此结果的 RDD 来训练 mllib 模型 我想基本上实现类似的目标https git
scala
apachespark
ApacheKafka
SparkStreaming
如何使用 Spark 在 ElasticSearch 中更新插入或部分更新脚本文档?
我有一个 python 伪代码 它从 Kafka 流读取数据并在 Elasticsearch 中更新插入文档 增加一个计数器view如果该文档已经存在 for message in consumer msg json loads messa
python
scala
elasticsearch
SparkStreaming
SparkStructuredStreaming
Spark Streaming 无法从单个文件读取流数据
我正在尝试从使用 Spark 流 API textFileStream 连续附加的文本文件中读取流数据 但无法使用 Spark Streaming 读取连续数据 Spark中如何实现呢 这是预期的行为 为了基于文件的源 https spar
apachespark
SparkStreaming
Spark Scala 流式 CSV
我是 Spark Scala 的新手 我知道如何加载 CSV 文件 sqlContext read format csv 以及如何读取文本流和文件流 scc textFileStream file c path filename scc f
scala
csv
apachespark
SparkStreaming
Spark Streaming 应用程序失败并出现 KafkaException:字符串超出最大大小或出现 IllegalArgumentException
TL DR 我非常简单的 Spark Streaming 应用程序在驱动程序中失败 并显示 KafkaException 字符串超出最大大小 我在执行程序中看到了相同的异常 但我还在执行程序日志的某处发现了 IllegalArgumentE
ApacheKafka
SparkStreaming
hadoopyarn
clouderacdh
apachespark16
«
1
2
3
4
5
6
...9
»