程序员经验分享-hwhale

这个错误是什么意思（SimpleHttpConnectionManager 被错误使用）？

2024-06-26

我正在尝试从 ElasticSearch 中读取数据到 Spark ？

conf = {"es.resource":"sflow_*/sflow","es.nodes":"ES01","es.query":'some query'}

rdd = sc.newAPIHadoopRDD("org.elasticsearch.hadoop.mr.EsInputFormat",    "org.apache.hadoop.io.NullWritable", "org.elasticsearch.hadoop.mr.LinkedMapWritable", conf=conf)

rdd.take(2)

在 rdd.take(2) 之后，进程将卡住并发出如下警告日志

16/03/14 20:52:07 WARN httpclient.SimpleHttpConnectionManager: SimpleHttpConnectionManager being used
incorrectly.  Be sure that HttpMethod.releaseConnection() is always called and that only one thread and/or 
method is using this connection manager at a time.

但使用 rdd.first() 总是会成功返回结果。你知道为什么吗？


None

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

python

scala

elasticsearch

apachespark

这个错误是什么意思（SimpleHttpConnectionManager 被错误使用）？ 的相关文章

随机推荐

  • 为什么我的 Delphi FindDialog 中的光标没有变成沙漏形？

    我只是用以下命令打开 FindDialog FindDialog Execute 在我的 FindDialog OnFind 事件中 我想将光标更改为沙漏以搜索大文件 这可能需要几秒钟 所以在 OnFind 事件中我这样做 Screen C

  • C# 如何判断单元格中的公式是否有错误

    在 Excel 公式中 您可以使用 ISERR A1 or ISERROR A1 在 VBA 宏中 您可以使用IsError sheet Cells 1 1 但是使用 VSTO Excel Addin 项目我没有在 Microsoft Of

  • Delphi XE3，丑陋的 StringGrid 边框

    与 Delphi 7 相比 为什么 XE3 中的 String Grid 边框如此不清晰 如何解决这个问题 Delphi 2010 之后所有的网格都是主题化的 要在网格上禁用新主题 您必须设置属性 在对象检查器中将 DrawingStyle

  • Z3：消除不关心的变量

    我有一个 test smt2 文件 set logic QF IDL declare const a Int declare const b Int declare const c Int assert or lt a 2 lt b 2 c

  • 动态更新 spring bean。是否可以？

    如果 spring bean 配置发生变化 有没有办法动态更新 Spring bean 例如 假设我有一个具有布尔属性的 spring beanx春豆有其价值true当应用程序启动时 所以 spring 创建了具有该属性的 beanx设置为

  • scikit-learn 中跨多列的标签编码

    我正在尝试使用 scikit learnLabelEncoder对 pandas 进行编码DataFrame字符串标签 由于数据框有许多 50 列 我想避免创建LabelEncoder每列的对象 我宁愿只拥有一件大的LabelEncoder

  • 如何在 Ubuntu 16.04 上设置 Docker + PhpStorm + xdebug

    我的问题是当我开始监听端口时 xdebug 不起作用 我认为 PhpStorm 无法与 xdebug 链接 我刚刚得到调试器面板变量不可用 看来 xdebug 没有正确设置 使用的软件及版本 Ubuntu 16 04 LTS Docker

  • iOS 64 位 @try {... } @catch {...} 不起作用

    我有一个非常特殊的问题 最近 我向我的 iOS 项目 arm64 添加了 64 位支持 从那时起 我开始收到内部代码段未捕获的异常 try catch 我使用 Crashlytics 进行崩溃报告 我设法在应用程序中的任何位置使用以下代码行

  • Entity Framework Core - 在 Queryable 中使用扩展方法

    我有以下查询 db Users AsQueryable Where u gt u Id userResolver LoggedUserId u Packages Where p gt p StatusId int PackageStatus

  • C++ 从一组点进行平面插值

    我正在使用 PCL 点云 库用 C 进行编程 我的问题是 计算某些点的方差 但仅相对于平面的垂直轴 我会解释一下自己 所以我正在做的是将点云按表面平滑度划分为多个片段 区域生长分割 http pointclouds org document

  • 从另一个表复制权限

    是否可以将用户权限从 PostgreSQL 数据库中的一个表复制到另一个表 是不是只要更新一下就可以了pg class relacl将目标表的列值替换为源表的值 如下所示 UPDATE pg class SET relacl SELECT

  • 如何在Django中使cache_page失效？

    问题是 我有博客应用程序 并且我将帖子输出视图缓存了 5 分钟 cache page 60 5 def article request slug 但是 每当向帖子中添加新评论时 我想使缓存失效 我想知道如何最好地做到这一点 我见过this

  • JPA/Hibernate 删除实体不工作

    我使用 Hibernate 的 JPA 接口 并且编写了一些简单的代码来从数据库加载实体 然后删除 删除 它 我对插入和更新实体的所有合并调用都运行良好 但是当我尝试删除实体时 Hibernate 不会将其从数据库中删除 也不会引发异常 我

  • mBoundService.setAlarm(c)处显示java.lang.NullPointerException；

    我想在用户选择某个日期时提醒他 我找到了一个余数的例子here http blog blundell apps com notification for a user chosen time 但我有一个NullPointerExceptio

  • android.view.InflateException：二进制 XML 文件第 12 行：膨胀类 时出错

    我收到主题中显示的许多此类错误 这些错误似乎是偶然的 我无法重现它们 从堆栈中我可以了解到 我的不同布局资源可能会发生此类错误 XML 的行也各不相同 谁能解释为什么会出现这个错误 我能做些什么来解决这个问题 Stack com fsp a

  • 对于所有 mime 类型，仅respond_to format.js

    我有一个响应 format js 的控制器 但是 大多数请求假设旧的 format html 仍然存在并抛出 404 异常 如何捕获控制器上的所有 MIME 请求并将它们仅重定向到 format js 这是当前控制器的操作 def sear

  • 如何在 Python 中使用线程？

    我想要一个清晰的示例 显示任务被划分到多个线程中 自从 2010 年提出这个问题以来 如何使用 Python 进行简单的多线程处理已经有了真正的简化map https docs python org 2 library functions

  • JVM 安全管理器文件权限 - 自定义策略

    我使用 JVM 安全管理器自定义策略发现了某种意外的行为 repo https github com pedrorijo91 jvm sec manager https github com pedrorijo91 jvm sec mana

  • 无法将代码优先迁移应用到 mysql 数据库

    我正在使用 EF 代码优先模型开发 asp net mvc 我正在尝试首先使用 EF 代码将迁移应用到我的项目中 我正在使用 MySql 数据库 目前我使用的是 EF 4 3 1 版本和 6 6 4 0 版本的 mysql Connecto

  • 这个错误是什么意思（SimpleHttpConnectionManager 被错误使用）？

    我正在尝试从 ElasticSearch 中读取数据到 Spark conf es resource sflow sflow es nodes ES01 es query some query rdd sc newAPIHadoopRDD

热门标签