使用 Python3 与 HDFS 交互的最佳模块是什么? [关闭]

2024-05-05

我看到有 hdfs3、snakebite 和其他一些。哪一个支持最好且最全面?


据我所知,可能性并不像人们想象的那么多。但我建议使用官方的Python包hdfs 2.0.12可以下载website https://pypi.python.org/pypi/hdfs/或者从终端运行:

pip install hdfs

一些特点:

  • WebHDFS(和 HttpFS)API 的 Python(2 和 3)绑定, 支持安全和不安全的集群。
  • 命令行界面 使用别名传输文件并启动交互式客户端 shell 为了方便的 namenode URL 缓存。
  • 附加功能通过 可选扩展:avro,直接读取和写入 Avro 文件 HDFS。 dataframe,加载和保存 Pandas 数据帧。克伯罗斯,到 支持 Kerberos 身份验证的集群。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 Python3 与 HDFS 交互的最佳模块是什么? [关闭] 的相关文章

随机推荐

  • iPhone - UITextView 应该看起来像 UITextField

    我需要一个文本字段 以便用户可以编写多行 不幸的是 UITextField 不提供多行 所以我想我必须使用 UITextView 但两者的设计并不相同 是否可以像 UITextfield 标准一样设计具有白色背景和圆角的 UITextVie
  • ADO.NET 实体框架的实际好处是什么?

    我正在读这篇关于ADO NET 实体框架 http msdn microsoft com en us library bb399572 aspx并发现它非常有趣 尽管在第一个镜头中我无法破译很多东西 我再次阅读这篇文章 以了解其背后的真正逻
  • 为什么 __instancecheck__ 并不总是根据参数调用?

    有这样的代码 class Meta type def instancecheck self instance print instancecheck return True class A metaclass Meta pass a A i
  • Python串口通信

    我正在开发一个 Arduino 项目 由于内存限制 我将其与 Python 脚本连接起来 在Python方面 我有一个二维矩阵 其中包含各自的x y坐标值 并且在此列表中有26000个坐标对 因此 为了向大家澄清数据结构 pathlist
  • 空指针异常 - findViewById()

    谁能帮我找出这个程序可能存在的问题 在里面onCreate 方法findViewById 为所有 id 返回 null 这会导致稍后出现空指针异常 我不明白为什么findViewById 找不到视图 有什么建议么 这是主要代码 public
  • 反向 P/Invoke 教程? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我有一个旧的 C C 类 我想使用 PInvoke 重构并从 net 访问它 所有 P Invoke
  • 如何生成带logo的二维码?

    我正在为 Android 设备开发应用程序 我想生成带有徽标的二维码 With ZXing I know how to generate simple QR codes like this one But I want to generat
  • Facebook URL 调试:抱歉,出了点问题。我们正在尽快努力修复这个

    https developers facebook com tools debug https developers facebook com tools debug 有谁知道为什么 某些 URL 会出现此错误 而其他 URL 则不会 错误
  • 使用 python (openpyxl) 从 Excel 中删除网格线

    我正在尝试从使用 openpyxl 创建的 Excel 工作表中删除网格线 但它不起作用 我正在这样做 wb Workbook ws wb get active sheet ws show gridlines False print ws
  • setState 没有在 Dart / Flutter 中重新加载状态?

    我遵循了 Google CodeLabs 的 Flutter 教程 Part 1 https codelabs developers google com codelabs first flutter app pt1 Part 2 http
  • 当`enableProdMode()`时到底发生了什么[重复]

    这个问题在这里已经有答案了 我正在与Angular2 quick start演示使用TypeScript 一切正常 但在演示完成后 我在浏览器控制台中看到一条消息 Angular 2 正在开发模式下运行 调用enableProdMode 启
  • 模板类中的模板函数 is_same

    为什么这段代码会产生错误的输出 this type cpp include
  • 收据褪色部分可以恢复吗?

    我有一些包含一些扫描收据的文件 我需要使用 OCR 从中提取文本 由于收据上打印的文字在一段时间后会褪色 导致收据上的某些文字不清晰 影响OCR结果 褪色单词的一些示例 有什么方法可以恢复褪色的部分 以便提高 OCR 结果吗 我在OpenC
  • SQL 与 LINQ 性能 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • MATLAB 中的抗锯齿线和标记

    您好 我在 MATLAB 中有一张图像 我希望这条线是平滑的 看看从 0 4 到 0 8 的线 这太可怕了 当在图中使用 LineSmoothing on 运算符时 我得到了这个 我在线条上做得很好 但它也使标记变得平滑 而且它们太可怕了
  • 调用“DisplayManagerGlobal.getDisplayInfo()”会导致应用程序中的应用程序无响应 (ANR)

    显然 应用程序中的某些内容从不同线程 主线程和绑定器线程 调用该方法 这会导致内部 ANR 它经常发生 我不知道它发生在哪里 因为我无法在模拟器或我拥有的测试设备上重现它 该应用程序的作用 它是一个应用程序储物柜应用程序 它在应用程序覆盖层
  • Jenkins 安排代理节点可用性

    我们有许多机器希望用作 Jenkins 的代理节点 但仅限于特定的时间间隔 即不在工作时间 是否可以配置一个代理节点作为特定时间范围内构建的代理 例如 周一至周五晚上 10 点至凌晨 5 点 周六和周日全天 In the 从机配置面板 选择
  • const 或 ref 或 const ref 或 value 作为 setter 函数的参数

    恒定性 class MyClass private std string m parameter 按值传递 void MyClass SetParameter std string parameter m parameter paramet
  • 在 Windows 中使用 OpenAI API 密钥时出现问题

    我必须在自定义数据集上微调 OpenAI 模型 我已经创建了 jsonl 格式的数据集 我在 Windows 命令行上使用以下命令 set OPENAI API KEY
  • 使用 Python3 与 HDFS 交互的最佳模块是什么? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我看到有 hdfs3 snakebite 和其他一些 哪一个支持最好且最全面 据我所知 可能性并不像人们想象的那么多 但我建议使用官方的Pyth