程序员经验分享-hwhale

Google Dataproc 上的 Spark UI 位于何​​处？

2024-04-12

我应该使用什么端口来访问 Google Dataproc 上的 Spark UI？

我尝试了端口 4040 和 7077 以及我发现使用的许多其他端口netstat -pln

防火墙配置正确。


Dataproc 在 YARN 之上运行 Spark，因此您不会找到典型的“Spark 独立”端口；相反，当运行 Spark 作业时，您可以访问端口8088这将显示 YARN ResourceManager 主页。任何正在运行的 Spark 作业都可以通过Application Master该页面上的链接。 Spark 应用程序主页面看起来与您通常在默认 Spark 设置的端口 8080 上找到的熟悉的 Spark 独立登录页面相同。

由于工作人员通过内部网络签入，YARN 的链接将使用集群内部主机名（主机名应包含您的 Dataproc 集群名称作为前缀），但这意味着如果您从外部网络访问，链接可能无法工作首先;如果您使用基于防火墙的方法，则必须将主机名替换为外部 IP 地址。

更简单的体验是使用 SOCKS 代理方法，如下所述：https://cloud.google.com/dataproc/cluster-web-interfaces https://cloud.google.com/dataproc/cluster-web-interfaces

在这种情况下，只需使用gcloud compute ssh运行一个轻量级本地袜子代理，然后打开一个指向该代理的浏览器，您可以像平常一样单击所有 YARN 链接。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

googleclouddataproc

Google Dataproc 上的 Spark UI 位于何​​处？ 的相关文章

随机推荐

  • 从异步函数返回查询对象时，如何防止 Knex.js 运行查询对象？

    我有一个 node js 后端 它使用 Knex js 根据各种输入动态构建数据库查询 一些输入需要异步处理 我的问题是 我无法从异步函数 或者当然是 Promise 解析函数 返回 knex 查询对象 因为这会触发查询的执行 目前 我需要

  • 将图像包装在 Bootstrap 行的链接中

    我花了比我愿意承认的更多的时间来尝试让一行图像成为可点击的链接row使图像在中间对齐row that 不会破坏 Bootstrap 响应能力 链接工作正常 但由于图像尺寸的变化 尽管它们都是紧凑高度的景观 对齐方式被关闭 我可以让图像在内部

  • Pygame 蛇吃自己

    我最近开始使用 pygame 并且正在关注 TheNewBostons 的 YouTube 教程 这是我的主要游戏循环 def game loop global direction global tdirection lead x disp

  • “UTF-16”和“std::wstring”有什么区别？

    这两种字符串存储格式有什么区别吗 std wstring是一个容器wchar t 的大小wchar t未指定 Windows 编译器倾向于使用 16 位类型 Unix 编译器倾向于使用 32 位类型 UTF 16 https en wiki

  • 为什么应用于实例的 Python 帮助函数在某些情况下返回有关父类的页面，而在其他情况下则不返回？

    我试图了解当使用帮助函数来询问在我的代码中创建的对象时如何获得有用的结果 我对不同班级的不同行为感到困惑 Cls1 type FirstClass str doc My new class inst1 Cls1 Hello World Cl

  • 强制 target_link_libraries 使用 C++ 链接器

    TL DR 将静态 c 库链接到 c 可执行文件时 有没有办法强制 cmake 使用 c 链接器 我有一个静态库 由 2 个对象组成 一个 C 文件和一个该文件中函数的 C 包装器 构造函数 析构函数和打印函数 类似于this https

  • 最高连续出现次数的总和

    我有一个包含三列的表 lending id int installment n serial int status text 我想知道如何检索最大的差距WAITING PAYMENT status 对于每个贷款 id 对于以下示例 lend

  • Django - 切换模板渲染的语言设置[重复]

    这个问题在这里已经有答案了 可能的重复 Django 切换 对于一段代码 切换语言 以便以一种语言完成翻译 https stackoverflow com questions 5258715 django switching for a b

  • 评估项目“:app”时出现问题。 > 无法对 null 对象调用 getAbsolutePath() 方法

    我面临着 React Native 构建的问题 无法进一步进行 并且在任何地方都找不到解决方案 这是我的 build gradle 文件 import org apache tools ant taskdefs condition Os b

  • 如何在cmd中显示阿拉伯字母

    任何人都可以提供我的解决方案以在cmd中显示阿拉伯字母 我尝试在 cmd 中使用 chcp 1256 和 chcp 62001 但它没有正确显示阿拉伯字母 但是当我在互联网上搜索时 我发现有人说有解决方案 但它需要 Windows 95 或

  • 如何使用 Polars 按值列表过滤 df？

    我有来自 csv 的 Polars df 我尝试按值列表过滤它 list 1 2 4 6 48 df pl read csv bm dat sep new columns cid1 cid2 cid3 lazy filter pl col

  • 有没有办法在 tomcat6 中强制执行部署顺序？

    我的 webapp 文件夹中有 3 场战争 其中两个是建立在第三个的服务之上的 我处于测试环境中 即我无法控制他们的架构 所以我无法改变任何事情 所以 Question 有没有办法在 tomcat 中强制执行部署顺序 我遇到了一个问题her

  • Android：使用 Google API 进行实时导航，还是与 Google 地图通信？

    我知道以前有人问过这个问题 但我找不到满意的答案 是否可以从 Android 可用的 Google API 获取实时方向更新 Google Maps API 仅提供视觉功能 但不提供任何方向功能 Google Directions API

  • 如何将 javax.xml.transform.Source 转换为 InputStream？

    我怎样才能转换javax xml transform Source进入输入流 实施Source is javax xml transform dom DOMSource Source inputSource messageContext g

  • MSVC constexpr 函数“xyz”无法生成常量表达式

    我创建了一个函数 它将多个较小的值连接成一个较大的值 同时保留值的二进制表示 例如构建一个int argb来自多个unsigned char r g b a 我知道我也可以通过改变值来实现这一点 但这不是这个问题的问题 但是 如果我使用该函

  • Rails：用空对象模式替换 try

    在我的大多数应用程序中 我都有一个current user方法 为了避免在类似情况下出现异常current user name where current user is nil rails 提供了try方法 问题是我需要记住使用try无论

  • 声明普通类和类模板的静态数据成员

    我读到在源文件中定义静态数据成员的原因是因为如果它们位于头文件中并且多个源文件包含头文件 定义将多次输出 我可以理解为什么这对于静态常量数据成员来说是一个问题 但是为什么这对于静态数据成员来说是一个问题呢 我不太确定我完全理解如果定义写在头

  • 如何在django过滤器中做小于或等于和大于等于？

    如何在django过滤器中做小于或等于和大于等于 就像 我想获得周围的价值 10 lt val lt 50在 Django 视图中 为此 我在 sql 中使用了一些查询 如下所示 select count from table name w

  • Linux 中的直接内存访问

    我正在尝试直接访问嵌入式 Linux 项目的物理内存 但我不确定如何最好地指定内存供我使用 如果我定期启动设备并访问 dev mem 我就可以轻松地读写任何我想要的位置 然而 在这里 我访问的是可以轻松分配给任何进程的内存 我不想做 我的

  • Google Dataproc 上的 Spark UI 位于何​​处？

    我应该使用什么端口来访问 Google Dataproc 上的 Spark UI 我尝试了端口 4040 和 7077 以及我发现使用的许多其他端口netstat pln 防火墙配置正确 Dataproc 在 YARN 之上运行 Spark

热门标签