程序员经验分享-hwhale

翻译：Apache Linkis Graduated to Apache Top-Level Project（Apache Linkis 升级为顶级项目）

2023-11-10

Apache Linkis是一个计算中间件，作为上层应用和底层引擎之间的一层，如Apache Spark、Apache Hive和Apache Flink。它在2021年作为一个Apache孵化器项目开始，并在2023年1月升级为顶级项目。

Linkis通过提供REST/WS/JDBC等标准接口，促进Tableau或Jupyter等功能应用程序访问计算和存储引擎。它还通过REST标准接口提供数据源和元数据管理服务。
在这里插入图片描述
Linkis的主要优势之一是其灵活性。它促进了上层应用程序和各种引擎之间的连接，减少了对下层变化的影响。它还有一个分布式的微服务架构，这使得它容易扩展和增加新的功能。

Linkis还提供强大的任务/请求治理能力。它提供了一个基本的协调框架，以实现不同的策略来管理计算任务，并通过减少连接性和可扩展性所需的工作量来实现功能应用的轻松开发。它能够提供细粒度的路由、负载平衡、多租户、流量控制、资源控制和协调策略，如双活、主动-待机等。它还提供了一种管理和控制对底层引擎访问的方法，包括身份验证、风险防范和记录保存。

每个任务都分为四个阶段：提交阶段，任务被提交给入口服务；准备阶段，任务被安排；执行阶段，任务被提交给底层引擎执行，结果返回阶段，它向调用者返回结果。

目前，Linkis支持各种计算和存储引擎，如Spark、Hive、Flink、Python、Presto、ElasticSearch、JDBC等，未来将支持更多的引擎，如Trino和SeaTunnel。Linkis还支持各种脚本语言，如SparkSQL、HiveQL、Python、Pyspark、Scala和JDBC。

此外，Linkis具有强大的资源管理能力。它的ResourceManager可以为Yarn和Linkis EngineManager管理资源，并提供基于标签的多级资源分配和回收。这样就可以在多个Yarn集群和多种计算资源类型之间实现强大的资源管理能力。

总之，Apache Linkis是一个强大的计算中间件，在上层应用和底层引擎之间提供了一个抽象层。它促进了对不同引擎和资源管理的轻松连接和访问。Linkis被用于不同的行业，从金融、银行、电信和互联网公司。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apache

翻译：Apache Linkis Graduated to Apache Top-Level Project（Apache Linkis 升级为顶级项目） 的相关文章

  • 从子目录文件夹中删除尾部斜杠 Apache 1.3.42 DirectorySlash Off .htaccess

    我正在尝试从 Apache 1 3 42 中的子目录文件夹中删除尾部斜杠 但是命令DirectorySlash Off当我尝试将规则添加到我的 Apache 版本时 不支持 htaccess file 目前我的链接行为如下 www exam

  • 带有 LDAP 身份验证的 SVN 不起作用

    我首先从我的设置开始 为此我们有 2 台服务器 Server1 将用于所有源代码 文件等 在 Server2 上 我们拥有所有用户信息和登录信息 两台服务器都运行在 Centos 6 4 上 现在我们要在 server1 上设置一个 SVN

  • 通过 AJP 将 REMOTE_USER 转发到 tomcat（例如用于 shibboleth）

    今天我刚刚遇到了以下问题 1 我将apache配置为基本身份验证 需要有效用户 这有效 2 我进一步配置 apache 将某些路径 在我的例子中为 idp 的请求转发到 tomcat servlet shibboleth IDP 结果是 s

  • 如何在apache 2.4.6上安装apxs模块

    我刚刚用过apt get update我的 apache 已更新为2 4 6 我想安装 apxs 来编译模块 但收到此错误 The following packages have unmet dependencies apache2 pre

  • Google reCAPTCHA 响应中没有 Access-Control-Allow-Origin 的 405 错误

    我正在尝试通过 google 实现 reCaptcha 但是当我调用下面提到的 api 时验证失败 在 reCaptcha admin 中我提到过本地主机在域列表中 google com recaptcha api siteverify 以

  • mod_rewrite, .htaccess 连接mysql数据库

    我希望 htaccess 文件中的 mod rewrite 链接到 mysql 数据库以向我提供映射信息 具体来说 我使用单个代码库来托管多个站点 因此 如果用户请求图像 例如 http www example com images car

  • CodeIgniter 项目给出 303/压缩错误

    尝试设置一个基于 CodeIgniter 的项目进行本地开发 LAMP 堆栈 并且一旦更新了所有配置文件 这意味着我成功地为 CodeIgniter 生成了有意义的引导错误 我在浏览器中收到此错误 Chrome Error 330 net

  • php隐藏所有错误[重复]

    这个问题在这里已经有答案了 隐藏的最佳做法是什么allPHP 错误 因为我不想向用户显示错误 我尝试过使用 htacess通过输入代码php flag display errors off在那里 但它返回给我一个500 error 还有其他

  • Apache 子进程已退出，状态为 255

    经过大量的搜索 尝试 修复 等待和哭泣 在我放弃之前 我想为这个错误抓住最后的机会 我们正在奔跑Microsoft Windows Server 2012 Apache 2 4 6 Win64 OpenSSL 1 0 1e PHP 5 5

  • 在 Django admin 中保存包含非 ASCII 字符的 ImageField 时出现 UnicodeEncodeError

    我试图在 django admin inlines 中上传图像文件 并在尝试上传文件名包含非 ascii 字符的文件时收到 UnicodeEncodeError File usr local lib python2 6 site packa

  • 连接到 mysql 服务器（localhost）非常慢

    实际上有点复杂 摘要 与数据库的连接非常慢 页面渲染大约需要 10 秒 但页面上的最后一条语句是一个回显 当页面在 Firefox 中加载时我可以看到它的输出 IE 是相同的 在谷歌浏览器中 只有在加载完成后输出才可见 不同浏览器的加载时间

  • .htaccess 在本地主机上给出 500 错误

    我是 MVC 框架的初学者 我正在尝试根据教程创建一个自己的 他们提供的 htaccess 文件包含 RewriteEngine On RewriteCond REQUEST FILENAME d RewriteCond REQUEST F

  • 强制 mod_rewrite 的 RewriteRule 替换的 URL 路径

    使用 mod rewrite 执行重写时RewriteRule 根据替换的根目录是否存在于文件系统上 评估替换并猜测它是 URL 还是文件系统路径 这是相关部分文档 https httpd apache org docs 2 4 mod m

  • 为什么这个 FilesMatch 匹配不正确？

    我们一直在尝试将服务器配置为不缓存 htm 文件 因为它会导致我们的分析包出现一些问题 并且如果访问者点击浏览器中的后退按钮 则无法正确显示页面 我们尝试通过添加以下内容来解决这个问题

  • 如何禁用在 Apache 中向目录名添加尾部斜杠的 301 重定向

    Apache 2 2 20 自动将所有指向目录且没有尾部斜杠的请求重定向到带有尾部斜杠的相同 URL 如下所示 GET some path to dir HTTP 1 1 Host www some org 301 Moved perman

  • htaccess 将所有子域重定向到同一目录

    我希望能够将所有子域重定向到一个文件夹 RewriteCond HTTP HOST example com RewriteRule http example com subdomains 1 L P 例如 如果某些访问sub1 exampl

  • 使用 htaccess 阻止特定文件扩展名？

    我使用此代码将所有请求发送到单个 php 文件 RewriteEngine On RewriteCond REQUEST FILENAME f RewriteCond REQUEST FILENAME d RewriteRule myfil

  • 致命错误 - 未找到“Mongo”类

    我正在尝试执行此操作 但我收到以下错误 致命错误 在 C wamp www 中找不到类 Mongo Info PHP 5 38 MongoDB mongodb win32 i386 2 0 2 MongoDB PHP 驱动程序 mongo

  • 如何在 Spring Mvc 项目中设置上下文根

    我在 Tomcat 服务器中使用 Spring MVC 项目 每次运行应用程序时 服务器上下文根都会更改 如何设置固定上下文根 我的项目名称是 DemoApplication 首先部署此上下文根 路径是 http localhost 808

  • 无法在 Netbeans 9 中设置 apache tomcat

    我正在尝试在 Netbeans IDE 9 中设置 apache tomcat 我已尝试以下步骤 但无法设置 在 工具 gt 服务器 中 我单击 添加服务器 按钮 显示以下消息 因此 我尝试从 工具 gt 插件 安装插件 会显示一个对话框

随机推荐

  • Facebook全球6小时宕机原因已查明：一条指令所致，内部工程师所为

    博雯 发自 凹非寺量子位 报道 公众号 QbitAI Facebook全球宕机6小时的原因 是公司内部工程师的一条错误指令 最近 Facebook官方针对这次大规模宕机的原因做了回应 这一新闻已经出现在了微博热榜 而在回复中 官方也 针对各

  • httprunner使用总结

    背景 在准备做接口自动化的过程中 了解到httprunner是一种简洁 不会代码的人也可以快速上手的框架 维护人员只需要编写并维护json或yaml文件 即可实现自动化测试 在结合httprunnerV2 X中文使用文档 应用于自己的项目中

  • WSDL实例解析

    WSDL的主要文档元素 WSDL文档可以分为两部分 顶部分由抽象定义组成 而底部分则由具体描述组成 抽象部分以独立于平台和语言的方式定义SOAP消息 它们并不包含任何随 机器或语言而变的元素 这就定义了一系列服务 截然不同的应用都可以实现

  • 类的默认成员函数2 --- 析构函数

    析构函数 1 概念 前面通过构造函数的学习 我们知道一个对象时怎么来的 那一个对象又是怎么没呢的 析构函数 与构造函数功能相反 析构函数不是完成对象的销毁 局部对象销毁工作是由编译器完成的 而对象在销毁时会自动调用析构函数 完成类的一些资源

  • RK3368 RK3128编译问题总结

    1 build build machine rk3288 kernel make rk3288 tb 8846 img scripts kconfig conf silentoldconfig Kconfig C build build m

  • 【1】python二级——操作题

    目录 基本操作题 题目一 题目二 题目三 简单应用 题目四 题目五 综合应用 题目六 问题1 问题2 总结 基本操作题 题目一 考生文件夹下存在一个文件PY102 py请写代码替换横线 实现以下功能 使用calendar模块 从键盘输入年份

  • 微信报错：“code“:“40001“

    微信通知报错 code 40001 code 40001 message invalid credential access token is invalid or not latest rid 6285b05b 6dc11ee1 4a77

  • 解决：class invalid for deserialization序列化的问题（真实有效）

    数据库连接失败 在数据库连接失败 经常会有蛮多一系列的问题导致的原因 这个时候一定要多去尝试一下各种方法 并且做好自己的梳理 一 例如我在SpringBoot项目中使用了阿里的数据库连接池Driud 有次在启动的时候 会报这样的错 Caus

  • Spring AOP面向切面编程:理解篇（一看就明白）

    一直想着怎么去通俗的讲解AOP 看了一篇文章受到了启发 https blog csdn net qukaiwei article details 50367761 下面我加入自己的理解 咱们来说说AOP 一 到底什么是AOP 面向切面编程

  • conda install R语言报错问题血泪解决

    今天在安装conda之后 想安装r语言环境 却遇到如下报错 真的超级郁闷 conda install r Collecting package metadata current repodata json failed CondaHTTPE

  • LeetCode 2488. 统计中位数为K的子数组

    题目描述 给你一个长度为 n 的数组 nums 该数组由从 1 到 n 的 不同 整数组成 另给你一个正整数 k 统计并返回 nums 中的 中位数 等于 k 的非空子数组的数目 注意 数组的中位数是按 递增 顺序排列后位于 中间 的那个元

  • sqli - labs -Less - 7 ~ 8

    输入id 1显示正常 输入id 1 报错 这里我们无法从错误信息中找到我们需要的东西 就要用到盲注了 lt 这里的盲注指的是布尔盲注 gt 所谓盲注就是我们去猜测数据库的长度等等 再结合语句去验证从而得到我们想要的信息 我们依然是用burp

  • 在HTML5中有什么可以替代iFrame

    最佳解决方法 通常有4种方法可以将HTML嵌入到网页中 iframe的内容完全位于当前页面不同的上下文中 虽然这是一个很棒的功能 而且是不同浏览器版本之间兼容最好的 但是它也带来了额外的问题 将frame大小跟网页内容设置一致比较麻烦 AJ

  • C语言代码覆盖率测试工具-OpenCppCoverage介绍

    代码覆盖率测试工具名称 OpenCppCoverage 简介 OpenCppCoverage是2014年推出的Windows平台下开源的C 代码覆盖率工具 类似于Linux下gcc内嵌的gcov工具 它不需要在编译时插桩 只需要有编译生成的

  • 17.进程同步与死锁——信号量临界区保护

    1 温故知新 通过对信号量的访问和修改 让进程有序推进 问题 empty值必须是正确的 如果empty错了 就不能有序推进了 2 共同修改信号量引出的问题 生产者 Producer item P empty 生产者先判断 缓存区个数 emp

  • 富文本图片怎么上传_django上传图片到七牛云-富文本编辑器上传图片到七牛云...

    django创建项目 默认是保存资源到本地的 但是由于会占用太多的存储空间 对日后管理和升级不太友善 所以一般会把静态资源保存在第三方存储库里 这里 我们就是用到了七牛云 云存储 安装七牛云所需要的包 pip install django

  • 教你在M1芯片的imac一体机上安装PS2021 附教程和方法适用于所有Mac

    提示 文章转载自互联网 文章目录 前言 一 正确安装流程 二 注意事项 总结 前言 苹果在21年4月发布了搭载M1芯片的一体机产品 imac 2021 惊艳的机生设计和超薄的厚度实在是太香了 关键是性价比还算不错 详细大部分购买Imac的用

  • 4. 定时器（TIM）（定时器计数）

    1 TIM简介 TIM Timer 定时器 定时器可以对输入的时钟进行计数 并在计数值达到设定值时触发中断 16位计数器 预分频器 自动重装寄存器的时基单元 在72MHz计数时钟下可以实现最大59 65s 1 72 2 16 2 16 2

  • 多服务器分布式系统架构,集中式架构与分布式架构，你了解多少？

    原标题 集中式架构与分布式架构 你了解多少 什么是集中式 集中式架构就是将项目集中存储在中央服务器中 在工作的时候 大家只要自己电脑上操作 从同一个地方下载最新版本 然后开始工作 做完的工作再提交给中央服务器保存 这种方式需要联网 典型的例

  • 翻译：Apache Linkis Graduated to Apache Top-Level Project（Apache Linkis 升级为顶级项目）

    Apache Linkis是一个计算中间件 作为上层应用和底层引擎之间的一层 如Apache Spark Apache Hive和Apache Flink 它在2021年作为一个Apache孵化器项目开始 并在2023年1月升级为顶级项目

热门标签