Apache InLong百万亿级数据流处理

2023-11-14

全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong成功从Apache孵化器毕业成为社区顶级项目,这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。

科普一下,Apache软件基金会对所有的 Apache 项目都要严格筛选并经过孵化器孵化,满足一系列质量要求之后才可毕业。从孵化器里毕业的顶级项目,表明该项目的社区和产品已根据ASF的精英流程和原则得到良好管理。

InLong中文名“应龙”是中国神话中引流入海的神兽,意寓InLong在大数据社区生态中的价值:大数据接入集成。

InLong以腾讯内部使用的TDBank为基础,依托万亿级的数据摄取和处理能力,将数据采集、聚合、存储、排序数据处理的全流程整合在一起。不仅提供自动、安全、可靠和高性能的数据传输能力,还支持基于流式的数据分析、建模和应用,帮助企业简化数据处理的过程。

比如,InLong 作为一个基于SaaS的服务平台,用户可以选择主题的数据发布和订阅,来轻松快速地报告、传输和分发数据,大幅降低了使用门槛。同时InLong可以为100万亿级数据流提供高性能处理能力,为1000亿级数据流提供高可靠服务,保障用户享受到稳定可靠的在线服务。

InLong支持多种数据访问方式,包括不同类型的消息队列服务集成和实时数据提取、转换、加载以及基于规则的排序功能;在服务方面,InLong为用户提供统一的系统监控和告警服务。通过细粒度的指标来促进数据可视化,用户可以在统一的数据度量平台中直接查看队列的运行状态,大大提高了业务的主动性。

实际上,在腾讯内部InLong项目原名TubeMQ,主要专注于高性能、低成本的消息队列服务,并长期服务微信支付、腾讯视频、广点通等产品。为了进一步释放TubeMQ周边的生态能力,腾讯将项目升级为InLong,专注打造一站式海量数据集成框架。该项目于2019年11月进入 Apache 孵化器,2022 年6月毕业成为顶级项目。

目前, Apache InLong已经发布第12个版本,腾讯大数据 InLong 团队和社区开发者一起,在孵化期间不断更新和完善其功能,比如Manager 元数据管理重构、基于 Flink SQL 的 Sort ETL 方案、基于标签的跨地域多集群等特性等,为社区和企业提供更多元化的开放解决方案。与此同时,InLong正在广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域,为多领域客户提供高效化便捷化服务。

值得一提的是,在此之前,腾讯另外的一个开源项目 Angel 也从 LF AI 基金会毕业,成为世界顶级的 AI 开源项目。作为国内国内大数据领域开源最全面的公司,Apache InLong毕业成为Apache顶级项目,不仅创造了腾讯大数据团队在开源领域创造的又一里程碑,也将进一步巩固腾讯在大数据领域的领先地位。

 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Apache InLong百万亿级数据流处理 的相关文章

  • 如何获取hive中的数据库用户名和密码

    正在编写jdbc程序来连接hive数据库 我希望在连接 url 中提供用户名和密码 我不知道如何使用 hive QL 获取用户名和密码 有人可以帮我吗 Exception in thread main java sql SQLNonTran
  • Apache 中的手动内容压缩

    我需要 Apache 上的手动压缩解决方案 我的目标 在我的服务器上提供 gzip 编码的内容以及未压缩的内容 文件已预先压缩 并非所有文件都经过压缩 我想指定这些文件 并且选择不是基于类型 扩展名 的 提供许多内容类型 自定义内容类型 并
  • 对于某些版本的 PHP,“未指定输入文件”

    我安装了多个版本的 PHP 我写的 基本上 它是一个 ApacheLounge 安装 在 Windows 10 上通过 FastCGI 与 PHP 进行通信 这曾经让我在不同的虚拟主机上同时运行这些 PHP 版本 Apache 通过 Fas
  • 500 内部服务器错误,适用于 php 文件而不是 html [重复]

    这个问题在这里已经有答案了 我的网站只有 4 5 个静态页面 索引 html 索引 php两者都在那里 index html 工作正常 如果我更改为index php 它会给出500 Internal Server Error 我不知道我的
  • 我如何将 apache math 与 scala 一起使用?

    我正在尝试将 apache math 与 scala 结合使用 但无法运行文档中的示例http commons apache org proper commons math userguide random html http common
  • 适合约 250,000 张图像的最佳 Web 文件夹结构

    我的网站将包含大约 200 000 张图像 每张图像将被存储 3 次 全尺寸 缩略图 更大缩略图 全尺寸图像约为 50Kb 至 500Kb 普通技术 VPS 上的 Linux Apache MySQL PHP 存储这些内容以便通过浏览器快速
  • Symfony2 php.ini

    当检查时app check php Symfony2说这个Configuration file used by PHP etc php5 cli php ini然而phpinfo 显示 Apache 正在使用 etc php5 apache
  • 打印过程实时输出

    我在 Windows 7 x64 系统上使用 PHP 5 3 4 和 Apache 2 2 17 我想让我的 PHP 页面输出以下结果system实时调用用户的浏览器 为此 我配置了output buffering Off在 php ini
  • PHP代码没有被执行,但是代码显示在浏览器源代码中

    我正在尝试在项目上执行一些 PHP 代码 使用 Dreamweaver 但代码未运行 当我检查源代码时 PHP代码显示为HTML标签 我可以在源代码中看到它 Apache 运行正常 我正在使用 XAMPP PHP 页面可以正确打开 但 PH
  • 如何使用 .htaccess 提供 gzip 压缩字体? (没有 mod gzip 或 deflate)

    以下是我按随机顺序尝试过的内容列表 AddHandler application x httpd php otf AddType default mimetype auto prepend file otf php zlib output
  • 一个域上的 ProxyPass 和 DocumentRoot

    假设我有以下配置
  • 在 Elastic beanstalk 上配置 apache

    我正在 elastic beanstalk 上使用 django 进行开发 我想对 apache 配置进行两处更改 1 将 www domain com 重定向到 domain com 2 重定向http domain com http d
  • Perl CGI 脚本根据运行返回不同的结果

    我有一个 Perl CGI 脚本 它明显随机地发出不同的 HTML 所有输入都没有改变 例如 我会跑wget两次并得到两个不同的结果 CGI 由开发数据库支持 该数据库也不会改变 我有一个调试语句 通知我相同数量的元素从数据库返回到脚本中
  • 如何让用户会话持续24小时?

    我搞乱了我的 apache 和 php ini 文件 我的网站的用户仍然抱怨网站在很短的时间后或每次关闭并打开同一个浏览器时都会将他们注销 我正在运行 Apache 和 PHP 我应该进行哪些设置才能使用户会话持续 24 小时 这样他们就不
  • Nginx vs Apache 用于高流量站点

    Would nginx作为高流量网站的网络服务器是否是更合适的选择 我们将建立的网站是一个电子商务网站 如果这有什么不同的话 无论哪种方式 从技术角度来看 我真的对实际的 原因 感兴趣 即 为什么会nginx从技术角度来看 对于此类网站来说
  • 如何在 Apache POI 中获取 Excel 空白单元格值?

    我有一个巨大的 Excel 文件 其中包含大量列 如下所示 Column1 Column2 Column3 Column4 Column5 abc def ghi mno pqr 这是我编写的用于打印这些值的代码 try FileInput
  • 在 Maven Shade 插件中包含依赖项

    我正在尝试使用 Apache 的 commons lang3 创建一个可部署的 jar 但是 我的 Hadoop 所在的 AWS 集群不包含此库 因此我收到了 classNotFoundException 我想我需要手动添加该依赖项 但我在
  • 在 Apache 服务器上处理 React Router

    我在重定向 Apache 服务器上 React 生成的 URL 路径的 404 错误时遇到问题 设想 假设我有一些由 React Router 生成的 URL www somewebsite com apps Problem 如果最终用户单
  • PCRE 库版本太旧

    Bug Genie 3 需要 PCRE 库 8 0 或更高版本 你有 版本 7 8 2008 09 05 将您的系统更新到最新版本 你常用的来源 在我查看问题并尝试通过以下步骤更新我的 PCRE 库后 wget the latest sou
  • PHP/Apache 中的输出缓冲块如何工作?

    假设我将随机数据从 PHP 回显到浏览器 随机数据总量约为 XGb 回显以 YKb 块的形式完成 不使用 ob start PHP 和 Apache 缓冲区已满后 echo 调用是否会阻塞 客户端无法以与生成数据相同的速度使用数据 如果是

随机推荐

  • 交通路标识别(毕业设计)

    概述 代码获取 可私信 在TensorFlow中实现单镜头多盒检测器 SSD 用于检测和分类交通标志 该实现能够在具有Intel Core i7 6700K的GTX 1080上实现40 45 fps 请注意 此项目仍在进行中 现在的主要问题
  • 基于 ACK Fluid 的混合云优化数据访问(一):场景与架构

    本系列文章将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景 概述 在 AI 和大数据时代 算力即正义 强大的算力推动了源源不断的创新 然而 企业自建的算力集群存在资源容量和弹性能力相对有限的问题 在业务低谷时可能会面临高昂
  • CTF入门教程(非常详细)从零基础入门到竞赛,看这一篇就够了!

    目录 一 CTF简介 二 CTF竞赛模式 三 CTF各大题型简介 四 CTF学习路线 4 1 初期 1 html css js 2 3天 2 apache php 4 5天 3 mysql 2 3天 4 python 2 3天 5 burp
  • [Concept] IETF 国际互联网工程任务组

    IETF The Internet Engineering Task Force 国际互联网工程任务组 1 1985年成立 2 公开性质的大型国际民间团体 3 互联网标准化组织 4 主要任务 负责互联网相关技术规范的研发和制定 可以在官方网
  • 向Git提交新项目

    向Git提交新项目 假设现在存在项目iyowei cn 项目目录结构如下 1 2 3
  • Maven学习笔记二十:Maven仓库(远程仓库的配置)

    Maven仓库 远程仓库的配置 在很多情况下 默认的中央仓库无法满足项目的需求 可能项目需要的构件存在于另外一个远程仓库中 如 JBoss Maven仓库 这时 可以在POM中配置该仓库 见代码请单
  • cnn 示意图_基于BERT+CNN及GRU语言模型的司法考试问答模型

    在上文 1 提到的BERT CNN司法考试模型的基础上 对模型结构和参数进行了调整 调整后增加了CNN层数 示意图如图1 图1 BERT编码后接入的CNN结构示意图 其中详细参数见图2 图2 CNN和输出层的网络结构参数 在给出的司法考试训
  • Python爬虫实战之抓取猫眼电影

    Python爬虫实战之抓取猫眼电影 1 爬虫概念 网络爬虫 又称为网页蜘蛛 网络机器人 在FOAF社区中间 更经常的称为网页追逐者 是一种按照一定的规则 自动地抓取万维网信息的程序或者脚本 另外一些不常使用的名字还有蚂蚁 自动索引 模拟程序
  • 原码、反码以及补码

    目录 一 概念 二 补码的意义 一 概念 计算机底层存储数据时 存储的是数据对应的二进制数字 对于整型数据 其二进制表示形式有三种 分别是 原码 反码 补码 而实际存储的是整型数据的补码 原码 反码以及补码都是有符号的 其中最高位存放符号位
  • Websocket(一)——原理及基本属性和方法

    初次接触 WebSocket 的人 都会问同样的问题 我们已经有了 HTTP 协议 为什么还需要另一个协议 它能带来什么好处 答案很简单 因为 HTTP 协议有一个缺陷 通信只能由客户端发起 举例来说 我们想了解今天的天气 只能是客户端向服
  • 《Kubernetes下载篇:Ubuntu20.04下载指定版本kubeadm及相关镜像》

    一 背景 在专网情况下 你是无法下载K8S相关的软件包及镜像 这个时候你可能需要提前下载好 那么针对这种情况 如何下载指定版本的K8S相关的软件包及镜像呢 这里以ubuntu 20 04系统为例 通过ctr工具 下载v1 25 8版本的软件
  • Android中OkHttp源码阅读二(责任链模式)

    博主前些天发现了一个巨牛的人工智能学习网站 通俗易懂 风趣幽默 忍不住也分享一下给大家 点击跳转到教程 Android OkHttp源码阅读详解一 看OkHttp源码 发现OkHttp里面使用了责任链设计模式 所以才要学习责任链设计模式 小
  • Java Calendar getActualMinimum()方法与示例

    Calendar类的getActualMinimum 方法 Calendar Class getActualMinimum method getActualMinimum method is available in java util p
  • 美国CN2服务器速度怎么样

    美国服务器以免备案 大带宽 性价比高的优势 多用于企业 电商 外贸 视频等个中大型网站建设 但是 因中美服 务器接口原因 导致某些服务器的网络并不稳定 这时候就会对美国服务器产品失望 解决这种问题的方法就是选择美国服 务器时 选用美国CN2
  • Java逆序数

    逆序数 在一个5个数的数组中 输出逆序数 在一个排列中 如果一对数的前后位置与大小顺序相反 即前面的数大于后面的数 那么它们就称为一个逆序 一个排列中逆序的总数就称为这个排列的逆序数 输入用例 1 2 3 4 5 输出用例 0 输入用例 2
  • shell重启脚本-脚本停止

    经常需要对shell进行重启 重启首先就得停止原来的程序 有时候需要使用kill 进程的方式 每次手工查进程 比较麻烦 下面弄个工具 APP NAME app jar echo 停止XXX应用服务 is exit 获取PID PID ps
  • 机器人教育的培养目标

    国内近几年流行一种机器人编程教育 以培养少年们的综合能力为主 格物斯坦表示 机器人在科技领域还有很多未解的谜团 需要有探索精神和聪慧头脑的人去打破砂锅问到底 机器人教育对孩子未来的影响很大 尤其对孩子的学习和认知过程中起到了强力推进的作用
  • c# webform 读取和编辑Web.config中的 appSettings

    Web config
  • 自建对象存储服务minio在使用nginx进行反向代理时出现对象无法正常共享的解决办法

    什么是minio Minio是在Apache License v2 0下发布的对象存储服务器 它与Amazon S3云存储服务兼容 它最适合存储非结构化数据 如照片 视频 日志文件 备份和容器 VM镜像等 对象的大小可以从几KB到最大5TB
  • Apache InLong百万亿级数据流处理

    全球最大的开源软件基金会Apache软件基金会正式宣布 Apache InLong成功从Apache孵化器毕业成为社区顶级项目 这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架 可以为大数据开发者提供百万亿级数据流高性能处理能力