Databend 开源周报第 124 期

2023-12-19

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务: https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

新增对 Delta 和 Iceberg 表引擎的支持

Databend 新增对 Delta 和 Iceberg 格式表引擎的支持,以帮助用户对接由不同数据湖管理的表。

下面的例子展示了如何利用 Delta 表引擎和 CONNECTION 创建存储位于 S3 上的 Delta 表:

create connection my_s3_conn storage_type = 's3' access_key_id ='minioadmin' secret_access_key ='minioadmin' ENDPOINT_URL='http://127.0.0.1:9900'; create table test_delta engine = delta location = 's3://testbucket/admin/data/delta/delta-table/' connection_name = 'my_s3_conn'

目前 Delta 表引擎仅支持基本的读操作,我们将会在后续不断迭代优化。

如果您想了解更多信息,欢迎联系 Databend 团队 ,或查看下面列出的资源。

  • PR #13949 | feat: add table engine delta

  • PR #13835 | feat: iceberg table engine

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Databend 默认禁用 ClickHouse HTTP Handler

考虑到 Databend 自身驱动和周边生态的不断完善,本周起新引入配置项 enable_clickhouse_handler 用于控制是否启用 ClickHouse 兼容的 HTTP Handler ,默认值为 0 。

如有需要使用 ClickHouse HTTP Handler 的情况,可以执行下面的 SQL 语句启用支持:

set global enable_clickhouse_handler=1;

  • PR #13965 | feat: add setting to disable clickhouse handler

使用 Borsh 替换 Bincode

由于 Bincode 在不同版本和不同使用方式的情况下,可能导致二进制不一致,在经过调研之后,Databend 使用 Borsh 替换 Bincode 用于聚合状态的序列化。

Borsh 的格式与 Databend 聚合状态的格式几乎相同,并且具有一致性保证,且遵循安全编码实践,具备良好的格式规范和性能。

  • PR #13997 | refactor: using borsh instead of bincode for serde agg function state

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持在达到内存限制时将 Sort 外溢。

  • 支持 internal stream columns 。

  • 支持 SHOW LOCKS 。

  • 阅读文档 Docs | system.streamsDocs | system.stream_status ,了解如何使用系统表获取流相关信息。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

引入 PASSWORD POLICY

Databend 计划引入密码策略以满足用户对安全性的需要。通过设置密码策略,可以实现在尝试错误密码后拒绝访问,以及设置密码复杂性要求。

CREATE PASSWORD POLICY [ IF NOT EXISTS ] <name>
  [ PASSWORD_MIN_LENGTH = <integer> ]
  [ PASSWORD_MAX_LENGTH = <integer> ]
  [ PASSWORD_MIN_UPPER_CASE_CHARS = <integer> ]
  [ PASSWORD_MIN_LOWER_CASE_CHARS = <integer> ]
  [ PASSWORD_MIN_NUMERIC_CHARS = <integer> ]
  [ PASSWORD_MIN_SPECIAL_CHARS = <integer> ]
  [ PASSWORD_MIN_AGE_DAYS = <integer> ]
  [ PASSWORD_MAX_AGE_DAYS = <integer> ]
  [ PASSWORD_MAX_RETRIES = <integer> ]
  [ PASSWORD_LOCKOUT_TIME_MINS = <integer> ]
  [ PASSWORD_HISTORY = <integer> ]
  [ COMMENT = '<string_literal>' ]

Issue #13994 | feat: PASSWORD POLICY

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址: https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website

  • GitHub Discussions

  • Twitter

  • Slack Channel

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Databend 开源周报第 124 期 的相关文章

随机推荐

  • 配音工具哪个好?这里有你想知道的答案

    听说你还在为找不到合适的配音工具而烦恼 没关系 我这就来给你支招 其实配音不一定得找专业的录音室 现在许多在线工具也可以帮助你将文字转化为语音 而且 互联网上的配音工具可不少呢 有的可以提供多种语音风格和语调 有的则是可以快速生成语音内容
  • remote: Support for password authentication was removed on August 13, 2021.

    往 GitHub 上推送项目时 报如下错误 remote Support for password authentication was removed on August 13 2021 remote Please see https d
  • Pytorch深度强化学习案例:基于Q-Learning的机器人走迷宫

    目录 0 专栏介绍 1 Q Learning算法原理 2 强化学习基本框架 3 机器人走迷宫算法 3 1 迷宫环境 3 2 状态 动作和奖励 3 3 Q Learning算法实现 3 4 完成训练
  • 计算机服务器中了_locked勒索病毒怎么办?_locked你知道多少?勒索病毒解密

    相信很多人对目前互联网技术的发展感到惊讶 从数字化办公模式到人工智能的转变 越来越的企业利用网络技术开展各项业务工作 给企业的生产生活提供了极大便利 但网络威胁无处不在 越来越多的网络计算机勒索病毒无时无刻在影响着企业数据安全 近期 云天数
  • Metasequoia4 for Mac/win:带您进入三维模型游戏建模的新世界!

    在当今游戏行业中 三维模型的重要性无可置疑 而在这个充满创造力和无限可能的领域中 Metasequoia4 简称M4 无疑是您的最佳选择 作为一款专业的三维模型游戏建模软件 M4凭借其强大的功能和简便易用的界面 成为了无数游戏开发者和设计师
  • 零样本学习中的元学习算法研究

    随着人工智能的发展 机器学习领域中的零样本学习引起了广泛的关注 传统的机器学习算法在遇到未见过的类别或任务时表现不佳 而零样本学习旨在解决这一问题 元学习作为一种重要的学习范式 可以为零样本学习提供有效的解决方案 本文将介绍零样本学习和元学
  • 浅谈安科瑞导轨式直流电表在中国香港充电桩企业的应用

    摘要 电动汽车的出现 是科技发展和环保推行的产物 随着人们生活质量的提高 越来越多家庭开始购置汽车 导致环境环保压力日渐增加 电动汽车的推行 能够合理减缓环保压力 降低对传统能源的消耗 是汽车产业发展的重要趋势之一 现在已经有众多汽车品牌发
  • 基于对抗样本训练的模型鲁棒性研究

    随着深度学习技术的不断发展 越来越多的应用场景开始使用深度学习模型进行决策和预测 然而 深度学习模型在面对对抗攻击时往往会失去准确性 从而导致严重的安全隐患 为了提高深度学习模型的鲁棒性 基于对抗样本训练的模型鲁棒性研究成为了近年来的热点研
  • Thinkphp_vue.js图书小说在线阅读系统6t8fs

    运行环境 phpstudy wamp xammp等 开发语言 php 后端框架 Thinkphp5 前端框架 vue js 服务器 apache 数据库 mysql 数据库工具 Navicat phpmyadmin 主要模块包括以下几点 1
  • 开发基于序列到序列模型的语音识别系统

    语音识别系统是一种人工智能技术 可以将人类的口语语音转换为可读的文本格式 近年来 随着深度学习技术的不断发展和进步 基于序列到序列模型的语音识别系统逐渐成为了最受欢迎的技术之一 本文将介绍如何利用这种技术开发出高效 准确的语音识别系统 并探
  • 【手写数字识别】模板匹配手写数字识别【含GUI Matlab源码 094期】

    博主简介 热爱科研的Matlab仿真开发者 修心和技术同步精进 Matlab项目合作可私信 个人主页 海神之光 代码获取方式 海神之光Matlab王者学习之路 代码获取方式 座右铭 行百里者 半于九十 更多Matlab仿真内容点击 Matl
  • 【数字识别】BP神经网络不同字体0-9数字识别【含Matlab源码 1863期】

    博主简介 热爱科研的Matlab仿真开发者 修心和技术同步精进 Matlab项目合作可私信 个人主页 海神之光 代码获取方式 海神之光Matlab王者学习之路 代码获取方式 座右铭 行百里者 半于九十 更多Matlab仿真内容点击 Matl
  • 淘宝天猫1688数据采集API获取商品详情数据API商品列表API测试示例

    想要把1688 淘宝 天猫平台的商品采集到自己的店铺 通过1688API关键字搜索item search和获取商品详情item get即可实现这个需求 item get 获得1688商品详情 公共参数 1688 item get 名称 类型
  • 界面控件DevExpress WPF Dock组件,轻松创建类Visual Studio窗口界面!

    本文主要为大家介绍 DevExpress WPF 控件中的Dock组件 它能帮助用户轻松创还能受Microsoft Visual Studio启发的Dock窗口界面 P S DevExpress WPF拥有120 个控件和库 将帮助您交付满
  • CARLA实战 | CARLA文档里都没有的渲染关闭方法被我找到?

    一 前言 大家好 我是自动驾驶打工人白夜 最近我在学习CARLA渲染相关的知识 发现很多小伙伴在进行仿真实验的时候 都希望有一种关闭渲染的方法 于是我决定来分享一下CARLA关闭渲染的几种方法 其中有一种方法 CARLA文档中都没有提到过
  • 网络安全工具100套

    1 Nessus 最好的UNIX漏洞扫描工具 Nessus 是最好的免费网络漏洞扫描器 它可以运行于几乎所有的UNIX平台之上 它不止永久升级 还免费提供多达11000种插件 但需要注册并接受EULA acceptance 终端用户授权协议
  • Python3 解释器

    Python3解释器是用于执行Python3代码的程序 它将Python3代码逐行解释并执行 可以在命令行中交互式地执行代码 也可以执行存储在文件中的Python3脚本 Python3解释器有多种实现 其中最常用的是CPython CPyt
  • 探索技术备忘录的未来技术趋势与发展方向

    技术备忘录作为一种记录和分享技术知识和经验的工具 已经在许多领域得到广泛应用 然而 随着技术的不断发展和创新 技术备忘录也需要不断适应和演进 本文将探索技术备忘录的未来技术趋势与发展方向 展望其在未来的应用和发展前景 首先 技术备忘录将更加
  • 聚观早报 |苹果自研Wi-Fi 7芯片;新农业品牌“一米八”亮相

    聚观365 12月19日消息 苹果自研Wi Fi 7芯片 新农业品牌 一米八 亮相 李斌亲自直播测试蔚来电池 努比亚Z60 Ultra星空典藏版亮相 董宇辉升为东方甄选高级合伙人 苹果自研Wi Fi 7芯片 据外媒报道 外界普遍认为 在与高
  • Databend 开源周报第 124 期

    Databend 是一款现代云数仓 专为弹性和高效设计 为您的大规模分析需求保驾护航 自由且开源 即刻体验云服务 https app databend cn What s On In Databend 探索 Databend 本周新进展 遇