Databend 开源周报第 130 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
支持 CREATE OR REPLACE DATABASE
CREATE OR REPLACE DATABASE
是一个语法糖,可以合并原本的:
DROP DATABASE IF EXISTS ... CREATE DATABASE ...
对 CREATE OR REPLACE TABLE
的支持也在积极推进中。
如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
使用 SQL 预测鸢尾花分类
结合 CASE WHEN 语句和简单的判据,可以利用 SQL 模拟简单的树模型,并且在鸢尾花分类中达到接近 97% 的精度。
SELECT COUNT(*) AS total_count, SUM(CASE WHEN subquery.species = subquery.prediction THEN 1 ELSE 0 END) AS correct_count, SUM(CASE WHEN subquery.species <> subquery.prediction THEN 1 ELSE 0 END) AS incorrect_count, SUM(CASE WHEN subquery.species = subquery.prediction THEN 1 ELSE 0 END) / COUNT(*) AS accuracy FROM ( SELECT sepal_length, sepal_width, petal_length, petal_width, species, CASE WHEN petal_width < 0.75 THEN 1 WHEN petal_width >= 0.75 AND petal_width < 1.35 THEN 2 WHEN petal_width >= 0.75 AND petal_width < 1.75 AND petal_width >= 1.35 AND sepal_width < 2.65 THEN 3 WHEN petal_width >= 0.75 AND petal_width < 1.75 AND petal_width >= 1.35 AND sepal_width >= 2.65 THEN 2 WHEN petal_width >= 0.75 AND petal_width >= 1.75 THEN 3 END AS prediction FROM iris ) AS subquery;
完整示例使用 Hugging Face 上的鸢尾花数据集进行,包含数据访问和数据清洗等关键步骤,欢迎阅读:
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 支持
SHOW USER FUNCTIONS
。 - 新增系统表
user_functions
。 - 新增条件函数
nvl
和nvl2
。 - 新增 JSON 处理函数
minus
支持按索引或名称删除。 - 支持谓词移动(Predicate Move-Around)。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
支持倒排索引
倒排索引(Inverted Index)是全文检索系统中常用的一种单词文档映射结构。Databend 计划引入倒排索引,以满足全文检索场景的需要。
参考语法如下:
-- 创建索引 CREATE [ASYNC] INVETED INDEX ivt_index ON <table>(<column>) ... -- 刷新索引 REFRESH INVETED INDEX <index_name> [LIMIT <limit>]
Issue #14505 | feat: inverted index
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
New Contributors
一起认识社区中的新伙伴,Databend 因你们而变得更加美好。
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
德国铁路公司招聘熟悉 MS-DOS 和 Windows 3.11 的 IT 管理员
推特用户@konkretor发帖介绍了一则乍看让人感觉时空错乱的招聘消息:一家德国铁路公司正在寻求熟悉 Windows 3.11 系统的 IT 管理员 —— 有 MS-DOS 使用经验更佳。据称该岗位负责“德国几乎所有铁路的显示面板”。 https://twitter.com/konkretor/status/1751221660718444694 目前这则招聘信息已被删除,不过网友们已经在此之前进行了备份:https://archive.is/CKNYJ。 招聘信息写道,该岗位的工作内容是维护对铁路运营仍然至关重要的旧系统,以及更新驱动。它们运行于高速和区域列车上的驾驶室显示面板,用于向驾驶员实时展示最重要的技术数据。 微软在 1992 年推出了 Windows 3.1,至今已有 30 多年历史。德国的工业和科技整体上起步较早,所以像铁路这样的关键基础设施依赖着“上古时代”的操作系统和硬件并不罕见。更何况这个岗位负责的显示面板只是用于展示信息数据,不涉及到关键功能——“如果没有坏到不能用,就用不着更换”。 在 Hacker News 的讨论贴中,有网友提到德国的 ICE 1 和 IC...
- 下一篇
非内积级联学习
1.首页推荐非内积召回现状 非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积,非内积召回仅保留item embedding,不构造user显式表征,而是通过一个打分网络计算用户-商品匹配程度,极大的提升了模型精准度的上限,有很大优化空间。 • 模型:采用dot-product attention对用户行为和目标商品进行交互,结合用户画像、原始商品表征生成打分 • 索引与检索: ◦ 索引:离线模型训练完成后,对 item embedding 基于l2距离构造hnsw索引 ◦ 检索:线上召回时,实时根据用户请求,在hnsw索引中逐层向下进行beam-search寻找最优结果 ▪ 多样性保证:在最后一层检索过程中,进行类目维度多样性剪枝 • 样本 ◦ 正样本:首页点击和订单作为正样本, ◦ 负样本:全站点击随机负采样 + 底池均匀负采样 • 特征:用户点击序列、用户画像特征、商品侧特征等 • 学习目标: 对正负样本采用sampled softmax loss建模为多分类问题 2.非内积召回优化...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 2048小游戏-低调大师作品
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS关闭SELinux安全模块
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池