-
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持特征工程、更便捷地增删和回填特征。本文将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储,实现高性能特征读取和高效特征调研、特征工程加速模型迭代。 机器学...
时间:2023-07-27点击:46收藏
-
数仓现网案例丨超大结果集接收异常
本文分享自华为云社区《GaussDB(DWS)现网案例之超大结果集接收异常》,作者:你是猴子请来的救兵吗 。 问题背景 内核版本GaussDB 8.1.3 问题描述用户使用数据库客户端工具如navicat、dbeaver等执行查询语句异常中断,中断信息"Last read message sequence %d is not equal to the max...
时间:2023-07-27点击:24收藏
-
快速玩转 Llama2!阿里云机器学习 PAI 推出最佳实践(二)——全参数微调训练
本实践将采用阿里云机器学习平台PAI-DSW模块针对 Llama-2-7B-Chat 进行全参数微调。PAI-DSW是交互式建模平台,该实践适合需要定制化微调模型,并追求模型调优效果的开发者。 前言 近期,Meta 宣布大语言模型 Llama2 开源,包含7B、13B、70B不同尺寸,分别对应70亿、130亿、700亿参数量,并在每个规格下都有专门适配对话场...
时间:2023-07-27点击:33收藏
-
马斯克“零元购”,强夺 @x 推特账号
根据国外科技媒体 The Telegraph 的报道,埃隆・马斯克(Elon Musk)正在推进 Twitter 的品牌重塑,在没有支付太多费用的情况下,从旧金山摄影师 Gene X Hwang 手中接管了“@x”推特账号。 传闻是这位用户很早之前注册了名为 @X 的推特账号,在马斯克将 Twitter 改名 X 后,他试图用 100 万美元的价格把这个名字...
时间:2023-07-27点击:49收藏
-
Cmake 3.27.1 发布,开源构建系统
CMake 是一个跨平台的自动化构建系统,它使用一个名为 CMakeLists.txt 的文件来描述构建过程,可以产生标准的构建文件,如 Unix 的 Makefile 或 Windows Visual C++ 的 projects/workspaces 。文件 CMakeLists.txt 需要手工编写,也可以通过编写脚本进行半自动的生成。 CMake 3...
时间:2023-07-27点击:28收藏
-
并发编程-FutureTask解析 | 京东物流技术团队
1、FutureTask对象介绍 Future对象大家都不陌生,是JDK1.5提供的接口,是用来以阻塞的方式获取线程异步执行完的结果。 在Java中想要通过线程执行一个任务,离不开Runnable与Callable这两个接口。 Runnable与Callable的区别在于,Runnable接口只有一个run方法,该方法用来执行逻辑,但是并没有返回值;而Cal...
时间:2023-07-27点击:19收藏
-
Strapi <4.10.8 敏感信息泄漏漏洞
漏洞描述 Strapi 是一个开源的 headless 内容管理系统,可将内容的创建与展示进行分离。 Strapi 4.10.8之前版本中,由于 Knex 查询允许更改默认前缀,但是未对前缀对应的数据表进行保护,当 Knex 启用了 contentType 的 find 路由并设置为 public 时,攻击者可构造恶意的 http 请求将前缀更改为其他表名的...
时间:2023-07-27点击:23收藏
-
泛微 e-cology <10.58.3 任意文件上传漏洞
漏洞描述 泛微协同管理应用平台(e-cology)是一套企业大型协同管理平台。 泛微 e-cology 10.58.3之前版本存在任意文件上传漏洞,由于上传接口身份认证缺失,未经过身份验证的攻击者可以构造恶意请求将文件上传至服务器,攻击者可能通过上传jsp文件,从而远程执行任意命令。 漏洞名称 泛微 e-cology <10.58.3 任意文件上传漏洞...
时间:2023-07-27点击:20收藏
-
Apache Jackrabbit 反序列化漏洞
漏洞描述 Apache Jackrabbit是一个内容仓库,适用于构建各种内容管理应用程序。 在webapp、standalone版本中使用了 commons-beanutils 组件来进行对象反序列化。由于commons-beanutils中存在一个通过 RMI 执行远程代码的类,攻击者通过构造的恶意序列化数据,发送到目标系统上的 RMI 服务端口(默认为...
时间:2023-07-27点击:30收藏
-
用Rust生成Ant-Design Table Columns | 京东云技术团队
经常开发表格,是不是已经被手写Ant-Design Table的Columns整烦了? 尤其是ToB项目,表格经常动不动就几十列。每次照着后端给的接口文档一个个配置,太头疼了,主要是有时还会粘错就尴尬了。 那有没有办法能自动生成columns配置呢? 当然可以。 目前后端的接口文档一般是使用Swagger来生成的,Swagger是基于OpenAPI规范的一种...
时间:2023-07-27点击:20收藏
-
长连接:ChatGPT流式响应背后的逻辑 | 京东物流技术团队
一、前言: 提起长连接,我们并不陌生,最常见的长连接非websocket莫属了。即使没有在项目中实际用过,至少也应该有所接触。长连接指在一次网络通信中,客户端与服务器之间建立一条持久的连接,可以在多次请求和响应中重复使用该连接。这种方式的优点是减少了连接建立和关闭的开销,提高了通信效率,但需要注意控制连接的数量,避免资源浪费。短连接则是每次请求和响应都建立一...
时间:2023-07-27点击:28收藏
-
初探webAssembly | 京东物流技术团队
1 WebAssembly是什么? 一种运行在现代网络浏览器中的新型代码,并且提供新的性能特性和效果 W3C WebAssembly Community Group开发的一项网络标准,对于浏览器而言,WebAssembly 提供了一条途径,让各种语言编写的代码以接近原生的速度在 Web 中运行。在这种情况下,以前无法以此方式运行的客户端软件等都将可以运行在 ...
时间:2023-07-27点击:48收藏
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2全家桶,快速入门学习开发网站教程
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7安装Docker,走上虚拟化容器引擎之路