笔记列表-低调大师优秀个人博客

文章列表

共 188261 篇

2024-11-08

推算LLM训练的GPU内存需求

本文将分析大语言模型训练的GPU内存需求，主要包括三个方面：训练数十亿参数基于Transformer的LLM时，每个GPU设备需要多少GPU内存；估算内存需求的公式是什么；如果模型无法匹配内存，在实践中应采取哪些措施来减少内存需求。（本文由OneFlow编译发布，转载请联系授权。原文：https://medium.com/@maxshapp/underst...

358

阅读约22分钟

2024-11-07

Apache ZooKeeper Admin Server 身份验证绕过漏洞

漏洞描述 Apache ZooKeeper 是开源的分布式应用程序协调服务，IPAuthenticationProvider 是其身份验证提供器，用于基于客户端 IP 地址进行身份验证。受影响版本的 ZooKeeper Admin Server 使用 IPAuthenticationProvider 进行身份验证，由于其使用由代理服务器添加的 HTTP 请...

409

阅读约4分钟

2024-11-06

glibc 内存分配与释放机制详解

作者：来自 vivo 互联网存储团队- Wang Yuzhi 本文以一次线上故障为基础介绍了使用 glibc 进行内存管理可能碰到问题，进而对库中内存分配与释放机制进行分析，最后提供了相应问题的解决方案。一、引言内存对象的分配与释放一直是后端开发人员代码设计中需要考虑的问题，考虑不周极易造成内存泄漏、内存访问越界等问题。在发生内存异常后，开发人员往往花费...

294

阅读约29分钟

2024-11-06

深入Java泛型及其设计原则

在日常开发中，必不可少的会使用到泛型，这个过程中经常会出现类似“为什么这样会编译报错？”，“为什么这个列表无法添加元素？”的问题，也会出现感叹Java的泛型限制太多了很难用的情况。为了更好的使用泛型，就需要更深的了解它，因此本文主要介绍泛型诞生的前世今生，特性，以及著名PECS原则的由来。泛型的诞生 ▐背景在没有泛型之前，必须使用Object编写适用于多...

378

阅读约15分钟

2024-11-01

PyTorch RemoteModule模块反序列化RCE漏洞

漏洞描述 PyTorch是热门的开源机器学习框架，RemoteModule是其中用于实现分布式RPC服务的模块。在受影响版本中，PyTorch RemoteModule默认缺少鉴权机制，存在反序列化漏洞，攻击者可能利用RPC机制向服务端部署模型调用模块，从而远程执行任意代码，攻击者可能利用该漏洞干扰分布式训练集群。漏洞名称 PyTorch RemoteM...

340

阅读约3分钟

2024-10-30

如何限制用户修改long_query_time

如何限制用户修改long_query_time 需求来源数据库的 long_query_time 设置了写入慢查询日志的SQL语句执行时长的阈值，当应用系统修改为很小的值或0时，会在数据库的慢查询日志中记录大量SQL语句，导致数据库性能降低和占用磁盘空间的快速增长。 GreatSQL 对于影响整个数据库会话级变量设置为受限会话变量（如:binlog_for...

344

阅读约9分钟

2024-10-29

PDFsam Basic v5.2.9 发布，PDF 文档多功能处理工具

PDFsam Basic 是一款免费的、开源的、跨平台使用的 PDF 文档处理软件，可对 PDF 文件进行分割、合并、提取页面、混合和旋转等处理。 PDFsam Basic v5.2.9 现已发布，更新信息如下： close#649：Duplicate上下文菜单现在可以向上、向下、顶部和底部复制将 JDK 升级到最新的 21 LTS 升级的 Sejda S...

335

阅读约2分钟

2024-10-29

国产数据库管理工具 CloudDM 个人版 v2.8.4 全新发布

CloudDM 个人版是ClouGence公司推出的一款一站式多数据源开发管理工具，使用它可以方便地访问和管理MySQL、Oracle、PostgreSQL、阿里云 RDS、Greenplum、TiDB、Redis、StarRocks、Doris、SelectDB、SQL SERVER、ClickHouse、OceanBase 、PolarDB-X 、IBM...

412

阅读约3分钟

2024-10-29

Tsuru 1.24.0 发布，基于 Docker 的 PaaS 框架

Tsuru 是一个基于 Docker 的 PaaS 框架，可以让你构建自己的 PaaS 服务。Tsuru 采用 Go 语言编写，依赖 Go 环境和 libxml。 Tsuru 1.24.0已发布，此版本带来如下内容： 2c1c5c5升级版本 8278df5feat：自定义自动缩放行为 (#2734) 100d347将 types/bind/binder.go...

363

阅读约2分钟

2024-10-29

LLMs 最被低估的用途

reddit上的一个讨论，什么是LLMs一些最被低估的用途？来源：https://weibo.com/2194035935/ODa6MhSSn?pagetype=profilefeed ——蚁工厂，互联网科技博主

362

阅读约1分钟

2024-10-29

流水线早已 out 了？你需要更高效能的工作流

在快节奏的 DevOps 世界里，流水线和工作流常常被混为一谈，但真相是，它们在实现软件快速、高效交付的过程中扮演着截然不同的角色。Jenkins 在新建 Pipeline 时的描述，无意中揭示了这一混淆：“Pipeline Orchestrates long-running activities... Suitable for building pi...

385

阅读约7分钟

2024-10-29

关于算法的理论和实践的gap

关于算法的理论和实践的gap，一直是算法研究中常被提及的话题。大部分人，包括不少本身研究算法理论的研究人员，认为算法理论确实没有很好的发挥其本应该有的功能。我自己理解主要应该有解释功能（解释问题难度和算法行为）和引导功能（引导实践算法设计）。从解释功能讲，NP复杂性理论指出很多问题是难的（假设P!=NP），而且有许多悲观结论，典型的一个就是SAT（布尔可满...

398

阅读约3分钟

2024-10-29

苹果发布 AI 云端架构白皮书及部分代码

苹果公司官方近日正式公开了一项名为 Private Cloud Compute（PCC）云端 AI 模型，并邀请所有安全和隐私研究人员访问和研究。苹果现已开放一本《PCC 安全指南》，该指南包括有关 PCC 各组件的全面技术细节，以及它们如何协同工作，为云中的人工智能处理提供突破性的隐私保护。苹果表示，这将帮助其他研究人员更好地了解 PCC。 PCC 技术...

356

阅读约1分钟

2024-10-29

OSI 正式发布开源 AI 定义

Open Source Initiative (OSI) 已经按照预计正式发布了稳定版的开源 AI 定义（OSAID） – 1.0，涵盖代码、模型和数据信息；旨在提供一个框架，帮助 AI 开发人员和用户确定 AI 系统是否开源。该文件由超过 25 个组织参与共同设计，包括微软、谷歌、亚马逊、Meta、英特尔、三星、Mozilla 基金会、Linux 基金会...

429

阅读约3分钟

2024-10-29

科技衰退，CodeProject.com 关闭了

标题的科技衰退，不是我说的，是CodeProject.com 说的。经常在 CodeProject.com 翻翻，学习学习，今天又习惯性的过去看了看，感觉网站的风格不一样了，上面的搜索按钮没有了。然后就看到了标题的那封信， CodeProject is changing. Read more. 技术衰退对我们的客户以及 CodeProject 的打击非常...

664

阅读约3分钟

2024-10-29

LF开源软件学园 RISC-V教育合作伙伴召集中

引言在这个科技迅猛发展的时代，开源软件和硬件的应用已经上升为中国的国家战略，成为推动全球技术创新的关键力量。RISC-V技术，以其开放的指令集架构，在开源芯片领域扮演着至关重要的角色，正在重塑教育和职业的未来，成为全球创新的新引擎。 LFOSSA（LF开源软件学园）作为Linux基金会培训和认证在中国的官方平台，我们肩负着推动开源技术教育和培训的使命，帮...

318

阅读约6分钟

2024-10-29

Apple 发布搭载 M4 芯片的 iMac，本周还将发布新款 MacBook Pro 和 Mac mini

10 月 28 日晚，Apple 上架搭载 M4 芯片的新款 iMac。新款 iMac 采用 24 英寸 4.5K 视网膜显示屏；内存 16GB 起步，最高可选配 32GB；存储容量 256GB 起步，最高可选配 2TB；Apple M4 芯片最高可选配 10 核中央处理器与 10 核图形处理器；摄像头采用 12MP Center Stage 摄像头，支持...

381

阅读约2分钟

2024-10-29

🍏 Xinference v0.16.1 来袭！Mac 用户也能用 MLX 生图，新用户注册福利再升级！

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型 - https://github.com/xorbitsai/inference。无论...

423

阅读约5分钟

2024-10-29

deepin 技术双周报丨内核版本基础升级到 6.6.58、 Treeland 增加窗口动画

2024年10月下旬 deepin 技术双周报已出炉，我们会简单列出 deepin 各个小组在过去两周的相关工作进展，也会阐述未来两周的大致规划，一起来看！ DDE（深度桌面环境）针对 deepin 23 的缺陷修复与 deepin 25 的需求开发在同步稳步进行。具体进展与计划如下：进展：对DTK、启动器、任务栏等组件完成了 Qt 6.8 适配支持；...

382

阅读约4分钟

2024-10-29

mybatis-mp 常规简单用法 - 超级方便！！！

mybatis-mp 官网: https://mybatis-mp.cn mybatis-mp 是基于mybatis扩展的一款超级好用的ORM框架！！！ 1. 方便快捷的查询 SysUser sysUser = QueryChain.of(sysUserMapper) .from(SysUser.class) .eq(SysUser::getId, ...

341

阅读约7分钟

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

推算LLM训练的GPU内存需求

Apache ZooKeeper Admin Server 身份验证绕过漏洞

glibc 内存分配与释放机制详解

深入Java泛型及其设计原则

PyTorch RemoteModule模块反序列化RCE漏洞

如何限制用户修改long_query_time

PDFsam Basic v5.2.9 发布，PDF 文档多功能处理工具

国产数据库管理工具 CloudDM 个人版 v2.8.4 全新发布

Tsuru 1.24.0 发布，基于 Docker 的 PaaS 框架

LLMs 最被低估的用途

流水线早已 out 了？你需要更高效能的工作流

关于算法的理论和实践的gap

苹果发布 AI 云端架构白皮书及部分代码

OSI 正式发布开源 AI 定义

科技衰退，CodeProject.com 关闭了

LF开源软件学园 RISC-V教育合作伙伴召集中

Apple 发布搭载 M4 芯片的 iMac，本周还将发布新款 MacBook Pro 和 Mac mini

🍏 Xinference v0.16.1 来袭！Mac 用户也能用 MLX 生图，新用户注册福利再升级！

deepin 技术双周报丨内核版本基础升级到 6.6.58、 Treeland 增加窗口动画

mybatis-mp 常规简单用法 - 超级方便！！！

资源下载

Mario

腾讯云软件源

Sublime Text

WebStorm

欢迎您来访！