首页 文章 精选 留言 我的

精选列表

搜索[分布式账本],共10005篇文章
优秀的个人博客,低调大师

一位独立研究者的真实算力账本

2024 年,一位前 FAANG 工程师决定辞职,成为独立 AI 研究者。要做研究就需要算力,于是他花 4.8 万美元亲手组装了一台搭载 6 张 RTX 6000 Ada GPU 的服务器——取名"grumbl"(他自嘲不会拼写"GPUs")。 最近他公开发布了这台服务器的完整使用数据,回答了那个所有自建算力的开发者都会问的问题:自己买 GPU 到底值不值? 算力即保险:4.8 万美元贵不贵? 4.8 万美元听起来是一笔巨款,但作者的逻辑是:这远低于他辞职带来的收入损失。如果更强大的 GPU 能帮助他的工作提前哪怕两个月完成,这笔投入就是值得的。因此他选择购买公寓能容纳的最大功率服务器。 选卡阶段,他参考了 Tim Dettmers 的 GPU 选购指南,在 A100、H100 和 RTX 6000 Ada 之间比较。由于 A100 不支持 FP8 且推理性能落后于新型号,而他的主要工作是强化学习推理,最终在 RTX 6000 Ada 和 H100 之间选择了前者——以 Lambda Labs 的价格/吞吐量比来看,6000 Ada 的性价比最优。 电力功率约束:公寓电路带不动 6 张显卡服务器 最大的工程挑战来自电力。6 张 GPU 需要大量供电,单独一个公寓电路无法承受。他不得不配置双电源,并将两个电源插口接在不同回路的插座上——这也是他聘请专业 PC Builder 而非自行组装的原因:"自己动手一旦出错,烧掉的是整栋公寓。"讽刺的是,最终他把这台服务器搬到了父母家的地下室,那里有条件升级电路。 自己买还是租云? 核心问题:自购 GPU 和租用云端算力,哪个更划算? 他的衡量方法是:记录每张 GPU 每分钟的使用情况,同时记录功耗以计算电费。2024 年他估算,按当时的云端 GPU 租赁价格,如果 GPU 利用率接近 85% 以上满负荷运行,大约一年就能和租赁成本打平。 从实际数据看,2025 年 1 月后的平均利用率达到 85%,但整体平均利用率为 76%。这个数字让他略感失望——他 24/7 不间断运行实验,任务队列始终排得很满,本以为轻松能达到 95% 以上。实际使用中有多次服务器停机维护的经历,每次停机他都焦虑万分:不知道是单个 PCIe Riser 卡故障,还是灾难性的硬件烧毁。 电费约为 3000 美元,约每月 125 美元 截至 2026 年 3 月 13 日,他计算出等效云租赁费用约 6.8 万美元,自建服务器(含电费)总成本约 5.1 万美元,已节省约 1.7 万美元。GPU 已完全回本,目前每天节省 90-105 美元。 真正的答案:买服务器的目的不是为了省钱 作者坦言,这台服务器给他带来的真正价值并不是省了多少钱。他花了很长时间尝试高风险/高回报的实验,经历过大量失败。最终他在 2025 年 5 月解决了 LLM 的一个重大问题,并于当周产品上线——400K+ 浏览量,多家公司联系希望使用他的 IP。这才是他购买服务器的真正原因。 几条忠告 作者强调,自建高端 GPU 服务器要非常谨慎,犯错的代价很昂贵。他有几个具体建议:主板选择很重要,他因为公寓电力限制选择了慢速 GPU 互联的主板,虽然适合跑大量小规模并行实验,但对需要多卡分布训练的模型来说简直是噩梦;PCIe riser 故障是主要故障来源,建议参考 Nathan Odle 的 riser 排查文章;保险是个问题,租房保险不覆盖这类设备,最终他不得不购买商业保险。 心态上,"拥有"和"租用"的差异巨大。租云端时每个实验都花钱,他会反复问自己"这个实验值不值";拥有服务器后,反而觉得"不跑实验就是在烧钱"。另外,他的时间成本并没有计入这个分析——服务器的搭建和维护本身耗费了大量精力。如果重新选择,他不会做这种定制组装,而是直接买标准数据中心服务器然后托管到共置中心。 对于预算有限的开发者,他的建议是:Google Colab 或便宜的云端 GPU 照样能做出出色的工作,不一定非要花 4.8 万美元。 参考来源https://rosmine.ai/2026/05/13/was-my-48k-gpu-worth-it/

优秀的个人博客,低调大师

分布式演化

应用发展历程: 1、第一版应用 图1-1 第二版 单机负载越来越高,数据库服务器和应用服务器分离 图1-2 第三版应用服务器做集群 图1-3 当做到这个部分的时候,就会出现一个问题,应用服务器集群的session共享问题 解决session跨域共享问题: 1、session sticky 2、session replication 3、session集中存储 存储在DB、存储在缓存服务器中(redis) 4、cookie(主流) access_token(userid/token/timestamp) soa架构和微服务架构 如何做请求转发 第四版 数据库的高性能操作 图1-4 1、数据库读写分离怎么操作 2、数据库的数据同步 3、数据库路由mycat 电商平台最多的操作: 搜索商品 图1-5 问题: 1、搜索引擎的索引数据怎么去做同步,实时增量同步? 还是定时全量同步? 第六版 解决访问量持续增高,引入缓存机制 用户量是没有上限的 缓存、 限流、 降级 图1-6 第8️版本数据库的水平/垂直拆分 图1-7 第9版本

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册