OpenAI 员工的一天-低调大师

OpenAI 员工的一天

2024-02-22 326

Chain Of Thought (CoT) 第一作者、从谷歌跳槽到 OpenAI 的 Jason Wei 分享了自己在 OpenAI 的一天：

[9:00am] 起床

[9:30am] 搭乘 Waymo 前往 Mission SF，途中在 Tartine 买个牛油果吐司

[9:45am] 背诵 OpenAI 章程。向优化之神致敬，学习《The Bitter Lession》（强化学习之父 Rich Sutton 著）

[10:00am] 在 Google Meet 上开会，讨论如何在更多数据上训练更大的模型

[11:00am] 敲代码，在更多数据上训练更大的模型。搭档是 Hyung Won Chung

[12:00pm] 去食堂吃午饭（纯素且无麸质）

[1:00pm] 真正开始在大量数据上训练大模型

[2:00pm] 处理基础设施问题（我是脑子被驴踢了吗为啥要从 master 分支拉代码？）

[3:00pm] 监控模型训练进度，玩 Sora

[4:00pm] 给刚才训练的大模型上提示工程

[4:30pm] 短暂休息，坐在牛油果椅子上，思考 Gemini Ultra 的性能到底有多强

[5:00pm] 头脑风暴模型可能的算法改进

[5:05pm] 修改算法风险太高，pass。最安全的策略还是力大砖飞（增加算力和数据规模）

[6:00pm] 晚餐时间，和 Roon 一起享用蛤蜊浓汤

[7:00pm] 回家

[8:00pm] 喝点小酒，继续写码。Ballmer’s peak（酒精带来的编码高效阶段）即将到来

[9:00pm] 分析实验结果，我对 wandb 又爱又恨

[10:00pm] 启动实验，让它自己跑一晚上，第二天查看结果

[1:00am] 实验真正开始运行

[1:15am] 上床睡觉。在纳德拉和黄仁勋的守护下入梦。心想：压缩才是真谛。晚安

https://twitter.com/_jasonwei/status/1760032264120041684

微信关注我们

原文链接：https://www.oschina.net/news/279722

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

StarkNet 撒钱，程序员在 Web3 领了 14 万

StarkNet 启动空投活动，GitHub 排名前 5000 开源项目的贡献者可领取价值 $200 奖励。背景 StarkNet 公链项目为了激励开发者参与其平台建设，启动了空投活动。如果曾向 GitHub 上获得较多 Star 的项目提交过 PR ，就有资格领取 111.1 STRK 的空投奖励。只需要使用 OAuth 2.0 登录，就可以直接领取。有程序员晒出自己在这次空投活动获得的奖励——近 14 万人民币。 https://twitter.com/strrlthedev/status/1760182038504837287 领取规则截止到 2023 年 11 月 15 日，至少对全球排名前 5000 的仓库提交过三次代码贡献。其中至少有一次贡献是在 2018 年或之后完成的。领取步骤领取地址：https://provisions.starknet.io/ 访问奖励领取页面并连接钱包（推荐使用Argent X）。通过 GitHub 登录，采用 OAuth 2.0 验证方式。直接领取奖励。后续的治理投票和问卷调查可忽略不计。

2024-02-22

302

谷歌在北京时间昨晚发布了开源大模型Gemma，对标Meta旗下Llama 2。出门问问创始人李志飞发表文章点评，称Gemma推出时间有点晚、开源力度不够、未放下高贵的头颅。李志飞在文章中表示，相比于去年上半年就开源，现在可能要花数倍的努力进行模型的差异化以及推广的投入，才有可能在众多开源模型中脱颖而出。“面对OpenAI的强力竞争，只有杀敌一千、自损一千五。” 以下为李志飞全文：看到Google开源了小的语言模型Gemma，直接狙击Llama 2，回顾去年5月对Google关于开源和竞争的看法，几点思考如下： 1. 时间有点晚：相比于去年上半年就开源，现在可能要花数倍的努力进行模型的差异化以及推广的投入，才有可能在众多开源模型中脱颖而出。 2. 开源力度不够：感觉这次开源还是被动防御和略显扭捏的应对之策，不是进攻。比如说，开个7B的模型实在是太小儿科了，一点杀伤力都没有。应该直接开源一个超越市场上所有开源的至少100B的模型、1M的超长上下文、完善的推理infra方案、外加送一定的cloud credit。是的，再不歇斯底里Google真的就晚了。面对OpenAI的强力竞争，只有...

2024-02-22

321

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。