首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/5246775/blog/10926881

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

前谷歌 TensorFlow 核心创始成员潘欣加入零一万物

根据「甲子光年」的独家报道,前谷歌TensorFlow核心创始成员潘欣已于去年加入「零一万物」,担任首席架构师,负责多模态研发。 潘欣毕业于北京邮电大学与滑铁卢大学计算机系,与深度学习框架打交道多年,曾任职于谷歌、百度、腾讯、字节跳动,在CVPR,ICCV,SoCC等会议发表论文。 在谷歌期间,潘欣先在Core Infra从事大数据系统开发,后在2015年底加入谷歌大脑团队(Google Brain),与谷歌大脑的联合创始人杰夫·迪恩(Jeff Dean)、萨米·本吉奥(Samy Bengio)等合作,为TensorFlow和Brain Research的核心创始成员之一,对Eager、TPU、Profiling和Model Zoo等技术做出重要贡献。 2017年底,潘欣带着“打造国产第一框架”的理想受邀加入百度,担任深度学习技术平台部架构师,负责PaddlePaddle框架开发。2019年,潘欣加入腾讯担任平台与内容事业群(PCG) AI平台技术负责人,打造了深度学习框架“无量”。 在加入零一万物之前,潘欣在字节跳动担任AIGC和视觉大模型AI平台负责人。 零一万物是李开复博士在20...

三个方面浅析数据对大语言模型的影响

本文分享自华为云社区《浅谈如何处理大语言模型训练数据之二数据影响分析》,作者:码上开花_Lancer。 由于大语言模型的训练需要巨大的计算资源,通常不可能多次迭代大语言模型预训练。千亿级参数量的大语言模型每次预训练的计算需要花费数百万元人民币。因此,在训练大语言模型之前,构建一个准备充分的预训练语料库尤为重要。 本篇文章中,将从数据规模、数量质量以及数据多样性三个方面分析数据对大语言模型的性能的影响。需要特别的说明的是,由于在千亿参数规模的大语言模型上进行实验的成本非常高,很多结论是在100 亿甚至是10 亿规模的语言模型上进行的实验,其结果并不能完整的反映数据对大语言模型的影响。此外,一些观点仍处于猜想阶段,需要进一步验证。需要各位读者甄别判断。 1.数据规模影响 随着大语言模型参数规模的增加,为了有效地训练模型,需要收集足够数量的高质量数据,在文献 针对模型参数规模、训练数据量以及总计算量与模型效果之间关系的研究之前,大部分大语言模型训练所采用的训练数据量相较于LLaMA 等最新的大语言模型模型都少很多。 表1给出了模型参数量和预训练数据量对比。在Chinchilla 模型提出之前...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册