LLMs 最被低估的用途-低调大师

LLMs 最被低估的用途

2024-10-29 297

reddit上的一个讨论，什么是LLMs一些最被低估的用途？

来源：https://weibo.com/2194035935/ODa6MhSSn?pagetype=profilefeed

—— 蚁工厂，互联网科技博主

微信关注我们

原文链接：https://www.oschina.net/news/318093

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于算法的理论和实践的gap

关于算法的理论和实践的gap，一直是算法研究中常被提及的话题。大部分人，包括不少本身研究算法理论的研究人员，认为算法理论确实没有很好的发挥其本应该有的功能。我自己理解主要应该有解释功能（解释问题难度和算法行为）和引导功能（引导实践算法设计）。从解释功能讲，NP复杂性理论指出很多问题是难的（假设P!=NP），而且有许多悲观结论，典型的一个就是SAT（布尔可满足性问题，第一个被证明的NP完全问题）的强指数时间假设，而且目前SAT问题依然没有突破最平凡的界2^n. 再比如，最大团问题不存在有意义的近似算法。。。但现实中，SAT求解器可以解决许多工业几十万甚至百万变量级别的SAT实例，最大团问题也没见过难到无法找到一定质量近似解的程度。（NP复杂性理论说明理论上存在很难的实例，但是没法构造出实例。现实中可能不会遇到“那么难”的实例。）再从引导功能或说使用功能讲，算法理论中一个最出名的范式就是近似算法。不过那么多年过去，真的有什么近似算法在实践中发挥重要作用吗？应该说如果有，也是极其罕见的。随机算法，实践中的随机算法似乎也很少经典的理论算法那些idea。非要说，random walk算一个...

2024-10-29

330

编者按：怎样在 10,000 个 H100 GPU 上训练大模型？如何充分利用每一块 GPU 的算力？如何在这个复杂的 GPU 网络中高效传递数据？当不可避免的硬件故障发生时，又该如何快速恢复训练进度？我们今天为大家带来的文章中，作者为我们揭示了应对这些挑战的关键策略。作者 | Soumith Chintala 编译 | 岳扬我的好友 Francois Fleuret 提出了上述问题。我迅速总结了一些在大规模训练领域中相当普遍的知识，内容分为三部分。首先，是如何将尽可能大的神经网络和 batch-size 适配到那 10000 张 H100s 上，这个步骤涉及到并行处理和使用节省内存的各种技巧。其次，是如何在这些 GPU 之间尽可能高效地传递模型状态信息（state）。最后，是如何在遇到硬件或软件故障时，尽可能迅速地恢复系统。 01 如何将尽可能大的神经网络和 batch-size 适配到那 10000 张 H100s 上 1.1 并行策略在数据批次（batches）上进行并行处理（数据并行（data parallel））在神经网络层上进行并行处理（比如，将一层神经网络...

2024-10-28

307

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。