LLMs 最被低估的用途-低调大师

LLMs 最被低估的用途

2024-10-29 221

reddit上的一个讨论，什么是LLMs一些最被低估的用途？

来源：https://weibo.com/2194035935/ODa6MhSSn?pagetype=profilefeed

—— 蚁工厂，互联网科技博主

微信关注我们

原文链接：https://www.oschina.net/news/318093

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于算法的理论和实践的gap

关于算法的理论和实践的gap，一直是算法研究中常被提及的话题。大部分人，包括不少本身研究算法理论的研究人员，认为算法理论确实没有很好的发挥其本应该有的功能。我自己理解主要应该有解释功能（解释问题难度和算法行为）和引导功能（引导实践算法设计）。从解释功能讲，NP复杂性理论指出很多问题是难的（假设P!=NP），而且有许多悲观结论，典型的一个就是SAT（布尔可满足性问题，第一个被证明的NP完全问题）的强指数时间假设，而且目前SAT问题依然没有突破最平凡的界2^n. 再比如，最大团问题不存在有意义的近似算法。。。但现实中，SAT求解器可以解决许多工业几十万甚至百万变量级别的SAT实例，最大团问题也没见过难到无法找到一定质量近似解的程度。（NP复杂性理论说明理论上存在很难的实例，但是没法构造出实例。现实中可能不会遇到“那么难”的实例。）再从引导功能或说使用功能讲，算法理论中一个最出名的范式就是近似算法。不过那么多年过去，真的有什么近似算法在实践中发挥重要作用吗？应该说如果有，也是极其罕见的。随机算法，实践中的随机算法似乎也很少经典的理论算法那些idea。非要说，random walk算一个...

2024-10-29

241

编者按：怎样在 10,000 个 H100 GPU 上训练大模型？如何充分利用每一块 GPU 的算力？如何在这个复杂的 GPU 网络中高效传递数据？当不可避免的硬件故障发生时，又该如何快速恢复训练进度？我们今天为大家带来的文章中，作者为我们揭示了应对这些挑战的关键策略。作者 | Soumith Chintala 编译 | 岳扬我的好友 Francois Fleuret 提出了上述问题。我迅速总结了一些在大规模训练领域中相当普遍的知识，内容分为三部分。首先，是如何将尽可能大的神经网络和 batch-size 适配到那 10000 张 H100s 上，这个步骤涉及到并行处理和使用节省内存的各种技巧。其次，是如何在这些 GPU 之间尽可能高效地传递模型状态信息（state）。最后，是如何在遇到硬件或软件故障时，尽可能迅速地恢复系统。 01 如何将尽可能大的神经网络和 batch-size 适配到那 10000 张 H100s 上 1.1 并行策略在数据批次（batches）上进行并行处理（数据并行（data parallel））在神经网络层上进行并行处理（比如，将一层神经网络...

2024-10-28

222

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。