「X」Embedding in NLP｜Token 和 N-Gram、Bag-of-Words 模型释义
ChatGPT（GPT-3.5）和其他大型语言模型（Pi、Claude、Bard 等）凭何火爆全球？这些语言模型的运作原理是什么？为什么它们在所训练的任务上表现如此出色？ 虽然没有人可以给出完整的答案，但了解自然语言处理的一些基本概念有助于我们了解 LLM 内在工作原理。尤其是了解 Token 和 N-gram 对于理解几乎所有当前自回归和自编码模型都十分重要。本文为“「X」Embedding in NLP”的进阶版，将带大家详解 NLP 的核心基础！ 01.Token 和 N-gram 在 C/C++ 的入门计算机科学课程中，通常很早就会教授字符串的概念。例如，C 语言中的字符串可以表示为以空字符终止的字符数组： char my_str[128] = "Milvus"; 在这个例子中，每个字符都可以被视为一个离散单位，将它们组合在一起就形成了有意义的文本——在这种情况下，my_str表示了世界上最广泛采用的向量数据库。 简单来说，这就是 N-gram 的定义：一系列字符（或下一段讨论的其他离散单位），当它们连在一起时，具有连贯的意义。在这个实例中，N 对应于字符串中的字符总数（在这个...
