为什么大语言模型 OpenAI o1 有时候会用中文思考？
最近 X 上在讨论为什么大语言模型 O1，有时候会用中文思考？ 转发一段 Hugging Face 王铁震老师的想法： 我一直觉得，会两种语言不仅仅是能用两种语言交流，而是能根据话题和场景，自然地用更合适的语言去思考。比如，我更喜欢用中文做加减乘除，因为每个数字只有一个音节，算起来干脆利落。但一提到 “无意识偏见” 这种话题，我就会不自觉地切换到英语，毕竟这些概念我最开始就是从英语里学来的。 这让我想到编程语言：大多数程序用什么语言都能写，但我还是会用 Bash 写命令行脚本，用 Python 搞机器学习，因为每种语言都有自己最顺手的地方。现实中的语言也一样，我们会根据语言的特点和自己的习惯，选择最顺手的语言去表达特定的内容。 这也是为什么我觉得，在训练大语言模型（LLM）时，保持所有语言和文化的多样性和包容性特别重要。就像哲学家维特根斯坦说的：“语言的界限就是世界的界限。” 只有包容每一种语言的细微差别，才能让模型学到更全面的思维。即使两种语言里的两个词意思一样，它们在模型中的 Embedding 也可能完全不同，因为它们背后的文化和使用方式截然不同。在我看来，这种包容性不仅能打造更...
