自然语言处理 NLP 发展简史
从语言结构化理论基础,到 1750 亿参数的 GPT-3。一部 NLP 的百年发展史。 语言的结构化 20 世纪初,在瑞士的日内瓦大学,一位名叫费迪南德·德·索绪尔( Ferdinand de Saussure) 的语言学教授发明了一种将语言描述为“系统”的方法。 索绪尔教授认为,意义是在语言内部、语言各部分之间的关系和差异中创造的,“在词里,重要的不是声音本身,而是使这个词区别于其他一切词的声音上的区别,因为带有意义的也正是这些差别。" 他提出,“意义”产生于语言之间的关系和对比,而共享语言系统则使交流成为可能。 索绪尔将社会视为一个“共享”的规范体系,为合理的、可扩展的思想提供了条件,从而导致个人产生不同的决定和行动。 遗憾的是,索绪尔教授的理论还未发表,就于 1913 年去世。而他的两个学生阿尔伯特·薛施霭(Albert Sechehaye)和沙尔·巴利(Charles Bally)意识到了这项研究的重要性,收集了教授生前留下的手稿以及其他同学的笔记,编辑整理出了《通用语言学》一书,并于 1916 年出版。 该书奠定了后来的基础结构主义的方法论,成为现代语言学以及结构主义语言...



