Grab 自研语言模型解决亚洲语言识别难题
新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历,指出现有的大型语言模型在理解东南亚语言时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能,覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国、柬埔寨和缅甸等国家,这些地区的文档通常使用非拉丁字母的脚本。 在执行如客户身份验证等合规工作时,Grab 需要准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别(OCR)系统,但 Grab 发现这些技术在处理多样化的文档模板时效果不理想。 在2025年,Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能力,但在理解东南亚语言时常出现错误和延迟,而开源的视觉大型语言模型虽然更高效,但准确性仍不足。因此,Grab 决定自行构建一个视觉大型语言模型,该模型能将图像向量化,方便提取文本。 Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础,因为它的体积适中,支持东南亚语言,并能动态处理不同分辨率的图像。随后,Grab 从 Common Crawl 中提取了东南亚语言的内容,并建立了内部合成数据管...
