xAI 推出首款多模式模型 Grok-1.5V
xAI 宣布推出 Grok-1.5V —— 第一代多模式模型,用于连接数字世界和物理世界。 除了强大的文本功能之外,Grok 现在可以处理各种视觉信息,包括文档、图表、屏幕截图和照片,预计该版本很快就会向早期测试者和现有 Grok 用户推出。 公告指出,Grok-1.5V 在多个领域(从多学科推理到理解文档、科学图表、图表、屏幕截图和照片)与现有的前沿多模态模型相比都具有很强的竞争力。在 RealWorldQA 基准测试中的表现也要优于同类产品。 RealWorldQA 是由 xAI 新推出的一个基准测试,旨在评估多模态模型的基本真实世界空间理解能力。 RealWorldQA 的初始版本包含 700 多张图像,每张图像都有一个问题和易于验证的答案。除了其他真实世界的图像之外,该数据集还包含从车辆拍摄的匿名图像。后续还将随着多模式模型的改进而进行扩展,RealWorldQA 在CC BY-ND 4.0下发布。现已可供下载 (677MB)。 示例:看图写代码 用户:你能把它翻译成 Python 代码吗? Grok:当然可以!您提供的流程图描述了一个简单的猜谜游戏:计算机生成一个随机数,用户...