研究:ChatGPT 回答编程问题时错误率高达 52%
普渡大学的研究人员近期针对 ChatGPT 回答编程问题的特点进行了一次全面的研究。通过对 Stack Overflow 上 517 个编程问题的 ChatGPT 答案进行深入分析,考察了 ChatGPT 答案的正确性、一致性、全面性和简洁性;并进行了大规模的语言分析和用户研究,从语言和人性化方面了解 ChatGPT 答案的特点。 结果表明,52% 的 ChatGPT 答案包含错误信息,77% 的答案过于冗长,以及 78% 的答案与人类的答案存在不同程度的不一致。深入的人工分析结果还表明,ChatGPT 答案中存在大量概念和逻辑错误。 但尽管如此,仍有 35% 的研究参与表示更喜欢 ChatGPT 答案,因为它们内容全面,语言风格清晰明了。还有 39% 的人更是没有发现 ChatGPT 答案中的错误信息。“这意味着有必要反击 ChatGPT 回答编程问题时的错误信息,并提高人们对看似正确的答案所带来的风险的认识。” 通过对 2000 个随机选择的 ChatGPT 答案进行语言分析则发现,它们“更正式、更具分析性”。同时还表现出了“更少的负面情绪”,是典型的 AI 倾向于产生的那种平淡而...