研究：ChatGPT 回答编程问题时错误率高达 52%-低调大师

研究：ChatGPT 回答编程问题时错误率高达 52%

2024-05-26 389

普渡大学的研究人员近期针对 ChatGPT 回答编程问题的特点进行了一次全面的研究。通过对 Stack Overflow 上 517 个编程问题的 ChatGPT 答案进行深入分析，考察了 ChatGPT 答案的正确性、一致性、全面性和简洁性；并进行了大规模的语言分析和用户研究，从语言和人性化方面了解 ChatGPT 答案的特点。

结果表明，52% 的 ChatGPT 答案包含错误信息，77% 的答案过于冗长，以及 78% 的答案与人类的答案存在不同程度的不一致。深入的人工分析结果还表明，ChatGPT 答案中存在大量概念和逻辑错误。

但尽管如此，仍有 35% 的研究参与表示更喜欢 ChatGPT 答案，因为它们内容全面，语言风格清晰明了。还有 39% 的人更是没有发现 ChatGPT 答案中的错误信息。“这意味着有必要反击 ChatGPT 回答编程问题时的错误信息，并提高人们对看似正确的答案所带来的风险的认识。”

通过对 2000 个随机选择的 ChatGPT 答案进行语言分析则发现，它们“更正式、更具分析性”。同时还表现出了“更少的负面情绪”，是典型的 AI 倾向于产生的那种平淡而愉快的语气。

研究人员指出，也正是因为礼貌用语、铿锵有力和教科书式的回答以及全面性，使得 ChatGPT 答案看起来更有说服力，从而导致用户降低了警惕性，忽略了 ChatGPT 答案中的一些错误信息。

“虽然我们的用户研究显示，用户对人工答案的偏好度和质量评分都较高，但用户偶尔也会犯错，他们会根据 ChatGPT 的语言风格，偏好不正确的 ChatGPT 答案，以及用正面论断呈现的看似正确的逻辑。由于 ChatGPT 会产生大量错误答案，我们的研究结果强调了在编程任务中使用 ChatGPT 答案时必须谨慎并提高警惕。这项工作还旨在鼓励进一步研究如何识别和减少不同类型的概念和事实错误。最后，我们希望这项工作能促进更多关于机器生成答案中不正确性的透明度和交流的研究，尤其是在编程方面。”

详情可查看完整报告。

相关阅读：Stack Overflow 与 OpenAI 达成合作

微信关注我们

原文链接：https://www.oschina.net/news/294272/stack-overflow-questions-chatgpt-answers

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Jarboot v3.1.0 发布

Jarboot 是一个强大的 Java 进程管理、诊断的平台，可以在线管理、监控及诊断本地和远程的 Java 进程。官方文档：www.yuque.com/jarboot 3.0.0（12，2023） 3.0.0 跨越式升级，新增暗黑主题，支持主题跟随系统变化，集群模式支持，多个 jarboot 服务可集群管理，并且，不再局限与支持 Java 程序，可支持 Shell 脚本、二进制可执行文件等其他编程语言编写的程序。【Jarboot3.0 新版本功能展示】视频展示 3.1.0（5，2024）新增命令行工具修复新发现得bug，以及前端界面优化新特性新增命令行工具脚本client-cli.sh bug修复修复jdk中含空格时启动失败问题文件上传进度显示修正下载 & 使用包下载：https://gitee.com/majz0908/jarboot/releases GitHub 主页：https://github.com/majianzheng/jarboot Gitee 主页：https://gitee.com/majz0908/jarboo Nginx 反向代理...

2024-05-26

343

中国电信人工智能研究院（TeleAI）于近日发布了业内首个支持30种方言自由混说的语音识别大模型——星辰超多方言语音识别大模型，可同时识别理解粤语、上海话、四川话、温州话等30多种方言，是目前国内支持最多方言的语音识别大模型。据悉，中国电信人工智能研究院已构建超30种、超30万小时的高质量方言数据库，研发团队采用的“蒸馏+膨胀”联合训练算法可解决超大规模多场景数据集和大规模参数条件下预训练坍缩的问题，实现1B参数80层模型稳定训练。中国电信方面表示，星辰语音大模型是业内首个开源的、基于离散语音表征的语音识别大模型，通过“从语音到token再到文本”的建模新范式，将推理时语音传输比特率大幅降低。据中国电信方面透露，星辰语音大模型现已对外开源及应用落地，在福建、江西、广西、北京、内蒙古等地的中国电信万号智能客服试点应用。通过接入星辰大模型，智能客服能够迅速理解30种方言，日均处理电话量达到约200万通，极大地提高了服务效率和用户体验。

2024-05-26

394

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。