研究：ChatGPT 回答编程问题时错误率高达 52%-低调大师

研究：ChatGPT 回答编程问题时错误率高达 52%

2024-05-26 368

普渡大学的研究人员近期针对 ChatGPT 回答编程问题的特点进行了一次全面的研究。通过对 Stack Overflow 上 517 个编程问题的 ChatGPT 答案进行深入分析，考察了 ChatGPT 答案的正确性、一致性、全面性和简洁性；并进行了大规模的语言分析和用户研究，从语言和人性化方面了解 ChatGPT 答案的特点。

结果表明，52% 的 ChatGPT 答案包含错误信息，77% 的答案过于冗长，以及 78% 的答案与人类的答案存在不同程度的不一致。深入的人工分析结果还表明，ChatGPT 答案中存在大量概念和逻辑错误。

但尽管如此，仍有 35% 的研究参与表示更喜欢 ChatGPT 答案，因为它们内容全面，语言风格清晰明了。还有 39% 的人更是没有发现 ChatGPT 答案中的错误信息。“这意味着有必要反击 ChatGPT 回答编程问题时的错误信息，并提高人们对看似正确的答案所带来的风险的认识。”

通过对 2000 个随机选择的 ChatGPT 答案进行语言分析则发现，它们“更正式、更具分析性”。同时还表现出了“更少的负面情绪”，是典型的 AI 倾向于产生的那种平淡而愉快的语气。

研究人员指出，也正是因为礼貌用语、铿锵有力和教科书式的回答以及全面性，使得 ChatGPT 答案看起来更有说服力，从而导致用户降低了警惕性，忽略了 ChatGPT 答案中的一些错误信息。

“虽然我们的用户研究显示，用户对人工答案的偏好度和质量评分都较高，但用户偶尔也会犯错，他们会根据 ChatGPT 的语言风格，偏好不正确的 ChatGPT 答案，以及用正面论断呈现的看似正确的逻辑。由于 ChatGPT 会产生大量错误答案，我们的研究结果强调了在编程任务中使用 ChatGPT 答案时必须谨慎并提高警惕。这项工作还旨在鼓励进一步研究如何识别和减少不同类型的概念和事实错误。最后，我们希望这项工作能促进更多关于机器生成答案中不正确性的透明度和交流的研究，尤其是在编程方面。”

详情可查看完整报告。

相关阅读：Stack Overflow 与 OpenAI 达成合作

微信关注我们

原文链接：https://www.oschina.net/news/294272/stack-overflow-questions-chatgpt-answers

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Jarboot v3.1.0 发布

Jarboot 是一个强大的 Java 进程管理、诊断的平台，可以在线管理、监控及诊断本地和远程的 Java 进程。官方文档：www.yuque.com/jarboot 3.0.0（12，2023） 3.0.0 跨越式升级，新增暗黑主题，支持主题跟随系统变化，集群模式支持，多个 jarboot 服务可集群管理，并且，不再局限与支持 Java 程序，可支持 Shell 脚本、二进制可执行文件等其他编程语言编写的程序。【Jarboot3.0 新版本功能展示】视频展示 3.1.0（5，2024）新增命令行工具修复新发现得bug，以及前端界面优化新特性新增命令行工具脚本client-cli.sh bug修复修复jdk中含空格时启动失败问题文件上传进度显示修正下载 & 使用包下载：https://gitee.com/majz0908/jarboot/releases GitHub 主页：https://github.com/majianzheng/jarboot Gitee 主页：https://gitee.com/majz0908/jarboo Nginx 反向代理...

2024-05-26

322

中国电信人工智能研究院（TeleAI）于近日发布了业内首个支持30种方言自由混说的语音识别大模型——星辰超多方言语音识别大模型，可同时识别理解粤语、上海话、四川话、温州话等30多种方言，是目前国内支持最多方言的语音识别大模型。据悉，中国电信人工智能研究院已构建超30种、超30万小时的高质量方言数据库，研发团队采用的“蒸馏+膨胀”联合训练算法可解决超大规模多场景数据集和大规模参数条件下预训练坍缩的问题，实现1B参数80层模型稳定训练。中国电信方面表示，星辰语音大模型是业内首个开源的、基于离散语音表征的语音识别大模型，通过“从语音到token再到文本”的建模新范式，将推理时语音传输比特率大幅降低。据中国电信方面透露，星辰语音大模型现已对外开源及应用落地，在福建、江西、广西、北京、内蒙古等地的中国电信万号智能客服试点应用。通过接入星辰大模型，智能客服能够迅速理解30种方言，日均处理电话量达到约200万通，极大地提高了服务效率和用户体验。

2024-05-26

367

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。