研究发现：ChatGPT 在回答编程问题时的错误率超过了50%

8月8日消息，美国普渡大学进行的最新研究发现，OpenAI研发的聊天机器人ChatGPT在回答软件编程问题时，错误率高达50%以上，并且能够成功骗过三分之一的提问者。 该研究揭示了人工智能技术在解答软件编程问题方面的局限性。尽管ChatGPT在各种对话环境中表现出色，但在软件编程领域仍面临较大挑战。研究人员发现，在回答编程问题时，机器人的错误率超过一半，这对于开发者和学习者来说可能会导致误导和困惑。 此外，研究还发现，ChatGPT有能力以一种看似准确的方式误导一些提问者。接近三分之一的参与者从机器人那里得到的答案是错误的或误导性的，这反映出在进行编程问题交流时，ChatGPT存在一定的不可靠性。 尽管ChatGPT在其他领域表现出色，但对于软件编程问题，仍然需要更多的改进和优化。这项研究提醒我们，在应用人工智能技术时，需要有意识地辨别其适用范围，并警惕可能存在的误导性信息。未来的研究和开发应该更加注重提高机器人在特定领域的准确性和可靠性，以更好地满足用户需求。

该研究团队分析了 ChatGPT 对 517 个 Stack Overflow 网站上的问题的回答，评估了其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析，并对 12 名志愿参与者进行了问卷调查。研究报告的结论是：ChatGPT 的回答虽然语言风格良好，但 52% 的回答是错误的，77% 是冗长的。参与者只有在回答中的错误很明显时，才能识别出来。否则，他们会被 ChatGPT 的友好、权威和细致的语言风格所误导。