研究指出,像GPT-4这样的大模型,在某些情况下其回答可靠性甚至不如前一代模型GPT-3。这一发现引发了公众和学术界的热烈讨论,人们开始重新审视大型语言模型的发展路径。
研究还发现,新模型在面对超出其能力范围的问题时,更倾向于给出错误的答案,而不是像早期模型那样选择回避。这一变化可能导致用户在不知情的情况下依赖错误的模型输出。
该研究还探讨了人类监督在纠正模型错误中的作用。然而,结果显示,人类监督并不能有效解决模型的不可靠性问题。在人类认为困难的操作区域中,他们经常将错误的输出视为正确,这进一步加剧了模型的不可靠性。
为了解决这些问题,论文提出了一些可能的解决方案,包括使用人类难度预期进行更好的训练或微调模型,以及教会模型如何规避超出自身能力范围的问题。
这一研究为人工智能领域带来了新的挑战和思考,如何在模型扩展和提升的过程中确保其可靠性,成为了未来研究的重要方向。