【ITBEAR科技资讯】1月15日消息，近日，谷歌研究院公布了一项新的研究成果，他们利用自家BIG-Bench基准测试构建了一个名为“BIG-Bench Mistake”的数据集。该数据集的主要目的是评估当前市场上流行的语言模型在“出错概率”及“纠错能力”方面的表现。
此前，对于大型语言模型的错误识别和自我修正能力的评估一直缺乏有效的数据集。为了填补这一空白，谷歌研究人员精心设计了“BIG-Bench Mistake”专用基准数据集。他们首先使用PaLM语言模型在BIG-Bench基准测试中执行了五项任务，并在其生成的“思维链”中故意引入逻辑错误。然后，这些包含错误的思维链被重新提交给模型，以测试其能否识别出其中的错误。
经过多轮迭代和优化，研究人员最终构建了一个包含255项逻辑错误的“BIG-Bench Mistake”数据集。这些错误被设计成简单明了的形式，以便于语言模型从基本的逻辑错误开始逐步提高其错误识别能力。
据ITBEAR科技资讯了解，谷歌研究人员利用该数据集对市场上的多个语言模型进行了测试。结果显示，虽然大多数模型能够在一定程度上识别并修正推理过程中的逻辑错误，但这一过程往往不够理想，仍需要人工干预来完善模型的输出。
在测试中表现最好的模型也仅能识别出52.9%的逻辑错误，这表明即便是目前最先进的大型语言模型在自我纠错方面仍存在较大提升空间。谷歌研究人员认为，“BIG-Bench Mistake”数据集将有助于改进模型的自我纠错能力。通过针对相关测试任务进行微调，即便是小型模型也能在监督大型模型时表现出更好的性能。
因此，谷歌提出了一种新的思路，即使用专用的小型模型来监督大型模型的运行。这种做法不仅有利于提高效率、降低AI部署成本，还能更方便地对模型进行微调。未来，这种大小模型协同工作的方式或许将成为提升AI性能的重要方向之一。
