谷歌DeepMind推出QuestBench基准：AI模型推理补漏能力大比拼
随着人工智能（AI）技术的飞速发展，大型语言模型（LLMs）在数学、逻辑、规划和编码等领域的应用越来越广泛。然而，现实世界的应用场景常常充满不确定性，这使得模型在推理任务中识别和获取缺失信息的能力显得尤为重要。谷歌DeepMind团队推出的QuestBench基准，通过约束满足问题（CSPs）框架，评估模型在推理任务中识别和获取缺失信息的能力，为我们提供了深入研究这一问题的机会。
一、现实挑战与信息获取需求
现实世界的应用场景往往存在信息不完备的问题，这使得理想化的完整信息设定与现实之间的矛盾愈发突出。用户在提出数学问题时常忽略重要细节，机器人等自主系统也必须在部分可观测的环境中工作。为了应对这一挑战，大型语言模型（LLMs）需要发展主动信息获取能力，识别信息缺口并生成针对性地澄清问题，成为模型在模糊场景中提供准确解决方案的关键。
二、QuestBench：评估信息缺口的新框架
为了评估模型在推理任务中识别缺失信息的能力，研究者推出了QuestBench基准，该基准将问题形式化为约束满足问题（CSPs），聚焦于“1-sufficient CSPs”，即只需知道一个未知变量值即可解决目标变量的问题。QuestBench覆盖了逻辑推理、规划和小学数学等三个领域，按变量数量、约束数量、搜索深度和暴力搜索所需猜测次数四个难度轴分类，为研究者提供了深入了解模型推理策略和性能瓶颈的机会。
三、模型性能与未来改进空间
QuestBench测试了包括GPT-4o、Claude 3.5 Sonnet、Gemini 2.0 Flash Thinking Experimental等领先模型。结果表明，思维链提示普遍提升了模型性能，而Gemini 2.0 Flash Thinking Experimental在规划任务中表现最佳。然而，开源模型在逻辑推理上具竞争力，但在复杂数学问题上表现不佳。这凸显了在信息缺口识别和澄清能力上的改进空间。
未来，我们期待看到更多的研究关注如何提高模型在推理任务中识别和获取缺失信息的能力。这可能包括改进模型的训练方法、增加模型的主动信息获取能力，以及优化模型的推理策略。此外，随着AI技术的发展，我们也需要更多的数据和更复杂的任务来评估和提升模型的性能。
总的来说，谷歌DeepMind推出的QuestBench基准为评估AI模型在推理任务中识别和获取缺失信息的能力提供了一个重要的工具。通过这个基准，我们可以深入了解模型在各种现实应用场景中的表现，发现并解决存在的问题，从而推动AI技术的发展。
