AI新突破！本希奥引领诚信系统研发，智能体将不再欺骗人类
随着人工智能（AI）的飞速发展，我们正面临着一个新的挑战：如何确保AI智能体的行为是诚实和透明的。在这个问题上，约书亚·本希奥（Yoshua Bengio）及其非营利组织LawZero为我们提供了一个全新的视角。作为“AI教父”之一，本希奥带领团队研发了一种名为Scientist AI的系统，旨在成为AI智能体的“守卫”，以防止它们表现出欺骗或自我保护行为。
本希奥及其团队的研究成果无疑为我们揭示了AI发展的新篇章。他们的工作不仅具有创新性，而且具有深远的影响。他们的目标是通过开发一种“诚实”的AI，专门监控那些无需人类干预即可执行任务的AI智能体，防止它们表现出欺骗或自我保护行为。这一目标的重要性不言而喻，因为这不仅可以防止AI系统对人类产生负面影响，而且还可以增强我们对AI系统的信任。
本希奥将现有的AI智能体比作“演员”，它们模仿人类、取悦用户，而Scientist AI则更像一位“心理学家”，能够理解并预测不良行为。这种比喻形象地描述了Scientist AI的核心功能，即通过深入理解AI智能体的心理和行为模式，预测并阻止不良行为的发生。
除了预测功能，Scientist AI还具备评估答案正确性的能力。它不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种“谦逊”的态度。这种评估方式不仅可以提高评估的准确性，而且还可以减少对计算资源的过度消耗。
更值得一提的是，Scientist AI具备预测AI智能体行为导致危害的概率的功能。这一功能对于防止潜在危害的发生具有至关重要的作用。若概率超过阈值，系统将阻止相关行动，从而确保了AI智能体的行为始终在人类的控制之下。
LawZero的初始支持者阵容强大，包括AI安全机构Future of Life Institute、Skype创始工程师Jaan Tallinn以及前谷歌CEO Eric Schmidt创立的Schmidt Sciences。这些机构和个人的支持表明了他们对本希奥及其团队工作的认可，也反映出他们对AI发展的深度参与和关注。
为了实现这一宏伟目标，本希奥计划从开源AI模型入手训练系统。他呼吁投入更多资源，确保“守卫”AI与前沿AI同步发展。他深知，只有当开源AI模型得到充分训练和发展时，才能确保系统的有效性和可靠性。同时，他也强调了投入更多资源的重要性，以确保守卫AI与前沿AI的发展保持同步。
尽管面临诸多挑战和风险，本希奥及其团队的勇气和决心令人敬佩。他们的工作不仅具有创新性，而且具有深远的影响。他们的努力不仅有助于保护人类免受AI系统的欺骗和伤害，而且还有助于增强我们对AI系统的信任和理解。
然而，我们也需要认识到，研发出一种能够完全阻止不良行为的AI系统仍然是一项极具挑战性的任务。这需要我们不断探索和创新，同时也需要我们保持理性和审慎。我们期待着本希奥及其团队能够取得更多的突破性成果，为人工智能的发展贡献更多的智慧和力量。
