ChatGPT的开发商OpenAI最近表示，该公司计划投入大量资源，创建一个新的研究团队，以确保其人工智能对人类来说是安全的。
OpenAI联合创始人表示，超级智能的巨大力量可能导致人类被剥夺权力，甚至人类灭绝。目前，我们还没有一个解决方案来操纵或控制一个潜在的超智能人工智能，并防止它失控。
他预测，比人类更聪明的超智能人工智能可能在这个十年到来。人类需要研究比目前更好的技术来控制超级人工智能，即所谓的“对齐研究”（alignment research），该研究的重点是确保人工智能对人类有益。
研究团队将会创建一个“人类水平”的AI对齐研究者，OpenAI将使用20%的计算能力来解决这个问题，并且通过大量的计算能力进行扩展。这意味着他们将使用人类反馈来训练AI系统，训练AI系统辅助人类评估，然后最终训练AI系统进行实际的对齐研究。
不过有专家对这一计划提出异议，因为它在设计上存在根本缺陷，最初的人类水平的人工智能可能会在解决人工智能安全问题之前失控并造成严重破坏。
人工智能的潜在威胁一直是研究人员和公众最关心的问题，今年5月，一群人工智能行业领袖和专家签署了一封公开信，呼吁暂停六个月开发比OpenAI的GPT-4更强大的系统，理由是对社会存在潜在风险。
Source :
