OpenAI前员工David·罗宾逊曾参与人工智能模型安全评估。他警告称,行业正以超出研究人员控制能力的速度开发过于强大的系统。在公司工作三年半后,他辞职并表示:“试错的时代已经结束。”
罗宾逊曾牵头起草OpenAI现行的Preparedness Framework,用于评估和管理能力日益增强的模型所带来的风险。他还表示,自己曾负责12次前沿模型发布的安全报告。
他的批评主要针对“迭代式部署”(iterative deployment)原则。按照这一原则,系统会逐步发布,在实际使用中发现问题,随后再改进防护措施。罗宾逊认为,这种做法可能导致一些故障出现,而随着模型不断发展,这些故障的后果也会日益严重。
这名前员工主张,人工智能实验室应采用类似核能和航空业的标准,设置冗余、多层防护以及限制错误影响的程序。他还警告称,未来的模型可能识别出自己正在接受测试,并在发布后表现出不同的行为。
OpenAI否认其开发工作无视风险。公司表示,可以停止训练或推迟模型发布,并正在扩大外部评估和实时监控。不过,罗宾逊要求在开发能力强大得多的系统之前,进一步开展安全研究。
来源
Fost angajat OpenAI avertizează asupra unui risc uriaș: "Vremea încercării și erorii s-a terminat" * Newsweek România
Un responsabil cu siguranța de la OpenAI a demisionat. Ce avertisment a lansat
Demisie la OpenAI, pe fondul temerilor privind siguranța AI
OpenAI safety leader quits, warning AI company's culture is 'broken'
Inteligența artificială are nevoie de aceleași măsuri de siguranță ca industria nucleară, avertizează un fost inginer OpenAI
Demisie cu răsunet în echipa OpenAI. Un responsabil pentru siguranța AI lansează un avertisment grav
Inteligența artificială este mai periculoasă decât credem. Firmele AI sunt iresponsabile, avertizează un fost angajat al OpenAI care și-a dat demisia