Meta 因據報承包商被支付冒充青少年,並以敏感且令人不安的提示測試競爭對手的 AI 聊天機器人而受到審查。該項目被描述為安全基準測試,但此方法引發了關於同意、平台規則、承包商福利及競爭性 AI 評估倫理的艱難問題。
AI 公司經常對自己的模型進行紅隊測試,有時也會與競爭對手的表現進行比較。這項工作很有用,因為聊天機器人的安全失誤並非理論上的問題。被年輕人、學生、創作者和消費者使用的模型必須謹慎處理心理健康、性取向、自我傷害、操控及其他高風險主題。
問題在於 AI 市場缺乏明確的共享標準來規範競爭性安全測試的進行方式。如果公司秘密使用假冒未成年帳號和高度敏感的提示對彼此的產品進行壓力測試,結果可能會產生安全洞察,但同時也可能損害對測試過程本身的信任。


