OpenAI发布图像分类器拦截儿童违规内容
一、分类器上线与警告机制同步推出
北京时间2026年11月16日,美国人工智能公司OpenAI宣布推出一款新的图像分类器,用于识别儿童性虐待内容,包括由人工智能生成的图像,同时在聊天机器人ChatGPT中加入警告机制。OpenAI表示,分类器与美国国家失踪与受虐儿童中心(NationalCenter for Missing and ExploitedChildren,NCMEC)合作开发,将通过应用程序接口免费提供给经过审核的组织;试图在ChatGPT中寻找或制作性化未成年人内容的用户将收到警告,相关对话会被删除,账号暂停24小时。OpenAI同时发布了面向开发者的防范指引,并表示将向执法部门提供人工智能调查工具与培训。
二、识别未知图片与早期测试结果
与依赖已知图片哈希数据库的传统做法不同,OpenAI的新分类器通过分析图像的视觉特征来判断疑似违规内容,能够对从未见过的新图片打分,辅助人工审核人员决定如何处理,另设专门信号识别疑似人工智能生成的违规图像。OpenAI在同日发布了分类器的模型卡,公布了测试方法与局限。早期合作伙伴测试显示,在检出同等数量违规图片的前提下,需要人工复核的图片减少了48%,被分类器标记的图片确为违规内容的可能性约为原来的两倍。参与早期测试的机构包括fal、invideoAI与SafetyKit,OpenAI还与TechCoalition和ROOST合作共享接入渠道。ChatGPT警告信息的措辞由OpenAI与芬兰儿童保护组织ProtectChildren、英国慈善机构Lucy Faithfull Foundation以及澳大利亚塔斯马尼亚大学研究员乔尔·斯坎兰(JoelScanlan)共同打磨,警告会向用户指出行为的危害并引导其寻求专业帮助,屡次违规可能导致更长期限制、账号关闭或向主管部门报告。这一动作的背景是人工智能生成图片让违规内容更难追踪,美国国家失踪与受虐儿童中心表示,2025年收到的生成式人工智能相关举报达到40万份,传统比对方式对新生成的图片基本失效。OpenAI也承认,分类器仍可能出现误报与漏报,人工智能生成信号不能验证图片来源,实际效果仍需独立检验,警告机制先向个人账号逐步推出,暂不覆盖企业与教育账号。
三、从查已知转向认未知
把检测从比对已知图片推向识别未知图片,是这次发布最值得注意的变化,人工智能生成的违规图片正好钻了传统哈希数据库的空子,视觉特征识别直接对准了这个缺口。免费开放给经过审核的组织,也降低了中小型安全团队使用这类工具的门槛,不过分类器只给出分数,最终判断仍然要靠人工复核,24小时暂停能否让试图违规的人真正停手,还需要在实际运行中观察。更长远的挑战在行业协作一边,如果各家平台各自为战,违规内容可能流向管控更松的地方,只有共享接入渠道、统一上报路径,技术工具才能真正压缩违规内容的生存空间。
信源跟踪: TechC | 数据时间: 北京时间2026年11月16日
