OpenAI Lily项目曝光 人工审核ChatGPT聊天记录

404 Media 近日披露了一份来自 OpenAI 内部的操作指引,曝光了代号「莉莉计划」(Project Lily)的人工审核项目:OpenAI 让专职人员逐条查看 ChatGPT 真实聊天记录,用来评判模型回复的质量。ChatGPT 对话数据被用于训练这件事不算秘密,但这套人工审核机制的具体运作方式,此前从未被完整公开过。

报道方拿到了项目的操作指引文档、Slack 工作群记录、真实 ChatGPT 对话样本,以及一套给对话分级的评分体系。干这活的人被称作「提示词审核员」,日常翻看匿名化处理后的用户对话,给 ChatGPT 的回答打分:看是否切题,有没有「AI 式话术」、居高临下的说教气、滥用表情符号,或者透着一股谄媚。

评分标准里有一条硬性限制:回复禁止拟人化表述,也不许编造「个人经历」。ChatGPT 可以说「我查到了一些相关信息」,但不能写成「身为一名厨师,我喜欢……」或者「我明白这种感受」。

受访审核员形容这份工作「十分机械重复」,但报酬不低:时薪据称超过 50 美元,约合人民币 336 元。隐私层面,OpenAI 表示聊天记录在送审前会经过匿名化处理,同时也承认过滤环节可能遗漏部分个人数据。

有个细节对普通用户比较要紧:ChatGPT 的数据收集开关,普通版默认开启,企业版、商业版和教育版默认关闭。为优化模型而交出对话数据,是这个产品目前的默认状态。

人工审核的存在意义在于,模型质量不能全交给算法评判——需要有人类判断一句回复是否切题、是否傲慢、是否像在敷衍。但代价也摆在明面上:只要聊天记录会被人看到,匿名化就只能算一道「尽力而为」的防线,而不是绝对保证。

发布评论
全部评论(0)