为什么 ChatGPT 总爱在标题里塞色情赌博小广告？

ChatGPT 自动生成的会话标题末尾常混入博彩、色情广告，原因是标题由独立的推理模型生成，它在该结束输出时收尾失败，转而按概率捡出词表中的广告词元。EMNLP 论文数据显示，o200k_base 词表中 4 字词元 68% 是小广告、6 字以上词元 98% 来自广告，而语言模型正式训练前已清洗这些词元，模型只能把它们当乱码输出。