BAT 集体重做「AI 预训练」，补「脏数据」的坑

📋总体概括

近大半年，国内一批大模型厂商密集启动「预训练返工」，共同原因是预训练数据质量不过关。部分厂商曾耗时一年死磕万亿参数模型，落地表现却被市面上仅1%规模的小模型倒挂，排查后发现问题出在脏数据上。BAT等大厂也集体重做AI预训练。这一轮集体返工说明：模型规模竞赛已让位于数据质量竞赛，数据清洗与治理成为决定模型成败的关键环节，也是国内厂商此前盲目堆参数留下的普遍欠账。