OpenAI的最新最强模型，在训练流程中因一道特定题目触发了系统级崩溃——这不是推理阶段的输出错误，是整个训练进程的强制中断。
触发崩溃的关键环节
模型训练是靠迭代优化参数的过程，每一步都要计算梯度、调整权重，对计算精度的要求极高。之前训练崩，要么是集群某个算力节点挂了，要么是数据里有大量重复垃圾内容拖慢了整体速度，这次的崩溃更具体：那道题的输入，刚好撞在了训练框架的计算边界上。比如一道需要复杂拓扑推导的数学题，模型处理时的数值运算出现了溢出，连带整个训练集群的进程都触发了系统异常，直接停了下来。这种情况，之前在小模型训练里极少出现，因为小模型数据量小，训练框架的边界容易覆盖，但大模型训练时，样本里的特殊情况会被放大，变成训练的致命漏洞。
对大模型训练的影响
之前行业聊大模型训练的风险，总绕不开算力瓶颈、数据污染，没想到会栽在一道题上。这说明，训练数据里藏着的“极值样本”，是之前被忽略的风险点。尤其是OpenAI这种练通用大模型的，训练数据多到没法逐行排查，只要有一个样本能触发训练框架的漏洞，整个集群的训练就可能废掉。现在大家都在堆算力、堆数据，想把模型做得更大更强，接下来得把“极值样本检测”加到训练流程的必选项里，不然算力再强，也可能卡在这种意外上。
一个没标准答案的问题
以后大模型训练，是不是要把“极值样本排查”的优先级，拉高到和算力扩容、数据清洗一样的位置？
素材来源：量子位 · AI情报、大模型
查看报道原文
发表第一条评论吧