上周我用GPT-4重复调用同一基础prompt生成两份内容，耗时近半分钟，消耗近10美元。换成GPT-6做同样操作，耗时不到一秒，成本仅几十分之一。差异核心就在GPT-6的Prompt缓存升级——这不是小修小补，是戳中了大模型调用里最隐性的成本浪费痛点。
缓存的旧痛点：看不见的重复消耗
之前用大模型做应用，最闹心的不是模型答得不好，是重复调用的隐性浪费。比如你做个竞品分析工具，每次生成报告都要重复调用同一段基础prompt——哪怕只是改了个标点，或者参数微调了一点点，都得重新跑一遍，既费时间又烧钱。关键是你根本搞不清楚，为什么明明差不多的请求，就是没命中缓存，只能对着一堆日志瞎琢磨，累得要死还没效率。很多开发者为了省成本，不得不手动写一堆规则过滤prompt的微小差异，反而增加了调试负担。
GPT-6的缓存升级：四个实打实地改进
这次GPT-6的缓存优化，不是搞噱头，是四个实打实的功能升级：
第一，更高的缓存命中率。之前的缓存大多卡得死，必须prompt完全一模一样才会命中，连语义一致的不同表述都认不出来。现在能识别语义核心，比如“2024 AI行业报告”和“2024人工智能年度报告”这种，只要意思对，就能走缓存，命中场景多了不止一倍；
第二，新的诊断功能。之前你想知道缓存为什么没命中，得翻几十页日志，现在后台直接给你列出来：这次调用是没匹配到缓存，还是参数变了，或者触发了刷新规则，一目了然，不用再猜；
第三，显式断点设置。之前缓存刷新都是系统自动按时间来，万一核心参数变了，旧缓存还在跑，结果就歪了。现在你能手动设断点——比如当prompt里的竞品名称更新时，直接触发缓存刷新，保证结果准确；
第四，延迟和成本控制。命中缓存后，调用速度大幅提升，同时不用重复计算，资源消耗减少，直接带来成本的下降，对中小团队来说压力小太多。
给开发者的直接好处：不用再跟缓存较劲
之前做AI应用，开发者得花好几天写缓存规则，比如要不要统一prompt的格式，要不要过滤掉多余空格，现在GPT-6帮你搞定了这些麻烦。小团队想做个对话机器人，之前怕调用成本高不敢测，现在用GPT-6的缓存，哪怕每天跑几万次，成本也能压得很低。做长文档生成的，重复调用基础prompt的情况多，缓存一升级，效率直接拉满，不用再为“是不是重复计算”发愁。
这次GPT-6的缓存升级，会不会让它和其他模型的差距再拉大？毕竟不少竞品的缓存机制还停留在几年前的水平。你觉得GPT-6的这个改进，会让更多中小团队敢用大模型开发产品吗？
素材来源：OpenAI News · AI情报、大模型
查看报道原文
发表第一条评论吧