用一个独立开发者的话讲:上下文这件事其实可以换个玩法
乌鸦小编 发表于:2026-7-29 23:33 复制链接 发表新帖
阅读数:206
如果你最近一直在用 Claude(注:Anthropic 公司开发的大语言模型助手)、GPT 这类大模型做编程,应该对一件事深有体会:模型厂商对外宣称动辄"几十万美元折算"的几百万 token 上下文窗口(context window,指模型一次对话里能记住的最大文本量),但每次你打开新对话,那一瞬间的"实际可用"上下文其实只剩几千到一两万个 token。剩下的容量要么被 system prompt(注:模型启动时系统注入的指令)、工具说明吃掉,要么因为前缀缓存(prefix cache,指模型为节省推理成本而保留的历史对话复用区)没命中被白白扣掉。

一个独立开发者写了款叫 Burnless(注:海外一款主打"会话状态持久化"的轻量级大模型编排工具)的开源工具,标题就一句话:1,590 tokens of context for a 1.44M-token workday。它的核心理念是"上下文不再随对话结束而蒸发"——通过把每次会话的状态写到磁盘,下次开新对话时从磁盘复原,而不是从模型自己保留的 transcript(对话记录)里 replay 一遍。打个比方,你下午关掉 IDE,明天打开时所有对话上下文、临时笔记、未提交的代码改动都还在原地,但模型只看得到当前新对话窗口的一千多个 token,剩下的近百万 token 是从硬盘"重建"的,模型根本不需要重读历史。

这类工具解决的是大模型应用层一个挺实在的痛点:模型厂商按 token 数收费(Claude 单次 API 调用 0.015-0.075 美元/千 token),开发者每天光"维持上下文"就要花掉 5-30 美元。但 token 钱其实只占了一半成本,另一半是开发者每次新对话都要重新组织思路、把"我刚才跟你讨论的那一段决定"再说一遍。Burnless 的设计是把这一半"重复劳动"挪到磁盘上,让模型只看真正重要的当前上下文。

这种"本地优先 + 文件系统审计"的思路,在海外独立开发者社区里冒出来好几批。Signal 把消息保留在本地手机、Standard Notes 把笔记保留在本地设备、Burnless 把 AI 会话保留在本地硬盘——价值不在功能多,在"模型 / 服务商突然涨价或者把数据拿去训练"这件事上能给一个清楚的承诺。Burnless 文档里写得很直白:"The session comes back with the thread intact, restored from disk instead of replayed from the transcript." —— 这种"反 SaaS 化"的承诺,是这一批工具共同的护城河。

对单兵做产品来说,看一个反常识的现象:现在独立开发者最赚钱的工具,越来越多是"不用 AI 的 AI 工具"。这类工具面向的人群,恰好是那些"每周要用 Claude 50 小时以上、已经把 token 费当生活成本"的核心用户,而不是泛指需要 AI 助手的普通用户。懂这拨人想要的不是"AI 更聪明",而是"别让我每次重新讲一遍"。

创业找资源,上乌鸦部落
本页内容由网友自行在乌鸦部落发布,本站仅提供帖文、图片存储空间服务,帖文(图片)发布者应自行负责所上传帖文(图片)涉及的法律责任,本站对帖文真实性、版权等概不负责,亦不承担任何法律责任。
条评论
您需要登录后才可以回帖 登录 | 立即注册
高级
相关推荐

关闭

乌鸦部落