费用
按 token 计费，不按请求数
1 个 token 大约相当于 4 个英文字符，或 1–2 个汉字。输入与输出分开计价，输出通常比输入贵好几倍。
重复的前缀更便宜
部分服务商对完全一致的输入前缀给折扣，典型是一段很长的系统提示。让它字节保持一致，输入成本能明显下降。
先用便宜的模型
简单任务交给小模型，把握不足时再升级。这一处改动带来的成本下降，通常比在单价上反复协商更明显。
限制
上下文窗口是硬上限
窗口算的是整段对话：系统提示、历史、检索到的文档加上回复。超出直接报错。接近上限时要主动裁剪历史或压缩成摘要。
两个限流分开计算
每分钟请求数与每分钟 token 数是独立的限制，两边都会卡住你。高频短请求撞请求数上限，超长提示词撞 token 上限。
先看状态码
401 是 key 无效，重试没意义；429 是限流或余额为空；400 多为请求体格式错误或上下文超长；5xx 属于服务商侧，退避重试。
参数
temperature
控制随机性。抽取、分类、格式转换用接近 0；写文案和头脑风暴用 0.7–1.0。中途改动会让前后结果难以对比。
max_tokens
限制的是回复长度，不是输入。它仍按输出计费，设得高本身不花钱，但会允许很长的昂贵回复。
流式输出
流式不会让模型算得更快，只是让第一批字符更早出现，而用户感知的正是这个。对话类用它，批处理不需要。