AI 成本失控不是因为模型贵，而是设计上没做节约。先认清输入是主要成本（RAG 场景片段占 80%）；七个降本手段按投入产出排序；缓存只对 temperature≈0；片段压缩与输出限制的具体做法；任务路由常降 50-70%；以及一个从 4500 降到 900 的真实案例。

本地部署的盈亏平衡点、按显存选模型规模、Q4_K_M 为何是量化甜点、llama.cpp 与 vLLM 的取舍、KV cache 才是并发上限的真正限制、OpenAI 兼容接口的无感切换、以及本地 8B 模型的四条能力短板与混合架构。

提示词不是「说得客气」，而是把输出空间约束到想要的形状。讲 schema + 示例的结构化输出、few-shot 的示例选择（覆盖边界比数量重要）、CoT 何时有用何时有害、角色描述为何有效、六类失败模式的针对性修法、以及为什么必须维护测试集。

Agent 是「调用工具、观察结果、决定下一步」的循环，难在写稳。完整骨架 + 三重防护（max_steps、重复调用检测、结果截断）、工具描述要写「何时使用」、错误作为观察结果返回而非抛异常、上下文膨胀的三种压缩、trace 记录每步成本。

大部分 RAG 效果差不在模型，而在切分、召回、重排。完整链路：PDF 文本型/扫描型判定、按标题结构切分 + 面包屑、bge-m3 与 pgvector 选型、向量+关键词混合召回与 RRF 合并、交叉编码器重排、防幻觉提示词、最小评估集。