AI Essentials: Tokens, Context, Temperature 🔮 1.1 程序员视角的 LLM

•

🔮 1.1 程序员视角的 LLM：它不是魔法，它是数学。很多开发者觉得 AI 是黑盒，其实它本质就是一个概率函数，类似“老虎机”： Input: Context -> Output: Next Token BibiGPT 全栈 AI 实战本模块带你拆解 4 个最核心的概念： 1. Token 2. Context Window 3. Temperature 4. Streaming 👇 Thread x.com/Jimmy_JingLv/status/2004030112677949751 x.com/Jimmy_JingLv/status/2004030112677949751

1️⃣ Token (词元) LLM 不识字，它只认识 Token。 "Hamburger" 不是一个词，是 "Ham", "bur", "ger"。为什么重要？ 💰 计费按 Token 算 🧠 记忆限制按 Token 算我们在前端用 `gpt-tokenizer` 预估 Token，以及 AI SDK 统计所消耗的 token usage

2️⃣ Context Window (上下文窗口) 这是 LLM 的“短期记忆”，像一条有限长的传送带。新信息进来 ➡️ 旧信息掉落悬崖（被遗忘）。这就是为什么我们需要 RAG (检索增强生成)：不是把整本书塞进去，而是只把“当前最相关”的那几页塞进这个窗口。

3️⃣ Temperature (温度) 控制 AI “脑洞”的开关 (0.0 - 2.0)。 ❄️ **0.0 (Cold)**: 绝对理性。适合：代码生成、提取 JSON。 🔥 **1.0 (Hot)**: 疯狂艺术家。适合：头脑风暴、创意写作。在 BibiGPT： - 总结视频用 0.3 (求稳) - 起标题用 0.7 (求吸睛)

4️⃣ Streaming (流式传输) 这是现代 AI 应用 UX 的基石。 AI 生成很慢。如果不流式输出，用户会以为你的网断了。要做到 TTFB (Time To First Byte) 极短，让字一个个蹦出来。这不仅仅是特效，这是心理学。让用户感知到“它正在思考”。

总结： ✅ Token: 计费单位 ✅ Context Window: 短期记忆传送带 ✅ Temperature: 脑洞开关 ✅ Streaming: 体验救星理解了这 4 点，你就懂了 90% 的 Prompt Engineering 原理。下节课 Module 1.2： Hello World。我们要用 Vercel @AISDK 写出第一个 AI 程序。🚀