LLM KV Cache: A Simple Implementation
Introduction
在看很多大语言模型的推理代码时，发现有一个非常重要的概念，就是 KV Cache。 这里我们简要介绍一下 KV Cache 的核心原理并给出基于 GPT-2 的代码实现以便于本地复现。 相关的实验和测试代码同样开源在toyllm.
终身学习¶
ToyRL: 从零实现深度强化学习算法
简介
在看 LLM + RL 的一些论文时，发现对于一些 RL 概念 (比如 GAE) 的理解还是有所欠缺， 所以就系统地学习了一遍深度强化学习（Deep Reinforcement Learning）相关的知识。选的书是 Foundations of Deep Reinforcement Learning1.
在阅读过程中，将书中介绍的一些算法（REINFORCE、SARSA、DQN（Double DQN）、A2C、PPO）用 PyTorch 从头实现了一遍，统一整理到了开源库， 也就是今天要介绍的 ToyRL。 为了更好地配合书一起学习，当前实现尽量贴近书中的伪代码。 另外每个算法实现都在一个 Python 文件内完成，虽然有些重复代码，但是避免了代码碎片化，更便于学习。
简单聊一聊 Redis 的锁
今天我们分析一下 redis-py 一个奇怪的报错并据此简单聊一下 Redis 的锁机制。
LLM Speculative Sampling
前言
今天我们将介绍并复现 Deepmind 的一篇关于 LLM Speculative Sampling 的论文：Accelerating large language model decoding with speculative sampling1. 我们将用不到 100 行代码来复现这篇论文，并得到 2 倍以上的速度提升。
Deepseek GRPO 中的 KL Divergence
起
在 Deepseek R1 发布之后，看到了论文中 RL 的算法用的是 GRPO，而 GRPO 是在之前 Deepseek Math 的论文中被提出来的。GRPO 的目标函数如下：
\[ \begin{aligned} \mathcal{J}_{GRPO}(\theta) &= \mathbb{E}_{[q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\theta_{old}}(O\mid q)]} \frac{1}{G}\sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \Biggl\{ \min \Biggl[ \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t} \mid q, o_{i,<t})} \hat{A}_{i,t}, \text{clip}\Biggl( \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t} \mid q, o_{i,<t})}, 1 - \epsilon, 1 + \epsilon \Biggr) \hat{A}_{i,t} \Biggr] \\ &\quad - \beta \, \mathbb{D}_{KL}\left[\pi_{\theta} \parallel \pi_{ref}\right] \Biggr\} \end{aligned} \]
大语言模型与深度学习书籍推荐
前言
之前在朋友圈/推特上推荐的几本 NLP/LLM 的书大家都比较喜欢，这里为了方便大家查阅，统一整理了一下 (另外加上了一些深度学习基础知识学习的书籍)， 同时也发在公众号上方便大家收藏查阅。
Oh-Numpy & Oh-PyTorch
100 道 Numpy 练习题的 Numpy 和 PyTorch 解答：Oh-Numpy, Oh-PyTorch.
2024
斯坦福小镇 (AI-Town) 系统解读
核心要点
本文解读了斯坦福小镇（AI-Town）项目，重点关注其在生成式代理方面的创新架构设计。 主要包含以下几个关键部分：
- 记忆系统（Memory Stream）：长期记忆模块
- 反思机制（Reflection）：高层次推理能力
- 计划系统（Planning）：行为规划与执行
- 评估方法（Evaluation）：代理行为的可信度验证
启发与应用
本文的核心概念对游戏 NPC 设计具有重要的参考价值，特别是在：
- NPC 记忆系统的设计
- 行为的真实性和可信度
- 动态社交关系的构建
- 环境互动的自然性