跳转至

Blog

  • 分类于 随笔, LLM, AI
  • 需要 4 分钟阅读时间

LLM in 2024

Image title
管窥精密机器内部核心组件 (GPT 模型的内部构造 Transformer 部分)
(From bbycroft.net/llm)

我个人对 AI(人工智能)/LLM(Large Language Model, 大语言模型) 是完全祛魅的。即使是在 ChatGPT 问世之后，即使是在 LLM 在各个领域掀起热潮的今天， 我也仍然认为这里并没有什么所谓“智能”的东西——我个人不认为现在的 LLM 会思考，不认为它能真正地创作等等。 我更倾向于将现在的 LLM 看作一个庞大而又精密的机器：庞大到包含几百亿个元件，精密到可以和人类对话并完成各种复杂的任务。 尽管如此，我仍然认为我们正处于一个人工智能的黄金时代，一个 AI 可以大方异彩，可以很大程度上改变我们的未来生活方式的时代！

  • 分类于 Project, 开源
  • 需要 1 分钟阅读时间

zhplot: 让 Python 中文做图变得简单

Why

在日常工作的少数的场景，我需要用 Python 画一些包含中文的图，一般为了简单快捷都会使用 matplotlib。 在半分钟写完画图代码后，发现图片的文字部分一堆方框后是真的很无奈... 是的，中文字体的支持并不在很多开源库的考虑范围内，这是事实，在社区搜一下能看到一大把的图片显示中文的 issue。

我本来只是想画个图而已，但是我现在需要去搜索怎么安装中文字体，怎么让这些开源库能够找到自己安装的字体...本来半分钟搞定的事情， 现在怎么都要花个十来分钟去搜索解决方案，并做一系列字体相关的操作。 这种“小而烦”的问题有时候很影响心情，更不用说这种 Context Switch 的带来的原工作节奏扰乱。 解决这个“小而烦”的问题就是 zhplot 项目要达成的目标。

斯坦福小镇 (AI-Town) 系统解读

核心要点

本文解读了斯坦福小镇（AI-Town）项目，重点关注其在生成式代理方面的创新架构设计。 主要包含以下几个关键部分：

  1. 记忆系统（Memory Stream）：长期记忆模块
  2. 反思机制（Reflection）：高层次推理能力
  3. 计划系统（Planning）：行为规划与执行
  4. 评估方法（Evaluation）：代理行为的可信度验证

启发与应用

本文的核心概念对游戏 NPC 设计具有重要的参考价值，特别是在：

  • NPC 记忆系统的设计
  • 行为的真实性和可信度
  • 动态社交关系的构建
  • 环境互动的自然性

Dawid-Skene 算法

Lilian 在Thinking about High-Quality Human Data | Lil'Log 对数据标注的质量进行了一些很有远见的讨论。 这里我们主要对标签聚合算法 (真值推断) Dawid-Skene 算法进行一些较为深入讨论。

所谓标签聚合算法，是指从多个标注者的标注结果中推断出最可靠的标签。

简介

Dawid-Skene 算法最早是应用于临床医学相关的领域， 用于聚合多个临床专家对同一个病人的的判断结果。 后来被广泛应用于数据标注领域，用于聚合多个标注结果得到最可靠的标签。

终身学习：2023

终身学习 (Lifelong learning)

Lifelong learning is the "ongoing, voluntary, and self-motivated" pursuit of knowledge for either personal or professional reasons.1

本文主要是过去一年的学习记录，内容较为杂乱，主要是为备忘。

十岁那年

2007 年 10 月 1 日 星期一 多云

今天是国庆节，我一大早就起了床。我拿起宝剑就在院子大开杀戒，冬青可遭了殃，我把它的头发 剪得漫天飞舞。我还不时说：“妖怪那里逃。”(错别字，应为“哪”) 姐姐出来了，我不知道，闭上眼睛，正巧剑放在姐姐的 肩上，我说：“妖怪那里逃。”(错别字，应为“哪”)我睁一看是姐姐，吓得我不得了。姐姐火冒三丈去抓我。我撒腿就跑……

  • 分类于 随笔, 回忆录
  • 需要 1 分钟阅读时间

考研杂记

本来这应该是一篇经验贴...后来仔细想了下真要写的话可能不具有一般性，所以作罢。这里只是简单记录下考研的历程。

考研对我来说是影响很大的选择，这点毋庸置疑。不过坦白说，这只是整个一大段无可奈何中的一小段无可奈何。于我而言，或许可以说过其无关奋斗，只是为后面的大冒险攒些盘缠罢了。对这段灰色的日子，我谈不上怀念，但是这段日子里有很多一直在帮助我的人，我真心感谢他们。