溯源 • 求索 • 笃行
未读
从 Loss 到微分，模型是怎么学习的？
写 KV Cache 的时候，重新审视了一遍 collate_fn 里的变量——tgt_out 是标准答案，模型输出是 logits——这些每天都在用的东西，我停下来重新走了一遍它们在维度上的完整链路。 理清了数据怎么从 token id 变成 d_model、又从 d_model 变回 vocab
溯源 • 求索 • 笃行
未读
衔言渡意：中英法，六个方向
引言：简历上缺一块 简历上有两个NLP项目。 韵染流光是序列生成，Encoder-Decoder，中文描述到颜色DSL的映射。数语觅类是多标签分类，Encoder-only，列名和样本到语义类型的识别。两个项目，两种架构，两类任务。但有个明显的空白：我没碰过跨语言。 机器翻译是NLP里最经典的seq
溯源 • 求索 • 笃行
未读
数语觅类："nl是什么？27是年龄吗？"
引言：VARCHAR(255)没告诉你的 数据库里有几百张表，每张表几十个列。 VARCHAR(255)告诉你它是字符串，INT告诉你它是整数，但这些只是物理类型。它们不回答真正重要的问题： 这个VARCHAR是邮箱、手机号、还是普通文本？ 这个INT是年龄、金额、还是状态码？ nl 这个列名是什么
溯源 • 求索 • 笃行
未读
韵染流光 • 其一：代码三百行
引言：写不出的第一行 韵染流光完成后，我能清楚地说出训练循环的每个环节。 dataset从文件中提取第idx个样本，dataloader通过sampler控制采样顺序，collate把样本组装成batch，模型接收batch开始前向传播。为什么要padding？因为GPU需要形状一致的数据。为什么要
溯源 • 求索 • 笃行
未读
韵染流光 • 其一："亮一些的蓝"
引言：一个看似简单的想法 “红色，深一点，再偏蓝一些。” 当我试图让计算机理解这句话时，以为这会是件简单的事情——就算不简单，也不会太难。 我的想法很理所当然：颜色词是有限的，修饰词也是有限的。把它们的关系建立起来，训练一个模型，应该就可以了——最多，再加上一些修饰组合的不同方式。这和让AI写文章、
溯源 • 求索 • 笃行
未读
心潮涌链：它真的懂我说的话吗？
引言：一句话的旅程 打开GPT，和它说一句话： 我今天很开心 它通常会给出这样的回应： 听到你今天很开心，真是太好了！✨ 有什么特别的事情让你这么高兴吗？ 这看起来就像是它明白了“我今天很开心”是什么意思，并且自己做出了什么思考，居然试图进行有来有回的聊天一样。 但是真的如此吗？它真的理解了吗？恐怕