Latest Notes

YANG's Blog

按时间整理的技术笔记、学习记录和工程实践。

知识库
RoPE旋转位置编码详解

1.直观理解 原生的正弦波绝对位置编码(Absolute PE)其实是个“路痴”,它算点积时只能感知距离,根本分不清前后,完全是靠后来不对称的权重矩阵强行“学”出来的方向感。 RoPE 则是直接在数学根基上解决这个问题。它的核心理念极其优雅:用绝对位置的计算方式,实现了相对位置的表达。 RoPE 的

Transformer详解

1. IntroductionTransformer 是一个完全基于自注意力机制(Self-Attention)的编解码器模型,它摒弃了传统的 RNN 和 CNN,通过多头注意力捕捉序列的全局依赖关系,并利用前馈神经网络进行特征变换,辅以残差连接和层归一化来保证深层网络的稳定训练。 1.1 Tran

为博客首页"我的梦想"栏添加每日笑话切换功能
2026-04-09 博客搞建

本文记录了为博客主页的”我的梦想”小部件新增每日笑话切换功能的完整过程——包括读取原始笑话文件的编码处理、数据提取、前端切换逻辑,以及样式定制。 1. 需求背景博客主页顶部有一个”我的梦想”卡片,展示一段固定的励志文字。想在这个卡片里加入一个隐藏彩蛋:点击按钮可切换成”每日笑话”模式,随机展示一条苏

推荐算法Chapter2.1 协同过滤基础与邻域方法
2026-04-08 推荐系统

1.协同过滤推荐 vs 基于内容的推荐1. 协同过滤的核心思想:矩阵分解与相似度协同过滤本质上是在处理一个用户-物品交互矩阵 $R$。矩阵的行代表用户(Users),列代表物品(Items),单元格的值代表行为(评分、点击等)。 2. 两种主要的协同过滤路径User-based CF (基于用户的协

6 / 22