11868 LLM Sys: Tokenization and Embedding
关于大语言模型的分词技术和词汇学习的综合笔记，包括BPE、VOLT以及多语言LLM的实际考虑。
15642 机器学习系统：Transformer、注意力机制与优化
CMU 15-642 机器学习系统课程笔记：Transformer架构、注意力机制以及包括FlashAttention在内的GPU优化技术。
15645 Database systems: Index & Filter
CMU 15-645 数据库系统的笔记和总结。
TinyKV: 基于 Raft 的 KV 存储系统
TinyKV 的实现与架构详解，一个基于 Raft 的分布式键值存储系统，涵盖 Multi-Raft、MVCC 事务、调度器等核心模块。
CS336 Assignment 1: Building a Transformer Language Model from Scratch
从头开始实现完整的Transformer语言模型管道的全面反思——包括带并行预标记的BPE分词器、仅解码的Transformer（使用RMSNorm/RoPE/SwiGLU）、AdamW优化器和自回归文本生成。使用TinyStories和OpenWebText进行训练，并进行了学习率扫描、批量大小研究和架构消融的广泛实验。
15645 Database systems: Hash Tables
CMU 15-645 数据库系统的笔记和总结。
15645 Database systems: Storage
CMU 15-645 数据库系统的笔记和总结。
11711 Advanced NLP: Learning & Inference
卡内基梅隆大学 11-711 高级自然语言处理的学习算法和推理方法笔记。
11711 Advanced NLP: Architectures
关于CMU 11-711高级自然语言处理的RNN架构、编码器-解码器模型和注意力机制的笔记。
11868 LLM Sys & 15642 ML Sys: DL Frameworks and Auto Differentiation
关于CMU 11-868 LLM系统和15-642 ML系统课程的深度学习框架和自动微分的综合笔记。
