CS336 Assignment 1: Building a Transformer Language Model from Scratch
从头开始实现完整的Transformer语言模型管道的全面反思——包括带并行预标记的BPE分词器、仅解码的Transformer（使用RMSNorm/RoPE/SwiGLU）、AdamW优化器和自回归文本生成。使用TinyStories和OpenWebText进行训练，并进行了学习率扫描、批量大小研究和架构消融的广泛实验。
15645 Database systems: Hash Tables
CMU 15-645 数据库系统的笔记和总结。
15645 Database systems: Storage
CMU 15-645 数据库系统的笔记和总结。
11711 Advanced NLP: Learning & Inference
卡内基梅隆大学 11-711 高级自然语言处理的学习算法和推理方法笔记。
11711 Advanced NLP: Architectures
关于CMU 11-711高级自然语言处理的RNN架构、编码器-解码器模型和注意力机制的笔记。
11868 LLM Sys & 15642 ML Sys: DL Frameworks and Auto Differentiation
关于CMU 11-868 LLM系统和15-642 ML系统课程的深度学习框架和自动微分的综合笔记。
11868 LLM Sys: GPU Programming & Acceleration
CMU 11-868 LLM系统：GPU编程与加速的笔记和总结。
11711 Advanced NLP: Fundamentals
CMU 11-711 高级自然语言处理的笔记和总结。
15618 Assignment 1 Report
CMU 15-618 作业 1 报告，涵盖 pthreads 加速分析和 SIMD 向量化。
15645 Database Systems Lecture Notes
CMU 15-645 数据库系统的笔记和总结。