Life is not a race, but a journey

CMU 11-868 LLM系统：GPU编程与加速的笔记和总结。

CMU 11-711 高级自然语言处理的笔记和总结。

CMU 15-618 作业 1 报告，涵盖 pthreads 加速分析和 SIMD 向量化。

CMU 15-645 数据库系统的笔记和总结。

CMU 15-618 并行编程的笔记和总结。

本文章来自字节跳动专家，《用第一性原理拆解 Agentic Coding：从理论到实操》，读完之后受益匪浅

本文总结了CS336课程第四讲的内容，重点介绍了Mixture of Experts模型的原理、实现方法及其在Transformer架构中的应用，包括专家选择机制、路由策略和训练技巧等方面的最新进展。

本文总结了CS336课程第三讲的内容，重点介绍了Transformer架构的演变及其超参数选择，包括归一化方法、激活函数、位置编码等方面的最新进展。

本节主要围绕模型训练背后的“算力黑盒”展开，从微观的浮点数格式讲起，深入到FLOPs的计算公式，剖析了现代硬件的特性，最后给出从数学原理到PyTorch代码实现的完整优化指南”

Lec1主要介绍了Tokenization的基本概念和几种常见的Tokenizer方法，包括Character Tokenizer、Byte Tokenizer、Word Tokenizer和BPE Tokenizer，分析了它们的优缺点及适用场景。