欢迎来到 Daily-DearnLearning，涵盖计算机基础课程、Python快速入门、数据科学包的使用、机器学习、深度学习、自然语言处理、LLM等。
Background
在《Attention is all you need》之前，因为李飞飞教授推动的ImageNet数据集、GPU算力的提升，像CNN刚刚开始流行起来，如用Tensoflow或者Theano写一个手写数字识别。后来开始有人在NLP领域，用word2vec和LSTM的组合，在很多领域里做到SOTA的效果。后来就是2017年，由Google团队提出的这篇里程碑式的论文。
核心解析 | 论文链接 | 简单例子 | 自注意力机制 | 多头注意力 | 位置编码 | Harvard NLP PyTorch实现Transformer | Transformer复现
Background
Bert比较特殊的地方在于采用了双向上下文建模，通过掩码语言模型（Masked language Model），同时利用左右两侧上下文，解决传统模型中的单向性问题。还有很重要的一点，从Bert看来是，形成了“预训练+微调”的新范式，统一了多种NLP任务的框架，仅需在预训练模型基础上添加简单任务头即可适配下游任务。当时在11项NLP任务上刷新SOTA，开启了大规模预训练模型（Pre-trained Language Model, PLM）时代。
Background
在NLP任务依赖定制化模型、传统单向语言模型（如LSTM）难以建模长距离上下文的背景下，GPT-1首次将Transformer解码器架构与无监督预训练结合，提出“生成式预训练+微调”范式。通过自回归预训练（预测下一个词）学习通用文本表示，仅需简单微调即可适配分类、推理等任务，在12项NLP任务中9项达到SOTA，验证了大模型规模化训练的潜力，为后续GPT系列奠定了基础。
Background
ELMo这个工作主要还是对词向量的改进，从静态的词向量转变成动态词向量，从而提升各项NLP任务上的性能。虽然和GPT、BERT在同一年的工作，但其实应该放在这两项工作前面的，从马后炮的角度来说，主要用的还是双向LSTM，相较于Transformer这样支持并行计算的架构，再配合上MLM来捕捉双向上下文。
More....
数据结构
基本概念和算法评价 | 线性表 | 栈和队列 | 树和二叉树 | 图 | 查找 | 排序
操作系统
操作系统的基本概念 | 操作系统的发展和分类 | 操作系统的运行环境 | 进程和线程 | 处理机调度 | 进程同步 | 死锁 | 内容管理概念 | 虚拟内存管理 | 文件系统基础
计算机网络
计算机网络概述 | 计算机网络结构体系 | 通信基础 | 奈氏准则和香农定理 | 传输介质 | 物理层设备 | 数据链路层的功能
变量、字符串、数字和运算符 | 列表、元组 | 字典、集合 | 条件语句、循环 | 函数的定义与调用 | 迭代、生成器、迭代器 | 高阶函数、装饰器 | 面向对象编程 | 类的高级特性 | 错误处理与调试 | 文件操作 | 多线程与多进程 | 日期时间、集合、结构体 | 协程与异步编程 | 综合实践
NumPy
创建 ndarray | 数据类型和运算 | 索引和切片 | 矩阵操作
Pandas
加载数据 | 行列选择 | 索引操作 | 数据过滤 | 更新行列 | 数据排序 | 数据聚合 | 数据清洗 | 时间数据处理
Matplotlib
直线图 | 柱状图 | 饼状图 | 堆叠图 | 填充图 | 直方图 | 散点图 | 时序图 | 子图
理论
逻辑回归 | EM 算法 | 集成学习 | 随机森林与 GBDT | ID3/C4.5 算法 | K-means | K 最近邻 | 贝叶斯 | XGBoost/LightGBM | Gradient Boosting | Boosting Tree | 回归树 | XGBoost | GBDT 分类 | GBDT 回归 | LightGBM | CatBoost
理论
Word2Vec | BatchNorm | Dropout | CNN | RNN | LSTM | Attention | ELMo | Transformer | BERT | ALBERT | XLNet
实战
Word2Vec | LSTM | ELMo | ALBERT | XLNet
如果你有任何问题或建议，欢迎通过以下方式联系我们：