FAQ_Of_LLM_Interview

大模型算法岗面试题(含答案): 常见问题和概念解析 "大模型面试题"、"算法岗面试"、"面试常见问题"、"大模型算法面试"、"大模型应用基础"

• 面试必问问题

Prompt--授人以鱼不如授人以渔

我是一名智力低下的博士生，我想学习一下[贝叶斯概率]，特别是[数学理论方面,比如条件概率,先验,之类的,我也不清楚到底有哪些,帮我完善,扩展一下]。

以老师教导学生的风格教授我，循序渐进，言简意赅, 用傻子都能懂的语言详细给我讲。  
1. 逐步引导，推导核心概念。[如果有数学公式,使用$]
2. 深入讲解关键细节或进阶内容，保持清晰。[非常重要--深入讲解]  
3. 最后提供相关代码，并简要解释代码逻辑。  
确保每步逻辑连贯，语言亲切，像老师一样耐心引导。

个人理解

1. 数学与编程基础

• 线性代数：掌握矩阵运算、特征值与向量空间变换。
• 多元微积分及偏导数：梯度下降和反向传播原理，链式法则。
• 统计学与概率论：理解特征分布、贝叶斯推理及概率预测模型。
• PyTorch 或类似框架：熟悉模型构建逻辑、架构设计、损失函数定义及训练流程。通过实践编写简单网络（如 MLP），逐步过渡到复杂模型

2. 模型架构

• Transformer 及其变体（如 BERT、GPT）：注意力机制、位置编码和多头自注意力，重点在预训练与微调策略。
• 前馈神经网络（FFN）：作为非线性变换模块，提升模型表达能力。
• 混合专家模型（MoE）：探索稀疏激活机制。
• 扩散模型与多模态架构：噪声注入与去噪过程，以及跨模态融合技术。重点分析如何将文本条件融入图像生成，实现条件概率建模。
• 高效优化技术：参数高效微调（PEFT）、模型量化与知识蒸馏。

3. 文档处理

• 检索增强生成（RAG）：向量数据库、嵌入模型和检索优化技巧。
• 知识图谱与多模态文档：处理 PDF、网页或图像，集成到大模型 pipeline 中。

4. 强化学习

• 基础概念：理解 Markov 决策过程、价值函数与策略梯度。从 Q-Learning 到 DQN，掌握探索-利用权衡。
• 高级算法：PPO,GRPO,GSPO...,对齐模型输出与人类偏好。
• 大模型整合：探索 RL 与 Transformer 的结合,Agent 系统中使用奖励模型指导生成。

5. Agent 及评测

• Agent 系统搭建 langgraph
• 追踪 langfuse
• 评测 重点是数据

6. 英语及其他扩展

• 英语能力：熟练阅读 arXiv 论文和官方文档, 从综述文章入手，积累专业词汇。

目录

必备知识

在阅读本库前，建议补充一些数学相关知识

• 数学知识

特别鸣谢

• 张老师(提供了此库的最开始的思路,没有他就没有此库)
• 赵老师(无偿回答了很多问题)
• Kesoft(添加了pr)

Feelings

大模型这方向真的卷,新paper,新模型如雨后春笋般涌现,东西出的比我读的还快

欢迎PR

Star History