来源：当前目录未找到名为“人工智能导论复习”的文件；本表依据 机器学习导论复习.md 中出现的核心概念整理。

章节 中文概念 英文全称 缩写/简称 快速回忆
绪论 机器学习 Machine Learning ML 让计算机从数据中学习规律并用于预测或决策
绪论 人工智能 Artificial Intelligence AI 研究使机器表现出智能行为的方法
绪论 归纳偏置 Inductive Bias IB 学习算法选择某类假设的偏好
绪论 泛化 Generalization 无固定缩写 模型对未见样本的表现能力
绪论 奥卡姆剃刀 Occam's Razor 无固定缩写 多个假设效果相近时优先选简单假设
绪论 没有免费午餐定理 No Free Lunch Theorem NFL 不存在对所有问题都最优的学习算法，算法优劣依赖具体任务和假设
绪论 生成式模型 Generative Model 无固定缩写 建模联合分布或类条件分布，可生成数据
绪论 判别式模型 Discriminative Model 无固定缩写 直接建模决策边界或后验概率
绪论 线性模型 Linear Model LM 假设输入输出近似线性相关
绪论 决策树 Decision Tree DT 用属性测试递归划分样本
绪论 K 近邻 k-Nearest Neighbors KNN 用最近的 k 个样本决定预测
绪论 支持向量机 Support Vector Machine SVM 寻找最大间隔分类超平面
绪论 卷积神经网络 Convolutional Neural Network CNN 适合图像，利用局部连接和参数共享
绪论 循环神经网络 Recurrent Neural Network RNN 适合序列，建模时间依赖
绪论 Transformer Transformer Transformer 基于注意力机制建模 token 关系
绪论 隐马尔可夫模型 Hidden Markov Model HMM 序列生成式模型
绪论 条件随机场 Conditional Random Field CRF 序列标注常用判别式模型
绪论 双向长短期记忆条件随机场 Bidirectional Long Short-Term Memory CRF BiLSTM-CRF 神经网络与 CRF 结合的序列标注模型
绪论 高斯混合模型 Gaussian Mixture Model GMM 多个高斯分布加权混合
绪论 变分自编码器 Variational Autoencoder VAE 生成式深度模型
绪论 扩散模型 Diffusion Model Diffusion 通过逐步去噪生成样本
绪论 双向编码器表示模型 Bidirectional Encoder Representations from Transformers BERT 基于 Transformer 的预训练语言模型
绪论 视觉 Transformer Vision Transformer ViT 把图像 patch 当作 token 处理
模型评估与选择 统计学习方法 Statistical Learning Method SLM 模型、策略、算法三要素
模型评估与选择 模型 Model 无固定缩写 要学习的函数、决策函数或概率分布
模型评估与选择 假设空间 Hypothesis Space H 候选模型组成的集合
模型评估与选择 策略 Strategy 无固定缩写 选择最优模型的准则
模型评估与选择 算法 Algorithm 无固定缩写 求解优化问题的方法
模型评估与选择 损失函数 Loss Function Loss 衡量单个样本预测误差
模型评估与选择 0-1 损失 Zero-One Loss 0-1 Loss 分类错为 1，对为 0
模型评估与选择 平方损失 Squared Loss L2 Loss 误差平方
模型评估与选择 期望风险 Expected Risk Rexp 真实数据分布上的平均损失
模型评估与选择 泛化风险 Generalization Risk Rexp 与期望风险含义接近
模型评估与选择 经验风险 Empirical Risk Remp 训练集平均损失
模型评估与选择 经验风险最小化 Empirical Risk Minimization ERM 选择训练误差最小的模型
模型评估与选择 结构风险最小化 Structural Risk Minimization SRM 经验风险加模型复杂度惩罚
模型评估与选择 模型复杂度惩罚 Model Complexity Penalty Regularization Term 约束模型复杂度，降低过拟合风险
模型评估与选择 经验误差 Empirical Error Training Error 模型在训练集上的误差
模型评估与选择 泛化误差 Generalization Error Test Error 模型在未见样本上的误差
模型评估与选择 欠拟合 Underfitting 无固定缩写 模型过简单，训练和测试误差都高
模型评估与选择 过拟合 Overfitting 无固定缩写 模型过度适应训练集，测试误差高
模型评估与选择 留出法 Hold-Out Method Hold-out 一次划分训练集和测试集
模型评估与选择 K 折交叉验证 K-Fold Cross Validation K-Fold CV 分 K 份轮流测试，结果取平均
模型评估与选择 自助法 Bootstrap Method Bootstrap 有放回采样构造训练集
模型评估与选择 包外样本 Out-of-Bag Samples OOB Bootstrap 中未被抽到的样本
模型评估与选择 训练集 Training Set Train Set 学习模型参数
模型评估与选择 验证集 Validation Set Val Set 选择模型和调超参数
模型评估与选择 测试集 Test Set Test Set 最终评估泛化性能
模型评估与选择 均方误差 Mean Squared Error MSE 回归预测误差平方的平均
模型评估与选择 错误率 Error Rate Error 分类错误样本比例
模型评估与选择 准确率 Accuracy Acc 分类正确样本比例
模型评估与选择 查准率 Precision P 预测为正中真正为正的比例
模型评估与选择 查全率 Recall R 真实正例中被找出的比例
模型评估与选择 真正例 True Positive TP 正例被预测为正
模型评估与选择 假正例 False Positive FP 负例被预测为正
模型评估与选择 假反例 False Negative FN 正例被预测为负
模型评估与选择 真反例 True Negative TN 负例被预测为负
模型评估与选择 F1 值 F1 Score F1 Precision 与 Recall 的调和平均
模型评估与选择 F-beta 值 F-beta Score F-beta 用 beta 调节 Precision 与 Recall 权重
模型评估与选择 P-R 曲线 Precision-Recall Curve PR Curve 横轴 Recall，纵轴 Precision
模型评估与选择 平衡点 Break-Even Point BEP Precision 等于 Recall 的点
模型评估与选择 ROC 曲线 Receiver Operating Characteristic Curve ROC 横轴 FPR，纵轴 TPR
模型评估与选择 假阳性率 False Positive Rate FPR 负例中被误报为正的比例
模型评估与选择 真正例率 True Positive Rate TPR 与 Recall 相同
模型评估与选择 曲线下面积 Area Under the Curve AUC ROC 曲线下的面积
模型评估与选择 宏平均 Macro Average Macro 先按类别算指标再平均
模型评估与选择 微平均 Micro Average Micro 先汇总 TP、FP、FN 再算指标
模型评估与选择 代价敏感评估 Cost-Sensitive Evaluation CSE 不同错误设置不同代价
模型评估与选择 交叉验证 t 检验 Cross-Validation t-test CV t-test 比较两个学习器差异
模型评估与选择 McNemar 检验 McNemar's Test McNemar 比较两个分类器错误分布
模型评估与选择 Friedman 检验 Friedman Test Friedman 多学习器整体差异检验
模型评估与选择 Nemenyi 检验 Nemenyi Test Nemenyi 多学习器两两比较
模型评估与选择 统计显著性 Statistical Significance Significance 差异不太可能由随机因素导致
模型评估与选择 偏差 Bias Bias 平均预测与真实规律的差距
模型评估与选择 方差 Variance Var 训练集变化导致预测变化的程度
模型评估与选择 噪声 Noise Noise 数据不可避免的随机误差
模型评估与选择 偏差-方差分解 Bias-Variance Decomposition BVD 泛化误差分解为偏差、方差和噪声
模型评估与选择 基准测试 Benchmark Benchmark 大模型常用多任务评估集
模型评估与选择 提示词 Prompt Prompt 大模型输入指令，会影响评估结果
线性模型 线性可分性 Linear Separability 无固定缩写 存在超平面能完全分开两类
线性模型 超平面 Hyperplane 无固定缩写 线性分类边界
线性模型 法向量 Normal Vector 无固定缩写 垂直于超平面的向量
线性模型 感知机 Perceptron 无固定缩写 二分类线性分类模型
线性模型 符号函数 Sign Function sign 输出正负类别
线性模型 线性回归 Linear Regression LinReg 用线性函数拟合连续值
线性模型 最小二乘法 Least Squares Method LS 最小化误差平方和
线性模型 普通最小二乘 Ordinary Least Squares OLS 线性回归常用闭式求解
线性模型 一元线性回归 Simple Linear Regression SLR 一个输入变量的线性回归
线性模型 多元线性回归 Multiple Linear Regression MLR 多个输入变量的线性回归
线性模型 正规方程 Normal Equation NE 线性回归闭式解方程
线性模型 对数线性回归 Log-Linear Regression Log-linear 让 log y 与输入线性相关
线性模型 广义线性模型 Generalized Linear Model GLM 在线性预测和输出之间引入联系函数
线性模型 联系函数 Link Function Link 连接线性预测值与真实标记
线性模型 对数几率回归 Logistic Regression LR 用 Logistic 函数做二分类概率建模
线性模型 Logistic 函数 Logistic Function Logistic Sigmoid 的一种，输出 0 到 1
线性模型 Sigmoid 函数 Sigmoid Function Sigmoid S 形激活或概率映射函数
线性模型 几率 Odds Odds 正例概率与负例概率之比
线性模型 对数几率 Log Odds Logit 几率取对数
线性模型 极大似然估计 Maximum Likelihood Estimation MLE 最大化样本出现概率估计参数
线性模型 梯度下降 Gradient Descent GD 沿负梯度迭代优化
线性模型 牛顿法 Newton's Method Newton 利用二阶信息优化
线性模型 拟牛顿法 Quasi-Newton Method Quasi-Newton 近似二阶信息优化
线性模型 多分类学习 Multi-Class Learning MCL 将多类问题直接或间接处理
线性模型 一对一 One-vs-One OvO 每两个类别训练一个分类器
线性模型 一对其余 One-vs-Rest OvR 每类对其他所有类训练分类器
线性模型 一对所有 One-vs-All OvA OvR 的另一种叫法
线性模型 纠错输出码 Error Correcting Output Code ECOC 用编码和解码处理多分类
线性模型 类别不平衡 Class Imbalance CI 不同类别样本比例差异很大
线性模型 再缩放 Rescaling 无固定缩写 根据类别先验调整判断阈值
线性模型 过采样 Oversampling 无固定缩写 增加少数类样本
线性模型 欠采样 Undersampling 无固定缩写 减少多数类样本
线性模型 SMOTE Synthetic Minority Oversampling Technique SMOTE 合成少数类样本的过采样方法
线性模型 EasyEnsemble EasyEnsemble EasyEnsemble 多次欠采样训练集成模型
线性模型 阈值移动 Threshold Moving TM 调整分类阈值关注少数类
决策树 决策树模型 Decision Tree Model DT 树形监督学习模型
决策树 内部结点 Internal Node 无固定缩写 表示属性测试
决策树 分支 Branch 无固定缩写 表示测试的一种结果
决策树 叶结点 Leaf Node Leaf 表示最终预测
决策树 划分属性 Splitting Attribute Split Attribute 当前结点用于划分的属性
决策树 停止条件 Stopping Criterion Stop Criterion 决定是否继续分裂
决策树 ID3 算法 Iterative Dichotomiser 3 ID3 用信息增益选择划分属性
决策树 C4.5 算法 C4.5 Decision Tree Algorithm C4.5 用增益率选择划分属性
决策树 分类与回归树 Classification and Regression Tree CART 用基尼指数等构造二叉树
决策树 信息熵 Information Entropy Entropy 度量样本集合不纯度
决策树 信息增益 Information Gain IG 划分前后熵的减少量
决策树 增益率 Gain Ratio GR 信息增益除以固有值
决策树 固有值 Intrinsic Value IV 刻画属性取值划分本身的信息量
决策树 基尼值 Gini Value Gini 随机抽两个样本类别不一致的概率
决策树 基尼指数 Gini Index Gini Index 划分后子集基尼值加权和
决策树 剪枝 Pruning Pruning 删除无用子树以防过拟合
决策树 预剪枝 Pre-Pruning Pre-pruning 建树过程中提前停止
决策树 后剪枝 Post-Pruning Post-pruning 先完整建树再剪掉子树
决策树 二分法 Bi-Partition Bi-partition 连续值或离散值二分处理
决策树 缺失值处理 Missing Value Handling MVH 处理属性值未知样本
决策树 树到规则转换 Tree-to-Rule Conversion Rule Extraction 把树路径转成 IF-THEN 规则
决策树 大语言模型辅助构树 Large Language Model Assisted Tree Construction LLM-assisted Tree 用 LLM 辅助生成或解释树
支持向量机 支持向量机 Support Vector Machine SVM 最大间隔分类模型
支持向量机 间隔 Margin Margin 样本到分类超平面的距离
支持向量机 支持向量 Support Vector SV 决定最大间隔的关键样本
支持向量机 函数间隔 Functional Margin Functional Margin 未除以法向量长度的间隔
支持向量机 几何间隔 Geometric Margin Geometric Margin 真正的距离间隔
支持向量机 硬间隔 SVM Hard Margin Support Vector Machine Hard-margin SVM 不允许样本违反间隔约束
支持向量机 软间隔 SVM Soft Margin Support Vector Machine Soft-margin SVM 允许少量样本违反约束
支持向量机 松弛变量 Slack Variable xi 表示违反间隔约束的程度
支持向量机 正则化参数 Regularization Parameter C 控制间隔与错误惩罚权衡
支持向量机 拉格朗日乘子 Lagrange Multiplier alpha 约束优化中的乘子
支持向量机 KKT 条件 Karush-Kuhn-Tucker Conditions KKT 约束优化最优性条件
支持向量机 对偶问题 Dual Problem Dual 通过拉格朗日对偶求解
支持向量机 合页损失 Hinge Loss Hinge 惩罚错分和间隔内样本
支持向量机 核函数 Kernel Function Kernel 隐式计算高维特征内积
支持向量机 核技巧 Kernel Trick Kernel Trick 用核函数替换内积
支持向量机 Mercer 条件 Mercer's Condition Mercer 合法核函数的半正定条件
支持向量机 核矩阵 Kernel Matrix K 样本两两核函数值组成的矩阵
支持向量机 线性核 Linear Kernel Linear Kernel 原始内积核
支持向量机 多项式核 Polynomial Kernel Poly Kernel 表达多项式特征组合
支持向量机 径向基函数核 Radial Basis Function Kernel RBF Kernel 常用高斯核，可产生非线性边界
支持向量机 高斯核 Gaussian Kernel RBF Kernel RBF 核的常见名称
支持向量机 序列最小最优化 Sequential Minimal Optimization SMO 高效求解 SVM 对偶问题
贝叶斯分类器 贝叶斯公式 Bayes' Theorem Bayes 用证据更新先验得到后验
贝叶斯分类器 贝叶斯分类器 Bayesian Classifier BC 选择后验概率最大的类别
贝叶斯分类器 先验概率 Prior Probability Prior 看到证据前的概率
贝叶斯分类器 似然 Likelihood Likelihood 给定类别或假设时看到样本的概率
贝叶斯分类器 证据因子 Evidence Evidence 证据本身出现的概率
贝叶斯分类器 后验概率 Posterior Probability Posterior 看到证据后的概率
贝叶斯分类器 类条件概率 Class-Conditional Probability CCP 某类别下样本出现的概率
贝叶斯分类器 朴素贝叶斯分类器 Naive Bayes Classifier NB 假设给定类别后属性条件独立
贝叶斯分类器 条件独立性假设 Conditional Independence Assumption CIA 给定类别时各属性相互独立
贝叶斯分类器 拉普拉斯修正 Laplace Correction Laplace Smoothing 给计数加 1 避免零概率
贝叶斯分类器 正态分布 Normal Distribution Gaussian 连续属性常用分布假设
贝叶斯分类器 半朴素贝叶斯 Semi-Naive Bayes SNB 适当考虑属性间依赖
贝叶斯分类器 独依赖估计 One-Dependent Estimator ODE 每个属性最多依赖一个其他属性
贝叶斯分类器 超父独依赖估计 Super-Parent One-Dependent Estimator SPODE 所有属性依赖同一个超父属性
贝叶斯分类器 树增强朴素贝叶斯 Tree Augmented Naive Bayes TAN 用最大带权生成树表达属性依赖
贝叶斯分类器 平均独依赖估计 Averaged One-Dependent Estimator AODE 集成多个 SPODE
贝叶斯分类器 贝叶斯网络 Bayesian Network BN 用有向无环图表达变量依赖
贝叶斯分类器 有向无环图 Directed Acyclic Graph DAG 无有向环的图结构
贝叶斯分类器 条件概率表 Conditional Probability Table CPT 记录给定父节点时的条件概率
维度约简 维度约简 Dimensionality Reduction DR 把高维数据映射到低维空间
维度约简 维度灾难 Curse of Dimensionality CoD 高维导致稀疏、距离失效和计算变难
维度约简 主成分分析 Principal Component Analysis PCA 无监督线性降维
维度约简 主成分 Principal Component PC 方差最大的投影方向
维度约简 投影矩阵 Projection Matrix W 将样本投到低维空间的矩阵
维度约简 最大可分性 Maximum Variance Criterion MVC 投影后方差尽可能大
维度约简 最近重构性 Minimum Reconstruction Error Criterion MREC 重构误差尽可能小
维度约简 数据中心化 Data Centering Centering 减去样本均值
维度约简 协方差矩阵 Covariance Matrix Cov Matrix 描述特征共同变化
维度约简 特征值 Eigenvalue Eigenvalue 表示对应方向上的方差大小
维度约简 特征向量 Eigenvector Eigenvector 表示投影方向
维度约简 特征值分解 Eigendecomposition EVD 分解矩阵得到特征值和特征向量
维度约简 保留能量比例 Explained Variance Ratio EVR 选择降维维度的常用依据
维度约简 标准化 Standardization Z-score 减均值除标准差
维度约简 归一化 Normalization Norm 缩放到指定范围
维度约简 线性判别分析 Linear Discriminant Analysis LDA 有监督降维，类内小、类间大
维度约简 类内散度矩阵 Within-Class Scatter Matrix Sw 衡量同类样本分散程度
维度约简 类间散度矩阵 Between-Class Scatter Matrix Sb 衡量类别均值之间距离
维度约简 广义瑞利商 Generalized Rayleigh Quotient GRQ LDA 最大化的目标形式
维度约简 核主成分分析 Kernel Principal Component Analysis KPCA 或 Kernel PCA 用核函数做非线性 PCA
K 近邻 K 近邻 k-Nearest Neighbors KNN 由最近 k 个训练样本决定预测
K 近邻 K 近邻分类器 k-Nearest Neighbors Classifier KNN Classifier k 个近邻多数投票
K 近邻 最近邻分类器 Nearest Neighbor Classifier 1-NN 取最近的一个样本类别
K 近邻 K 近邻回归 k-Nearest Neighbors Regression KNN Regression k 个近邻标签平均或加权平均
K 近邻 基于实例的学习 Instance-Based Learning IBL 预测依赖已存训练样本
K 近邻 懒惰学习 Lazy Learning Lazy 训练少，预测时计算
K 近邻 急切学习 Eager Learning Eager 训练阶段构造模型
K 近邻 欧氏距离 Euclidean Distance L2 Distance 各维差平方和开根号
K 近邻 平方欧氏距离 Squared Euclidean Distance Squared L2 省略开根号的欧氏距离平方
K 近邻 曼哈顿距离 Manhattan Distance L1 Distance 各维绝对差求和
K 近邻 闵可夫斯基距离 Minkowski Distance Lp Distance L1 和 L2 的推广
K 近邻 余弦相似度 Cosine Similarity Cosine 衡量向量方向相似
K 近邻 加权 KNN Weighted k-Nearest Neighbors Weighted KNN 距离更近的邻居权重更大
K 近邻 决策边界 Decision Boundary Boundary 分类区域分界，由数据和 k 决定
K 近邻 平票处理 Tie Breaking Tie Break 票数相同时的决策规则
K 近邻 维诺图 Voronoi Diagram Voronoi 低维最近邻空间划分
K 近邻 KD 树 k-dimensional Tree KD Tree 中低维近邻检索结构
K 近邻 近似最近邻 Approximate Nearest Neighbors ANN 用近似结果换搜索速度
K 近邻 哈希 Hashing Hashing 用短编码加速高维检索
K 近邻 概率 KNN Probabilistic k-Nearest Neighbors Probabilistic k-NN 把 KNN 放入概率框架
K 近邻 邻域成分分析 Neighborhood Components Analysis NCA 学习距离度量或投影使同类更近
K 近邻 ModernNCA Modern Neighborhood Components Analysis ModernNCA NCA 的现代化扩展
K 近邻 软最近邻损失 Soft Nearest Neighbor Loss Soft-NN Loss 用软近邻关系训练表示
K 近邻 硬 KNN Hard k-Nearest Neighbors Hard KNN 离散选择最近邻
集成学习 集成学习 Ensemble Learning Ensemble 多个学习器组合提升泛化
集成学习 基学习器 Base Learner Base Learner 集成中的单个模型
集成学习 多样性 Diversity Diversity 基学习器错误不完全相同
集成学习 结合策略 Combination Strategy Combiner 投票、平均、加权或元学习器融合
集成学习 简单平均 Simple Averaging Averaging 回归预测取平均
集成学习 加权平均 Weighted Averaging Weighted Avg 表现好模型权重更高
集成学习 绝对多数投票 Majority Voting Majority Vote 超过半数类别胜出
集成学习 相对多数投票 Plurality Voting Plurality Vote 得票最多类别胜出
集成学习 加权投票 Weighted Voting Weighted Vote 分类器票权不同
集成学习 Bagging Bootstrap Aggregating Bagging 自助采样加聚合，主要降方差
集成学习 自助采样 Bootstrap Sampling Bootstrap 有放回抽取训练子集
集成学习 随机森林 Random Forest RF Bagging 加决策树加特征随机
集成学习 特征随机选择 Random Feature Selection RFS 结点分裂时只看部分特征
集成学习 袋外误差 Out-of-Bag Error OOB Error 用未抽到样本估计泛化误差
集成学习 Boosting Boosting Boosting 串行训练，后续模型修正前面错误
集成学习 弱学习器 Weak Learner WL 只比随机猜测略好的模型
集成学习 强学习器 Strong Learner SL 组合后性能较强的模型
集成学习 PAC 学习 Probably Approximately Correct Learning PAC Boosting 的理论背景之一
集成学习 AdaBoost Adaptive Boosting AdaBoost 调样本权重和分类器权重的 Boosting
集成学习 加权错误率 Weighted Error Rate Weighted Error AdaBoost 中按样本权重计算错误
集成学习 弱分类器权重 Classifier Weight alpha AdaBoost 中分类器投票权重
集成学习 规范化因子 Normalization Factor Z 使样本权重和为 1
集成学习 提升树 Boosting Tree Boosting Tree Boosting 与决策树结合
集成学习 加法模型 Additive Model Additive Model 多个基函数相加
集成学习 回归提升树 Regression Boosting Tree RBT 每棵树拟合前一轮残差
集成学习 残差 Residual Residual 真实值减当前预测
集成学习 梯度提升决策树 Gradient Boosting Decision Tree GBDT 一般损失下拟合负梯度
集成学习 负梯度 Negative Gradient Neg Gradient 损失下降最快方向的反方向
集成学习 伪残差 Pseudo-Residual Pseudo-residual 一般损失下的拟合目标
集成学习 Stacking Stacked Generalization Stacking 用元学习器融合多个模型输出
集成学习 初级学习器 Level-0 Learner Base Learner Stacking 第一层模型
集成学习 元学习器 Meta-Learner Meta Learner 学习如何融合初级模型输出
集成学习 折外预测 Out-of-Fold Prediction OOF Prediction 用交叉验证生成次级训练特征
集成学习 前向分步算法 Forward Stagewise Algorithm FSA 每次只加一个基函数
集成学习 指数损失 Exponential Loss Exp Loss AdaBoost 可对应的损失函数
聚类 聚类 Clustering Clustering 无监督地把相似样本分组
聚类 无监督学习 Unsupervised Learning UL 没有标签的学习任务
聚类 簇 Cluster Cluster 聚类得到的样本组
聚类 簇内相似度 Intra-Cluster Similarity Intra-cluster Sim 同簇样本应相似
聚类 簇间相似度 Inter-Cluster Similarity Inter-cluster Sim 不同簇样本应差异大
聚类 马氏距离 Mahalanobis Distance Mahalanobis 考虑特征相关性和尺度
聚类 聚类准则 Clustering Criterion Criterion 衡量聚类目标优劣
聚类 簇内平方误差和 Sum of Squared Errors SSE K-means 常用目标
聚类 原型聚类 Prototype-Based Clustering Prototype Clustering 用中心或原型表示簇
聚类 密度聚类 Density-Based Clustering Density Clustering 根据样本密度扩展簇
聚类 层次聚类 Hierarchical Clustering HC 逐步合并或拆分类
聚类 基于图的聚类 Graph-Based Clustering Graph Clustering 根据图结构划分样本
聚类 K-means K-means Clustering K-means 固定 k，分配样本并更新均值
聚类 K-means++ K-means++ K-means++ 改进 K-means 初始化
聚类 迭代自组织数据分析算法 Iterative Self-Organizing Data Analysis Techniques Algorithm ISODATA K-means 加分裂与合并
聚类 合并操作 Merge Operation Merge 合并过近或过小的簇
聚类 分裂操作 Split Operation Split 拆分过大或分散的簇
聚类 高斯混合聚类 Gaussian Mixture Clustering GMM Clustering 用 GMM 做软聚类
聚类 硬聚类 Hard Clustering Hard Clustering 每个样本只属于一个簇
聚类 软聚类 Soft Clustering Soft Clustering 样本以概率属于多个成分
聚类 聚类准确率 Cluster Accuracy CA 聚类外部评价指标
聚类 兰德指数 Rand Index RI 比较样本对关系一致性
聚类 调整兰德指数 Adjusted Rand Index ARI 对 RI 做随机校正
聚类 互信息 Mutual Information MI 衡量聚类与真实标签共享信息
聚类 归一化互信息 Normalized Mutual Information NMI 归一化后的 MI
聚类 Fowlkes-Mallows 指数 Fowlkes-Mallows Index FMI 或 FM 聚类外部评价指标
聚类 紧密度 Compactness CP 簇内距离，越小越好
聚类 间隔度 Separation SP 簇间距离，越大越好
聚类 Davies-Bouldin 指数 Davies-Bouldin Index DBI 同时考虑类内紧密和类间分离
聚类 Dunn 有效性指数 Dunn Validity Index DVI 最小类间距离除以最大类内距离
聚类 外部指标 External Index External Metric 需要真实标签的聚类评价
聚类 内部指标 Internal Index Internal Metric 不需要真实标签的聚类评价
聚类 DBSCAN Density-Based Spatial Clustering of Applications with Noise DBSCAN 基于密度，可发现噪声和非球形簇
聚类 OPTICS Ordering Points To Identify the Clustering Structure OPTICS 密度聚类扩展方法
聚类 DENCLUE DENsity-based CLUstEring DENCLUE 基于密度函数的聚类方法
聚类 AGNES AGglomerative NESting AGNES 凝聚式层次聚类
聚类 谱聚类 Spectral Clustering Spectral Clustering 基于图拉普拉斯谱划分样本
GMM 与 EM 高斯混合模型 Gaussian Mixture Model GMM 多个高斯成分加权相加
GMM 与 EM 高斯成分 Gaussian Component Component GMM 中的单个高斯分布
GMM 与 EM 混合权重 Mixture Weight alpha 每个高斯成分的权重
GMM 与 EM 均值 Mean mu 高斯成分中心
GMM 与 EM 协方差矩阵 Covariance Matrix Sigma 高斯成分形状和尺度
GMM 与 EM 隐藏变量 Hidden Variable Latent Variable 表示样本来自哪个成分
GMM 与 EM 潜变量 Latent Variable z 隐藏变量的另一种叫法
GMM 与 EM 似然函数 Likelihood Function Likelihood 参数下观测数据出现概率
GMM 与 EM 对数似然 Log-Likelihood LL 似然取对数，便于优化
GMM 与 EM 最大似然估计 Maximum Likelihood Estimation MLE 通过最大化似然估计参数
GMM 与 EM 期望最大化算法 Expectation-Maximization Algorithm EM 含隐藏变量模型的迭代估计方法
GMM 与 EM E 步 Expectation Step E-Step 计算隐藏变量后验或责任度
GMM 与 EM M 步 Maximization Step M-Step 固定责任度重新估计参数
GMM 与 EM 责任度 Responsibility gamma 样本属于某成分的后验概率
神经网络 神经网络 Neural Network NN 由神经元组成的函数逼近模型
神经网络 人工神经网络 Artificial Neural Network ANN 人工构造的神经网络模型
神经网络 深度神经网络 Deep Neural Network DNN 多隐藏层神经网络
神经网络 MP 神经元 McCulloch-Pitts Neuron MP Neuron 最早的人工神经元模型
神经网络 多层感知机 Multilayer Perceptron MLP 多层全连接神经网络
神经网络 输入层 Input Layer Input Layer 接收输入特征
神经网络 隐藏层 Hidden Layer Hidden Layer 学习中间特征表示
神经网络 输出层 Output Layer Output Layer 输出预测结果
神经网络 激活函数 Activation Function Activation 引入非线性
神经网络 阶跃函数 Step Function Step 早期阈值激活
神经网络 双曲正切函数 Hyperbolic Tangent Function tanh 输出在 -1 到 1
神经网络 修正线性单元 Rectified Linear Unit ReLU 常用非线性激活
神经网络 带泄露 ReLU Leaky Rectified Linear Unit Leaky ReLU 负半轴保留小梯度
神经网络 参数化 ReLU Parametric Rectified Linear Unit PReLU 负半轴斜率可学习
神经网络 指数线性单元 Exponential Linear Unit ELU 负半轴更平滑
神经网络 Maxout Maxout Unit Maxout 取多个线性函数最大值
神经网络 Softmax Softmax Function Softmax 多分类概率输出
神经网络 二元交叉熵 Binary Cross Entropy BCE 二分类常用损失
神经网络 交叉熵 Cross Entropy CE 分类任务常用损失
神经网络 全连接层 Fully Connected Layer FC Layer 每个输入连接到每个输出
神经网络 局部连接 Local Connectivity Local Connection 卷积只看局部区域
神经网络 参数共享 Parameter Sharing Parameter Sharing 同一卷积核在空间中复用
神经网络 卷积核 Convolution Kernel Kernel 在图像局部滑动提取特征
神经网络 过滤器 Filter Filter 一组卷积核，产生输出通道
神经网络 池化 Pooling Pooling 下采样降低空间尺寸
神经网络 下采样 Subsampling Downsampling 减小特征图尺寸
神经网络 感受野 Receptive Field RF 神经元能看到的输入区域
神经网络 前向传播 Forward Propagation FP 从输入到输出计算预测
神经网络 反向传播 BackPropagation BP 根据链式法则计算梯度
神经网络 链式法则 Chain Rule Chain Rule 复合函数求导规则
神经网络 误差项 Error Term delta 反向传播中的局部梯度量
神经网络 参数梯度 Parameter Gradient Gradient 损失对参数的导数
神经网络 批量梯度下降 Batch Gradient Descent Batch GD 用全体样本更新梯度
神经网络 随机梯度下降 Stochastic Gradient Descent SGD 用单个或小批量样本近似梯度
神经网络 小批量随机梯度下降 Mini-Batch Stochastic Gradient Descent Mini-batch SGD 用一个 batch 平均梯度更新
神经网络 动量法 Momentum Momentum 引入历史梯度减少震荡
神经网络 AdaGrad Adaptive Gradient Algorithm AdaGrad 每个参数自适应学习率
神经网络 Adam Adaptive Moment Estimation Adam 一阶矩和二阶矩自适应优化
神经网络 Muon Muon Optimizer Muon 对 2D 权重矩阵动量做正交化
神经网络 批归一化 Batch Normalization BN 按 batch 统计归一化
神经网络 层归一化 Layer Normalization LN 对单个样本特征维度归一化
神经网络 实例归一化 Instance Normalization IN 对单张图像每个通道归一化
神经网络 均方根归一化 Root Mean Square Layer Normalization RMSNorm 按均方根缩放，不减均值
神经网络 LeNet LeNet LeNet 早期卷积神经网络
神经网络 AlexNet AlexNet AlexNet 推动 ImageNet 深度学习突破
神经网络 VGG Visual Geometry Group Network VGG 使用大量 3x3 卷积的深层 CNN
神经网络 GoogLeNet GoogLeNet GoogLeNet 使用 Inception 多分支结构
神经网络 Inception Inception Network Inception 多尺度卷积分支结构
神经网络 残差网络 Residual Network ResNet 用残差连接缓解深层退化
神经网络 自注意力 Self-Attention Self-Attention 序列任意位置直接建模关系
神经网络 特征可视化 Feature Visualization FV 可视化网络学到的特征
神经网络 梯度加权类激活映射 Gradient-weighted Class Activation Mapping Grad-CAM 用梯度定位模型关注区域
神经网络 Mamba Mamba Mamba 基于状态空间模型的序列建模架构
神经网络 Vision Mamba Vision Mamba Vim 或 Vision Mamba 将 Mamba 思想用于视觉任务
神经网络 Kolmogorov-Arnold 网络 Kolmogorov-Arnold Network KAN 激活函数在边上且可学习
神经网络 专家混合 Mixture of Experts MoE token 只激活少数专家
神经网络 超连接 Hyper-Connections Hyper-Connections 多条残差流增强信息传播
神经网络 流形超连接 Manifold Hyper-Connections mHC 带流形约束的 Hyper-Connections
神经网络 红绿蓝图像 Red Green Blue Image RGB 三通道彩色图像
神经网络 图像网 ImageNet ImageNet 大规模图像分类数据集
神经网络 Dropout Dropout Dropout 随机丢弃神经元缓解过拟合