用户:P1ayer/备页/机器学习概论

机器学习概论（Outline of machine learning），作为机器学习的概述和主题指南。在电脑科学中认为，机器学习是一个软件计算中的子领域，在人工智慧从研究发展模式识别和计算学习理论。 1959年，亚瑟·塞缪尔（Arthur Samuel）将机器学习定义为“一个使电脑无需明确编程即可学习的能力的研究领域”。 机器学习探索了可以学习的算法的研究，和构建从数据中做出预测。 这样的算法通过根据输入观测值的示例训练集构建数学模型来进行操作，以便做出表示为输出的数据驱动的预测或决策，而不是严格遵循静态程序指令。

机器学习是什么类型的东西？

• 一门学术
• 科学的分支
  • 一种应用科学
    • 电脑科学的子领域
      • 人工智慧的分支
      • 软计算的子领域
    • 统计学的应用

机器学习的分支

机器学习的子领域

• 计算学习理论（Computational learning theory）– 研究机器学习算法的设计与分析。
• 文法归纳（Grammar induction）
• 元学习（Meta learning）

涉及机器学习的跨学科领域

• 对抗机器学习（Adversarial machine learning）
• 预测分析（Predictive analytics）
• 量子机器学习（Quantum machine learning）
• 机器人学习（Robot learning）
  • 发展型机器人（Developmental robotics）

机器学习的应用

机器学习的应用

• 生物资讯学（Bioinformatics）
• 医学资讯学（Biomedical informatics）
• 电脑视觉（Computer vision）
• 客户关系管理（Customer relationship management）
• 数据挖掘（Data mining）
• 电邮Email过滤（Email filtering）
• 倒单摆（Inverted pendulum） – 平衡系统。
• 自然语言处理 (Natural language processing，简称NLP)
  • 自动摘要（Automatic summarization）
  • 自动分类法建构（Automatic taxonomy construction）
  • 对话系统（Dialog system）
  • 文法检查器（Grammar checker）
  • 语言识别（Language recognition）
    • 手写识别（Handwriting recognition）
    • 光学字符识别（Optical character recognition，简称OCR）
    • 语音识别（Speech recognition）
  • 机器翻译（Machine translation）
  • 问答系统（Question answering）
  • 语音合成（Speech synthesis）
  • 文本挖掘（Text mining）
    • 术语频率–逆向文件频率（Term frequency–inverse document frequency，简称tf–idf）
  • 文本简化（Text simplification）
• 模式识别（Pattern recognition）
  • 人脸识别系统（Facial recognition system）
  • 手写识别（Handwriting recognition）
  • 电脑视觉 （Image recognition）
  • 光学字符识别（Optical character recognition，简称OCR）
  • 语音识别（Speech recognition）
• 推荐系统（Recommendation system）
  • 协同过滤（Collaborative filtering）
  • 内容型过滤（Content-based filtering）
  • 混合推荐系统（Hybrid recommender systems） – 基于协作和基于内容型的过滤。
• 网络搜索引擎（Search engine）
  • 搜索引擎优化（Search engine optimization，简称SEO）
• 社会工程学（Social Engineering）

机器学习的硬件

• 图形处理器（Graphics processing unit，简称GPU）
• 张量处理器（Tensor processing unit，简称TPU）
• 视觉处理器（Vision processing unit，简称VPU）

机器学习的工具

• 比较深度学习的软件（Comparison of deep-learning software）

机器学习框架

专有的机器学习框架

• 亚马逊云计算服务（Amazon Machine Learning）
• Microsoft Azure Machine Learning Studio
• DistBelief – 由 TensorFlow 取代

开源的机器学习框架

• Apache Singa
• Apache MXNet
• Caffe
• PyTorch
• mlpack
• TensorFlow
• Torch
• Microsoft Cognitive Toolkit（CNTK）
• Accord.NET

机器学习的程序库

• Deeplearning4j
• Theano
• Scikit-learn
• Keras

机器学习的算法

机器学习的算法

机器学习的算法的种类

• Almeida–Pineda循环反向传播（Almeida–Pineda recurrent backpropagation）
• 样式截取算法（ALgorithms Of Pattern EXtraction，简称ALOPEX）
• 反向传播算法（Backpropagation，简称BP）
• Bagging算法（Bootstrap aggregating，引导聚合，又称装袋算法）
• CN2算法
• 建构技能树（Constructing skill trees）
• Dehaene–Changeux模型（Dehaene–Changeux model）
• 扩散图（Diffusion map）
• 基于支配的粗糙设置逼近（Dominance-based rough set approach）
• 动态时间扭曲（Dynamic time warping）
• 错误驱动的学习（Error-driven learning）
• 进化多模态优化（Evolutionary multimodal optimization）
• 最大期望算法（Expectation–maximization algorithm）
• FastICA
• 正反双向算法（Forward–backward algorithm）
• GeneRec
• 由规则集生成的基因算法（Genetic Algorithm for Rule Set Production）
• 增长自组织映像（Growing self-organizing map）
• 超基底函数网络（Hyper basis function network）
• IDistance
• K-近邻算法（K-nearest neighbors algorithm）
• 向量输出的核心方法（Kernel methods for vector output）
• 核主成分分析（Kernel principal component analysis）
• Leabra
• Linde–Buzo–Gray算法（Linde–Buzo–Gray algorithm）
• 区域离群因子（Local outlier factor）
• 逻辑学习机（Logic learning machine）
• LogitBoost
• 歧管对齐（Manifold alignment）
• 马尔可夫链蒙特卡洛（Markov chain Monte Carlo，简称MCMC）
• 最小冗余特征选择（Minimum redundancy feature selection）
• 专家组合（Mixture of experts）
• 多核心学习（Multiple kernel learning）
• 非负矩阵分解（Non-negative matrix factorization）
• 在线机器学习（Online machine learning）
• 袋外错误（Out-of-bag error）
• 前额叶皮质基底神经节工作记忆（Prefrontal cortex basal ganglia working memory）
• 主要价值学习价值（Primary value learned value，简称PVLV）
• Q学习（Q-learning）
• 二次无约束二进制优化（Quadratic unconstrained binary optimization）
• 查询级功能（Query-level feature）
• Quickprop
• 径向基函数网络（Radial basis function network）
• 随机加权多数算法（Randomized weighted majority algorithm）
• 强化学习（Reinforcement learning）
• 重复进行增量修剪以减少错误（Repeated incremental pruning to produce error reduction，简称RIPPER）
• Rprop
• 基于规则的机器学习（Rule-based machine learning）
• 技能链（Skill chaining）
• 稀疏PCA（Sparse PCA）
• 状态–动作–奖励–状态–动作（State–action–reward–state–action，简称SARSA）
• 随机梯度下降（Stochastic gradient descent）
• 结构化kNN（Structured kNN）
• T分布随机相邻嵌入（T-distributed stochastic neighbor embedding，简称t-SNE）
• 时差学习（Temporal difference learning，简称TD）
• 唤醒睡眠算法（Wake-sleep algorithm）
• 加权式多数决算法（Weighted majority algorithm）

机器学习的方法

• 实例为基的算法（Instance-based algorithm）
  • K-近邻算法 (K-nearest neighbors algorithm，简称KNN)
  • 学习向量量化（Learning vector quantization，简称LVQ）
  • 自组织映射（Self-organizing map，简称SOM）
• 回归分析（Regression analysis）
  • 逻辑回归（Logistic regression）
  • 普通最小平方回归（Ordinary least squares regression，简称OLSR）
  • 线性回归（Linear regression）
  • 逐步回归（Stepwise regression）
  • 多元自适应回归样条（Multivariate adaptive regression splines，简称MARS）
• 正则化的算法（Regularization algorithm）
  • 吉洪诺夫正则化（Ridge regression）
  • Lasso算法（Least Absolute Shrinkage and Selection Operator，简称LASSO）
  • 弹性网（Elastic net）
  • 最小角回归（Least-angle regression，简称LARS）
• 统计分类（Statistical classification）
  • 几率分类器（Probabilistic classifier）
    • 朴素贝叶斯分类器（Naive Bayes classifier）
  • 二进制分类器（Binary classifier）
  • 线性分类器（Linear classifier）
  • 层次结构式分类器（Hierarchical classifier）

降维

降维（Dimensionality reduction）

• 典型相关（Canonical correlation analysis，简称CCA）
• 因子分析（Factor analysis）
• 特征提取（Feature extraction）
• 特征选择（Feature selection）
• 独立成分分析 （Independent component analysis，简称ICA）
• 线性判别分析 （Linear discriminant analysis，简称LDA）
• 多维标度（Multidimensional scaling，简称MDS）
• 非负矩阵分解（Non-negative matrix factorization，简称NMF）
• 偏最小二乘回归（Partial least squares regression，简称PLSR）
• 主成分分析（Principal component analysis，简称PCA）
• 主成分回归（Principal component regression，简称PCR）
• 投影寻踪（Projection pursuit）
• 萨蒙映射（Sammon mapping）
• T分布随机相邻嵌入 (T-distributed stochastic neighbor embedding，简称t-SNE)

集成学习

集成学习（Ensemble learning）

• AdaBoost
• 提升方法（Boosting）
• Bagging算法（Bootstrap aggregating，引导聚合，又称装袋算法）
• 整体平均（Ensemble averaging） – 与创建一个模型相反，创建多个模型并将它们组合以产生所需输出的过程。 通常，一组模型的性能要优于任何单个模型，因为模型的各种错误会‘平均化’。
• 梯度提升技术（Gradient boosted decision tree，简称GBDT）
• 梯度推升机器（Gradient boosting machine，简称GBM）
• 随机森林（Random Forest）
• 堆栈式一般化（Stacked Generalization） (blending)

元学习

元学习（Meta learning）

• 归纳偏置（Inductive bias）
• 元数据（Metadata）

强化学习

强化学习（Reinforcement learning）

• Q学习（Q-learning）
• 状态–动作–奖励–状态–动作（State–action–reward–state–action，简称SARSA）
• 时差学习（Temporal difference learning，简称TD）
• 学习自动机（Learning Automata）

监督式学习

监督式学习（Supervised learning）

• AODE
• 人工神经网络（Artificial neural network）
• 关系规则学习算法（Association rule learning algorithms）
  • 先验算法（Apriori algorithm）
  • Eclat算法（Eclat algorithm）
• 案例推论（Case-based reasoning）
• 高斯过程回归（Gaussian process regression）
• Gene expression programming
• 数据处理的组群方法（Group method of data handling，简称GMDH）
• 归纳逻辑程式设计（Inductive logic programming）
• 实例为基的学习（Instance-based learning）
• 惰性学习（Lazy learning）
• 学习自动机（Learning Automata）
• 学习向量量化（Learning Vector Quantization，简称LVQ）
• 逻辑模型树（Logistic Model Tree）
• 最小消息长度（Minimum message length） – (决策树，决策图等)
  • K-近邻算法（Nearest Neighbor Algorithm）
  • 模拟模式法（Analogical modeling）
• 几率近似正确学习（Probably approximately correct learning，简称PAC）
• 降低规则（Ripple down rules） – 知识获取方法
• 符号机器学习算法（Symbolic machine learning algorithms）
• 支持向量机（Support vector machine）
• 随机森林（Random Forests）
• 集成学习（Ensembles of classifiers）
  • Bagging算法（Bootstrap aggregating，引导聚合，又称装袋算法）
  • 提升方法（Boosting）
• 次序分类（Ordinal classification）
• 资讯模糊网络（Information fuzzy networks，简称IFN）
• 条件随机域（Conditional Random Field）
• 方差分析（Analysis of variance，简称ANOVA）
• 二次分类器（Quadratic classifier）
• K-近邻算法（k-nearest neighbor）
• 提升方法（Boosting）
  • SPRINT
• 贝氏网络（Bayesian network）
  • 朴素贝叶斯（Naive Bayes）
• 隐马尔可夫模型（Hidden Markov model）
  • 分层隐藏式马可夫模型（Hierarchical hidden Markov model）

贝叶斯

贝氏统计（Bayesian statistics）

• 贝叶斯知识库（Bayesian knowledge base）
• 朴素贝叶斯（Naive Bayes）
• 高斯朴素贝叶斯（Gaussian Naive Bayes）
• 多项朴素贝叶斯（Multinomial Naive Bayes）
• 平均单项依赖性估计值（Averaged One-Dependence Estimators，简称AODE）
• 贝氏信赖网络（Bayesian Belief Network，简称BBN）
• 贝氏网络（Bayesian network，简称BN）

决策树算法

• 决策树（Decision tree）
• 决策树学习（Classification and regression tree，简称CART）
• ID3算法 （Iterative Dichotomiser 3，简称ID3）
• C4.5算法
• C4.5算法（C5.0 algorithm）
• 卡方自动交互作用侦测（Chi-squared Automatic Interaction Detection，简称CHAID）
• 决策树桩（Decision stump）
• 条件决策树（Conditional decision tree）
• ID3算法
• 随机森林 （Random forest）
• SLIQ

线性分类器

线性分类器（Linear classifier）

• 线性判别分析（Fisher's linear discriminant）
• 线性回归（Linear regression）
• 逻辑回归（Logistic regression）
• 多项逻辑回归（Multinomial logistic regression）
• 朴素贝叶斯分类器（Naive Bayes classifier）
• 感知器（Perceptron）
• 支持向量机（Support vector machine）

无监督学习

无监督学习（Unsupervised learning）

• 最大期望算法（Expectation-maximization algorithm）
• 向量量化（Vector Quantization）
• 生成地形图（Generative topographic map）
• 资讯瓶颈（Information bottleneck method）

人工神经网络

人工神经网络（Artificial neural network）

• 前馈神经网络（Feedforward neural network）
  • 极限学习机（Extreme learning machine）
  • 卷积神经网络（Convolutional neural network）
• 循环神经网络（Recurrent neural network）
  • 长短期记忆（Long short-term memory，简称LSTM）
• 逻辑学习机（Logic learning machine）
• 自组织映射（Self-organizing map）

关系规则学习

关系规则学习（Association rule learning）

• 先验算法（Apriori algorithm）
• 关联规则学习（Eclat algorithm）
• FP-growth算法（FP-growth algorithm）

层次聚类

层次聚类（Hierarchical clustering）

• 简单通道聚类（Single-linkage clustering）
• 概念聚类（Conceptual clustering）

聚类分析

聚类分析（Cluster analysis）

• BIRCH
• DBSCAN
• 最大期望算法（Expectation-maximization algorithm，简称EM）
• 模糊聚类（Fuzzy clustering）
• 层次聚类（Hierarchical clustering）
• K-平均算法（K-means clustering）
• K-中位数（K-medians）
• 均值偏移（Mean-shift）
• OPTICS（OPTICS algorithm）

异常检测

异常检测（Anomaly detection）

• K-近邻算法 (k-nearest neighbors classification，简称k-NN)
• 区域异常系数（Local outlier factor）

半监督学习

半监督学习（Semi-supervised learning）

• 主动学习（Active learning） – 是半监督学习的特殊情况，其中学习算法能够交互式地查询用户（或某些其他资讯源），以便在新数据点上获得所需的输出。
• 生成模型（半监督学习）（Generative models）
• 低密度分离（半监督学习）（Low-density separation）
• 基于图的方法（半监督学习）（Graph-based methods）
• 协同训练（Co-training）
• 转导 (机器学习)（Transduction）

深度学习

深度学习（Deep learning）

• 深度置信网络（Deep belief network）
• 玻尔兹曼机（Boltzmann machine）
• 卷积神经网络（Convolutional neural network）
• 循环神经网络（Recurrent neural network）
• 层次结构式时序记忆（Hierarchical temporal memory）
• 生成对抗网络（Generative adversarial network）
• 深度波兹曼机（Deep Boltzmann Machine，简称DBM）
• 堆栈式自动编码器（Stacked Auto-Encoders）

其他机器学习的方法与问题

• 异常检测（Anomaly detection）
• 关系规则学习（Association rule learning）
• 偏误及变异数之困境（Bias-variance dilemma）
• 统计分类（Statistical classification）
  • 多标签分类（Multi-label classification）
• 聚类分析（Cluster analysis|Clustering）
• 数据预处理（Data Pre-processing）
• 经验风险最小化（Empirical risk minimization）
• 特征工程
• 表征学习（Feature learning）
• 排序学习法（Learning to rank）
• 奥坎学习（Occam learning）
• 在线机器学习（Online machine learning）
• PAC学习（PAC learning）
• 回归分析（Regression analysis）
• 强化学习（Reinforcement Learning）
• 半监督学习（Semi-supervised learning）
• 统计学习（Statistical learning）
• 结构化预测（Structured prediction）
  • 图模式（Graphical model）
    • 贝氏网络（Bayesian network，简称BN）
    • 条件随机域 （Conditional random field，简称CRF）
    • 隐马尔可夫模型 （Hidden Markov model，简称HMM）
• 无监督学习（Unsupervised learning）
• VC理论（VC theory）

机器学习的研究

• 人工智慧项目列表（List of artificial intelligence projects）
• 机器学习研究的数据集列表（List of datasets for machine learning research）

机器学习的历史

机器学习的历史

• 机器学习的时间线（Timeline of machine learning）

机器学习的项目

• DeepMind
• 谷歌大脑（Google Brain）

机器学习的组织

• 知识工程和机器学习实验室（Knowledge Engineering and Machine Learning Group）

机器学习的会议和研讨会

• Artificial Intelligence and Security (AISec) (co-located workshop with CCS)
• 神经资讯处理系统大会 （Conference on Neural Information Processing Systems，简称NIPS）
• ECML PKDD
• 国际机器学习大会（International Conference on Machine Learning，简称ICML）
• ML4ALL (Machine Learning For All)

机器学习的刊物

机器学习的相关书籍

• 西内启. 《機器學習的數學基礎 : AI、深度學習打底必讀 !》. 旗标. ISBN 9789863126140. 
• Alice Zheng, Amanda Casari. 《機器學習：特徵工程》. 欧莱礼. ISBN 9789865024833. 

机器学习的期刊

• 机器学习 (期刊)（Machine Learning）
• 机器学习研究期刊（Journal of Machine Learning Research，简称JMLR）
• 神经计算 (期刊)（Neural Computation）

在机器学习有影响力的人

• Alberto Broggi
• Andrei Knyazev
• Andrew McCallum
• 吴恩达（Andrew Ng）
• Anuraag Jain
• Armin B. Cremers
• Ayanna Howard
• Barney Pell
• Ben Goertzel
• Ben Taskar
• Bernhard Schölkopf
• Brian D. Ripley
• Christopher G. Atkeson
• Corinna Cortes
• 杰米斯·哈萨比斯（Demis Hassabis）
• 道格拉斯·莱纳特（Douglas Lenat）
• 邢波（Eric Xing）
• Ernst Dickmanns
• 杰弗里·辛顿（Geoffrey Hinton） – co-inventor of the backpropagation and contrastive divergence training algorithms
• Hans-Peter Kriegel
• Hartmut Neven
• Heikki Mannila
• 伊恩·古德费洛（Ian Goodfellow） – Father of Generative & adversarial networks
• Jacek M. Zurada
• Jaime Carbonell
• Jeremy Slovak
• Jerome H. Friedman
• John D. Lafferty
• John Platt – invented SMO and Platt scaling
• Julie Beth Lovins
• 于尔根·施密德胡伯（Jürgen Schmidhuber）
• Karl Steinbuch
• Katia Sycara
• Leo Breiman – invented bagging and random forests
• Lise Getoor
• Luca Maria Gambardella
• Léon Bottou
• Marcus Hutter
• Mehryar Mohri
• Michael Collins
• 迈克尔·乔丹 (学者)（Michael I. Jordan）
• Michael L. Littman
• Nando de Freitas
• Oren Etzioni
• Pedro Domingos
• Peter Flach
• Pierre Baldi
• Pushmeet Kohli
• 雷蒙德·库茨魏尔（Ray Kurzweil）
• Rayid Ghani
• Ross Quinlan
• Salvatore J. Stolfo
• 塞巴斯蒂安·特龙（Sebastian Thrun）
• Selmer Bringsjord
• Sepp Hochreiter
• Shane Legg
• Stephen Muggleton
• Steve Omohundro
• Tom M. Mitchell
• Trevor Hastie
• Vasant Honavar
• 弗拉基米尔·万普尼克（Vladimir Vapnik） – co-inventor of the SVM and VC theory
• 杨立昆（Yann LeCun） – invented convolutional neural networks
• Yasuo Matsuyama
• 约书亚·本希奥（Yoshua Bengio）
• Zoubin Ghahramani

另见

• Outline of artificial intelligence
  • 电脑视觉各主题列表（Outline of computer vision）
• Outline of robotics
• Accuracy paradox
• Action model learning
• 激活函数（Activation function）
• Activity recognition
• ADALINE
• Adaptive neuro fuzzy inference system
• Adaptive resonance theory
• Additive smoothing
• Adjusted mutual information
• AIVA
• AIXI
• AlchemyAPI
• AlexNet
• Algorithm selection
• Algorithmic inference
• Algorithmic learning theory
• AlphaGo
• AlphaGo Zero
• Alternating decision tree
• Apprenticeship learning
• Causal Markov condition
• Competitive learning
• Concept learning
• 决策树学习
• Distribution learning theory
• Eager learning
• End-to-end reinforcement learning
• Error tolerance (PAC learning)
• Explanation-based learning
• 特征 (机器学习)
• GloVe
• Hyperparameter
• IBM Machine Learning Hub
• Inferential theory of learning
• 学习自动机（Learning automata）
• Learning classifier system
• Learning rule
• 容错学习问题（Learning with errors）
• M-Theory (learning framework)
• 机器学习控制（Machine learning control）
• Machine learning in bioinformatics
• Margin
• Markov chain geostatistics
• 马尔可夫链蒙特卡洛 (MCMC)
• Markov information source
• 马尔可夫逻辑网络
• Markov model
• 马尔可夫网络
• Markovian discrimination
• Maximum-entropy Markov model
• Multi-armed bandit
• Multi-task learning
• Multilinear subspace learning
• Multimodal learning
• Multiple instance learning
• Multiple-instance learning
• Never-Ending Language Learning
• Offline learning
• Parity learning
• Population-based incremental learning
• Predictive learning
• Preference learning
• Proactive learning
• Proximal gradient methods for learning
• 语义分析
• Similarity learning
• 稀松字典学习
• Stability (learning theory)
• 统计学习理论
• Statistical relational learning
• Tanagra
• 迁移学习
• Variable-order Markov model
• Version space learning
• Waffles
• Weka
• 损失函数（Loss function）
  • 分类问题之损失函数（Loss functions for classification）
  • 均方误差 （Mean squared error，简称MSE）
  • Mean squared prediction error (MSPE)
  • Taguchi loss function
• Low-energy adaptive clustering hierarchy

其他

• Anne O'Tate
• 蚁群算法（Ant colony optimization algorithms）
• Anthony Levandowski
• Anti-unification (computer science)
• Apache Flume
• Apache Giraph
• Apache Mahout
• Apache SINGA
• Apache Spark
• Apache SystemML
• Aphelion (software)
• Arabic Speech Corpus
• Archetypal analysis
• Arthur Zimek
• 蚁群算法（Artificial ants）
• Artificial bee colony algorithm
• Artificial development
• Artificial immune system
• 天文统计学
• 平均单项依赖性估计值（Averaged One-Dependence Estimators，简称AODE）
• 词袋模型（Bag-of-words model）
• Balanced clustering
• Ball tree
• Base rate
• 蝙蝠算法（Bat algorithm）
• Baum-Welch算法（Baum–Welch algorithm）
• Bayesian hierarchical modeling
• Bayesian interpretation of kernel regularization
• Bayesian optimization
• Bayesian structural time series
• Bees algorithm
• Behavioral clustering
• Bernoulli scheme
• Bias–variance tradeoff
• Biclustering
• BigML
• Binary classification
• Bing
• Bio-inspired computing
• Biogeography-based optimization
• 双标图（Biplot）
• Bondy's theorem
• Bongard problem
• Bradley–Terry model
• BrownBoost
• Brown clustering
• Burst error
• CBCL (MIT)
• CIML community portal
• CMA-ES
• CURE data clustering algorithm
• Cache language model
• Calibration (statistics)
• Canonical correspondence analysis
• Canopy clustering algorithm
• Cascading classifiers
• Category utility
• CellCognition
• Cellular evolutionary algorithm
• Chi-square automatic interaction detection
• 染色体 (遗传算法)（Chromosome）
• Classifier chains
• Cleverbot
• Clonal selection algorithm
• Cluster-weighted modeling
• Clustering high-dimensional data
• 集群错觉（Clustering illusion）
• CoBoosting
• Cobweb (clustering)
• Cognitive computer
• Cognitive robotics
• Collostructional analysis
• Common-method variance
• Complete-linkage clustering
• 电脑自动设计（Computer-automated design）
• Concept class
• Concept drift
• Conference on Artificial General Intelligence
• Conference on Knowledge Discovery and Data Mining
• Confirmatory factor analysis
• 混淆矩阵（Confusion matrix）
• Congruence coefficient
• Connect (computer system)
• Consensus clustering
• Constrained clustering
• Constrained conditional model
• Constructive cooperative coevolution
• Correlation clustering
• Correspondence analysis
• Cortica
• Coupled pattern learner
• Cross-entropy method
• 交叉验证（Cross-validation）
• 交叉 (遗传算法)（Crossover）
• 布谷鸟搜索算法（Cuckoo search）
• Cultural algorithm
• Cultural consensus theory
• 维数灾难（Curse of dimensionality）
• DADiSP
• DARPA LAGR Program
• Darkforest
• 达特矛斯会议（Dartmouth workshop）
• DarwinTunes
• Data Mining Extensions
• Data exploration
• Data pre-processing
• Data stream clustering
• Dataiku
• Davies–Bouldin index
• 决策边界（Decision boundary）
• Decision list
• Decision tree model
• Deductive classifier
• DeepArt
• DeepDream
• Deep Web Technologies
• 定义长度（Defining length）
• Dendrogram
• Dependability state model
• Detailed balance
• Determining the number of clusters in a data set
• Detrended correspondence analysis
• Developmental robotics
• Diffbot
• 差分进化算法（Differential evolution）
• Discrete phase-type distribution
• 判别模型（Discriminative model）
• Dissociated press
• Distributed R
• Dlib
• 文档分类（Document classification）
• Documenting Hate
• Domain adaptation
• Doubly stochastic model
• Dual-phase evolution
• Dunn index
• Dynamic Bayesian network
• 动态贝氏网络（Dynamic Bayesian network）
• 动态马可夫压缩（Dynamic Markov compression）
• Dynamic topic model
• Dynamic unobserved effects model
• EDLUT
• ELKI
• Edge recombination operator
• Effective fitness
• Elastic map
• Elastic matching
• Elbow method (clustering)
• Emergent (software)
• Encog
• 熵率（Entropy rate）
• Erkki Oja
• Eurisko
• European Conference on Artificial Intelligence
• Evaluation of binary classifiers
• Evolution strategy
• Evolution window
• Evolutionary Algorithm for Landmark Detection
• 进化算法（Evolutionary algorithm）
• Evolutionary art
• Evolutionary music
• Evolutionary programming
• Evolvability (computer science)
• Evolved antenna
• Evolver (software)
• Evolving classification function
• Expectation propagation
• Exploratory factor analysis
• F-score
• FLAME clustering
• Factor analysis of mixed data
• 因子图（Factor graph）
• Factor regression model
• Factored language model
• Farthest-first traversal
• Fast-and-frugal trees
• Feature Selection Toolbox
• Feature hashing
• 特征缩放（Feature scaling）
• 特征 (机器学习)（Feature vector）
• 萤火虫算法（Firefly algorithm）
• First-difference estimator
• First-order inductive learner
• Fish School Search
• Fisher kernel
• Fitness approximation
• Fitness function
• Fitness proportionate selection
• Fluentd
• Folding@home
• 正规概念分析法（Formal concept analysis）
• 前向算法（Forward algorithm）
• Fowlkes–Mallows index
• Frederick Jelinek
• Frrole
• Functional principal component analysis
• 遗传算法
• GLIMMER
• Gary Bryce Fogel
• Gaussian adaptation
• 高斯过程（Gaussian process）
• Gaussian process emulator
• 基因预测（Gene prediction）
• General Architecture for Text Engineering
• 泛化误差（Generalization error）
• Generalized canonical correlation
• Generalized filtering
• Generalized iterative scaling
• Generalized multidimensional scaling
• 生成对抗网络（Generative adversarial network）
• 生成模型（Generative model）
• 遗传算法（Genetic algorithm）
• Genetic algorithm scheduling
• Genetic algorithms in economics
• Genetic fuzzy systems
• Genetic memory (computer science)
• 遗传操作数（Genetic operator）
• 遗传编程（Genetic programming）
• Genetic representation
• Geographical cluster
• Gesture Description Language
• Geworkbench
• Glossary of artificial intelligence
• 语言年代学（Glottochronology）
• Golem (ILP)
• Google matrix
• Grafting (decision trees)
• 格拉姆矩阵（Gramian matrix）
• Grammatical evolution
• Granular computing
• GraphLab
• Graph kernel
• Gremlin
• Growth function
• HUMANT (HUManoid ANT) algorithm
• Hammersley–Clifford theorem
• Harmony search
• 赫布理论（Hebbian theory）
• Hidden Markov random field
• Hidden semi-Markov model
• 分层隐藏式马可夫模型（Hierarchical hidden Markov model）
• Higher-order factor analysis
• Highway network
• Hinge loss
• Holland's schema theorem
• Hopkins statistic
• 霍森－科佩尔曼算法（Hoshen–Kopelman algorithm）
• Huber loss
• IRCF360
• 伊恩·古德费洛（Ian Goodfellow）
• Ilastik
• Ilya Sutskever
• Immunocomputing
• Imperialist competitive algorithm
• Inauthentic text
• Incremental decision tree
• Induction of regular languages
• 归纳偏置（Inductive bias）
• Inductive probability
• 归纳编程（Inductive programming）
• Influence diagram
• Information Harvesting
• Information fuzzy networks
• Information gain in decision trees
• Information gain ratio
• Inheritance (genetic algorithm)
• Instance selection
• Intel RealSense
• Interacting particle system
• Interactive machine translation
• 国际人工智慧联合会议（International Joint Conference on Artificial Intelligence）
• International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics
• International Semantic Web Conference
• 安德森鸢尾花卉数据集（Iris flower data set）
• Island algorithm
• Isotropic position
• 项目反应理论（Item response theory）
• Iterative Viterbi decoding
• JOONE
• Jabberwacky
• 雅卡尔指数（Jaccard index）
• Jackknife variance estimates for random forest
• Java Grammatical Evolution
• Joseph Nechvatal
• Jubatus
• Julia (编程语言)
• Junction tree algorithm
• K-SVD
• K-means++
• K-medians clustering
• K-medoids
• KNIME
• KXEN Inc.
• K q-flats
• Kaggle
• 卡尔曼滤波（Kalman filter）
• Katz's back-off model
• Kernel adaptive filter
• 核密度估计（Kernel density estimation）
• Kernel eigenvoice
• Kernel embedding of distributions
• Kernel method
• Kernel perceptron
• 随机森林（Kernel random forest）
• Kinect
• Klaus-Robert Müller
• Kneser–Ney smoothing
• Google知识图谱（Knowledge Vault）
• Knowledge integration
• LIBSVM
• LPBoost
• Labeled data
• LanguageWare
• Language Acquisition Device (computer)
• Language identification in the limit
• 语言模型（Language mode）
• 大间隔最近邻居（Large margin nearest neighbor）
• 隐含狄利克雷分布（Latent Dirichlet allocation）
• 潜在类别模型（Latent class model）
• 潜在语义学（Latent semantic analysis）
• 潜变量（Latent variable）
• Latent variable model
• Lattice Miner
• Layered hidden Markov model
• Learnable function class
• Least squares support vector machine
• Leave-one-out error
• Leslie P. Kaelbling
• Linear genetic programming
• Linear predictor function
• Linear separability
• 顾凌云（Lingyun Gu）
• Linkurious
• Lior Ron (business executive)
• List of genetic algorithm applications
• List of metaphor-based metaheuristics
• List of text mining software
• Local case-control sampling
• Local independence
• Local tangent space alignment
• Locality-sensitive hashing
• Log-linear model
• 逻辑模型树（Logistic Model Tree）
• Low-rank approximation
• Low-rank matrix approximations
• MATLAB
• MIMIC (immunology)
• Apache MXNet
• Mallet (software project)
• Manifold regularization
• Margin-infused relaxed algorithm
• Margin classifier
• Mark V. Shaney
• Massive Online Analysis
• Matrix regularization
• Matthews correlation coefficient
• Mean shift
• 均方误差（Mean squared error）
• Mean squared prediction error
• Measurement invariance
• Medoid
• MeeMix
• Melomics
• Memetic algorithm
• Meta-optimization
• Mexican International Conference on Artificial Intelligence
• Michael Kearns (computer scientist)
• 最小哈希（MinHash）
• 混合模型（Mixture model）
• Mlpy
• Models of DNA evolution
• Moral graph
• Mountain car problem
• Movidius
• Multi-armed bandit
• Multi-label classification
• Multi expression programming
• 多元分类（Multiclass classification）
• Multidimensional analysis
• Multifactor dimensionality reduction
• 多线性主成分分析（Multilinear principal component analysis）
• Multiple correspondence analysis
• Multiple discriminant analysis
• Multiple factor analysis
• 多重序列比对（Multiple sequence alignment）
• Multiplicative weight update method
• Multispectral pattern recognition
• 突变 (遗传算法)（Mutation）
• MysteryVibe
• N元语法（[N-gram）
• NOMINATE (scaling method)
• Native-language identification
• Natural Language Toolkit
• Natural evolution strategy
• Nearest-neighbor chain algorithm
• Nearest centroid classifier
• 最邻近搜索（Nearest neighbor search）
• 近邻结合法（Neighbor joining）
• Google Nest
• NetMiner
• NetOwl
• Neural Designer
• Neural Engineering Object
• Neural Lab
• Neural modeling fields
• Neural network software
• NeuroSolutions
• Neuro Laboratory
• Neuroevolution
• Neuroph
• Niki.ai
• Noisy channel model
• Noisy text analytics
• 非线性降维（Nonlinear dimensionality reduction）
• Novelty detection
• Nuisance variable
• Numenta
• One-class classification
• ONNX
• OpenNLP
• 线性判别分析
• Oracle Data Mining
• Orange (software)
• Ordination (statistics)
• 过适（Overfitting）
• PROGOL
• PSIPRED
• Pachinko allocation
• PageRank
• Parallel metaheuristic
• Parity benchmark
• Part-of-speech tagging
• 粒子群优化（Particle swarm optimization）
• 路径依赖（Path dependence）
• Pattern language (formal languages)
• Peltarion Synapse
• 困惑度（Perplexity）
• Persian Speech Corpus
• Picas (app)
• Pietro Perona
• Pipeline Pilot
• Piranha (software)
• Pitman–Yor process
• Plate notation
• Polynomial kernel
• Pop music automation
• Population process
• Portable Format for Analytics
• Predictive Model Markup Language
• Predictive state representation
• Preference regression
• Premature convergence
• Principal geodesic analysis
• Prior knowledge for pattern recognition
• Prisma
• Probabilistic Action Cores
• 随机上下文无关文法（Probabilistic context-free grammar）
• 概率潜在语义分析（Probabilistic latent semantic analysis）
• Probabilistic soft logic
• Probability matching
• Probit model
• Product of experts
• Programming with Big Data in R
• Proper generalized decomposition
• 决策树剪枝（Decision tree pruning）
• Pushpak Bhattacharyya
• Q methodology
• Qloo
• Quality control and genetic algorithms
• Quantum Artificial Intelligence Lab
• 等候理论（Queueing theory）
• Quick, Draw!
• R语言
• Rada Mihalcea
• Rademacher complexity
• 径向基函数核（Radial basis function kernel）
• Rand index
• Random indexing
• Random projection
• Random subspace method
• Ranking SVM
• RapidMiner
• Rattle GUI
• 雷蒙德·卡特尔（Raymond Cattell）
• Reasoning system
• Regularization perspectives on support vector machines
• Relational data mining
• Relationship square
• 相关向量机（Relevance vector machine）
• Relief (feature selection)
• Renjin
• Repertory grid
• Representer theorem
• Reward-based selection
• Richard Zemel
• Right to explanation
• 云机器人（RoboEarth）
• Robust principal component analysis
• RuleML Symposium
• Rule induction
• Rules extraction system family
• 统计分析系统（SAS）
• SNNS
• SPSS Modeler
• SUBCLU
• Sample complexity
• Sample exclusion dimension
• Santa Fe Trail problem
• Savi Technology
• Schema (genetic algorithms)
• Search-based software engineering
• Selection (genetic algorithm)
• Self-Service Semantic Suite
• Semantic folding
• Semantic mapping (statistics)
• Semidefinite embedding
• Sense Networks
• Sensorium Project
• Sequence labeling
• 序列最小优化算法（Sequential minimal optimization）
• Shattered set
• Shogun (toolbox)
• Silhouette (clustering)
• SimHash
• SimRank
• Similarity measure
• 简单匹配系数（Simple matching coefficient）
• 即时定位与地图构建（Simultaneous localization and mapping）
• Sinkov statistic
• Sliced inverse regression
• 蛇梯棋（Snakes and Ladders）
• Soft independent modelling of class analogies
• Soft output Viterbi algorithm
• 所罗门诺夫的归纳推理理论（Solomonoff's theory of inductive inference）
• SolveIT Software
• Spectral clustering
• Spike-and-slab variable selection
• 统计机器翻译（Statistical machine translation）
• Statistical parsing
• Statistical semantics
• Stefano Soatto
• 史蒂芬·沃尔夫勒姆（Stephen Wolfram）
• Stochastic block model
• Stochastic cellular automaton
• Stochastic diffusion search
• Stochastic grammar
• 转移矩阵（Stochastic matrix）
• 通用随机抽样（Stochastic universal sampling）
• Stress majorization
• String kernel
• Structural equation modeling
• Structural risk minimization
• Structured sparsity regularization
• Structured support vector machine
• Subclass reachability
• Sufficient dimension reduction
• Sukhotin's algorithm
• Sum of absolute differences
• Sum of absolute transformed differences
• 群体智慧（Swarm intelligence）
• Switching Kalman filter
• Symbolic regression
• Synchronous context-free grammar
• Syntactic pattern recognition
• TD-Gammon
• TIMIT
• Teaching dimension
• Teuvo Kohonen
• Textual case-based reasoning
• Theory of conjoint measurement
• Thomas G. Dietterich
• Thurstonian model
• 主题模型（Topic mode）
• Tournament selection
• 训练集、验证集和测试集（Training, test, and validation sets）
• Transiogram
• Trax Image Recognition
• Trigram tagger
• Truncation selection
• Tucker decomposition
• UIMA
• UPGMA
• Ugly duckling theorem
• Uncertain data
• Uniform convergence in probability
• Unique negative dimension
• Universal portfolio algorithm
• User behavior analytics
• VC维（VC dimension）
• VIGRA
• Validation set
• VC理论（Vapnik–Chervonenkis theory）
• Variable-order Bayesian network
• Variable kernel density estimation
• Variable rules analysis
• Variational message passing
• Varimax rotation
• 向量量化（Vector quantization）
• Vicarious (company)
• 维特比算法（Viterbi algorithm）
• Vowpal Wabbit
• WACA clustering algorithm
• WPGMA
• Ward's method
• 黄鼠狼程序（Weasel program）
• Whitening transformation
• Winnow (algorithm)
• Win–stay, lose–switch
• Witness set
• Wolfram语言（Wolfram Language）
• Wolfram Mathematica
• Writer invariant
• XGBoost
• Yooreeka
• Zeroth (software)

延伸导读

• Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001). The Elements of Statistical Learning, Springer. ISBN 0-387-95284-5.
• Pedro Domingos (September 2015), The Master Algorithm, Basic Books, ISBN 978-0-465-06570-7
• Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012). Foundations of Machine Learning, The MIT Press. ISBN 978-0-262-01825-8.
• Ian H. Witten and Eibe Frank (2011). Data Mining: Practical machine learning tools and techniques Morgan Kaufmann, 664pp., ISBN 978-0-12-374856-0.
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
• Christopher Bishop (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
• 弗拉基米尔·万普尼克 (1998). Statistical Learning Theory. Wiley-Interscience, ISBN 0-471-03003-1.
• Ray Solomonoff, An Inductive Inference Machine, IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957.
• Ray Solomonoff, "An Inductive Inference Machine" A privately circulated report from the 1956 Dartmouth Summer Research Conference on AI.

外部链接

• Data Science: Data to Insights from MIT (machine learning)
• Popular online course by 吴恩达, at Coursera. It uses GNU Octave. The course is a free version of 史丹佛大学's actual course taught by Ng, see.stanford.edu/Course/CS229 available for free].
• mloss is an academic database of open-source machine learning software.