机器学习任务，例如分类问题，通常都要求输入在数学上或者在计算上都非常便于处理，在这样的前提下，特徵学习就应运而生了。然而，在我们现实世界中的数据例如图片，视频，以及感测器的测量值都非常的複杂，冗余并且多变。那幺，如何有效的提取出特徵并且将其表达出来就显得非常重要。传统的手动提取特徵需要大量的人力并且依赖于非常专业的知识。同时，还不便于推广。这就要求特徵学习技术的整体设计非常有效，自动化，并且易于推广。

特徵学习可以被分为两类：监督的和无监督的，类似于机器学习。

监督特徵学习就是从被标记的数据中学习特徵。大致有一下几种方法。

总体来说，字典学习是为了从输入数据获得一组的表征元素，使每一个数据点可以（近似的）通过对表征元素加权求和来重构。字典中的元素和权值可以通过最小化表征误差来得到。通过L1正则化可以让权值变得稀疏（例，每一个数据点的表征只有几个非零的权值）。

监督字典学习利用输入数据的结构和给定的标籤（输出）来最佳化字典。例如，2009年Mairal等人提出的一种监督字典学习方案被套用在了分类问题上。这个方案的最佳化目标包括最小化分类误差，表征误差，权值的1範数（L1正则化）和分类器参数的2範数。 有监督的字典学习可以被视为一个三层神经网路（一层隐含层），第一层（输入层）到第二层（隐含层）是表征学习，第二层到第三层（输出）是分类器的参数回归。

神经网路是通过多层由内部相连的节点组成的网路的一个学习算法。它的命名是受到神经系统的启发，它的每一个节点就像神经系统里的神经元，而每一条边就像一条突触。神经网路里面的每一条边都有对应的权值，而整个网路则定义运算法则将输入数据转换成为输出。神经网路的网路函式通过权值来刻画输入层跟输出层之间的关係。通过适当的调整网路函式，可以儘量最小化损耗的同时解决各种各样的机器学习任务。

在多元统计分析中，主成分分析（英语：Principal components analysis，PCA）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特徵。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体套用而定。由于主成分分析依赖所给数据，所以数据的準确性对分析结果影响很大。

主成分分析由卡尔·皮尔逊于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特徵分解，以得出数据的主成分（即特徵向量）与它们的权值（即特徵值）。PCA是最简单的以特徵量分析多元统计分布的方法。其结果可以理解为对原数据中的方差做出解释：哪一个方向上的数据值对方差的影响最大？换而言之，PCA提供了一种降低数据维度的有效办法；如果分析者在原数据中除掉最小的特徵值所对应的成分，那幺所得的低维度数据必定是最最佳化的（也即，这样降低维度必定是失去讯息最少的方法）。主成分分析在分析複杂数据时尤为有用，比如人脸识别。

PCA是最简单的以特徵量分析多元统计分布的方法。通常情况下，这种运算可以被看作是揭露数据的内部结构，从而更好的解释数据的变数的方法。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那幺PCA就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个‘投影’。这样就可以利用少量的主成分使得数据的维度降低了。

PCA跟因子分析密切相关，并且已经有很多混合这两种分析的统计包。而真实要素分析则是假定底层结构，求得微小差异矩阵的特徵向量。

在统计学中，独立成分分析或独立分量分析（Independent components analysis，缩写：ICA） 是一种利用统计原理进行计算的方法。它是一个线性变换。这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。独立成分分析是盲信号分离（Blind source separation）的一种特例。

独立成分分析的最重要的假设就是信号源统计独立。这个假设在大多数盲信号分离的情况中符合实际情况。即使当该假设不满足时，仍然可以用独立成分分析来把观察信号统计独立化，从而进一步分析数据的特性。独立成分分析的经典问题是“鸡尾酒会问题”（cocktail party problem）。该问题描述的是给定混合信号，如何分离出鸡尾酒会中同时说话的每个人的独立信号。当有N个信号源时，通常假设观察信号也有N个（例如N个麦克风或者录音机）。该假设意味着混合矩阵是个方阵，即J = D，其中D是输入数据的维数，J是系统模型的维数。对于J < D和J > D的情况，学术界也分别有不同研究。

独立成分分析并不能完全恢覆信号源的具体数值，也不能解出信号源的正负符号、信号的级数或者信号的数值範围。

独立成分分析是研究盲信号分离(blind signal separation)的一个重要方法，并且在实际中也有很多套用。