海之美文新闻资讯
高斯过程
高斯过程（Gaussian Process, GP）是机率论和数理统计中随机过程（stochastic process）的一种，是一系列服从常态分配的随机变数（random variable）在一指数集（index set）内的组合。
高斯过程中任意随机变数的线性组合都服从常态分配，每个有限维分布都是联合常态分配，且其本身在连续指数集上的机率密度函式即是所有随机变数的高斯测度，因此被视为联合常态分配的无限维广义延伸。高斯过程由其数学期望和协方差函式完全决定，并继承了常态分配的诸多性质。
高斯过程的例子包括维纳过程、奥恩斯坦-乌伦贝克过程等。对高斯过程进行建模和预测是机器学习、信号处理等领域的重要内容，其中常见的模型包括高斯过程回归（Gaussian Process Regression, GPR）和高斯过程分类（Gaussian Process Classification, GPC）。高斯过程的命名来自德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）以纪念其提出常态分配概念。
基本介绍
- 中文名：高斯过程
- 外文名：Gaussian Process, GP
- 类型：随机过程
- 学科：统计学
- 套用：时间序列分析，机器学习
定义
高斯过程指的是一组随机变数的集合，这个集合里面的任意有限个随机变数都服从联合常态分配。具体地，对机率空间
内指数集为
的随机过程
，当
的子集
对任意
都是高斯随机向量时，
被称为高斯过程，且其分布，即布雷尔测度（Borel measure）
，被称为高斯测度（Gaussian measure）。
该定义有如下引理：对高斯随机向量
，若有指数集
，则随机过程
是高斯过程；反之，若随机过程
是高斯过程，则
是高斯随机向量。
对指数集 指定的高斯过程
，其数学期望与协方差函式（covariance function）有如下定义：
理论
平稳高斯过程（stationary Gaussian process）
作为随机过程之一，高斯过程的重要成员是平稳高斯过程，其定义如下：
设高斯过程
的指数集
是一个阿贝尔群（abelian group）且对任意
，随机向量
和
具有相同的对应关係，则
被称为平稳高斯过程。
上述定义的另一等价表述为：若高斯过程
的数学期望和协方差在指数集
内平移不变（transformation invariant），则
为平稳高斯过程。该表述的公式形式为：
核函式（kernel function）
主词条：核函式
高斯过程的性质与其协方差函式有密切联繫，在构造高斯过程时，一些特定形式的协方差函式被称为核函式。核函式的选择要求满足Mercer定理（Mercer's theorem），即核函式在样本空间内的任意格拉姆矩阵（Gram matrix）为半正定矩阵（semi-positive definite）。这里对高斯过程常见的核函式类型进行总结。
1. 平稳高斯过程的核函式
构建平稳高斯过程时，常用的核函式有：
径向基函式核（RBF kernel） |  |
马顿核（Matérn kernel） |  |
指数函式核（exponential kernel） |  |
二次有理函式核（rational quadratic kernel, RQ kernel） |  |
式中
，马顿核中的
为修正贝塞尔函式（modified Bessel function），
为表征核函式的特徵长度尺度（characteristic length-scale）的超参数。上述核函式间存在联繫，当
时，马顿核和RQ核等价于以
为特徵尺度的RBF核，指数函式核是马顿核在
的特殊形式。
核函式的两个重要度量是单调性和平滑性（smoothness）。表中的核函式均是单调递减函式，因此样本间的相关性与样本间距离成反比，此时特徵长度尺度越小，样本间的相关性越高。随机过程的平滑性由均方导数（mean squared derivative）描述，表中RBF核对应无限均方可导的平滑高斯过程；马顿核与RQ核的均方可导性与其超参数有关，例如在
取1.5和2.5时，马顿核是1阶和2阶均方可导的；指数函式核对应的高斯过程是奥恩斯坦-乌伦贝克过程（Ornstein-Uhlenbeck Process, OU），OU过程是一个具有强马尔可夫性且均方不可导的随机过程（参见特例部分）。
各向同性（a）和两类各向异性（b, c）的RBF核
各向同性（a）和两类各向异性（b, c）的RBF核2. 各项同性（isotropy）与各向异性（anisotropy）核函式
若高斯过程为高斯随机场，对应的指数集表示空间时，其核函式的选择有各向同性与各向异性之分。各向同性表示样本的协方差与其向量的方向无关，即仅与距离有关，各向异性反之。
对先前表中的平稳核函式，若定义
，则其为各向同性核函式，若定义
则其为各向异性核函式，
是表征各向异性的矩阵函式，其对角元素表示不同维度下所取的尺度。举例说明，对RBF核，其一般形式可表示为：
3. 非平稳核函式
周期核（periodic kernel）与多项式函式核（polynominal kernel）是常见的非平稳核函式。对前者，平稳核函式可以用于构建周期核：
。式中
表示该核函式具有的周期，例如由RBF核得到的周期核的形式为：
。对后者，多项式函式核也被称为内积核（dot product kernel），当多项式函式核为1阶时，多项式函式核退化为线性核。多项式函式核是非平稳的，但其对以原点为中心的旋转变换保持不变。高阶内积核函式的取值在
时呈非线性增长。内积核函式通常被套用于高维的高斯过程分类问题。
性质
由高斯过程的定义可知，高斯过程的任意有限指数集下的随机变数都服从联合常态分配，因此由常态分配的可加性，高斯过程（和其子集）的任意线性组合也是高斯过程。此外，由联合常态分配性质可知，若高斯过程有互不相关的随机变数
则
相互独立。
高斯过程由其数学期望和核函式完全定义，核函式赋予高斯过程平滑性（smoothness）、各向同性（isotropy）、周期性和平稳性。平稳高斯过程的数学期望是一常数，因此由核函式完全定义。。
高斯过程具有边缘分布性质（marginalization property），若高斯过程有服从联合常态分配的随机向量
，则其该向量中的随机变数
，且随机变数间有条件分布：
特例
维纳过程（Wiener process）
主词条：维纳过程
维纳过程（布朗运动）实例。左侧为时间序列，右侧为机率密度。非整数布朗运动（Fractional Brownian Motion）
非整数布朗运动是一类特殊的高斯过程。非整数布朗运动有
、数学期望为0和如下形式的协方差函式：
奥恩斯坦-乌伦贝克过程（Ornstein-Uhlenbeck Process, OU）
OU过程是一个平稳的高斯-马尔可夫过程，其数学期望为0且以指数函式为核函式。OU过程与维纳过程存在联繫，是随机微分方程：
的解。
布朗桥（Brownian bridge）
布朗桥是一个平稳高斯过程，布朗桥有
，数学期望为0，协方差函式为
。在连续时间域
上，布朗桥与维纳过程有关：
推广
高斯过程回归（Gaussian Process Regression, GPR）
主词条：高斯过程回归
GPR是将回归模型所对应的函式空间（functional space）视为高斯过程：
从而通过学习样本估计回归模型参数
的监督学习过程。作为一般性介绍，GPR可分为3个部分：
GPR实例，左图为三个0均值先验；右图为后验
GPR实例，左图为三个0均值先验；右图为后验1. 构建高斯过程先验：高斯过程由其数学期望和协方差函式完全决定，常见的选择是平稳高斯过程，即数学期望为一常数，协方差函式取平稳高斯过程可用的核函式，使用最多的核函式是RBF核。
2. 求解超参数：在给定学习样本
后GPR由贝叶斯定理（Bayes' theorem）求解超参数后验：
式中
为超参数的似然，对正态似然的情形，GPR通常使用极大似然估计（Maximum Likelihood Estimation, MLE）按非线性最佳化方法求解超参数；对非正态似然的情形，可使用解析近似（analytical approximation）和蒙特卡罗方法（Monte Carlo method）。
3. 对测试样本进行预测：对测试样本
，使用0均值高斯过程先验的GPR可给出回归结果
的后验。在正态似然的情形下，GPR的预测具有如下解析形式：
作为具有全贝叶斯特性（full Bayesian）的非参数模型，GPR可提供预测结果的后验，且在似然服从常态分配时，该后验具有解析形式，因此其是一个具有泛用性和可解析性的机率模型。此外，在核函式和指数集满足特定条件时，GPR是任意函式的通用近似（universal approximator）。
高斯过程分类（Gaussian Process Classification, GPC）
GPC与logistic回归（logistic regression）的关係可类比权重空间下GPR与贝叶斯线性回归的关係。对高斯过程下的数据
和分类标籤
，依据贝叶斯定理（Bayes’ theorem）
可以表示为
或
。两种表示方法定义了两类GPC模型，即生成模型（generative model）和判别模型（discriminative model），前者对
建模，后者对
建模。
对判别模型，在二元分类（binary classification）中，给定权重矩阵和从实数域映射至
区间的回响函式（例如Sigmoid函式），可定义如下的线性分类器（linear classifier）：
GPC的似然是潜函式对学习样本的因子乘积：
，考虑Sigmoid函式的表达式，该形式不是常态分配，因此GPC的后验没有解析形式，要求使用非正态似然的求解方法，例如使用解析近似将非正态后验近似表示为正态后验。
其它
除GPR和GPC外，高斯过程建模可以有其它更複杂的形式，例如半参数高斯过程（Semi-parametric Gaussian Processes, SGP）、深度高斯过程（Deep Gaussian Process, DGP）、可加高斯过程（Additive Gaussian Process, AGP）等。
套用
高斯过程主要套用于各领域的建模和预报，在时间序列分析中，高斯过程被用于时间序列的多步前向预报（multi-step-ahead prediction）、在信号处理中，高斯过程建模是处理非线性信号的工具、在人工智慧领域，GPR和GPC是被广泛使用的机器学习算法，具有卷积结构的高斯过程（Convolutional Gaussian Processes, CGP）在图像处理问题中表现出了良好效果。此外一些高斯过程可以模拟特殊的科学现象，例如OU过程被用于神经活动的建模、布朗桥被用于模拟生物的迁徙行为。