高斯—牛顿法的一般步骤为：

(1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。

(2)泰勒级数展开式。设非线性回归模型为：

i=1,2,…,n (3-68)

其中r为待估回归係数，误差项 ～N(0, )，设：

，为待估回归係数的初始值，将(3-68)式在g点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导数项，得

(3-69)

将(3-69)式代入(3-68)式，则

移项：

令：

则： i=1,2，…，n

用矩阵形式表示，上式则为： (3-70)

其中：

(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B，

则： (3-71)

设g为第一次叠代值，则：

(4)精确度的检验。设残差平方和为：

，S为重複叠代次数，对于给定的允许误差率K，当时，则停止叠代；否则，对(3-71)式作下一次叠代。

(5)重複叠代。重複(3-71)式，当重複叠代S次时，则有：

修正因子：

第(S+1)次叠代值：

设12个同类企业的月产量与单位成本的资料如下表：

(注：资料来源《社会经济统计学原理教科书》第435页)

试配合适当的回归模型分析月产量与单位产品成本之间的关係。

解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型：

对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：

则上述指数模型变为：

对分别求反对数，得，带入原模型，

得回归模型：

初始回归模型：

残差平方和：

（2）泰勒级数展开式。先对指数模型 中的a和b分别求偏导数。

然后用泰勒级数展开指数模型，移项整理得(注：参见(3-69)、(3-70)式)：

160-150.5866 0.82545 1535.0316

151-134.2148 0.73571 2189.0282

114-124.3015 0.68137 2534.1796

128-112.9332 0.61905 2878.0110

85-100.6550 0.55175 3180.7400 a

91- 91.4493 = 0.50128 3355.9387

75- 84.6948 0.46246 3453.4052

76- 76.9488 0.42180 3529.7593 b

66- 68.5829 0.37594 3565.4701

60- 62.3104 0.34156 3556.9658

61- 57.7081 0.31633 3529.5468

60-52.4302 0.28740 3473.9702

(3-72)

(3)估计修正因子。解(3-72)式矩阵，得：

a 12.09660288

=

b －0.00180342

第一次叠代值：

a1 a0 a 194.5266

= + =

b1 b0 b 0.9792

第一次叠代回归模型：

(4)精确度的检验。残差平方和：

给定误差率K=10,则：

作下一次叠代。

(5)重複叠代。

将 a1 代入(3-71)式作第二次叠代。得估计修正因子：

b1

a 0.647654043

=

b －0.000066948

第二次叠代值：

a2 a1 a 195.1743

= + =

b2 b1 b 0.9791

第二次叠代回归模型：

残差平方和：

误差率：

误差率达到要求，停止叠代。表3-10计算结果比较

从上表可看出：高斯—牛顿叠代法具有收敛快，精确度高的优点，二次叠代就使精确度高达99.97%，相关指数也明显提高。理论上可以证明高斯—牛顿叠代法经过数次叠代后，估计回归係数将逼近最佳的待估回归係数，使残差平方和达到最小，从而明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。