非参数回归
统计学系列条目 |
回归分析 |
---|
![]() |
模型 |
估计 |
背景 |
非参数回归指的是一类回归分析,其中的预测子不是预先确定的,而根据从数据中获得的信息。也就是说,预测子与因变量之间的关系不会假定为参数形式。非参数回归需要更大的样本量,因为数据必须提供参数模型结构和模型估计值。
定义
非参数回归中,有随机变量、,并假设其关系如下:
其中是某个确定函数。线性回归也是非参数回归的一种,假定为仿射。 有些学者使用了稍强的加性噪声假设:
其中随机变量是“噪声项”,均值为0. 若不假设属于特定的函数参数族,就不可能得到的无偏估计,但大多数估计量在适当条件下都是一致的。
通用非参数回归算法列表
这是非参数回归模型的非详尽列表。
例子
高斯过程回归/克里金法
高斯过程回归也称克里金法,假设回归曲线的先验为正态分布,并假设误差遵循多元正态分布,回归曲线由后验模式估计。正态先验可能取决于未知的超参数,可用经验贝叶斯方法估计。 超参数通常指定一个先验协方差核。若核也要从数据中进行非参数推断,则可使用临界滤波器。
平滑样条法可解释为高斯过程货柜的后验模式。
核回归
![](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/0/07/NonparRegrGaussianKernel.png/220px-NonparRegrGaussianKernel.png)
![]() |
核回归用核函数卷积数据点位置,从有限的数据点中估计连续因变量。近似地说,核函数说明了“模糊”数据点影响的方法,以便用它们的值预测附近位置的值。
回归树
决策树学习算法可以从数据中学习,以预测因变量。[2]虽然最初的分类回归树(CART)公式仅适用于预测单变量数据,该框架也可用于预测多变量数据,包括时间序列。[3]
另见
参考文献
- ^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 (页面存档备份,存于互联网档案馆)
- ^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8.
- ^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271.
阅读更多
- Bowman, A. W.; Azzalini, A. Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. 1997. ISBN 0-19-852396-3.
- Fan, J.; Gijbels, I. Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. 1996. ISBN 0-412-98321-4.
- Henderson, D. J.; Parmeter, C. F. Applied Nonparametric Econometrics. New York: Cambridge University Press. 2015. ISBN 978-1-107-01025-3.
- Li, Q.; Racine, J. Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. 2007. ISBN 978-0-691-12161-1.
- Pagan, A.; Ullah, A. Nonparametric Econometrics
. New York: Cambridge University Press. 1999. ISBN 0-521-35564-8.
外部链接
- HyperNiche, software for nonparametric multiplicative regression (页面存档备份,存于互联网档案馆).
- Scale-adaptive nonparametric regression (页面存档备份,存于互联网档案馆) (with Matlab software).
|