非參數回歸
統計學系列條目 |
迴歸分析 |
---|
![]() |
模型 |
估計 |
背景 |
非參數回歸指的是一類回歸分析,其中的預測子不是預先確定的,而根據從數據中獲得的信息。也就是說,預測子與因變量之間的關係不會假定為參數形式。非參數回歸需要更大的樣本量,因為數據必須提供參數模型結構和模型估計值。
定義
非參數回歸中,有隨機變量、,並假設其關係如下:
其中是某個確定函數。線性回歸也是非參數回歸的一種,假定為仿射。 有些學者使用了稍強的加性噪聲假設:
其中隨機變量是「噪聲項」,均值為0. 若不假設屬於特定的函數參數族,就不可能得到的無偏估計,但大多數估計量在適當條件下都是一致的。
通用非參數回歸算法列表
這是非參數回歸模型的非詳盡列表。
例子
高斯過程回歸/克里金法
高斯過程回歸也稱克里金法,假設回歸曲線的先驗為正態分布,並假設誤差遵循多元正態分布,回歸曲線由後驗模式估計。正態先驗可能取決於未知的超參數,可用經驗貝葉斯方法估計。 超參數通常指定一個先驗協方差核。若核也要從數據中進行非參數推斷,則可使用臨界濾波器。
平滑樣條法可解釋為高斯過程貨櫃的後驗模式。
核回歸
![](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/0/07/NonparRegrGaussianKernel.png/220px-NonparRegrGaussianKernel.png)
![]() |
核回歸用核函數卷積數據點位置,從有限的數據點中估計連續因變量。近似地說,核函數說明了「模糊」數據點影響的方法,以便用它們的值預測附近位置的值。
回歸樹
決策樹學習算法可以從數據中學習,以預測因變量。[2]雖然最初的分類回歸樹(CART)公式僅適用於預測單變量數據,該框架也可用於預測多變量數據,包括時間序列。[3]
另見
參考文獻
- ^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 (頁面存檔備份,存於網際網路檔案館)
- ^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8.
- ^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271.
閱讀更多
- Bowman, A. W.; Azzalini, A. Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. 1997. ISBN 0-19-852396-3.
- Fan, J.; Gijbels, I. Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. 1996. ISBN 0-412-98321-4.
- Henderson, D. J.; Parmeter, C. F. Applied Nonparametric Econometrics. New York: Cambridge University Press. 2015. ISBN 978-1-107-01025-3.
- Li, Q.; Racine, J. Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. 2007. ISBN 978-0-691-12161-1.
- Pagan, A.; Ullah, A. Nonparametric Econometrics
. New York: Cambridge University Press. 1999. ISBN 0-521-35564-8.
外部連結
- HyperNiche, software for nonparametric multiplicative regression (頁面存檔備份,存於網際網路檔案館).
- Scale-adaptive nonparametric regression (頁面存檔備份,存於網際網路檔案館) (with Matlab software).
|