多元回归中选择自变量的一种简单方法

摘要：

在线性回归模型建模中,回归自变量选择是一个受到广泛关注、文献众多,具有很强的理论和实际意义的问题.回归自变量选择子集的相合性是其中一个重要问题,如果某种自变量选择方法选择的子集在样本量趋于无穷时是相合的,而且预测均方误差较小,则这种方法是可取的.利用BIC准则可以挑选相合的自变量子集,但是在自变量个数很多时计算量过大;适应lasso方法具有较高计算效率,也能找到相合的自变量子集;本文提出一种更简单的自变量选择方法,只需要计算两次普通线性回归:第一次进行全集回归,得到全集的回归系数估计,然后利用这些回归系数估计挑选子集,然后只要在挑选的自变量子集上再进行一次普通线性回归就得到了回归结果.考虑如下的回归模型:Yn=Xnβ*+ε(n),其中回归系数β*中非零分量下标的集合为J0,设(Jn)是本文方法选择的自变量子集下标集合,(β)(n)是本文方法估计的回归系数(未选中的自变量对应的系数为零),本文证明了,在适当条件下,lim n→∞P((J)n=J0)=1,√n((β)(n)-β*)J0 d→ N(0,∑),nE‖(β)(n)-β*‖2→σ2c,其中((β)(n)-β*)J0表示(β)(n)-β*的分量下标在J0中的元素的组成的向量,σ2是误差方差,∑,c是与矩阵(XTnXn)/n极限有关的矩阵和常数.数值模拟结果表明本文方法具有很好的中小样本性质.

关键词：变量选择、回归分析、oracle property

所属期刊栏目：31

在线出版日期：2015-06-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共18页

页码：71-88