High-dimensional Data

Li, Cai & Li (2020) Transfer learning for high-dimensional linear regression: prediction, estimation, and minimax optimality, arXiv.

Introduction Target model: , . , can be larger than . : number of nonzero elements of . is much smaller than . Auxiliary models: , , . と は一般的に異なる.しかしもし両者が近い値をとるならば,target model をより効率的に推定できるかもしれな…

Buhlmann and van de Geer (2011) Section 6.2 Least squares and the Lasso 2/2

6.2.2 続き Let , , . 明らかに . Lemma 6.3: On with , . Proof. Lemma 6.1 と から, \begin{align*}2||\mathbf{X}(\hat \beta - \beta^0) ||_2^2/n + 2\lambda || \hat \beta ||_1 \le \lambda ||\hat \beta - \beta^0|| + 2 \lambda || \beta^0 ||_1\end…

Buhlmann and van de Geer (2011) Section 6.2 Least squares and the Lasso 1/2

6.2.1 Introduction , . In matrix notation, . は固定, は i.i.d. とする. For the moment, とおく. Least squares estimator: このとき, とくに, もわかる (as ). つまり, と正規化しておけば,各 を (全体としては ) の精度で推定可能. 以降では…

Gold, Lederer & Tao (2020) Inference for high-dimensional instrumental variables regression, JoE.

Introduction モデル: , Doubly high-dimensional setting: , 両方とも high-dimensional. 各 について statistical inference したい. van de Geer et al. (2014 AoS)のような二段階のde-biased LASSOを考える. Belloni et al. (2018 arXiv)も似たような…