Kojevnikov (2021) The bootstrap for network dependent processes, arXiv. - 勉強ノート：計量経済とその周辺

Introduction

Kojevnikov, Marmer & Song (2020) JoE で考察したネットワークデータの bootstrap について．
KMS (2020) では Kelejian and Prucha (2007) の spatial HAC に近い HAC 推定量を提案したが，この推定量は positive semidefinite にならない可能性がある＆有限標本での性質があまりよくない．

The setup

$G = (N, E)$ を無向グラフとする．各エッジ $e \in E$ にはウェイト $W(e)$ が乗っている．
Network dependent process: $Y \equiv (Y, G)$ . $Y$ の dependence structure は $G$ によって定まる．
Sequence of network dependent process: $\{(Y_n, G_n)\}$ ．一般的にグラフの列 $\{G_n\}$ は互いに無関係でよい．
$d_n$ をグラフ $G_n = (N_n, E_n)$ 上の距離関数とする（e.g., path を $1/W(\cdot)$ で加重した shortest path など）．

Assumption 2.1

$\min_{i,j \in N_n} d_n(i,j) \ge 1$ and $d_n(i,j) = \infty$ if there is no path connecting $i$ and $j$ .

定義： $\mathcal{P}_n(a,b;s)$ を距離 $s$ 以上離れた集合 $A$ ( $|A| = a$ ) と集合 $B$ ( $|B| = b$ ) のペアを集めたもの，とする：

$\mathcal{P}_n(a,b;s) := \{(A,B) \subset N_n^2: |A| = a, |B| = b, d_n(A,B) \ge s\}$

任意の集合 $A \subset N_n$ について， $Y_{n,A} \equiv \{Y_{n,i} : i \in A\}$ と書く．

定義: $(\mathcal{L}_v, \psi, \mathcal{C})$ -weak dependence

任意の $a$ -変数関数 $f \in \mathcal{L}_{v,a}$ と $b$ -変数関数 $g \in \mathcal{L}_{v,b}$ について，以下を満たす非確率関数 $\psi_{a,b}(f,g)$ と $\mathcal{C}$ -可測列 $\{\gamma_{n,s}\}$ が存在する:

　　 $|Cov(f(Y_{n,A}), g(Y_{n,B}) \mid \mathcal{C})| \le \psi_{a,b}(f,g)\gamma_{n,s}$

for any $(A,B) \in \mathcal{P}_n(a,b;s)$ with $s \ge 1$ . ( $\mathcal{L}_{v,a}$ の定義は論文参照.)

Proposition 2.1: $\{Y_n\}$ が $(\mathcal{L},\psi,\mathcal{C})$ -weakly dependent + mild regularity conditions $\Longrightarrow$ $\{h(Y_{n,i}) : i \in N_n\}$ is $(\mathcal{L},\psi,\mathcal{C})$ -weakly dependent, where $h$ is Lipschitz.
$N_n(i; s)$ を $i$ から半径 $s$ 未満のノードの集合とする：

$N_n(i; s) := \{j \in N_n : d_n(i,j) \lt s\}$

さらに， $N_n^\partial(i; s) := N_n(i ; s+1)\backslash N_n(i ; s)$ , $\delta_n^\partial(s; k):=\frac{1}{n}\sum_{i \in N_n}|N_n^\partial(i; s)|^k$ とおく．

Theorem 2.1 (LLN):

$\{(Y_n, G_n)\}$ is $(\mathcal{L}, \psi, \mathcal{C})$ -weakly dependent + $\frac{1}{n}\sum_{s \ge 1}\delta_n^\partial(s; 1)\gamma_{n,s} \to 0$ + Assumption 2.1 + regularity conditions

$\Longrightarrow$ $\displaystyle \left\| \frac{1}{n} \sum_{i \in N_n}(Y_{n,i} - \mathbb{E}[Y_{n,i} \mid \mathcal{C} ]) \right\| \to 0$ a.s.

Bootstrap of the Mean

$\{(Y_n, G_n)\}$ を $(\mathcal{L}, \psi, \mathcal{C})$ -weakly dependent process とする．
$Y_n$ の平均を $\mu_n \equiv \mathbb{E}[Y_{n,i} \mid \mathcal{C}]$ とおく． $\mu_n$ は標本平均 $\bar Y_n$ によって推定される．
検定統計量

\begin{align} T_{1,n}(\mu_n) & = \sqrt{n} || \bar Y_n - \mu_n|| \\ T_{2,n}(\mu_n) & = \sqrt{n}(\phi(\bar Y_n) - \phi(\mu_n)) \end{align}

where $\phi$ is a continuouly differentiable function.

$T_{1,n}(\mu_n)$ と $T_{2,n}(\mu_n)$ の $\mathcal{C}$ による条件付き分布関数をそれぞれ $F_{1,n}$ と $F_{2,n}$ とする．さらに，それらの bootstrap 近似を $F_{1,n}^*$ と $F_{2,n}^*$ とする．

Block Bootstrap (BB)

Block radius: $s_n + 1$ , $n$ overlapping blocks $\{B_{n,1}, \dots , B_{n,n}\}$ with $B_{n,k} := N_n(k; s_n + 1)$ .
ブロックサイズの平均値を $\delta_n(s_n)$ として，ランダムに $K_n := n/\delta_n(s_n)$ 個のブロック $\{B_{n,1}^*, \dots , B_{n,K_n}^*\}$ を復元抽出し，bootstrap sample

　　 $Y_n^* = \{Y_{n,B^*_{n,k}}: 1 \le k \le K_n\}$

を作る．

Bootstrap sample のサイズ $L_n := \sum_{k = 1}^{K_n}|B_{n,k}^*|$ は確率変数であることに注意．
Bootstrap (quasi) average $\bar Y_n^* := n^{-1} \sum_{k = 1}^{K_n} \sum_{j \in B^*_{n,k}} Y_{n,j}$ *1
また， $\mathcal{G}_n := \mathcal{C} \land \sigma(Y_n)$ として $\mu^*_n := \mathbb{E}[ \bar Y_n^* \mid \mathcal{G}_n]$ を定義する*2．
このとき， $T_{1,n}$ と $T_{2,n}$ の BB counterparts は

\begin{align} T_{1,n}^* & = \sqrt{n} || \bar Y_n^* - \mu_n^*|| \\ T_{2,n}^* & = \sqrt{n}(\phi(\bar Y_n^*) - \phi(\mu_n^*)) \end{align}

Proposition 4.2:

$F_{1,n}^*$ と $F_{2,n}^*$ は conditionally $d_K$ -consistent given $\mathcal{C}$ . (詳細は論文参照)

Dependent Wild Bootstrap (DWB)

$W_n$ を $n$ 次元の平均ゼロで $Y_n$ と独立な確率変数とする．さらに， $Var(W_{n,i}) = 1$ と $\displaystyle Cov(W_{n,i}, W_{n,j}) = \kappa \left( \frac{d_n(i,j)}{s_n + 1} \right)$ を満たすとする．ただし， $\kappa$ はカーネル関数で $s_n$ はバンド幅．
Bootstrap sample を以下のように作る:

　　 $Y_{n,i}^* = \bar Y_n + (Y_{n,i} - \bar Y_n) W_{n,i}$ for $i \in N_n$

このとき，bootstrap average は $\bar Y_n^* := n^{-1} \sum_{i \in N_n} Y_{n,i}^*$ . さらに，block bootsrtap とは対照的に， $\bar Y_n = \mathbb{E}[ \bar Y_n^* \mid \mathcal{G}_n]$ である．
$T_{1,n}$ と $T_{2,n}$ の DWB counterparts は

\begin{align} T_{1,n}^* & = \sqrt{n} || \bar Y_n^* -\bar Y_n|| \\ T_{2,n}^* & = \sqrt{n}(\phi(\bar Y_n^*) - \phi(\bar Y_n)) \end{align}

Proposition 4.4:

$F_{1,n}^*$ と $F_{2,n}^*$ は conditionally $d_K$ -consistent given $\mathcal{C}$ . (詳細は論文参照)

*1:"True" average $\bar Y_n^* := L_n^{-1} \sum_{k = 1}^{K_n} \sum_{j \in B^*_{n,k}} Y_{n,j}$ も当然考えられるが， $L_n$ が確率変数であるために $\sqrt{L_n}\bar Y_n^*$ の分布を考えるのは結構難しい．

*2: $\mu_n^*$ は通常の標本平均とは異なる．これを $\bar Y_n$ に置き換えると second-order bias が生じるらしい (Lahiri, 1992 & 2003).