Stein’s method: Ch.2 Ross and Pekoz (2007) 2/2 - 勉強ノート：計量経済とその周辺

Stein's Method for the Geometric Distributioin

$W \in \mathbb{N}$ を $\Pr(W = 1) = p = 1 - q$ を満たす確率変数， $Z$ を $\Pr(Z = k) = q^k p$ を満たす確率変数とする*1.
$A$ を任意の自然数の集合として， $f_A(k)$ , $k = 1,2, \ldots$ , を以下の関係式から定義する:

$f_A(k) - q f_A(k + 1) = I_{k \in A} - \Pr(Z \in A)$ , where $f_A(1) = 0$ .

この式の解は $f_A(k) = \Pr(Z \in A, Z \ge k)/ \Pr(Z = k) - \Pr(Z \in A)/p$ で得られる．実際，

\begin{align} &f_A(k) - q f_A(k + 1) \\& = \frac{ \Pr(Z \in A, Z \ge k)}{\Pr(Z = k)} - \frac{\Pr(Z \in A)}{p} - q \frac{ \Pr(Z \in A, Z \ge k + 1)}{\Pr(Z = k + 1)} + q \frac{\Pr(Z \in A)}{p}\\&= \frac{ \Pr(Z \in A, Z \ge k)}{q^k p} - q \frac{ \Pr(Z \in A, Z \ge k + 1)}{q^{k+1}p} + (q - 1) \frac{\Pr(Z \in A)}{p}\\&= \frac{ \Pr(Z \in A, Z \ge k) - \Pr(Z \in A, Z \ge k + 1)}{q^k p} - \Pr(Z \in A)\\&= \underbrace{\frac{ \Pr(Z \in A, Z = k) }{q^k p}}_{= \: I_{k \in A}} - \Pr(Z \in A)\end{align}

この結果から， $|f_A(i) - f_A(j)| \lt 1/p$ が分かる（Lemma 2.16）.

Theorem 2.17

$V$ を $V + 1=_d W | W \gt 1$ を満たす確率変数とする．このとき，

$d_{TV}(W,Z) \le qp^{-1}\Pr(W \neq V)$

が成立する．

証明： $f_A(1) = 0$ に注意し，Lemma 2.16 から

\begin{align} & |\underbrace{\Pr(W \in A)}_{= \: \mathbb{E} I_{W \in A}} - \Pr(Z \in A)| \\ & = |\mathbb{E} \left[ f_A(W) - q f_A(W + 1)\right]| \\& = | p \mathbb{E} \left[ f_A(W) | W = 1 \right] + q \mathbb{E} \left[ f_A(W) | W \gt 1 \right] - q \mathbb{E}\left[ f_A(W + 1)\right]| \\& = q | \mathbb{E} \left[ f_A(V + 1) \right] - \mathbb{E}\left[ f_A(W + 1)\right]| \\& \le q \mathbb{E} | f_A(V + 1) - f_A(W + 1) | \le qp^{-1} \Pr(W \neq V).\end{align}

右辺は $A$ と独立なので定理を得る．■

Stein's Method for the Normal Distributioin

$Z \sim N(0, 1)$ とする．このとき，連続関数 $f$ について $\mathbb{E}[f'(Z) - Z f(Z)]$ が成立する*2．
関数 $h$ と $f$ を以下のように定義する：

\begin{align} & h(x) = \begin{cases} 1 & \text{if } x \le z\\ 0 & \text{if } x \ge z + \alpha \\ (\alpha + z - x)/\alpha & \text{otherwise} \end{cases} \\ & f'(x) - xf(x) = h(x) - \mathbb{E}[h(Z)]\end{align}

このとき， $|f'(x) - f'(y)| \le \frac{2}{\alpha} |x - y|$ が成立する（Lemma 2.19）.

Theorem 2.20

Let $Z \sim N(0,1)$ and $W = \sum_{i=1}^n X_i$ , where $X_i$ 's are independent with $\mathbb{E}[X_i] = 0$ and $\text{Var}(W) = 1$ ．このとき，

$\displaystyle \sup_z |\Pr(W \le z) - \Pr(Z \le z)| \le 2 \sqrt{3 \sum_{i=1}^n \mathbb{E}|X_i|^3}$

が成立する．

証明： Lemma 2.19 の $f, \: h$ を用いる．任意の $\alpha \gt 0$ について， $h$ の定義から

\begin{align} \Pr(W \le z) - \Pr(Z \le z)& \le \mathbb{E}h(W) - \mathbb{E}h(Z) + \mathbb{E}h(Z) - \Pr(Z \le z)\\& \le \left| \mathbb{E}h(W) - \mathbb{E}h(Z)\right| + \Pr(z \le Z \le z + \alpha)\\& = \left| \mathbb{E}h(W) - \mathbb{E}h(Z)\right| + \Phi(z + \alpha) - \Phi(z)\\& \le \left| \mathbb{E}h(W) - \mathbb{E}h(Z)\right| + \alpha.\end{align}

このことから， $\alpha = \sqrt{3 \sum_{i=1}^n \mathbb{E}|X_i|^3}$ として，

$\left| \mathbb{E}h(W) - \mathbb{E}h(Z)\right| \le 3 \sum_{i=1}^n \mathbb{E}|X_i|^3/\alpha$

を示せばよい． $f$ の定義から，

$\mathbb{E}h(W) - \mathbb{E}h(Z) = \mathbb{E}(f'(W) - Wf(W))$

ここで， $W_i$ と $Y_i$ を $W_i = \sum_{j \neq i} X_j$ , $Y_i =_d X_i$ かつ $Y_i \perp \{X_i\}$ を満たす確率変数とする．このとき， $\sum_{i = 1}^n \mathbb{E}Y_i^2 = \text{Var}(W) = 1$ なので，

$\mathbb{E}f'(W) = \sum_{i = 1}^n \mathbb{E}[Y_i^2 f'(W)] = \sum_{i = 1}^n \mathbb{E}\left[Y_i \int^{Y_i}_0 f'(W) dt\right]$

さらに， $\mathbb{E}[X_i f(W_i)] = 0$ とテイラー展開から，

\begin{align}\mathbb{E}[Wf(W)] & = \sum_{i = 1}^n \mathbb{E} [X_i f(W)] \\& = \sum_{i = 1}^n \mathbb{E} [X_i (f(W) - f(W_i))] \\& = \sum_{i = 1}^n \mathbb{E} \left[ X_i \int_{W_i}^W f'(t)dt \right] =\sum_{i = 1}^n \mathbb{E} \left[ Y_i \int_0^{Y_i} f'(W_i + t)dt \right] \end{align}

以上から，Lemma 2.19 より

\begin{align}\left| \mathbb{E}h(W) - \mathbb{E}h(Z) \right|& = \left| \sum_{i = 1}^n\mathbb{E} \left[ Y_i \int_0^{Y_i} (f'(W) - f'(W_i + t))dt \right] \right| \\& \le \sum_{i = 1}^n\mathbb{E} \left[ Y_i \int_0^{Y_i} \left| f'(W) - f'(W_i + t)\right| dt \right] \\& \le \sum_{i = 1}^n\mathbb{E} \left[ Y_i \int_0^{Y_i} \frac{2}{\alpha}|X_i - t| dt \right]\\& \le \sum_{i = 1}^n\mathbb{E} \left[ Y_i \int_0^{Y_i} \frac{2}{\alpha}(|X_i| + |t|) dt \right] \\&= 2 \sum_{i = 1}^n \mathbb{E}Y_i^2 \mathbb{E} |X_i|/\alpha + \sum_{i = 1}^n \mathbb{E}|Y_i|^3/\alpha \le 3 \sum_{i = 1}^n \mathbb{E}|X_i|^3/\alpha \end{align}

最後の不等式で $\mathbb{E}X_i^2 \mathbb{E} |X_i| \le \mathbb{E}|X_i|^3$ を用いた（Lemma 2.21 参照）．