Stein’s method: Ch.2 Ross and Pekoz (2007) 1/2

Coupling

定義：確率変数のペア が かつ を満たすとき，それらを の coupling という．

• 例： とするとき は の coupling.
• for all であるとき と書く．

Proposition 2.3

であるとき， (a.s.) を満たす の coupling が構成できる．

証明： と の分布関数をそれぞれ と とし，, とおく．ただし . は明らか．

   

より . も同様．■

定義： の coupling のうち， となる確率が最も高いものを maximal coupling という．

• 注： と が独立の確率変数ならば当然 ．

Proposition 2.5

と の密度関数をそれぞれ と とするとき，maximal coupling は

   

を満たす．

証明：, とおく．

\begin{align} \Pr(\hat X = \hat Y) &= \Pr(\hat X = \hat Y \in A) + \Pr(\hat X = \hat Y \in A^c)\\ &\le \Pr(\hat X \in A) + \Pr(\hat Y \in A^c)\\ &= \Pr( X \in A) + \Pr(Y \in A^c)\\ &= \int_A f(x)dx + \int_{A^c} g(x)dx = p. \end{align}

次に逆の不等式を導出する．確率変数 がそれぞれ以下の密度関数をもつとする：

\begin{align} \displaystyle b(x) &= \frac{\min\{f(x), g(x)\}}{p}\\ c(x) &= \frac{f(x) - \min\{f(x), g(x)\}}{1 - p}\\ d(x) &= \frac{g(x) - \min\{f(x), g(x)\}}{1 - p}\end{align}

さらに ，

\begin{cases} \displaystyle \hat X = \hat Y = B & \text{if } I =1\\ \hat X = C, \; \hat Y = D & \text{if } I =0\end{cases}

とおく．明らかに . 最後に，この が の coupling であることを示す．

\begin{align} \displaystyle \Pr(\hat X \le x) & = \Pr(\hat X \le x \mid I = 1)p + \Pr(\hat X \le x \mid I = 0)(1 - p) \\ & = p \int^x b(x)dx + (1-p) \int^x c(x)dx = \int^x f(x)dx.\end{align}

も同様．■

• 離散確率変数の場合は になる．

定義：２つの確率変数 について，全変動距離 (total variation distance) を

   

で定義する．

Proposition 2.7

を の maximal coupling とするとき，

   

が成立する．

証明： とおく．このとき，

\begin{align} d_{TV}(X, Y) & = \max\{ \Pr(X \in A) - \Pr(Y \in A), \:  \Pr(Y \in A^c) - \Pr(X \in A^c)\} \\ &= \max\{ \Pr(X \in A) - \Pr(Y \in A), \:  1 - \Pr(Y \in A) - 1 + \Pr(X \in A)\} \\ & = \Pr(X \in A) - \Pr(Y \in A) \end{align}

したがって，Proposition 2.5 から

\begin{align} \Pr(\hat X \neq \hat Y) &= 1 - \int \min\{f(x), g(x)\}dx \\ &= 1 - \int_A g(x)dx - \int_{A^c} f(x) dx \\ &= 1 - \Pr(Y \in A) - 1 + \Pr(X \in A) \\ &= d_{TV}(X, Y).\end{align}

■