Lubold, Chandrasekhar & McCormick (2021) Identifying the latent space geometry of network models thorough analysis of curvature, arXiv.

Introduction

  • Hoff, Raftery, and Handcock (2002)のlatent space modelでは,あらかじめ次元と距離の定められた潜在空間を基本に,各個人間のconnectionのdpendenceをモデル化している.
  • この論文では,その潜在空間の幾何構造自体を推定することを考える.
  • 幾何構造の選択がなぜ重要か?
    • 例えば二次元のユークリッド空間を考えると,「お互いの距離が等しい4人グループ」が構成できない.
    • 例えば球面を潜在空間として考えると,二点間の距離の上限があるので,よりネットワークが形成されやすくなる (McCormick and Zheng 2015 JASA)
    • サプライチェーンで離れた上流と下流のネットワークがは形成されにくい.このような場合は双曲空間(hyperbolic space)が合っているはず.
  • グラフ:Graph  G = (V, E),  n = |V|.  G is undirected and unweighted.

モデル:\Pr(G_{ij} = 1 | \nu, z, M^p(\kappa)) = \exp(\nu_i + \nu_j - d_{M^p(\kappa)}(z_i, z_j))

where

リーマン幾何学について

  • Killing-Hopf Theorem: 断面曲率(sectionial curvature)*1が一定=>ユークリッド面,球面,双曲面のいずれか
  •  m \in M^p における接ベクトルの空間を  T_m(M^p) とする.
  • また  g を計量テンソル(リーマン多様体を考えているのでリーマン計量) g_m(u,v) \mapsto \mathbb{R}_{\ge 0} ( u,v \in T_m(M^p)) とする.
  • 断面曲率は以下の式で定義される:

\begin{align}\kappa_m(u,v) = \frac{g_m(R_m(u,v)v, u)}{g_m(u,u)g_m(v,v) - g_m(u,v)^2}\end{align}

このとき, \kappa_m(u,v) は基底  u,v の取り方に依らない.また,断面曲率は一定だと仮定していたので, \kappa_m(u,v) = \kappa としてよい.

  •  M^p(\kappa) = \{x \in \mathbb{R}^{p+1}, Q(x,x) = \kappa^{-1}\} とする.ただし  Q は双線型形式(内積の一般化)
  • このとき, M^p(\kappa) 上の二点  (x,y) の距離は

\begin{align}d_{M^p(\kappa)}(x, y) = \kappa^{-1/2}\cos^{-1}(\kappa Q(x,y))\end{align}

で与えられる.

  • 球面  \mathbb{S}^p =>  Q(x,y) = \sum_{i=1}^{p+1}x_i y_i(標準内積
  • 双曲面  \mathbb{H}^p =>  Q(x,y) = -x_0 y_0 + \sum_{i=1}^{p}x_i y_i
  • ここで, z の分布関数  F_z のサポートが  K 個の異なる点  Z = (z_1, \ldots, z_k) を含むとき,上の式から,距離行列  D が与えられたときに双線型形式を対応させる  K \times K 行列

\begin{align}W_\kappa = \frac{1}{\kappa}\cos(\kappa^{1/2} D) \;\; ( = Q(Z,Z))\end{align}

を定義する.

Proposition 1.1

  •  Z \overset{isom}{\to} \mathbb{R}^p \iff W_0 \text{ is p.s.d.}
  • The smallest p s.t.  Z \overset{isom}{\to} \mathbb{R}^p is  p = \text{rank}(W_0).

Proposition 1.2

  •  Z \overset{isom}{\to} \mathbb{S}^p(\kappa) \iff \text{the signature of } W_\kappa \text{ is } (a, n-a, 0) for some  a\le p+1 and some positive  \kappa.
  •  Z \overset{isom}{\to} \mathbb{H}^p(\kappa) \iff \text{the signature of } W_\kappa \text{ is } (1, n-a-1, a) for some  a\le p and some negative  \kappa.

※The signature of  A:  (a,b,c), where  a= # of positive eigenvalues,  b= # of zero eigenvalues, and  c= # of negative eigenvalues. 

  • 以上の結果から,距離行列を幾何構造と独立に構成できれば,潜在空間をどの空間に埋め込めるかが判明する.=>グラフの構造からlink formationの確率を計算し,それを距離として用いる.

Mapping Graphs to Manifolds via Distance Matrices

  • 純化のため,個人効果が存在しない場合を考える: \nu_i = 0 \; \; \forall i.また, F_z のサポートは  Z = (z_1, \ldots, z_K) であるとする. 
  • 二点  (z_k, z_{k'}) 間の距離を  d_{k,k'} = - \log(p_{k,k'}) で測定する.ただし, p_{k,k'} = \Pr(\text{nodes at } z_k \text{ and } z_{k'} \text{ connect})
  •  z_k に属するノードの集合を  V_k とすれば, p_{k,k'} は以下のように推定できる:

\begin{align} \hat p _{k,k'} = \frac{1}{|V_k| \cdot |V_{k'}|} \sum_{(i,j) \in V_k \times V_{k'}} G_{ij} \end{align}

  • 距離行列は  \hat D = (- \log(\hat p_{k,k'})) として推定.
  • 個人効果が非ゼロで  F_z が連続の一般ケースは省略*2

Estimating the Curvature and Minimal Latent Dimension

  • ユークリッド面の場合は曲率の推定は不要.球面と双曲面の場合についてのみ曲率を推定する.
  • ここで,ある \kappa_0 について  Z\mathbb{S}^p(\kappa_0) に埋め込み可能だとする.すると,Prop 1.2から, W_{\kappa_0} の最小固有値はゼロ: \lambda_1(W_{\kappa_0}) = 0.
  • したがって, \kappa_0 がユニークならば

\begin{align}\kappa_0 = \arg\min_{\kappa > 0} |\lambda_1(\kappa W_\kappa)|\end{align}

である.

  • 実際には  W_\kappa は未知なので, \hat W_\kappa = \frac{1}{\kappa}\cos(\kappa^{1/2} \hat D) で置き換える.
  • 同様に,双曲面の場合はProp 1.2から「上から二番目の固有値がゼロ」であることが条件として得られるので, |\lambda_{K-1}(\kappa W_\kappa)| を最小にすればよい.
  • 曲率推定量の一致性 =>Proposition 3.1
  •  \kappa が推定出来たら  \hat W_{\hat \kappa} のランクから  p を推定する.

以下は幾何構造の選択に関する仮説検定や実証分析.

 

*1:ガウス曲率の多様体版らしい.要確認.

*2:論文p.11参照