2012年4月21日土曜日

グラフィカルモデル

確率分布の中で、具体的に計算ができて性質がよくわかるものをbuilding blockとしたい。
そのために、基本的な確率分布を列挙する。

Bernoulli分布
2値変数に対して、定義される。
2値ではなく自然数値にすると2項分布になる。
A={e1,e2}->R^{k-1}=R
[0,1]がモーメントマップの像で、これがパラメータ空間。

Beta分布
Bernoulli分布のパラメータに対する共役分布。
ベータ関数が周期として出てくる。

多項分布
2項分布の拡張として、n-単体で定義される。
Dirichlet分布
多項分布のパラメータに対する共役分布

がある。
これらはすべて指数分布族の範疇に属する。

Toric多様体と指数分布族との関係は、
ON THE TORIC ALGEBRA OF GRAPHICAL MODELShttp://math.berkeley.edu/~bernd/AOS0092.pdf
に記載されているように、
グラフィカルモデルの言葉で記述するのが見易い。

* Graphical model
PRML 8. GRAPHICAL MODELS
http://research.microsoft.com/en-us/um/people/cmbishop/PRML/Bishop-PRML-sample.pdf
確率モデルは、確率変数と確定的変数を用いた式で記述される。
確率変数の確率的要素の基本単位を定めて、
有向グラフと観測の有無の情報により、確率モデルに対する確率分布の性質を記述することを目的として、
有向グラフィカルモデルが定義される。

グラフィカルモデルで抽象化しているのは、
確率モデルにおける確率変数の依存性と、
確率変数の条件付き独立性。

* 確率分布に対する演算
確率変数の依存性に対するベイズの定理を用いることで、
有向グラフの向きを逆にする演算を行うことができる。
(これは、cluster代数におけるmutationの概念の類似と見なしたい。)この場合、指数分布族に対する共役分布のように、
パラメータの範囲が問題になる。
この演算において確率分布を求めるためには、
分配関数を計算する必要が出てくる。
すなわち、[0,1]をサイクルとする周期であるが、
パラメータが複素数であれば解析接続ができる。
この場合、出てきた値に何か意味がつくのだろうか?

また、別の確率分布に対する演算として、
混合がある。

グラフィカルモデルと、事後分布、混合、
の演算を繰り返してできる確率分布は、
グラフの各頂点に事前分布を与えると計算できる。

* 情報量
X:確率変数
に対して、情報量を、
I(X):=-log(p(X))
と置く。
I(X)は0<=p(X)<=1から0<=I(x)<=\infty
が成り立つ。

* total positivity
total positivityは、
モデルが定める多様体の実数値点が情報量を表す、
ということの言いかえとみなせる。

* 1元体
The Witt construction in characteristic one and Quantization
http://arxiv.org/abs/1009.1769v1

一般に、
k:標数pの有限体に対して、Witt環を構成すると、
W(k):標数0の環
となり、K'/k:有限拡大にW(k')/W(k)は商体が不分岐拡大となっている。
p進Hodge理論におけるガロア表現の取り扱いは、
不分岐拡大 p冪巡回拡大 暴分岐拡大
という形でガロア表現を分解し、
対応する周期環(B_{crys},B_{st},B_{dR})を用いて線形な情報に置き換えるのが、
効果的な手法だった。

標数1の有限semi-fieldとして
B={0,1}がある。
R:semi-ringがBを含むと、
和とスカラー倍に適合する部分順序が入る。
Rを商体に埋め込みたいが、そのためには、
multiplicatively cancellativeの条件が必要で、
このとき、冪は単射である。(lem4.3)
Rの例として、max-product代数がある。(logをとると、max-sum代数)
semi-ringから環を作る操作として、Symmetrizationがある。(Prop4.8)

冪が全射の時、perfectである、と定義する。(Def4.4)
これから、Frobenius写像に対応する写像が定義される。
これは正の有理数冪に対して定義されるが、完備化によりそれを実数上に拡張して、
one-parameter automorphism groupとしたい。
(Prop6.5)
ただし、完備化にあたって、p進体におけるpに相当する、
乗法の付値を与える元を一つ固定する必要がある。

標数1のmultiplicatively cancellative perfect semi-ring
に対して、完備化、加法の修正、Symmetrizationの操作により、
Witt環を定義する。
(Prop6.8, Def6.10)
ここで、加法の定義には、Entropyがでてくる。
(Th5.3)

Berkovich空間は、(multiplicative)semi-normを考えることで空間を定義したが、
その類似として、標数1においても、
Witt環上にsemi-normを定義できて、その完備化はBanach代数となる。
(Th6.15)
(ただし、Symmetrizationがあるので、multiplicative normにはならない。)

漸近展開におけるBorel総和法は、p進Hodgeにおける、
A_{crys}の定義に対応する?

* 周期環
- 整数環上のモデルを作り、局所化し、係数体で還元したものの性質を見る
という局所化の手法は広く用いられているが、
無限素点における還元とは何か?
1元体における還元とは何か?
ということが疑問になる。
無限素点として実数がとれる時に、
多様体の実数値集合の性質を見ることと、
Witt環上の性質、係数体での還元、
ということが問題になるが、
The universal thickening of the field of real numbers
http://arxiv.org/abs/1202.4377v1
では、実数体を係数に持つWitt環を構成し、
周期環を定義している。
有界変動関数に対して、長さを用いた逆関数を定義し、
ラプラス変換とWitt環の展開の類似を示している。

8 件のコメント:

匿名 さんのコメント...

わぉ、久しぶりに私にも(ついていくのは無理にしても)反応できそうなネタですね。確率・統計はどうも苦手なのですが、、、、

GRAPHICAL MODELSなるものの動機はなんなんですか? 数学の外から?

解析は苦手と言っていたのに、ボレルサマビリティまで当然のように知っているとは。

面白そうなので、まず見てみよう。ではまた。よい休日を!

匿名 さんのコメント...

このネタと貴殿のご職業とのあいだになんらかの関係が?

aka さんのコメント...

>解析は苦手と言っていたのに、ボレルサマビリティまで当然のように知っているとは。
この部分の文章は、妄想なので'。'を'?'に変えました。
ボレル総和法は、
漸近解析入門:なぜ漸近級数は発散するか?
http://www.math.h.kyoto-u.ac.jp/~takasaki/res/kok9310.pdf
で勉強しました。そんなに解析っぽくないです。

aka さんのコメント...

>GRAPHICAL MODELSなるものの動機はなんなんですか? 数学の外から?

もともとは、ベイズ統計、あるいは機械学習の側の用語ですが、
数学でいうところのQuiverと思いたいところですね。
有向グラフをどう解釈するか、は、いろいろあるでしょうが。

私の職業と関連する方向に、数学が進んでくれるといいんですが、
応用の観点からしか見れない人が多いので、
運任せとしか言いようがないですね。

aka さんのコメント...

凸解析、離散確率変数の確率分布の推定、
有限個の標本からの代数多様体の再構成、
と言った話と、
Tropical幾何、トーリック幾何、
アラケロフ幾何、
と言った話が結びついてほしい、
と思っています。

匿名 さんのコメント...

統計と(代数)幾何なんて、関係がつくなんて、しばらく前までまったくワタスの想像の外にあったけど、最近いろいろ聞くね。

たとえば「統計、ぐれ部なー、T村」このへんのキーワードで代表される分野では、どれぐらい本格的に代数(代数幾何)なの?

aka さんのコメント...

代数的な統計に対する取り組みの原点は、
Algebraic algorithms for sampling from condi-
tional distributions
(http://www-stat.stanford.edu/~cgates/PERSI/papers/sturm98.pdf)
だと理解しています。
この論文は、
トーリック多様体を定義するイデアルの生成元

マルコフ連鎖モンテカルロを行う際のマルコフ過程の遷移を与える移動の生成元
に対して対応を与えるもので、
これによって、イデアルの生成元を計算する
グレブナー基底の方法が、統計的に意味を持った計算手法として認識されたようです。
どこまで本格的に代数か?
という問いに対しては、
指数的分布族に対するマルコフ連鎖モンテカルロを具体的に与えること、ということと、
トーリック多様体のイデアルの生成元を求めることが対応する、
という(有理多様体の性質を利用する)点では代数的、
より深い代数多様体の性質
(コホモロジー、基礎体に依存する多様体にたいする対応)
といった(どちらかと言えば数論に属する)部分はまだ対応がない、
といった認識です。

マルコフ連鎖モンテカルロについては、
The Markov Chain Monte Carlo Revolutionhttp://stat.stanford.edu/~cgates/PERSI/year.html
に、
対称群にたいするMCMC、直交多項式を用いた混合時間の評価(ここにはDirichlet型式やラプラシアンの固有値がでてきます)
など、まだまだ、数学として、代数および幾何と結びつけて考えるべき題材が眠っていると考えます。

匿名 さんのコメント...

とんでもなく勉強になりました。どうもありがとう。心の底から尊敬してます。近いうちに読んでみます。

日本でやっている人があんまりいないのは残念ですね。だから情報も入ってこないのかぁ。(なんで貴殿が知っているのか?)

オレにとって、ペルシは単にトランプのシャッフルに関する小ネタをみんなのために提供してくれた、人のいいオッサンという認識でした。ゴメン、ペルシ!