ターム分布の確率モデル  Zipfの法則：使用頻度の大きな語は語彙数が少なく，使用頻度の小さな語は語彙数が多い  語を使用頻度f の大きい順に並べたときの順位をr とすると， f× r = 一定値  Zipfの第２法則：文章L において使用頻度f の異なり語の  数をk とすると、 k× f２ ≈（L に依存する定数)  L がこの式に関与している理由は，文章が長くなれば使用語彙数が増えるなどという文章依存性を表すため  情報検索のキーワードになるタームとしては、頻度が少な過ぎもせず、多過ぎもしない中程度の頻度の語彙を選べばよい Poisson分布 文書Ｄを短い間隔でｎ個に分割し、そこにあるタームｔが出現する確率をｐとすると、文書にタームｔがｘ回現れる確率は、二項分布により B(x; n; p) で近似できる nを大きくすることは文書をより短い間隔に分割することだが、n×p=λ に保てば文書D におけるt の出現回数の期待値はλであり、ｔがＤにx回現れる分布は二項分布の極限形であるPoisson分布になる。 x p ( x;  )  e λ x! λ タームtの出現する文書数の期待値すなわちdocument frequency : df = N(1-p(0;λ)) Nは全文書数  の小さいタームではよく当てはまるが、大きいタームではdf を大き過ぎる値に予測してしまう傾向がある。これは、あるタームは一度現れると続けて現れる傾向が強いことに起因する。 これを補うのが２重Poisson分布２重Poisson分布  λ１＞ λ２ p( x; 1 ,2 , )  e 1 1x x!  ( 1   )e 2 2x x! インデクスになりうる高頻度のクラスと、インデクスにはなりにくい低頻度のクラスにタームを分けることを意味する。Ｋ混合分布 df は文書集合中でタームt の現れる文書数、N は文書集合中の全文書数、cf は文書集合の全文書でタームt の出現回数 λ＝ｃｆ⁄Ｎ β＝ｃｆ⁄ｄｆ－１， α＝λ⁄β =df/N×cf/(cf-df) タームt が文書にk 回出現する確率Pt(k) がK 混合分布(K mixture) では次式で表される。 タームt が文書にK回出現する確率Pt(k) がK 混合分布(K mixture)  pt (0)  1     1    K pt ( K )  ( )  1  1 if K>１ β は、文書中に同じタームが1 回より多く出現する頻度である。よって、 β= 0 すなわち、cf = df すなわち、どの文書にも1 回しか現れないタームは、 Pt(k) =0 when k > 1となる。文書中に多数回出現するタームt の場合は、 βが大きくなり、その結果Pt(K) がK が大きくなってもなかなか減少しないということになる。これらのことは、直観にあっている。実際、文書の意味内容に直結しないタームではよい近似である。しかし、文書の中心的概念を表すタームは、式よりは減少の度合が小さいという観測結果がある。