隠れマルコフモデル 系列データに対して、次数をもつマルコフ性の仮定に制限されず、なおかつ自由パラメータの数が制限されたモデルを作ることを考える。これは潜在変数を導入することで、実現される。図のようにマルコフ連鎖を構成するのが潜在変数であると…

マルコフモデル 時系列${x_1, \ldots, x_n}$のような系列データを最も簡単に扱う方法は、系列であるという性質を無視してそれぞれ観測値が独立同分布に従うものとして扱うことである（下図）。しかし、この方法は、データの順序に関係するパターンを捉えるこ…

BitNet: Scaling 1-bit Transformers forLarge Language Models Hongyu Wang†‡ Shuming Ma† Li Dong† Shaohan Huang† Huaijie Wang§ Lingxiao Ma† Fan Yang† Ruiping Wang‡ Yi Wu§ Furu Wei†⋄† Microsoft Research ‡ University of Chinese Academy of Scien…