最近の検索
検索オプション
コントロールされたコーパスを使ってLLMを作り、その内部状態を分析することでLLMの「認知」の構造を調べる研究の紹介。一度言ったことを撤回する [BACK] トークンを導入すると推論がちょっと賢くなるという話が特に面白かった。
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ https://joisino.hatenablog.com/entry/physics
ｼﾞｮｲｼﾞｮｲｼﾞｮｲ · 言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使…