17.新しい手法

 ヘスペロスは荒野の遺跡から持ち帰った研究資料「ディープラーニングと物語のモデル」を読み進めていた。

 これまでの実験では、RNNを利用した単純な方法から始め、RNN Encoder-Decoder with Attentionと呼ばれる手法を再現してみたが、入力した物語のぼんやりとしたエッセンスが学習されただけであった。

 次の章で示されているのはEnd-To-End Memory Networksという手法だ。これは本来、問題文と質問文から正しい答えを導くために考案された手法で、記憶を保持するためのニューラルネットワークを持っているという特徴がある。記憶を正しく想起するためには学習が必要だが、それが微分可能となるよう、Attentionと同じような、重みベクトルを使った手法を利用している。

 物語のモデルを作る方法と、問題を見て質問に答える方法は、技術的に異なっている感じがするが、正確な記憶の想起も、物語のモデル生成には必要な事なのかもしれない。End-To-End Memory NetworksとRNN Encoder-Decoder with Attentionは、共に微分可能な関数で構成されているので、組み合わせて学習する事もできる。

 ヘスペロスは研究資料に従い、コンピュータにコードを入力した。適当な文章を学習データとして動作させてみると、特に問題はなく学習が進む。短い文章であれば、約98%の正確さで文章を再現できる。これは以前の手法では到達できなかった正確さだが、単に文章を記憶しているだけと言えなくもない。

 しかし適当な文章のモデルを作っても仕方が無い。ここはやはり、アリシアの物語を学習させていくことにしよう。いや物語ではなくて真実だが……

 (夕食の準備が出来たので、アリシアの部屋のドアをノックした。ドアが開いて現れたのは、美しい裸の女だった。柔らかな光を帯びた月光色の髪と、宝石のように澄んだ碧い瞳。均整の取れたし肢体、優美な曲線を描く豊かな胸……)

 文章を書きながらアリシアの事を想った。今日はイリスに侍女の仕事を教えると言っていたが、どんな事をしているのだろうか。


投稿日

カテゴリー:

投稿者:

タグ: