ついに脳活動から思考が読めるようになった（GPTも活用）

テキサス大学の研究者により、fMRIで測定した脳の活動から、その人がどのような意味のことを考えているかを解読し、文章として出力する方法が発表されました。

fMRIで測定した脳活動から、意味をデコードする

意味のデコーダの開発のために、被験者に物語を長時間（16時間）聞かせ、まずはエンコーダを作りました。エンコーダとは、この単語を聞いてその意味を認識しているときに、脳のどこがどのように活動するか、というモデルです。

作ったエンコーダから、脳がこういう活動をしているときは、この単語（の意味）を思い浮かべているだろう、と逆方向に推論ができるようになります。

デコードの精度は、図のcをご覧ください。左のActual stimulusが実際に聞かせた文章で、右のDecoded stimulusが脳活動から読み取った文章です。なお、Exactは単語レベルで完全に一致、Gistは意味合いとしてほぼ同じ、Errorは間違いであることを示します。

GPTが意味のエンコード・デコードに使われている

この研究ではGPT（Generative Pretrained Transformer）が使われています。

脳活動から直接文章を解読するのではなく、その脳活動をしているときに思考している意味を読み解き、その意味を持つ文章を作り出す、という構造になっており、GPTは単語（文）と意味、意味と脳活動の橋渡しをしています。

この研究はNature Neuroscienceに掲載されています。

Semantic reconstruction of continuous language from non-invasive brain recordings