June 01, 2023

ついに脳活動から思考が読めるようになった(GPTも活用)

テキサス大学の研究者により、fMRIで測定した脳の活動から、その人がどのような意味のことを考えているかを解読し、文章として出力する方法が発表されました。

fMRIで測定した脳活動から、意味をデコードする

意味のデコーダの開発のために、被験者に物語を長時間(16時間)聞かせ、まずはエンコーダを作りました。エンコーダとは、この単語を聞いてその意味を認識しているときに、脳のどこがどのように活動するか、というモデルです。

作ったエンコーダから、脳がこういう活動をしているときは、この単語(の意味)を思い浮かべているだろう、と逆方向に推論ができるようになります。

デコードの精度は、図のcをご覧ください。左のActual stimulusが実際に聞かせた文章で、右のDecoded stimulusが脳活動から読み取った文章です。なお、Exactは単語レベルで完全に一致、Gistは意味合いとしてほぼ同じ、Errorは間違いであることを示します。

GPTが意味のエンコード・デコードに使われている

この研究ではGPT(Generative Pretrained Transformer)が使われています。

脳活動から直接文章を解読するのではなく、その脳活動をしているときに思考している意味を読み解き、その意味を持つ文章を作り出す、という構造になっており、GPTは単語(文)と意味、意味と脳活動の橋渡しをしています。

この研究はNature Neuroscienceに掲載されています。

Semantic reconstruction of continuous language from non-invasive brain recordings

 

聞こえのトレーニングα版体験の参加者を募集しています

日常生活で聞こえにくさを感じたり、相手の言葉を聞き返すことが増えてきた方を対象に、現状の聞こえをチェックし、さらにトレーニングを行うサービスのα版の体験者を募集しています。体験には費用はかかりません。

詳しい募集内容はこちら