June 01, 2023
ついに脳活動から思考が読めるようになった(GPTも活用)
テキサス大学の研究者により、fMRIで測定した脳の活動から、その人がどのような意味のことを考えているかを解読し、文章として出力する方法が発表されました。
fMRIで測定した脳活動から、意味をデコードする
意味のデコーダの開発のために、被験者に物語を長時間(16時間)聞かせ、まずはエンコーダを作りました。エンコーダとは、この単語を聞いてその意味を認識しているときに、脳のどこがどのように活動するか、というモデルです。
作ったエンコーダから、脳がこういう活動をしているときは、この単語(の意味)を思い浮かべているだろう、と逆方向に推論ができるようになります。
デコードの精度は、図のcをご覧ください。左のActual stimulusが実際に聞かせた文章で、右のDecoded stimulusが脳活動から読み取った文章です。なお、Exactは単語レベルで完全に一致、Gistは意味合いとしてほぼ同じ、Errorは間違いであることを示します。
GPTが意味のエンコード・デコードに使われている
この研究ではGPT(Generative Pretrained Transformer)が使われています。
脳活動から直接文章を解読するのではなく、その脳活動をしているときに思考している意味を読み解き、その意味を持つ文章を作り出す、という構造になっており、GPTは単語(文)と意味、意味と脳活動の橋渡しをしています。
この研究はNature Neuroscienceに掲載されています。
Semantic reconstruction of continuous language from non-invasive brain recordings
日常生活で聞こえにくさを感じたり、相手の言葉を聞き返すことが増えてきた方を対象に、現状の聞こえをチェックし、さらにトレーニングを行うサービスのα版の体験者を募集しています。体験には費用はかかりません。 |