非侵襲的に脳活動を測定し、聴いている音楽をAIで復元

（画像はDOI: 10.1038/s41598-022-27361-xより）

fMRIと頭皮脳波を組み合わせ、聴いている音楽を復元するディープラーニングモデルが開発

英国エセックス大学により、電極を脳に埋め込まない非侵襲的な方法で、どんな音楽を聴いているかをデコードする方法が開発されました。

これまで、頭蓋骨内に電極を埋め込んで脳活動を測定し、聞いている音や話す内容をデコードする研究はされてきています。

今回の研究では、音楽を聴いている被験者の脳活動をfMRIとEEGとで同時計測しました。fMRIの情報を用いて脳波の信号源を推定し、ディープニューラルネットワークを用いて楽曲を再構成しました。

その結果、再構築した音声波形は元の音声波形とかなり類似しており、36の楽曲の中で71.8%の精度で元の楽曲と一致していました。

話せなくなった人の言葉のデコードにも期待

今回の研究は、言葉を話そうとしたときの脳活動から、言葉を解読することへの応用にも期待されています。

例えば、脳卒中などで話すことができなくなった人にとって、ブレイン・マシン・インターフェイスとしての活用が望まれます。

この研究はScientific Reportsに掲載されています。
Neural decoding of music from the EEG