Мозъчни вълни и изкуствен интелект – как мозъкът става текст

Мозъчни вълни и изкуствен интелект вече дават четим текст, но само при определени условия. Импланти върху мозъчната кора превеждат опит за говор в 78 думи в минута при една участничка, а скенер без операция разчита напечатани изречения с около 61% точност на думите. (Physics World, The Next Web) Нито един от методите не чете свободни мисли от разстояние.

Разликата между двата подхода е в цената на сигнала. Имплантът е близо до неврони и чува ясно, външният скенер улавя размазана картина и разчита на по-мощен алгоритъм.

Източник: Physics World, The Next Web (Physics World, The Next Web)

Как работи превод на мозъчна активност в текст с импланти

Две публикации в Nature от 2023 г. показаха този подход в зряла форма. Екипът от UCSF постави тънка решетка от 253 електрода върху зоната за говор на жена, загубила речта си след инсулт в мозъчния ствол. (Physics World) Екипът от Станфорд записа от четири сензора с по 64 електрода при мъж с ALS. Невронната мрежа не научава всяка дума отделно. Тя разпознава единици на звука, а от тях сглобява думите, затова речникът расте без нов тренинг за всяка дума. (Калифорнийски университет, Бъркли – инженерен факултет) Участничката от Бъркли не можеше да говори, така че учените нямаха запис на гласа ѝ за сравнение. Затова свързаха сигналите със звукови кодове, предсказани от големи езикови модели, и ги обучиха с функцията за загуба CTC. Резултатите зависят силно от речника. При 50 фрази грешките в UCSF са 4,9%, а при над 1000 думи стигат около 25%. Станфорд отчита 9,1% грешки при 50 думи и 23,8% при 125 000.

Какво разчита декодерът без операция

Първото голямо доказателство без имплант дойде през 2023 г. Екип на Университета на Тексас обучи декодер върху фМРТ данни от хора, които са слушали подкасти в скенера в продължение на десетки часове. (Университет на Тексас в Остин) Резултатът не е дума по дума, а смисъл. Около половината от опитите дават текст, който близко съвпада със значението на оригинала. Това е различно от имплантите, които улавят опит за говор, а не смисъла на чутото. (Physics World)

Тук работи нещо като превод между два езика. Езиковият модел предлага кандидат-изречения, а записът от мозъка показва кое от тях е по-вероятно. Затова изходът улавя общата идея и понякога дословно възпроизвежда думи и фрази. (Университет на Тексас в Остин)

Методът има твърда граница, защото фМРТ скенерът не е преносим. Авторите смятат, че подходът би могъл да премине към функционална близка инфрачервена спектроскопия, която е по-преносима, но с по-ниска разделителна способност. (Университет на Тексас в Остин)

Мозъчни вълни от МЕГ и ЕЕГ при печатане

Meta (в публикация, достъпна като препринт в arXiv) обучи модела Brain2Qwerty върху 35 здрави доброволци, които пишат на клавиатура наскоро запомнени изречения. (arXiv (Meta AI)) При МЕГ средната грешка е около 32% от символите, а при ЕЕГ около 67%. Най-добрите участници падат до около 19%.

Втората версия е по-нова. Обучена е върху около 22 000 изречения от девет доброволци, всеки от които е бил в скенера около 10 часа. (The Next Web) Средната точност на думите е 61%, а предишната версия е стигала около 48%. Метриките на двете версии са различни (грешка на символ и точност на дума), затова не бива да се сравняват направо. (arXiv (Meta AI))

Същият подход прилича на опознаване на почерк. Моделът отчасти улавя двигателните сигнали за движението на пръстите, а не чистата мисъл. Авторите виждат в грешките следи и от по-висши когнитивни процеси. (arXiv (Meta AI)) Това е наше тълкуване – точността при печатане не доказва, че същото работи за въображаема реч.

Защо мислите не са отворена книга

Всички тези системи се нуждаят от съгласието на човека. В опита от Тексас декодерът върху непознат човек дава неразбираем текст. Ако обученият участник мисли за друго, резултатът също е неизползваем. (Университет на Тексас в Остин) Това е защита, но само докато методът зависи от дългото индивидуално обучение.

Скоростта също е граница. Разговорната реч е 110–150 думи в минута, а погледът върху екран позволява едва 5–15. (Physics World) По наше изчисление по данни на Physics World 78 думи в минута са между 52% и 71% от разговорната скорост. Системата на UCSF обаче още изисква кабелна връзка с компютрите.

Какво да провери читателят в новина за четене на мисли

Няколко въпроса показват колко тежи едно заглавие. Колко души са участвали? Резултатите на импланта са от един човек, така че обобщение за всички е недоказано. (Physics World) Каква е била задачата – опит за говор, слушане, печатане или свободна мисъл? Как е мерена грешката – на символ, на дума или на смисъл? (arXiv (Meta AI), The Next Web)

Полезно е да се провери и дали записът е в реално време. МЕГ системата на Meta не декодира на живо и се нуждае от цял сеанс, преди да даде изход. (The Next Web) За приложение при хора, които не могат да пишат, е нужна и друга стъпка, защото опитът с печатане е невъзможен за тях.

Една мярка за доверие е публикуваният код, защото други лаборатории могат да повторят резултата. (The Next Web) Колкото и впечатляващо да звучи едно твърдение за четене на мисли, то се нуждае от независим опит.

Какво още не е доказано при четенето на мисли

Най-голямата празнина е въображаемата реч. Данните от импланти и от печатане са за опит за говор или за двигателен акт, а не за тиха мисъл. (Калифорнийски университет, Бъркли – инженерен факултет, The Next Web) Подобна несигурност има и в други опити с мозъчни сигнали, например в изследванията с ЕЕГ върху ритуалите, където измереното не винаги показва причината.

Нужно е и дългосрочно устройство. Екипът от Бъркли иска стабилен декодер за дома, без нова операция, и самостоятелен уред вместо оборудване, управлявано от изследователи. (Калифорнийски университет, Бъркли – инженерен факултет) Задържането на няколко секунди закъснение при изхода също още трябва да се намали към почти реално време.

Кодът и данните на Brain2Qwerty v2 са публикувани отворено, така че други лаборатории могат да повторят резултатите. (The Next Web)