За этот год видел разные попытки Константина Анохина изложить свою гиперсетевую теорию мозга. Каждый раз он это делает немного по-другому, учитывая уровень аудитории.

Все эти попытки есть в youtube, но эта, видимо, самая свежая. Плюс тут он старается объяснить попроще, чтобы все поняли (о теории начиная с 1:17:22)

И все равно выходит сложновато. Слишком много в его схеме элементов и понятий. Для продвижения теории ему бы найти метафору, выделяющую главную идею. “Гиперсеть” не совсем то — не дает достаточной ясности.

Нейрокогнитивные исследования: приоткрываем тайны работы мозга

Напоминаю про завтрашний вебинар — 27.12.2022 (вторник), 18:00–19:30:

18:00–18:15 Что происходит при научении смыслу новых слов в мозге человека? -- Б.В. Чернышев, руководитель МЭГ-центра МГППУ (по статье Razorenova, Chernyshev et al., 2022)

18:20–18:35 С чем связано нарушение баланса нейронной активности у детей с расстройствами аутистического спектра? -- Е.В. Орехова, в.н.с. МЭГ-центра МГППУ (по статье Manyukhina ... Orekhova, 2022)

18:40–18:55 Управление силой мысли: зачем здоровому человеку пользоваться нейроинтерфейсами? -- С.Л. Шишкин, рук. группы нейрокогнитивных интерфейсов МЭГ-центра МГППУ (по статье Shishkin, 2022)

19:00–19:15 Что делает подоконник? Почему нам бывает сложно извлечь слова из памяти, и какие мозговые механизмы помогают решить эту задачу -- А.А. Павлова, н.с. МЭГ-центра МГППУ (по статье Butorina, Pavlova et al., 2017)

19:20–19:30 Общая дискуссия

Подробная программа, регистрация

NEW: если вы не успеете зарегистрироваться -- подключайтесь по этой ссылке: https://events.webinar.ru/42206439/1931869862

Внимание: для подключения с мобильного устройства потребуется установить приложение webinar.ru. (На компьютере можно или обойтись браузером, или установить приложение).

Триптих про мышление и аналогИИ

2017
Центральный вопрос человеческого развития заключается в том, как маленькие дети так быстро приобретают знания. Мы предполагаем, что обобщение по аналогии является движущей силой этого раннего обучения и позволяет детям генерировать новые абстракции на основе опыта. — Analogy and Abstraction

2021
Несмотря на долгую историю исследований по созданию систем искусственного интеллекта, ни одна современная система ИИ не приблизилась к способности формировать человекоподобные абстракции или аналогии. — Abstraction and analogy-making in artificial intelligence

2022
Большие языковые модели, такие как GPT-3, приобрели способность находить безошибочные решения для широкого круга задач по аналогии. GPT-3 демонстрирует удивительно сильную способность к абстрактной индукции шаблонов, соответствующую или даже превосходящую человеческие возможности. — Emergent Analogical Reasoning in Large Language Models

Бонус: тви-тред одного из авторов [2022], а также блог-пост Google Research на тему эмерджентности LLM Characterizing Emergent Phenomena in Large Language Models

Biological Systems as Evolved, Overloaded, Multi-scale Machines

В новой статье Бонгард и Левин отсылают к известной лекции Ричарда Фейнмана 1959 года и заявляют, что «места полным-полно» не только внизу, но и прямо у нас перед носом, повсюду. Их статья так и называется, There’s Plenty of Room Right Here. Статья сильная.

Она развивает идеи их публикации 2021 года о машинах будущего, но чуть с другого ракурса. Обе работы глубоки по мысли и перекраивают привычные представления о том, что такое жизнь, организм, машина и вычисления. Понятно, что это “кино не для всех”, уж слишком концептуально, хотя написано просто и даже не требует специальных знаний от читателя.

Какого места полно? — места для вычислений.

В живом один и тот же элемент вовлечен в разные вычислительные процессы: на уровне клетки, ткани, органа, организма, сообщества. Каждый уровень обладает своей компетентностью и автономией. Наши технические системы не таковы, вероятно, потому, что мы мыслим последовательно, нам сложно дается представление суперпозиций. Но жизнь использует их повсеместно.

Бонгард и Левин говорят: научиться бы делать такие машины, с поли-вычислением.

У их взгляда много следствий, для практики и для теории, инженерии и медицины, но пока это именно концепт, примерно как фейнмановские размышления о нанотехнологии в 1959 году. Это взгляд лет на 20-30 вперед.

– статья 2021 (про машины будущего) + мой пересказ
– статья 2022 (про поли-вычисления)

Плацебо как недооцененная часть медицины

В Британии 77% врачей общей практики порой сознательно выписывают пациентам плацебо, чистое и нечистое, потому что помогает*. Но следующий уровень игры — «открытые плацебо», они тоже могут работать.

Открытые плацебо (OLP) не требуют обмана, пациенты знают, что принимают пустышку. И при этом их здоровье улучшается (реально все сложнее, но этот мета-анализ обнадеживает). Есть версия, что дело в когнитивном диссонансе, а объяснение стоит искать, используя модель «Байесовского мозга».

Как об этом пишут авторы в журнале Pain:
Идея о том, что то, что мы воспринимаем, — это не мир, как он есть, а наша собственная наилучшая гипотеза о нем, в равной степени применима к субъективным телесным состояниям, таким как медицинские симптомы.

OLP лучше тем, что можно не врать больным. Огромный плюс для этики. Пока еще мало понимания и мало исследований, но интерес явно растет. Еще по теме:

🗞 BMJ Evidence-Based Medicine (2020)
🗞 BMC Psychol (2022)

Про возможный переход на плацебо я писал еще в заметке 2014 г. с дерзким заголовком «Как вылечить болезни без лекарств» и до того в жж на примере одного известного сюжета из истории медицины. Продолжаем наблюдение.

* Placebo Use in the United Kingdom: Results from a National Survey of Primary Care Practitioners | PLoS ONE, 2013

Гари Маркус призывает смотреть видеозапись AI Debate, онлайн обсуждение перспектив ИИ технологий, которое состоялось в декабре. Даже 94-летний Хомский принял участие.

Двоякое чувство возникает, если запустить в яндекс-браузере: встроенный ИИ на лету переводит нормальным человеческим голосом выступления участников о том, как ИИ не оправдывает их ожиданий. Лет пять назад о таком можно было мечтать.

Тизер от Маркуса: An epic AI Debate — and why everyone should be at least a little bit worried about AI going into 2023

Александр Каплан много лет занимается нейроинтерфейсами и говорит, что неинвазивные решения почти исчерпаны. Он предрекает в обозримом будущем смену концепции BCI.

Новый тип интерфейса: мозг не дает простую команду (как сейчас), а подключен к генеративной нейросети, которая пытается угадать намерение или мыслеобраз путем “горячо-холодно”. Сеть генерирует гипотезы, мозг их корректирует. По сути, они ведут диалог, взаимно подстраиваясь.

Он говорил об этом в декабре на Петербургском семинаре по когнитивным исследованиям (см. видео с 1:05:08).

Добавлю, что года три назад на обезьянах уже испробовали нечто похожее, обучив нейросеть создавать изображения, максимизирующие активность конкретных нейронов мозга. Можно считать это первым шагом.

Все выступления питерского семинара можно посмотреть здесь.

Как падает доля прорывных исследований

2023-й начался с занятной статьи в Nature о кризисе в науке. Поток открытий с годами не меняется, хотя расходы и количество ученых с середины ХХ века выросли в разы. Это значит, что эффективность вложений в научный поиск неуклонно падает, словно следуя ‘закону’ убывающей предельной полезности.

Парадокс: объем исследований и публикаций огромен, но сегодня “ученые полагаются на более узкий набор существующих знаний”, чем их предшественники.

Статья перекликается с другой работой, определившей, что чем больше науки, тем сложнее новым идеям пробиться.

Авторы ищут объяснений, но бросилось в глаза то, что деградация совпадает по времени с вводом в широкую практику научного рецензирования. Гоню эту мысль прочь.

⬆️⬆️⬆️ О том, как рецензирование может разрушать науку, вместо ее развития, пишет Адам Мастрояни, психолог из Гарварда, автор довольно экстравагантных взглядов на организацию науки.

Например, его бесило требование писать статьи нарочито скучным, нечитаемым стилем, и он показал, как можно сообщать об исcледовании так, чтобы вас поняли, оставаясь при этом корректным в отношении фактов, а чтение при этом не было бы мукой.

Эссе про рецензирование он начинает так:

«Последние 60 лет или около того наука ставила эксперимент над собой. Экспериментальный план был не очень хорош; не было ни рандомизации, ни контрольной группы. Точно никто не был ответственным, и никто не проводил последовательных измерений. И все же это был самый масштабный эксперимент из когда-либо проводившихся, и в нем участвовали все ученые на Земле».

Он провалился, считает Мастрояни. При всей радикальности позиции он ставит хорошие вопросы. И на очевидные незыблемые истины начинаешь смотреть по-другому:

«Я думаю, у нас была неправильная модель того, как работает наука. Мы относились к науке как к проблеме слабого звена, где прогресс зависит от качества нашей худшей работы. Но наука — это проблема сильного звена: прогресс зависит от качества нашей лучшей работы. Лучшие идеи не всегда побеждают сразу, но в конце концов они побеждают, потому что более полезны».

Его не пугает перспектива получить вал мусорных работ в отсутствие peer review. Во-первых, в астрофизике или информатике давно уже общаются препринтами; во-вторых, рецензирование не решило проблему низкого качества, мы просто обманываем себя.

Гари Маркус пришел в подкаст The New York Times. Подробно объяснил, почему глубокое обучение ведет к имитации без понимания, а масштабирование не решит проблем.

Метко сравнил нынешнее положение дел в ИИ с алхимией: в те времена люди что-то уже умели, но у них еще не было теории химии. Они даже не знали, как задать правильные вопросы. В том же положении сейчас разработчики — ищут под фонарем.

Есть аудио и транскрипт. Рекомендую.

К этому блюду хорошо пойдет летний манифест Лекуна A Path Towards Autonomous Machine Intelligence и его же небольшое размышление AI And The Limits Of Language.

LLMs могут сильно перетряхнуть когнитивную науку. Потому что теперь, наряду с мозгом человека, появляется второй объект для изучения потенциальной связи языка и познания.

Лупьян как когнитивный психолог исследует именно такую связь. И, глядя на недавние успехи глубокого обучения, уже крепко задумался — а верны ли наши прежние теории.

Он призывает ставить эксперименты над LLMs: манипулировать их обучением, отключать части (“травмировать”), наблюдать за поведением. Словом, тестировать гипотезы, как это делают на крысах, например. С той лишь разницей, что крысы не пользуются языком.

Напомню еще один манифест — "Machine behaviour", где авторы предложили изучать поведение машин как ученые изучают поведение животных. Все такие идеи уже созрели. Бескрайнее новое поле исследований открывается нашему взору.

О подпороговых волнах в мозге

Их роль в общем случае не известна. Экспериментируя с гиппокампом и оптогенетикой, главный редактор Journal of Neural Engineering изучал, как ведут себя эти волны в нервной ткани. Об этом см. его свежую статью.

Под электрической активностью нейронов обычно имеют в виду потенциалы действия, всплески или спайки, но есть еще медленные колебания мембранного потенциала ниже уровня срабатывания нейрона. Эти колебания формируют волны, гуляющие по нейросети.

Если их запустить навстречу друг другу, то они интерферируют.

Если разрезать гиппокамп, они пройдут через зазор между его половинками.

❗️ Похоже, нервная ткань устроена таким образом, чтобы позволить распространение волн, создающих интерференционные картины, — это вывод авторов экспериментов.

Что, в свою очередь, “ведет к новому уровню аналоговых нейронных вычислений, ранее не описанных”.

Мэтт Уэлш, ранее профессор информатики в Гарварде и директор по инженерным вопросам в Google, а ныне СЕО Fixie.ai считает, что программирование вымрет:

«Я говорю не только о таких вещах, как CoPilot Github, заменяющий программистов. Я говорю о замене всей концепции написания программ обучающими моделями».

«Основная часть интеллектуальной работы, направленной на то, чтобы заставить машину делать то, что нужно, будет заключаться в том, чтобы придумать правильные примеры, правильные данные для обучения и правильные способы оценки процесса обучения».

«В новой компьютерной науке — если мы вообще назовем ее компьютерной наукой — эта область будет выглядеть не столько как инженерное дело, сколько как образовательное; то есть, как лучше всего обучать машину , что мало чем отличается от науки о том, как лучше всего обучать детей в школе».

24 января Human Brain Project проведет вебинар по механизмам расстройства сознания. Поучаствовать онлайн можно свободно, если зарегистрируетесь.

Кому эта тема интересна, искренне рекомендую, так как докладывать будут исследователи из знаменитой Coma Science Group. Там работают, пожалуй, самые опытные специалисты в области тяжелых расстройств (от минимального до комы).

Тема: Exploring the mechanisms of consciousness disorders
Время: 24 January 2023 from 16:30-17:30 CET

Предыдущие вебинары HBP, по другим темам, можно посмотреть в youtube: вот плейлист.

По одной лишь активности нейронов зрителя, смотрящего кино, можно выяснить, какой персонаж сейчас присутствует в сцене. На появление в кадре разных людей наш мозг выдает разные и уникальные реакции. Их можно вытащить из внутричерепной ЭЭГ.

Причем вовсе нет нужды искать «нейрон Дженнифер Энистон», вполне хватит данных от любых небольших популяций клеток в разных областях, даже за пределами средней височной доли (MTL).

Это позволяет размечать видео, используя мозг как биосенсор. Вообще, если нужно получить посекундную историю по конкретному персонажу, мы могли бы скормить видео нейросети, предварительно ее обучив ручками.

Но другой способ — подключиться к мозгу.

Свежая работа авторов из UCLA, Harvard & MIT вновь ставит вопрос о том, как все-таки хранятся концепции в мозге.

Если любопытно, испытуемым показывали 1-й эпизод 6 сезона сериала “24” (сам не смотрел).

Майкл Грациано, профессор неврологии и психологии из Принстона, в небольшом эссе для Wall Street Journal утверждает: «Как бы парадоксально это ни звучало, для создания доброкачественного ИИ может потребоваться сделать его более сознательным, а не менее».

Как считает Грациано, мы должны добиваться появления у ИИ сознания, тогда он будет видеть сознание в нас, и это сделает его более эмпатичным.

«Без сознания мы обязательно были бы социопатами, потому что у нас не было бы инструментов для просоциального поведения. А без представления о том, что такое сознание, или понимания того, что оно есть у других существ, машины — социопаты [...] Социопатическая машина, которая может принимать последовательные решения, была бы очень опасной».

На мой взгляд, идея довольно легкомысленная, особенно для известного ученого, изучающего сознание, коим является Грациано. Его предложение “решает” одну проблему (отношение ИИ к людям), но порождает другую (отношение людей к ИИ). Ведь наличие сознания у робота или цифрового агента меняет их моральный статус, и уже мы должны будем проявлять просоциальность в их сторону, со всеми вытекающими. Либо признать рабовладение.

Он никак не затрагивает этот момент в своем тексте.

Юваль Харари недавно записал получасовое видео, настаивая, что вопрос о сознании — это не только вопрос науки, но и политики. Он отождествляет сознание со способностью страдать, что для меня тоже сомнительный ход, но и в целом удивило, что Харари взялся за эту тему.

Сознание, как известно, предмет темный, и чем дальше, тем сильнее эта темнота будет отравлять жизнь развитых обществ. Как быть с правами животных, абортами, эвтаназией или статусом якобы сознательных роботов — здесь моральные решения тесно увязаны с умением выяснить состояние сознания. Или отсутствие оного.

Пока же научной модели нет, а технологии лишь расширяют серую зону сознания, куда со временем попадут еще органоиды и искусственные организмы. О проблеме серой зоны я писал подробно летом и даже цитировал Грациано.

Пока все в силе.

Три сестры. У одной с рождения отсутствует левая височная доля, у другой — правая. Третья сестра “нейротипична”, ее мозг цел. Разница между ними очевидна на снимках, но в когнитивных и лингвистических тестах все трое в норме.

Я как-то обещал, что Эвелина Федоренко продолжит исследования этой замечательной семьи. Вот, пожалуйста — свежий препринт.

Осьминог vs. ворона: строят ли LLMs модель мира?
Еще один пример, атакующий стандартное мнение о LLMs, будто они видят лишь «поверхностную статистику».

Авторы из Harvard University показывают, как простое предсказание последовательности может привести к формированию “модели мира”. И именно важно, что “модель мира”, открытая у GPT в их эксперименте, причинно связана с тем, как GPT делает свои прогнозы.

Работа представлена на ICLR 2023, препринт был еще в 2022, а вчера первый автор выложил пост с объяснением. Любопытно, что он прибегает к образу вороны, которая наблюдает с подоконника за двумя игроками и так постигает суть игры. Два года назад в том же контексте лингвист Эмили Бендер сравнила LLM c осьминогом, подслушивающим телеграфные сообщения, идущие по подводному кабелю.

Замечу, что воображаемые ворона и осьминог, находясь в похожих обстоятельствах и достигая аналогичных результатов (успешной имитации), принципиально различны в том, что они понимают. Осьминог не имеет модели мира, видит лишь корреляции.

Позже Бендер отождествила LLM c попугаем🦜. Через эти метафоры она подчеркивает полное отсутствие у ИИ познавательных процессов. По иронии, осьминоги и попугаи весьма умны, а попугаев успешно обучают сложным концепциям, сажая рядом с двумя взаимодействующими людьми, точно как в мысленном примере с вороной.

Меня же этот живой уголок в мире бездушных нейросетей все чаще наводит на вопрос о том, почему мы так расположены видеть в ИИ животных. Это уже вопрос не о LLMs, а о нас.

Новый рекорд речевого BCI из Стэнфорда.
Парализованный достиг скорости до 62 слов в минуту, что в 3,4 раза быстрее, чем предыдущий рекорд для любого типа BCI. Для сравнения, скорость естественного разговора где-то 160 слов в минуту. Словом, качественное продвижение.

Еще круто, что размер словаря достиг 125 000 слов, этого уже с лихвой хватит для общения. На будущее нужно снизить процент ошибок, он еще великоват.

Свежий препринт.

По аналогии с FDA, органом регулирования в медицине, демократы Конгресса США намерены создать федеральное агентство, регулирующее искусственный интеллект. Об этом в колонке для NY Times пишет конгрессмен Ted W. Lieu:

«Нам нужно специальное агентство для регулирования ИИ. Такое агентство проворнее, чем законодательный процесс, оно укомплектовано экспертами и может отменить свои решения, если допустит ошибку. Создание такого агентства будет трудной и огромной задачей, поскольку ИИ сложен и до сих пор недостаточно хорошо изучен».

Новость очевидно “взбодрит” разработчиков, которые сегодня не подконтрольны буквально никому и ваяют модели по своему усмотрению.