Вообще это очень правильная идея - нужна регуляция и тестирование AI (три закона робототехники, описанные в рассказах Айзека Азимова очень пригодятся! 😄), иначе получим SkyNet, потому что машинное обучение на датасетах с использованием алгоритмов нейронных сетей это как магия (юзал недавно Torch на Lua и Leaf на Rust), потому что получается закрытая blackbox система, в отличии от экспертных систем.
Да, есть движки, фреймворки визуализации процесса обучения и анализа его эффективности, визуализации работы HTM памяти нейросети вплоть до каждого нейрона.
Но это как например реверс инженерить программу без исходников, атомарно, вникая в суть того, что делают на самом деле целые блоки инструкций!
Поэтому остаётся не до конца понятен механизм работы глубокого машинного обучения, даже самим авторам того же Torch - как нейросеть обучается на наборах данных и представлениях, образует стабильные синаптические связи А элементов (ассоциативных) разных порядков, степени стабильности связей и продолжительности элементов, образуя графы между S-A-R элеметами в одном слое и между слоями многослойного перцептрона как с прямым, так и с обратным распространением сигналов (реккурентная нейросеть с обратной связью нейронов), как сохраняет о них данные (Hierarchical Temporal Memory (HTM), графовые структуры данных похожи на графовую БД), которые фактически являются картой, snapshot-ами нейросети, её памятью.

Именно реккурентные нейросети с обратной связью нейронов потенциально представляют бОльшую опасность, т.к. они самообучаемы и могут обучатья на заранее подготавленных аналитиками наборах данных (или датасетах которые сейчас открыто доступны в сети Интернет), без корректируючего их поведение вмешательства учителя, аналитика данных в процессе обучения, корректирующего реакцию сети (возможно методом поощрения).

Однако, история с ботом запущенным под аккаунтом в Twitter от лаборатории нейросетей и AI в Microsoft, который начал кидать "зигу" и чуть ли не написал свой "майн кампф" спустя всего пару дней активного общения с сообществом показывает, что наборы данных и учителя могут быть не только хорошими, с благими намерениями, а так же показывает к чему приводит неконтролируемое обучение!

Некоторые модели реккурентных нейросетей, прошедшие длительную эпоху обучения, могут уже сами подготавливать наборы данных (пока ещё с коррекцией датасетов аналитиком), собирать данные (data-mining) и самостоятельно генерировать датасеты для обучения, т.е. могут научиться обучаться сами!

Могут ли подобные самообучающиеся нейросети в процессе самообучения выработать рефлексию, что может привести к появлению зачатков самосознания - вопрос открытый.
Но я думаю это лишь вопрос времени, поэтому о безопасности нужно думать сейчас, пока эти технологии развиваются, а не как вышло с сетью Интернет - сначала разработали стек основных сетевых протоколов, потом запустили всемирный веб, и только после стали думать о безопасности, когда посыпались уязвимости протоколов.

#AI
#neuroscience
#neuronetworks
#security

One of the best explanation of the current AI space state (a state of the art) and upcoming (or already current) breakthrough in improvement of LLM with planning and self-learning (self-improvement, as an AlfaGo does) and (maybe) forming synthetic data sets by itself and for itself. Crazy stuff!!! Highly recommend to watch 'till the very end.

https://www.youtube.com/watch?v=Z6E41eXStsU

#AI
#AGI
#LLM
#Qstar

And the mentioned lecture - an intro to LLMs by Andrej Karpathy.

https://www.youtube.com/watch?v=zjkBMFhNj_g

At the time of 38:02 the self-improvement extension to LLMs explained. It can be done by the automation of gathering and preparing synthetic data sets by the model itself (or agents) and by the usage of output of one model as an input for another model (self-improvement pipelining).

#AI
#AGI
#LLM
#Qstar