📕 Высоконагруженные приложения. Программирование, масштабирование, поддержка
🐷 Книга с кабанчиком 😀
Автор: Мартин Клеппман, 2018

Описание: В этой книге вы найдете ключевые принципы, алгоритмы и компромиссы, без которых не обойтись при разработке высоконагруженных систем для работы с данными. Материал рассматривается на примере внутреннего устройства популярных программных пакетов и фреймворков.

В книге три основные части, посвященные, прежде всего, теоретическим аспектам работы с распределенными системами и базами данных. От читателя требуются базовые знания SQL и принципов работы баз данных.

#python #SQL

​​У Китая и России появился шанс не дать США уйти в отрыв в области ИИ

В этом году США пошли на крайние меры, чтобы не позволить Китаю догнать и перегнать США в важнейшей для нацбезопасности индустрии ИИ. Введенные США экспортные ограничения на высокопроизводительные процессоры сильно усложняют Китаю (не имеющему пока соизмеримых по производительности собственных процессоров) возможность конкуренции в области ИИ. Заодно под раздачу экспортных ограничений (по известным причинам) попала и Россия. И это лишает российские компании и без того тусклой перспективы, - пусть не догнать США, но хотя бы отставать на годы, а не на десятилетия.

Но тут случилось такое, что мало кто мог предвидеть.
Компания Together объявила, что смогла обучить свою модель с открытым кодом GPT-JT (6 млрд параметров):
•  децентрализованно (на разнородной группе не самых крутых графических процессоров)
•  соединенных медленными интернет-каналами (1 Гбит/с)

Авторы модели GPT-JT придумали кучу хитрых способов уменьшения вычислительной и коммуникационной нагрузки при децентрализованном обучении. В результате, эта модель на тестах классификации приближается к современным моделям, которые намного её крупнее (например, InstructGPT davinci v2).

Это достижение может иметь колоссальные последствия.
✔️ До сих пор магистральная линия развития ИИ определялась ограниченным набором компаний, имеющих доступ к большим централизованным компьютерам. На этих высокопроизводительных вычислительных комплексах обучались все т.н. большие модели, начиная от AlphaZero и заканчивая GPT3.
✔️ Компаниям, не имеющим в распоряжении суперкомпьютерных мощностей в этой гонке было нечего ловить.

GPT-JT сметает шашки с доски, предлагая совершенно иной сценарий будущего.
Вместо нескольких компаний – гигантов, оснащенных суперкомпьютерными системами для ИИ, распределенные коллективы разработчиков могут объединять свои скромные компьютерные мощности через не самые быстрые интернет-каналы, чтобы вместе обучать большие модели.

Но это возможно лишь при условии, что разработчики GPT-JT смогут её масштабировать со скромных 6 млрд параметров на сотни миллиардов. Ибо таково требование сегодняшних больших моделей. А в 2023 счет пойдет уже на триллионы параметров
- ми
👁️

Небольшой анонс

В канале произошли некоторые изменения:
• Поменялось название канала и аватар – Data360.ru – это новое название канала и одноименный домен компании, которая занимается извлечением пользы из данных для заказчиков. Теперь мы будем говорить не только о трендах, но и о том, что происходит на рынке BI&ML, в том числе с точки зрения импортозамещения, а также делиться кейсами, которые мы решали для наших заказчиков, анонсами продуктов и идеями использования данных.
• Добавилась возможность комментировать новости, теперь мы сможем быть несколько ближе не только с точки зрения того, что мы думаем, но и слышать ваши идеи.

Все комментарии будут доступны в отдельном чате

Теперь несколько новостей компании Аналитика (Data360) и того, что еще появилось на рынке

Мы запустили решение по предиктивному качеству и сделали отраслевую платформу Атом Майнд для АО ТВЭЛ, платформа зарегестрирована в ФИПС и вошла в реестр отчественного ПО

Мы подписали OEM соглашение с российским вендором Форсайт по созданию платформы предиктивного обслуживания качества и предиктивной диагностики оборудования

Мы сделали свою ML платформу на базе open-source технологий, которая позволяет иметь промышленный ML стек у каждой компании, полностью веб-ориентированное решение, с поддержкой ОС из реестра отечественного ПО

Сегодня узнал, что ребята из OneFactor запустили интересный международный проект https://upgini.com/, с помощью которого вы легко можете улучшить качество ML моделей, обогащая свои данные внешними источниками, доступны как бесплатные публичные источники, так и платные закрытые источники, учитывая опыт компании в монетизации данных, проект должен иметь успех

Будем следить за проектом

📬Утренняя подборка

● Исследователи Центра диагностики и телемедицины департамента здравоохранения Москвы и МГУ им. М.В.Ломоносова задействовали ИИ для контроля качества медицинских томографов

● МГИМО и ИТ-компания StormCorp подписали соглашение о сотрудничестве для развития исследовательских проектов и образовательного трека по ИИ

● 🗂ЦРТ внедрила систему компьютерного зрения в АПК «Безопасный город» в Новосибирске

🗺За рубежом
● Ученые Калифорнийского университета в Сан-Франциско совместно с IBM применили ИИ для создания молекулярной библиотеки, которую используют для борьбы с онкологическими заболеваниями

● Университет Читкара (Индия) и корпорация NEC подписали соглашение о сотрудничестве для подготовки кадров в сфере ИИ

● Разработчики Alphabet (подразделение DeepMind AI) создали ИИ-алгоритм для сценаристов, который создает черновик произведения по короткому описанию идеи

📆Мероприятия
● Сегодня стартовал Russian Internet Week. Ключевое из программы про ИИ:
— 10:00-12:00 — ИИ в медиа и коммуникациях;
— 10:00-12:00 — внедрение ИИ в здравоохранении: новые возможности для стартапов и цифрового бизнеса;
— 12:30-14:00 — RPA: события 2022. Планы 2023;
— 15:30-17:00 — AI-Day: Подведение итогов года;
— 15:30-19:00 — открытое заседание рабочей группы «Искусственный интеллект».

● 14 декабря Институт искусственного интеллекта AIRI проведет семинар «Предобработка МРТ данных головного мозга для обучения Deep Learning моделей сегментации». Узнать подробности и присоединиться к трансляции можно тут

📎Материалы
● Колонка в ComNews Data Scientist компании Syncretis Евгения Левченко о перспективах искусственного интеллекта в агропромышленном комплексе

● Колонка в Forbes исследователя Джо МакКендрика (Joe McKendrick) об опасениях бизнеса по поводу внедрения ИИ

● Мониторинг новостей СМИ по искусственному интеллекту за 9-12 декабря, составленный Национальным центром развития искусственного интеллекта при правительстве РФ

📇 Кадры
● Директором Национального центра развития искусственного интеллекта при правительстве РФ стал Сергей Наквасин, который ранее должности замруководителя Аналитического центра при правительстве, а также заместителя гендиректора АНО «Цифровая экономика»

🙋Ищут
● Альфа-Банк ищет руководителя направления валидации моделей некредитного риска. Ознакомиться с вакансией можно здесь, отправить резюме — в Telegram @johnotanovna

Мы реализовали проект миграции с Tableau на Форсайт для компании Ростелеком.

Мы запустили обучающие курсы для специалистов ВТБ Капитал, формируем внутреннюю экспертизу по платформе Форсайт. Кому интересно формирование внутренней экспертизы по продуктам Форсайт, обращайтесь, мы как никто другой знаем, что сертифицированное обучение не всегда дает полное понимание возможностей и трудностей, с которыми сталкиваются специалисты при внедрении, мы помогаем преодолевать все трудности и расширяем понимание возможностей Форсайт

OpenAI начнет помечать генерируемый ИИ-алгоритмами текст

Инженеры OpenAI разрабатывают инструмент для нанесения «водяных знаков» на контент, создаваемый системами искусственного интеллекта. Об этом рассказал приглашенный компанией профессор компьютерных наук Скотт Ааронсон на лекции в Техасском университете в Остине.

По словам исследователя, сотрудник Хендрик Киршнер уже создал рабочий прототип, который надеются интегрировать в будущие продукты.

«Мы хотим усложнить выдачу результатов [ИИ-алгоритмов] за человеческий труд», — сказал Ааронсон.

Он добавил, что это поможет предотвратить академический плагиат и массовое распространение пропаганды.

Системы вроде чат-бота ChatGPT понимают входной и выходной текст как строки «токенов», которые могут являться словами, их частями или знаками препинания.

ИИ-алгоритмы постоянно генерируют математическую функцию, называемую распределением вероятностей, для определения следующей выводимой лексемы на базе ранее выданной информации.

В случае таких моделей, как ChatGPT, после создания дистрибутива сервер OpenAI в соответствии с ним выполняет работу по выборке «токенов». В этом действии есть некоторая случайность, поэтому одна и та же текстовая подсказка может привести к другому ответу.

По словам Ааронсона, разрабатываемый компанией инструмент нанесения «водяных знаков» действует как «обертка» над существующими генераторами текста. Он использует криптографическую функцию, работающую на уровне сервера, для «псевдослучайного» выбора следующего «токена».

При задействовании такой системы обычные пользователи увидят созданный ИИ текст без каких-либо модификаций. Однако имеющие «ключ» к криптографической функции смогут обнаружить «водяной знак».

https://techcrunch.com/2022/12/10/openais-attempts-to-watermark-ai-text-hit-limits/

Полезная прикладная модель, а не картиночки рисовать

Искусственный интеллект научился перемещать отдельные атомы при помощи самого маленького в мире манипулятора
👁️

https://dailytechinfo.org/infotech/11799-iskusstvennyj-intellekt-nauchilsja-peremeschat-otdelnye-atomy-pri-pomoschi-samogo-malenkogo-v-mire-manipuljatora.html