Через двадцать минут основная презентация Google I/O, так что вот мой минимальный список ожиданий:
* Релиз Gemini 1.5 Pro за пределами AI Studio
* Анонс (и желательно релиз) Gemini 1.5 Ultra
* Анонс, или хоть какой-то намёк на совместный VR шлем Google и Samsung
* Память и аналог GPTs для Gemini
* Видео функционал который они тизерили вчера
Хотелось бы увидеть какие-то подвижки к Gemini 2.0, побольше окно контекста для API Gemini 1.5, хоть какие-то опенсорс релизы и аналоги функционала со вчерашней презентации GPT-4o, но тут есть сомнения.
Я конечно же напишу пост по итогам, а стрим посмотреть можно тут (пока что там бегает вылезший из чашки диджей и поставляет кринж в промышленных масштабах).
@ai_newz
* Релиз Gemini 1.5 Pro за пределами AI Studio
* Анонс (и желательно релиз) Gemini 1.5 Ultra
* Анонс, или хоть какой-то намёк на совместный VR шлем Google и Samsung
* Память и аналог GPTs для Gemini
* Видео функционал который они тизерили вчера
Хотелось бы увидеть какие-то подвижки к Gemini 2.0, побольше окно контекста для API Gemini 1.5, хоть какие-то опенсорс релизы и аналоги функционала со вчерашней презентации GPT-4o, но тут есть сомнения.
Я конечно же напишу пост по итогам, а стрим посмотреть можно тут (пока что там бегает вылезший из чашки диджей и поставляет кринж в промышленных масштабах).
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Выкатили улучшенную Gemini 1.5 Pro.
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше чем вся книга "Война и Мир".
- Обещают вскоре добавить поддержку видео - до 1 часа.
- В приватном превью для разработчиков будет доступна версия с контекстом в 2 млн токенов!
https://blog.google/products/gemini/google-gemini-update-may-2024/
@ai_newz
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше чем вся книга "Война и Мир".
- Обещают вскоре добавить поддержку видео - до 1 часа.
- В приватном превью для разработчиков будет доступна версия с контекстом в 2 млн токенов!
https://blog.google/products/gemini/google-gemini-update-may-2024/
@ai_newz
Gemini 1.5 Flash - легкая и быстрая модель
На сцену выпустили Демиса Хассабиса, главу Google DeepMind.
Он показал Gemini 1.5 Flash, более лёгкую модель, оптимизированную для низкой задержки.
- Размер контекста у нее 1 миллионом токенов, и она лучше по бенчмаркам (смотри в комментах) чем предыдущая Gemini 1.0 Pro, и, конечно, быстрее.
- Умеет в мультимодальность.
- Уже доступна как public preview: тут
Это довольно круто. Думаю, что это своего рода GPT4-Turbo от Google.
>> Подбробности
@ai_newz
На сцену выпустили Демиса Хассабиса, главу Google DeepMind.
Он показал Gemini 1.5 Flash, более лёгкую модель, оптимизированную для низкой задержки.
- Размер контекста у нее 1 миллионом токенов, и она лучше по бенчмаркам (смотри в комментах) чем предыдущая Gemini 1.0 Pro, и, конечно, быстрее.
- Умеет в мультимодальность.
- Уже доступна как public preview: тут
Это довольно круто. Думаю, что это своего рода GPT4-Turbo от Google.
>> Подбробности
@ai_newz
Imagen 3 - новая моделька для генерации изображений.
Лучше понимает длинные промпты и рендерит текст.
Будет несколько версий Imagen 3, каждая оптимизирована для разных задач. От быстрой генерации скетчей, до high-res изображений.
>> Подробности | Записаться в вейтлист
@ai_newz
Лучше понимает длинные промпты и рендерит текст.
Будет несколько версий Imagen 3, каждая оптимизирована для разных задач. От быстрой генерации скетчей, до high-res изображений.
>> Подробности | Записаться в вейтлист
@ai_newz
Veo - конкурент Sora от Google
Понимает промпты в виде текста, видео и картинок, генерит в 1080p.
Модель доступна через вайтлист на labs.google, заявки уже принимаются.
@ai_newz
Понимает промпты в виде текста, видео и картинок, генерит в 1080p.
Модель доступна через вайтлист на labs.google, заявки уже принимаются.
@ai_newz
Новое железо!
1. Представили новое поколение чипов для тренировки от Google - TPU v6 Trillium, в 4.7 раз быстрее текущего поколения, будут доступны клиентам в конце 2024 года.
https://cloud.google.com/blog/products/compute/introducing-trillium-6th-gen-tpus
2. Гугл создал свой собственый Arm CPU: Axion для датацентров.
https://cloud.google.com/blog/products/compute/introducing-googles-new-arm-based-cpu
@ai_newz
1. Представили новое поколение чипов для тренировки от Google - TPU v6 Trillium, в 4.7 раз быстрее текущего поколения, будут доступны клиентам в конце 2024 года.
https://cloud.google.com/blog/products/compute/introducing-trillium-6th-gen-tpus
2. Гугл создал свой собственый Arm CPU: Axion для датацентров.
https://cloud.google.com/blog/products/compute/introducing-googles-new-arm-based-cpu
@ai_newz
эйай ньюз
Veo - конкурент Sora от Google Понимает промпты в виде текста, видео и картинок, генерит в 1080p. Модель доступна через вайтлист на labs.google, заявки уже принимаются. @ai_newz
А вот примеры генерации с помощью Veo.
Говорят, что могут сгенерит до 60 секунд в 1080p. Но почему-то все примеры в твиттере, кроме одного, по 8 сек.
Собака, кстати, вообще не очень-то черипикнутая вышла.
Это все также Latent Diffusion на Трансформере, как и Сора.
> Больше примеров тут
> Подробности
@ai_newz
Говорят, что могут сгенерит до 60 секунд в 1080p. Но почему-то все примеры в твиттере, кроме одного, по 8 сек.
Собака, кстати, вообще не очень-то черипикнутая вышла.
Это все также Latent Diffusion на Трансформере, как и Сора.
> Больше примеров тут
> Подробности
@ai_newz
Gems - аналог GPTs для Gemini.
- Подписчики Gemini Advanced скоро смогут создавать Gems - персонализированные версии Gemini (потому что одного Gemini вам явно мало).
- Вы cможете создать любой Gem. Например, партнер по тренажерному залу, су-шеф или партнер по программированию.
- Их легко настроить с помощью промпта. Просто опишите, чего вы хотите от своего Джема и как он должен отвечать (например, "будь моим беговым тренером, давай мне ежедневный план и будь позитивным и мотивирующим")
- Gemini возьмет эти инструкции и однимкликом улучшит их, чтобы создать Gem, который соответствует вашему запросу.
Как всегда, не релизят сразу, Джемы будут доступны только через несколько месяцев.
@ai_newz
- Подписчики Gemini Advanced скоро смогут создавать Gems - персонализированные версии Gemini (потому что одного Gemini вам явно мало).
- Вы cможете создать любой Gem. Например, партнер по тренажерному залу, су-шеф или партнер по программированию.
- Их легко настроить с помощью промпта. Просто опишите, чего вы хотите от своего Джема и как он должен отвечать (например, "будь моим беговым тренером, давай мне ежедневный план и будь позитивным и мотивирующим")
- Gemini возьмет эти инструкции и однимкликом улучшит их, чтобы создать Gem, который соответствует вашему запросу.
Как всегда, не релизят сразу, Джемы будут доступны только через несколько месяцев.
@ai_newz
Опенсорс: Gemma 2 и Visual LLM PaliGemma 3B
Gemma 2 релизнут в опенсорс уже в следующем месяце.
К существующим 2B и 7B (на самом деле 8B) размерам добавится ещё 27B моделька.
Ещё прямо сейчас релизнули визуальную LLM PaliGemma на 3B, веса уже тут.
>> Подробности
@ai_newz
Gemma 2 релизнут в опенсорс уже в следующем месяце.
К существующим 2B и 7B (на самом деле 8B) размерам добавится ещё 27B моделька.
Ещё прямо сейчас релизнули визуальную LLM PaliGemma на 3B, веса уже тут.
>> Подробности
@ai_newz
Media is too big
VIEW IN TELEGRAM
Тут, кажется, все пропустили Music Ai Sandbox. Первая music2music моделька! Это уже полноценный инструмент со своим интерфейсом, который дорабатывает готовые сэмплы, а еще делает style transfer и вариации. Короче, диванным-продюсерам наконец-то есть с чем поэкспериментировать. Хотя, если честно, я действительно вижу, как настоящие музыканты могли бы ее использовать в своем workflow (см пример на видео, как hip-hop исполнители ее используют для создания сэмплов).
Гугл об этом инструменте писал еще в Ноябре 2023 года (модель Lyria). Его только переименовали в Music Ai Sandbox теперь, и, наверное, доработали. Но сейчас, как и тогда, инструмент доступен только узкому кругу музыкантов. 😢
Еще примеры работы тут.
@ai_newz
Гугл об этом инструменте писал еще в Ноябре 2023 года (модель Lyria). Его только переименовали в Music Ai Sandbox теперь, и, наверное, доработали. Но сейчас, как и тогда, инструмент доступен только узкому кругу музыкантов. 😢
Еще примеры работы тут.
@ai_newz
Провел гугл свою презентацию Google I/O
Смотреть стало скучно спустя 0 секунд, начиная с речи ни о чем от Сундара Пичалька. Фото из зрительского зала прикрепляю.
Показали свою новую Сору, а еще поржали сами над собой, посчитав, что сказали "AI" 121 раз. Ну, были, конечно, и крутые штуки вроде Gemini 1.5 Pro с 1-2 млн токенов контекста, которую открыли для премиум подписчиков.
Почти все презентованное будет доступно... когда-то...
В целом, это был рассказ о том, как Google видит свое будущее в AI или AI будущее в себе. Gemini запихнули ну куда только можно, о чем директор каждого отдела с большой гордостью отчитался. Такое ощущение, что у них там устроили конкурс, кто больше придумает юзкейсов и интеграций в интерфейсы своих приложух. Ну а в итоге, все говорили об одном и том же.
Акции GOOGL немножко приподнялись в моменте, думаю в этом и была цель — закинуть удочку на будущее для инвесторов.
При всем при этом вот что я думаю:
Gemini со всеми этими приколюхами может стать go-to нейронкой для обывателей, так как он торчит из всех щелей, бесплатный и бесшовно встраивается в существующие привычки пользователей. Я говорю о том, что в Chrome ты так и так зайдешь, а вот сайт OpenAI не каждый обыватель специально откроет.
@ai_newz
Смотреть стало скучно спустя 0 секунд, начиная с речи ни о чем от Сундара Пичалька. Фото из зрительского зала прикрепляю.
Показали свою новую Сору, а еще поржали сами над собой, посчитав, что сказали "AI" 121 раз. Ну, были, конечно, и крутые штуки вроде Gemini 1.5 Pro с 1-2 млн токенов контекста, которую открыли для премиум подписчиков.
Почти все презентованное будет доступно... когда-то...
В целом, это был рассказ о том, как Google видит свое будущее в AI или AI будущее в себе. Gemini запихнули ну куда только можно, о чем директор каждого отдела с большой гордостью отчитался. Такое ощущение, что у них там устроили конкурс, кто больше придумает юзкейсов и интеграций в интерфейсы своих приложух. Ну а в итоге, все говорили об одном и том же.
Акции GOOGL немножко приподнялись в моменте, думаю в этом и была цель — закинуть удочку на будущее для инвесторов.
При всем при этом вот что я думаю:
Gemini со всеми этими приколюхами может стать go-to нейронкой для обывателей, так как он торчит из всех щелей, бесплатный и бесшовно встраивается в существующие привычки пользователей. Я говорю о том, что в Chrome ты так и так зайдешь, а вот сайт OpenAI не каждый обыватель специально откроет.
@ai_newz
Gemini Nano встроят в следующую версию Chrome
Кроме того, что зарелизили мультимодальную супер-легковесную Gemini Nano, предназначенную бегать на Edge девайсах, ее теперь еще и встраивают в Chrome!
Запускаться будет прямо на девайсе (!), что даст очень хороший автокомплит всюду в браузере. Но главное - разработчикам сайтов дадут доступ к модельке, в том числе через специальные упрощенные API (пока обещают перевод, суммирование текста, транскрибирование аудио). Сайтам теперь не нужно будет платить за дорогие облачные LLM, всё будет на клиенте.
Кажется, это может стать киллер-фичей для Хрома.
Работать это всё пока будет через WebGPU, но вроде обещают в будущем запускать модельку на NPU. Как и всё на Google I/O, эта фича ещё в превью. Но релиз будет уже в Chrome 126, который выходит 5 июня.
Теперь Хром ещё больше полюбит оперативку
Блогпост
Податься на превью можно тут
@ai_newz
Кроме того, что зарелизили мультимодальную супер-легковесную Gemini Nano, предназначенную бегать на Edge девайсах, ее теперь еще и встраивают в Chrome!
Запускаться будет прямо на девайсе (!), что даст очень хороший автокомплит всюду в браузере. Но главное - разработчикам сайтов дадут доступ к модельке, в том числе через специальные упрощенные API (пока обещают перевод, суммирование текста, транскрибирование аудио). Сайтам теперь не нужно будет платить за дорогие облачные LLM, всё будет на клиенте.
Кажется, это может стать киллер-фичей для Хрома.
Работать это всё пока будет через WebGPU, но вроде обещают в будущем запускать модельку на NPU. Как и всё на Google I/O, эта фича ещё в превью. Но релиз будет уже в Chrome 126, который выходит 5 июня.
Теперь Хром ещё больше полюбит оперативку
Блогпост
Податься на превью можно тут
@ai_newz
Для всех, кто пропустил. Я собрал для вас саммари всего самого интересного, что было на Google I/O вчера, со ссылками на посты:
1️⃣ Gemini 1.5 Pro https://tttttt.me/ai_newz/2698
2️⃣ Gemini 1.5 Flash https://tttttt.me/ai_newz/2699
3️⃣ Imagen 3 новая text2image модель https://tttttt.me/ai_newz/2700
4️⃣ Модель для генерации видо - Veo https://tttttt.me/ai_newz/2703
5️⃣ Gems - кастомные версии Gemini https://tttttt.me/ai_newz/2707
6️⃣ Gemini Nano - мультимодальная легковесная LLM для Android https://blog.google/products/android/google-ai-android-update-io-2024/
7️⃣ Gemini Nano встраивают в Chrome - будет бегать прямо на клиенте https://tttttt.me/ai_newz/2711
8️⃣ Опенсорс Gemma 2 и PaliGemma (Vision-Language Model) https://tttttt.me/ai_newz/2708
9️⃣ Новое железо: Trillium TPU + Arm-based Axion CPU https://tttttt.me/ai_newz/2702
1️⃣ 0️⃣ Music AI Sandbox - music2music модель и тулза для музыкантов https://tttttt.me/ai_newz/2709
И в заключение – мое мнение обо всей этой движухе (осторожно, пост-ирония).
Пишите в комментах, если я что-то забыл.
@ai_newz
И в заключение – мое мнение обо всей этой движухе (осторожно, пост-ирония).
Пишите в комментах, если я что-то забыл.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
эйай ньюз
Выкатили улучшенную Gemini 1.5 Pro.
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше…
- Она теперь доступна в Gemini Advanced (примиумная подписка) и для разработчиков.
- В Gemini 1.5 Pro (доступна в чате gemini.google.com) теперь длина контекста 1 млн токенов! Это прvерно 1.5k страниц тектса и больше…
ThunderKittens - GPUs Go Brrr
Ребята из Стенфорда сделали фреймворк, упрощающий взаимодействие с тензорными ядрами. И показали его мощь на FlashAttention в сотне строк, который работает быстрее оригинального FlashAttention 2!
Почему так быстро?🥵
➖ Для ThunderKittens придумали новые абстракции поверх тензорных ядер, что дало удобный доступ к ~95% мощности H100
➖ На полную задействуется новый ускоритель доступа к памяти (TMA)
➖ Подобрав незадокументированные лейауты памяти, вышло задействовать новые асинхронные инструкции для работы с тензорными ядрами
➖ FlashAttention-1 оптимизировал доступ к HBM. FlashAttention-2 – использование тензорных ядер на A100. А тут пошли ещё дальше: начали оптимизировать доступ к разделяемой памяти (shared memory)
➖ Всё это полили соусом из мелких улучшений
FlashAttention – всего лишь первая демка фреймворка, и другие кернелы на нём уже активно пишутся. А тем временем этот проект благословил Tri Dao – мега крутой мужик, автор FlashAttention.
Если хотите, чтобы я рассказал как работает FlashAttention - ставьте 🦄
Блогпост
Гитхаб
@ai_newz
Ребята из Стенфорда сделали фреймворк, упрощающий взаимодействие с тензорными ядрами. И показали его мощь на FlashAttention в сотне строк, который работает быстрее оригинального FlashAttention 2!
Почему так быстро?
FlashAttention – всего лишь первая демка фреймворка, и другие кернелы на нём уже активно пишутся. А тем временем этот проект благословил Tri Dao – мега крутой мужик, автор FlashAttention.
Если хотите, чтобы я рассказал как работает FlashAttention - ставьте 🦄
Блогпост
Гитхаб
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
🔥CAT3D: Create Anything in 3D with Multi-View Diffusion Models
Ухх! Кажется, диффузия все-таки доехала до полноценного 3D. Джон Барон из Гугла, монстр Нерфов (писал о нем тут), постарался.
На вход одна или несколько фоток -> на выходе 3D сцена в виде NeRF. Заметьте, как хорошо он генерит объекты даже сзади, где не было фоток на входе.
Кода нет, и не думаю, что будет.
Сайт проекта
Статья
@ai_newz
Ухх! Кажется, диффузия все-таки доехала до полноценного 3D. Джон Барон из Гугла, монстр Нерфов (писал о нем тут), постарался.
На вход одна или несколько фоток -> на выходе 3D сцена в виде NeRF. Заметьте, как хорошо он генерит объекты даже сзади, где не было фоток на входе.
Кода нет, и не думаю, что будет.
Сайт проекта
Статья
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
CAT3D: Как это работает?
1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.
В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.
Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.
@ai_newz
1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.
В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.
Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.
@ai_newz