Институт цвета Pantone объявил главный цвет 2024 года — это персиковый Pantone 13-1023 Peach Fuzz (персиковый пух).

Цвет года по версии Pantone влияет на разработку продуктов и решения о покупке во многих отраслях, включая моду, мебель для дома и промышленный дизайн, а также упаковку продуктов и графический дизайн.

Ну а мы в ожидании трендовых дашбордов😍

#визуал

Почему одни SQL-запросы выполняются быстрее других или первое знакомство с планом выполнения

Спойлер: у этого поста нет цели научить вас за 5 минут оптимизировать запросы или разбираться в работе движка той или иной БД. Это больше вектор на область знаний, понимание которой поможет вам расти профессионально, глубже разбираться в том, что вы делаете.

План запроса - это внутренняя структура, создаваемая оптимизатором SQL базы данных для выполнения определенного SQL-запроса. План запроса содержит информацию о порядке выполнения операторов в запросе, а также об используемых индексах, таблицах и других объектах базы данных.

Выполнение запроса можно разделить на следующие этапы (подробнее о каждом этапе можно прочитать в источнике):
- Установка подключения к серверу СУБД
- Трансформация SQL-запроса
- Планирование запроса
- Исполнение запроса
- Завершение соединения

На этапе планирования выполняется поиск наиболее оптимального способа выполнения нашего запроса. Для этого планировщик осуществляет перебор возможных планов выполнения, оценивает затраты на исполнение и присваивает каждому определённую стоимость.

Для просмотра выбранного плана можно использовать команду EXPLAIN. В её выводе для каждого узла дерева плана отводится строка с описанием базового типа узла, оценки стоимости выполнения (cost), ожидаемое число строк (rows), ожидаемый средний размер строк (width). Команду EXPLAIN можно использовать с параметром ANALYSE, которая выполнит запрос и выведет фактический план, дополненный информацией о времени планирования и исполнения. Команду можно использовать для оценки фактического времени выполнения запроса, однако не стоит забывать, что использование параметра ANALYSE требует реального выполнения запроса в БД. Пример реального плана выполнения можно увидеть на картинке к посту.

Итого: понимание работы плана запроса является важным аспектом для оптимизации SQL-запросов и повышения производительности базы данных. Как минимум SQL-запросы станут для вас более предсказуемыми, вы будете тратить меньше времени на возникающие проблемы и их устранение :)

Источники:
https://club.directum.ru/post/361562
https://habr.com/ru/articles/203320/
http://bit.ly/3GPYWcX

#новичкам #знания

Теория близости
звучит романтично, но это про дизайн - в том числе дашбордов))

Теория близости от Артемия Лебедева звучит так: объекты, расположенные близко друг к другу, воспринимаются связанно. Это основа любого дизайна, в том числе информационных панелей (дашбордов).

Посмотрите на картинку: здесь дизайнер нарушил именно это, кажущееся очевидным, правило - и что из этого вышло?

На практике нарушение принципа «рядом, потому что связано» встречается в любых дизайнерских работах, начиная с обычной верстки. Например, очень часто размещают заголовок таким образом, что сверху и снизу расстояние до абзацев оказывается одинаковым.

Хотя читатель, в большинстве случаев, может определить, к чему относится заголовок, лучше было бы, чтобы он мог сосредоточить свое внимание на содержании, а не на том, как расположены элементы.

✨ BI-гороскоп на 2024 год ✨

♈️ В 2024 году Овнам стоит ожидать больших перемен в личной жизни. Возможно, вы найдете свою вторую половинку - документацию Spark DataFrame API.

♉️ Тельцы будут настолько удачливы в 2024 году, что им придется беречься от навязчивых предложений стать аналитиком данных за один день.

♊️ В 2024 году Близнецы будут так активны, что им придется перестать заниматься собой и наконец-то уже начать заниматься дашбордами.

♋️ Ракам в 2024 году стоит быть осторожными в финансовых вопросах - возможно, вы потратите все свои сбережения на новую BI-систему.

♌️ Львам в 2024 году предстоит много путешествовать - особенно между источниками данных и сводной таблицей.

♍️ Девам в 2024 году стоит быть готовыми к романтическим приключениям - возможно, вы встретите свою вторую половинку в очереди проектных задач.

♎️ Весы в 2024 году будут настолько обаятельны, что даже пользователи Excel будут делать комплименты вашим аналитическим отчетам.

♏️ В 2024 году Скорпионам стоит быть осторожными - возможно, вы будете так успешны, что окружающие начнут завидовать настройкам ваших круговых диаграмм.

♐️ Стрельцы в 2024 году будут настолько оптимистичны, что даже требования ТЗ будут стараться подстроиться под ваше настроение.

♑️ Козерогам в 2024 году стоит быть готовыми к неожиданным поворотам событий - возможно, вы найдете свою страсть в вычислениях АППГ.

♒️ Водолеям в 2024 году предстоит много общаться с новыми людьми - особенно с продавцами российских BI.

♓️ Рыбам в 2024 году стоит быть осторожными с обещаниями - возможно, вы обещаете себе изучить SQL и Python, но потом понимаете, что любите себя таким, какой есть.

* гороскоп подготовлен в отделе предиктивной аналитики Analytic Workspace

Как “Умные алгоритмы” угробили “американский ЦИАН”

Маркетплейс недвижимости Zillow списал $500M убытков и сократил 2000 человек. Это яркий крах смелой стратегии “цифрового” подхода переделки традиционной отрасли, основанного на бигдате и умных алгоритмах. Почему так случилось?

Zillow с 2018 года сделали ставку на сервис home-flipping. Это быстрая покупка дома за кэш, быстрая реновация и редизайн и быстрая продажа. Вся скорость - благодаря умному анализу огромного накопленного количества данных по сделкам, включая анализ фотографий нейросетями. Шутка ли, Zillow заявлял, что разработал big data алгоритмы предсказания будущей цены дома с уровнем погрешности всего в 2%! Алгоритм точно предсказал цену после переделки, ты быстро купил, обработал, продал. Без оценщиков, агентов, длинных переговоров - кэш-машина! Инвесторы верили.

Конкуренты с самого начала говорили, что машинное обучение не может предсказывать столь сложные рыночные механизмы и нельзя на нём строить стратегию. На цены домов могут повлиять, мол, и факторы изменений вкусов покупателей, и общее движение рынка.

Так в итоге и случилось. Удалёнка изменила подходы американцев в выбору жилья, сменились вкусы. Все предсказания алгоритмов перестали срабатывать. Но всё существенно ухудшил ещё один фактор.

В разгар стратегии home-flipping компания стоила под $40 млрд. Кэша было много. В какой-то момент Zillow решили, что растут недостаточно быстро - конкуренты покупают больше домов. Это не понравится инвесторам. KPI на рост у топ-менеджмента стали пригорать! Мешала чёртовая биг-дата и команда аналитики - они отсекали слишком много домов для покупки и будущей продажи.

Тогда был принят “проект Кетчуп”. В системы предсказания вручную "накинули" дополнительные 7% той оценке, что выдавал алгоритм. Это сразу же развязало руки и позволило предлагать больше денег владельцам. И покупать дома быстрее.

Ну вы уже наверное догадались, что случилось дальше. Менеджеры выполнили свои KPI. Zillow купил в разы больше недвижимости, чем годом раньше.

И тут поменялся рынок, на ⅔ купленного жилья снизились цены. А страсть менеджеров к неуёмному росту оставила Zillow с целой прорвой лишней подешевевшей недвижимости. Рьяные менеджеры своими руками навесили дополнительную гирю, которой бы не было, слушай они свои предсказательные системы. Существенно большей, чем позволяли запасы и оценка риска.

Дальше - увольнения, падение стоимости, и СЕО, который всё... свалил на плохую big data!

Что познавательного в этой истории?

Это история фейла, в котором слишком много веры в точные машинные предсказания и старое-доброе рвение менеджмента, который вынуждают безгранично и слишком быстро расти.

1) Когда вы видите проект, успех которого так сильно завязан на machine learning и большие данные - скорее всего, вы имеете дело с очередной убедительной сказкой для инвесторов.

2) Любые алгоритмы и big data - способ улучшить и оптимизировать уже работающий процесс. То есть делать что-то немного лучше конкурента. Но никогда не метод обыграть рынок и сложившиеся правила.

3) Когда аналитика даёт неудобные выводы - менеджеры всегда найдут способ её “обыграть”, чтобы достичь своих целей и заработать бонус

Гештальт как основа визуального восприятия

Еще в 1920-х годах немецкие психологи разработали группу принципов визуального восприятия и назвали ее гештальт. Метод основан на теории, что «организованное целое воспринимается как большее, чем сумма его частей».

Основные принципы, которые можно использовать как при построении визуализаций, так и при создании интуитивно понятных интерфейсов:

Принцип подобия — мозг воспринимает похожие по одному признаку элементы как единое целое, даже если по другим признакам эти элементы отличаются. Самые "коммуникабельные" - цвет, размер, форма. Этот принцип также может использоваться и для создания контрастности или увеличения визуального веса если добавить объект отличный от остальных. Например, на дашборде так может быть выделен отдельный виджет, который нужно сделать акцентным.

Принцип близости — элементы, расположенные близко друг к другу, воспринимаются как более связанные, чем те, которые расположены дальше друг от друга. Таким образом, различные элементы могут рассматриваться как группа, а не по отдельности.

Принцип замкнутости — мозг группирует элементы как схожие, если они находятся в одной и той же закрытой области. При этом завершение также происходит в мозгу, при представлении достаточного объема информации наш мозг сам сделает выводы. В дашбордах, например, с этим успешно справляются вкладки, каждая из которых несет свой информационный посыл.

Принцип непрерывности — мозг определяет взаимосвязи по линиям, кривым или последовательности форм. Человеческий глаз привык отмечать пути и следовать по ним. При создании дашбордов, виджеты выравниваются и это помогает глазам плавно перемещаться по визуальным элементам, повышая разборчивость представляемой информации.

Принцип смыкания — мы предпочитаем законченные формы, поэтому мозг автоматически заполняет промежутки между элементами, чтобы воспринимать неполные объекты как целое изображение.

В общем, визуал и психология связаны и погружаться в это невероятно интересно😍
#визуал

Визуализация статистики о том, что и так все знают

Статья про то, как автор на основании банковских транзакций проанализировал на что люди тратят свои деньги в определенный момент времени. Временны́е статьи разбиты на 16 категорий — супермаркеты, фастфуд, транспорт, АЗС, алкоголь, здоровье и так далее.

Автор предоставил ChatGPT пример своих данных, описал задачу и начал просить сделать визуализацию, постепенно исправляя баги и дорабатывая фичи. Изменить анимацию, поправить градиент цветов, переместить плашку времени, запустить отсчёт — это и многое другое написал ChatGPT.

На визуализации видно, что на обед люди ходят в ближайшее кафе и заправляют машину, после работы — в супермаркет, а на выходных — отдыхают в увеселительных заведениях.

Ожидали ли вы такую концентрацию транзакций в определенных зонах в определенное время? Удивляет, например, доля людей, которые делают импульсивные покупки в категории дом и ремонт в 4 утра 😊
Перейти к статье
#статья

Почему мы видим лица там, где их нет, и как использовать смайлики в визуализациях🤔

Все мы используем в переписках эмоджи, смайлики и даже ставим скобочки в конце фразы, чтобы передать эмоциональный оттенок в сухой переписке. Два схематичных «глаза» и «рот» под ними — достаточный для нашего мозга повод чётко увидеть лицо. Но как же это работает?

Парейдолия - это зрительная иллюзия, которая заставляет людей видеть лица, изображения животных, очертания привычных предметов там, где их нет. В основе парейдолии лежат сразу несколько механизмов:
1. Эволюционная необходимость.
Человек, который умел определять, затаился ли кто‑то из враждебного племени в густых джунглях, мог вовремя спастись бегством. А те, чей мозг не был «заточен» на поиск недружественных человеческих физиономий, быстро погибали.
2. Общий алгоритм работы мозга многих живых существ.
Для начала мозг анализирует увиденное и пытается установить пространственные связи между компонентами картинки. Параллельно он сравнивает обнаруженное с уже знакомыми изображениями. Если в памяти хранится подходящая картинка, и тем более когда она значима (то есть мозг с ней часто сталкивался), моментально запускается процесс узнавания: «Я это уже видел! Вот что это!»
3. Одновременная активация разных зон мозга.
А именно: участка лобной коры, который отвечает за ожидания, и отдела зрительной коры, специализирующегося на узнавании лиц. При этом первый в значительной степени контролирует второй. То есть сознание влияет на зрение: люди ожидают столкнуться с чем‑то знакомым и в итоге видят именно это.

На основании эффекта Парейдолия Американский математик Герман Чернов в 1973 году опубликовал работу, в которой изложил концепцию использования этой способности восприятия лица человека для построения пиктографиков. Их применяют, как правило, в двух случаях:
— когда нужно выявить характерные зависимости или группы наблюдений;
— когда необходимо исследовать предположительно сложные взаимосвязи между несколькими переменными.

Исходя из этой концепции, использование пиктографики для многомерных данных может помочь пользователям воспринимать информацию интуитивно! На одном графике можно показать множество параметров – использовать размер глаза, изгиб брови, цвет волос, размер рта, обвод лица – в общем, в особых случаях в одно лицо можно запихнуть до нескольких десятков параметров. Однако есть нюанс: люди склонны приписывать лицам настроение и эмоции, что может влиять на интерпретацию данных, поэтому создавать такие визуализации нужно аккуратно.

Простые смайлики, как на картинке к посту, могут помочь «оживить» дашборд, а здесь можно посмотреть один из самых удачных примеров использования лиц Чернова в визуализациях.

#визуал

Аналитики часто жалуются мне, что им приходится доказывать свою нужность. Теперь, ребята, у вас есть пруф.

Рынок российского BI и империализм

Признавайтесь, кто читал В.И. Ленина «Империализм, как высшая стадия капитализма»? Если все читали (нет), то всем известно, что капитализм, пройдя стадию свободной рыночной конкуренции, превращается в империализм, когда 80%рынка занимает 20% компаний.

А мы живем в уникальное время, господа. Российский рынок BI-систем, к 2020-му году уже надежно поделенный между зарубежными "зубрами" Power BI, Qlik, Tableau - внезапно оказался (условно) свободен. Тут же появилось множество российских решений, каждое из которых старается отвоевать себе лидирующую позицию - ведь мы знаем, что пройдет 3-5 лет, и свободная конкуренция сменится доминированием 2-3 самых популярных BI-систем. Но на сегодняшний момент рынок российского BI выглядит примерно как на видео)).

(Продолжение - в первом комментарии) #мнение

Поговорим о типах атрибутов в аналитических таблицах. Не о тех, которые “строка”, ”число”, ”дата” и ”логическое” А те, которые “числовые”, “категориальные” и “порядковые”.

Числовые атрибуты - описывают измеримые величины, задаваемыми целыми или действительными числами.

В рамках числовых атрибутов принято ещё выделять два подтипа: интервальные и относительные. Интервальные атрибуты измеряются по шкале с фиксированными, но произвольными единицами измерений и произвольным началом отсчета. Примером интервальных атрибутов являются дата и время (да-да, даты и временные метки хранятся в компьютерах в виде чисел). Или температура по шкале Цельсия. К таким атрибутам применяются операции упорядочивания (мы точно знаем какая дата не меньше другой), а также вычитание (вычитая две даты мы получаем количество дней между ними). Но мы не можем сказать, что при 20 градусов Цельсия - это в два раза теплее, чем 10 градусов.

Относительные атрибуты отличаются от интервальных тем, что для них есть истинный ноль. То есть, мы можем описать любое значение такого атрибута как кратное другому значению. Вес, рост, размер заработной платы, баллы ЕГЭ - это всё примеры таких атрибутов. Возвращаясь к градусам: по шкале Кельвина, 20 градусов действительно в два раза теплее, чем 10)

Категориальные атрибуты - принимают значения из ограниченного набора и могут восприниматься как имена для категорий, классов и обстоятельств (поэтому, их иногда ещё называют номинальными). Примеры категориальных атрибутов: семейное положение (холост, женат и разведен), виды шотландского виски (односолодовый, зерновой и купажированный) и “это-спам?” (да/нет). Также, ФИО в зарплатной ведомости - это тоже категориальный атрибут. И даже иногда значения с датами, если они указывают на первый день месяца, можно воспринимать как название (т.е., категоризацию) этого месяца.

Порядковые атрибуты - аналогичны категориальным с той разницей, что их можно ранжировать. То есть, установить между любыми двумя значениями отношение “больше-меньше”. Например, степень усталости: “легкая”, “средняя”, “тяжелая”.

Граница между категориальными и порядковыми атрибутами не всегда четкая. Кто-то может сказать, что “пасмурно” - это между “солнечно” и “дождливо”. А кто-то может считать, что это вообще нельзя упорядочивать.

Такая типизация атрибутов влияет на методы анализа и понимания данных. Даже если у вас какая-то категория физически описывается числовыми значениями (например, цифрами 1, 2, 3 - как идентификаторы в БД), то нельзя применять к ней методы нахождения среднего значения и дисперсии, как мы бы сделали с другими числовыми данными (например, размер з/п в компании).

#новичкам

Мера неупорядоченности в аналитике данных

С понятием энтропии мы впервые сталкивались ещё в школе, тогда оно точно могло казаться очень загадочным и интригующим. С годами наши чувства к нему… совсем не изменились :)

Данная тема собирает много просмотров и восторженных комментариев на научно-популярных каналах, в то же время велико её значение для точных расчетов и продвинутых исследований.
Этим постом мы попробуем по существу описать то, где аналитики данных, т.е. мы с вами, это понятие встречаем.

Энтропия — понятие, характеризующее меру неоднородности некоторой системы. Также можно сказать, что это мера беспорядка. Представим себе емкость с шарами, где в одной половине находятся шары одного цвета, а в другой — другого. Если они лежат в едином сосуде, но при этом строго упорядочены по половинам — для таких ситуаций мы говорим, что энтропия низка. Если начнет происходить их смешивание, величина возрастёт — это как раз и есть то, о чем в первую очередь говорит школьная программа.

Где именно мы встретим меру энтропии на практике ?

1. В Data Science понятие энтропии тесно связано с моделями предсказывающих деревьев — деревьями решений. Само дерево можно представить себе как цепь вопросов-математических критериев вида «Если x<40 , то True, последовательно уточняющих информацию об исследуемом объекте. Эти критерии задают условия к разным атрибутам объекта.
Структура данного математического алгоритма хорошо ложится на естественный язык, так что мы и сами легко можем построить дерево решений из простых понятных вопросов (если газета датирована предыдудыщей неделей — скорее всего она неактуальна). Для деревьев решений мера энтропии используется, как критерий оценки выборок, полученных после разделения деревом классификации. Допустим, после очередного заданного вопроса оказалось, что наши выборки стали более однородны — т.е. мера энтропии для каждой отдельной выборки уменьшилась. Значит наш вопрос для классификации сработал хорошо, и мы не зря его выбрали для узла дерева.

2. Мера энтропии применима для оценки сложности структур, в частности, схем. Для нас актуальным может оказаться оценка схемы реляционной базы данных. Например, статья рассказывает о классических способах оценки структуры БД и описывает способ оценки сложности с помощью энтропийного критерия.

3. Третье применение вытекает из второго пункта — описание геометрии сложных форм. Мы уже обсудили то, что мера энтропии может быть полезна для описания некоторых информационных и формальных структур. Конечно, тот же самый подход позволяет обратиться и к структурам физического мира. Некоторые из них с трудом сводятся к простым формам — облака, кровеносная система, кроны деревьев. Работой с ними занимается физика фракталов, и использует для исследований энтропийный подход. В ходе его применения на первый план ставится именно мера сложности их организации.

Надеемся, что помогли прокачать профессиональные навыки 😉 И теперь, когда кто-то в лифте скажет: "Да, энтропия нынче сильная ...", вы сможете вступить в дискуссию, а не просто помахать головой в знак согласия.

#знания

Друзья!

✅20 февраля в 11:00 (мск) — состоится прямой эфир о выстраивании системы сквозной аналитики в благотворительном фонде «АиФ. Доброе сердце». Обсудим, как повысить эффективность фандрайзинга и работу с донорами в НКО с помощью BI-аналитики и машинного обучения

«Сквозная аналитика в НКО»

✅В прямом эфире обсудим:

📌Почему сложно выстроить сквозную аналитику в НКО и что делает BI-система?
📌Машинное обучение (ML) для сегментации доноров и формирования стратегии таргетированного маркетинга;
📌Реальный опыт использования сквозной аналитики в «АИФ. Доброе сердце»;
📌Шаги по внедрению сквозной аналитики: от приёма платежей до настройки 1С и web-аналитики;
📌Пример дашбордов, в том числе с подключением ML, для прогнозирования сборов.

Эфир будет полезен для фандрайзинг-аналитиков, руководителей и менеджеров НКО, Data-сайентистов, архитекторов и разработчиков BI.

✅Регистрируйтесь по ссылке: https://analyticworkspace.ru/awbi-nko-20-02

Участие как всегда бесплатное, вопросы задавайте при регистрации и во время эфира! Ждем вас! #мероприятия