Reveal the Data: заметки с тегом пример

Визуализация процессов

Thu, 22 Apr 2021 08:45:47 +0200

Yet another post «Why dataviz matter». Пост из этой же серии про моего пса и змею.

Недавно разбирал фотки и наткнулся на прикольный кейс со старой работы. В прошлой жизни я был бизнес-конслуьтантом по улучшению процессов и занимался оптимизацией на промышленных предприятиях с помощью бережливого производства. Один из принципов этой методологии — визуализация процессов с помощью карт потока Value Stream Mapping.

История

Проект на газодобывающем предприятии — необходимо понять, что мешает работе и почему часто есть проблемы и простои оборудования на месторождении. Проводим первичный анализ и понимаем, что часто не хватает нужных запчастей. Разбираемся почему так происходит — оказывается процесс закупки (только договор + оплата, без доставки) может достигать до 70 рабочих дней! Топы предприятия не верят, что ситуацию можно как-то исправить и считают, что процесс закупки построен нормально.

Рисуем карту потока с рабочей группой

Анализируем процесс — запираемся с рабочей группой в переговорке и строим карту потока с помощью стикеров. Получаем процесс состоящий из 60 шагов, задействующий 19 сотрудников и занимающий кучу времени. Даже на одну доску не уместился весь процесс. Оказывается, что больше всего теряется на согласования договора и других документов!

Печатаем карту

Переносим карту потока в электронный вид, чтобы аккуратно посчитать потери в деньгах, распечатываем на плоттере, склеиваем (так как карта умещаются только на десятке листов A2), идём на встречу к директорам и эффектно разворачиваем на гигантском столе в переговорке.

Это было одно из самых прикольных совещаний за мою карьеру — надо было видеть как удивились и сразу поняли все присутствующие неоптимальность процесса. Сразу увидели кучу блоков согласований, выстраивающихся в колонки на карте и потряслись самим масштабом процесса. У меня было полное ощущение, что случился «Aha-moment» и «Now you see it».

Улучшаем процесс

Очень быстро принялись верные решения — удалось удалить лишние этапы согласования, убрать лишние проверки и сделать новые стандартные формы документов. В итоге процесс стал занимать не 67 рабочих дней, а 33 и сэкономили компании очень серьёзные деньги.

Подводя итог — визуализация и отображение реального масштаба очень важны. Победой в этом кейсе — было именно решение распечатать эту карту потока, чтобы показать масштабы проблемы. Визуализация важна, даже если вы визуализируете не данные, а процессы и схемы.

Все населённые пункты РФ

Thu, 11 Mar 2021 23:13:20 +0200

Сделал визуализацию про все населённые пункты РФ, получилось красиво, напоминает карту рельефа.

68% людей проживают в городах. Больше всего в России деревень — 76 тысяч. На севере больше деревень и сёл, а на юге станицы и хутора, не знал о такой особенности. А ещё, я был уверен, что в России куча деревень с названием Бухалово. Оказалось, что это не так, их всего пять, зато целых 286 Александровок.

Давно хотел сделать что-то подобное, но не попадалось хороших данных. А тут ко мне пришли ребята из проекта «Инфраструктура научно-исследовательских данных» и попросили про них рассказать. Это портал, где они собирают и обогащают открытые данные, и дальше их бесплатно раздают. Я решил посмотреть, какие есть датасеты, наткнулся на этот и визуализировал его.

Качество датасетов на портале издалека выглядит лучше, чем на портале открытых данных РФ. Пока там немного наборов, но есть большие и интересные. Надеюсь проект правда направлен на благие дела, будут только полезные датасеты и он не сведётся к деятельности ради закрытия планов.

Итогов года пост 2020

Thu, 21 Jan 2021 20:54:37 +0200

Собрал все итоги года в одном посте.

Начну с Телеграма. Данные собрал из API tgstat.ru, выгрузки из самого Телеграма и некоторую разметку сделал руками. Получился такой дашборд:

Основные хайлайты
— Канал вырос с 0 до 2.2К подписчиков.
— Всё время поддерживается Engagement Rate (ERR) ≈ 100% (Ср. охват поста/Кол-во подписчиков). Эта метрика для меня важнее кол-ва подписчиков, так как показывает, насколько интересен контент читателям и насколько им делятся.
— Больше всего в канале постов в тегом #ссылка — 81 шт., наибольший охват и ERR получили посты с тегами #статья — 2К охват, 241% ERR
— Чаще всего я публикую посты по пятницам, но охват у таких постов не самый большой. По времени чаще всего с 14 до 15, здесь показатели тоже небольшие, видимо обеденное время. Нужно будет с этим поэкспериментировать =)
— Был написал 241 пост. Самым просматриваемым постом стал пост про черные точки, его репостнули в канале Адовый UX. Самым виральным стал пост про статью «Таблица или график? Как убедить заказчика».
— 80% просмотров на пост приходятся за первые 3-4 часа после публикации.

Впечатления
Я, если честно, приятно удивлён количеством подписчиков и вовлеченностью. Я веду блог пять лет, и мне всегда казалось, что тематика супер узкая и интересная малому количеству людей. Когда заводил канал, думал, что максимальный потолок для канала ~1К подписчиков (посчитал как половина от суммы участников чата по визуализации и чата по Табло). Рад, что контент интересен и полезен, для меня это классная возможность поделиться тем, что я считаю важным, и развить личный бренд.

Спасибо всем, кто делится постами, особенно @rockyourdata, @dashboardets, @chartomojka, @data_publication, @leftjoin, @internetanalytics, @analyst_club, @nastengraph, @dataviznews, @novichkovnet или просто в личных сообщениях. Кстати, список каналов, за которыми я сам слежу лежит здесь.

YouTube

Данные взял из Data API YouTube Data API, скачав их с помощью скрипта на js напрямую в гугл-таблицы — очень удобно! https://public.tableau.com/views/YoutubeAnalysis_16090922510490/YouTubeAnalysis Собрал дашборд, по аналогии с тем, что разбирали на вебинаре по адаптивной верстке.

Основные хайлайты
— За год я выпустил 26 видео, на канал подписалось 429 человек, всего 16К просмотров.
— Большего всего сморят видео с типом #выступление и #подкаст. В среднем одно видео собирает ~400 просмотров (медиана 370).
— Самое просматриваемое видео «Алгоритм разработки дашборда» на Date Learn. Меньше всего у перевёрстки «Product Superstore».
— Самый короткий подкаст был пилотным, с Андреем Дорожным, но зато у него больше всего просмотров среди подкастов. Дольше всего проговорили с Никитой Рокотяном.

Впечатления
Ютуб требует довольно много усилий на продакшен, при этом качество мне всё равно пока не нравится, видно, что сделано на коленке. Зато он очерчивает core аудиторию которая готова тратить время на просмотры, а не только на посты в телеграмме. Самое большое разочарование для меня, что не взлетела рубрика #переверстка, мне казалось, что это самый полезный контент на канале, но почему-то заходит он плохо, если есть идеи как его прокачать — пишите в личку.

Блог и сайт

Данные для этого анализа мне помог собрать Саша Михайлов, автора канала data-будни про инжиниринг данных, рекомендую. Данные тянутся из базы блога с помощью питона записанного в гугл-коллабе и после этого складируются в гугл-таблицы. Скоро сделаем с Сашей инструкцию, как собрать такой же дашборд если у вас блог на Эгее. Плюс ещё кое-что посмотрел в Я.Метрике. И конечно же собрал дашборд. =)

Основные хайлайты
— За год написал в блог 32 заметки, из них 14 «настоящих» статей, остальное дубли подборок из телеграмма и видео с Ютуба. Это больше, чем в прошлом и позапрошлом году, но меньше чем в 2017-ом.
— Самой просматриваемой стала заметка «Интерфейсы в BI системах».
— Завёл отдельный тред для подборки работ по визуализации, собрал 93 классных примера.
— Самой популярной заметкой по запросам из поисковиков является уже который год статья про логарифмическую шкалу. В этом году она особенно популярна ))) Смотрите как забавно отличается рост просмотров от остальных заметок.

Впечатления
В этом году мне прям нравятся лонгриды, которые написал. Доволен, что из них получается стройная теория по проектированию дашбордов.

Дисклеймер по данным
Сбор просмотров начался только с марта, после обновления платформы блога. Поэтому хотя там можно отмотать фильтр по дате публикации, но это будут просмотры только за текущий год.

Подборка самых важных и полезных авторских материалов за год по моему мнению

— Статья «Навыки для визуализации данных»
— Статья «Интерфейсы в BI-системах»
— Вебинар «Алгоритм проектирования дашборда»
— Статья «Шаблоны верстки дашбордов» (скоро буду обновлять, докрутил идеи)
— Вебинар про Адаптивную верстку в Табло
— Статья «Таблица или график? Как убедить заказчика» и вебинар на базе этой статьи
— Статья «График план-факт во времени»
— Выступление про стайлгад и темплпейт Я.Такси
— Трибьют «Тафти в Табло»
— Дашборд про рынок вакансий аналитиков

Tableau Public

Собрал подборку работ с Табло Паблик, которые понравились мне больше всего за 2020 год. Сложнее всего на Паблике найти хорошие дашборды, одни лонгриды и инфографика )))

Личная статистика

Последняя часть с итогами. В ней собрал все данные, которые можно получить о себе почти без усилий. Графики в этот раз попытался сделать в стиле «инстаграм». Осваиваю новые форматы, сразу чувствуется нехватка практики.

В этом году очень много времени провел, работая за компом. Планирую в следующем году ограничить время на работу. Это всё плохо сказывается на продуктивности и здоровье. Надо больше отдыхать и относиться к этому, как к части работы. В основном трачу время на Табло (34%) и мессенджеры (28% и 82К отправленных сообщений, 187 часов в zoom).

В конце сентября заболел ковидом и на это же время наложилось несколько важных проектов, из-за этого потерял все старания по контролю веса с начала года. Благо сам вирус перенёс супер просто, но ещё 2 месяца после этого был как ватный. Интересно, что в данных это проявилось как повышенный сердечный ритм в октябре и ноябре. Неприятная болезнь, какие-то пост эффекты дурацкие. Из-за этого же явно меньше ходил, особенно в конце года совсем не соблюдал планку в 8500 шагов в день.

Из забавных эффектов карантина, стал довольно много и регулярно спать по сравнению с прошлым годом.

Данные: MI Band 3, Mi Scale, Timecamp.com

Табло

Добавил 2020-ый год в свою любимую [«визуализацию про время, которое я трачу на визуализацию». Табло всё больше в моей жизни. В этом году много работал руками и обучал, отсюда набежало больше тысячи часов.

Данные: Timecamp.com

Траты

Чаще всего в этом году тратил на супермаркеты, транспорт и кафешки. Больше всего потратил на переводы и нал, они превратились в три самые крупные покупки: машину, подводку газа в дом и обустройство участка.

Данные: Выгрузка из банка

Перемещения

В этом году никаких зарубежных поездок не было, как и у большинства. Зато я снова перешёл с iPhone на Android, и там есть замечательная функция выгрузки местоположений и вообще любой статистики по Гугл аккаунту. Получилась классная карта. В карантин много раз порадовался, что последние 3 года живу за городом. Прикольно видно как я переехал с юго-востока на северо-запад, а потом на север.

Данные: takeout.google.com

Сайт и айдентика

Ещё в этом году обновил сай и его английскую версию. За это огромное спасибо Кириллу Беляеву, он взялся нарисовать дизайн, а я заверстал сайт.

Если вам будет нужен дизайн, очень рекомендую обратиться к Кириллу — его портфолио и канал.

Впечатления
Год был ярким как на хорошие события, так и на плохие. Для меня в итоге он имеет скорее положительную окраску, но осталось куча всего, что хочется докрутить в следующем году. Самыми яркими впечатлением стали, пожалуй, выступление на конференции Матемаркетинг, концерт с группой (хобби — играю на басу в кавер-группе) и запуск телеграмм-канала.

🎄Всех с наступившим, приятных заказчиков и классных дашбордов вам в этом году!

Адаптивная верстка в Табло

Thu, 21 Jan 2021 20:21:41 +0200

Выступил на проекте DataLearn с рассказом про адаптивную верстку.

Материалы со вчерашнего вебинара про адаптивную верстку в Табло:

Запись вебинара
Книга на Паблике (можно скачать и посмотреть, что внутри)
Статьи The Economist:
— про ошибки в мобильных графиках
— про адаптацию графиков для инстаграма
Дашборд про зарплаты (пример с CSS, можно посмотреть в инспекторе кода)
Навыки и литература по визуализации

Сам дашборд, на котором разбирали теорию, — это статистика канала Data Learn на YouTube. Данные собрал через API YouTube и скрипт в гугл-таблицах. Получился прикольный дашборд, который можно будет переиспользовать.

Таблица или график? Как убедить заказчика

Sun, 06 Sep 2020 23:30:37 +0200

Читатель блога написал классный вопрос:
«В ходе работы приходится сталкиваться с заказчиком, который приемлет только таблички с множеством фильтров. На все предложения сделать покрасивее — отвечает отказом, говорит, что тогда потеряется функционал. К слову, в книге ~20 разных дэшбордов и все они должны быть в таком стиле: фильтры и таблички.

Подскажи плз, стоит ли бороться, забить или еще какой-то вариант?)»

По-моему, это одна из самых распространенных проблем у разработчика дашборда — заказчик хочет таблички. Давайте разберемся, что можно сделать в таком случае. У меня, к сожалению, нет волшебной таблетки и сам я часто не могу убедить коллег, но напишу, что думаю и что сам делаю, когда с таким сталкиваюсь.

Ниже текст, а на видео ещё более развернутая версия вебинара по этой теме с примерами как это делать в Табло.

Таблички vs графики. Теория

Сначала немного теории: рассмотрим когда хорошо работают таблицы, а когда графики. Просто сказать, что любая таблица — это зло, было бы совсем неправильно и таблицы тоже важны и нужны для своих задач.

Есть разные исследования, которые оценивают скорость и точность восприятия информации человеком в виде графиков и таблиц. Мне очень нравится вот эта статья Task-Based Effectiveness of Basic Visualizations. В ней подробно рассмотрено как базовые визуализации решают различные типы задач. Пользователей просили выполнить 10 типов задач с помощью разных визуализаций: найти аномалии, найти кластеры, найти экстремумы, узнать конкретное значение, рассчитать значения между двумя точками данных и т. п. Измерялись три метрики: точность решения задачи, скорость решения и ответ пользователя какая визуализация ему понравилась больше всего для решения этой задачи.

И ещё есть общее резюме, с которым авторы что-то перемудрили. Но, если привыкнуть, то можно считывать довольно быстро. Каждая строка — это тип задачи. Столбцы — три метрики. Внутри каждая ячейка разделена на две части. Слева — топ визуализаций в порядке ухудшения по метрике, справа — самый плохой график. Стрелки идут от графиков, которые работают сильно лучше, чем тот, на который направлена стрелка. То есть первую ячейку в таблице надо читать так: для поиска аномалий по точности лучше всего работает скаттерплот, хуже всего таблица и пай-чарт. При этом скаттерплот работает гораздо лучше (статистически значимо) пайчарта.

Есть и другие статьи Cognitive Fit: An Empirical Study of Information Acquisition и Effects of Tables, Bar Charts, and Graphs on Solving Function Tasks, в которых обсуждаются похожие проблемы и сравниваются таблицы и разные виды графиков.

Общие выводы такие
Таблицы хорошо работают для «количественных задач»: узнать конкретное значение, посчитать разницу или сравнить значения между двумя ячейками. Графики хорошо работают для «качественных задач»: найти общие признаки для точек, найти максимальные и минимальные значения, понять отрицательная или положительная динамика, узнать какое значение больше и т. п.

И это в целом работает для всех людей, но есть особенность того, что при работе с таблицами и графиками включаются разные отделы мозга. Таблица — по-сути текстовая информация, которую пользователь «читает» перемещаясь по строками и столбцам. Чтобы преобразовать данные используются отделы мозга, отвечающие за чтение и речь. Графики — визуальная информация, она преобразуется другими частями мозга, распознающими расстояния и образы. Если у человека более развит какой-то из отделов, он может быть более восприимчив к тому или иному способу получения информации. Это тоже нужно учитывать. Возможно ваши заказчики просто «речевики».

Таблички vs графики. Практика

На практике пользователи, которые просят таблицу, на мой взгляд, решают одну из задач:
1) Получить данные для их дальнейшей обработки (скачать в excel, досчитать сравнение с планом и вставить в power point).
2) Узнать конкретные значения для ad-hoс анализа (сколько продали в точке А в январе).
3) Увидеть много метрик сразу для одной сущности (все метрики продаж для одного города и т. п.).
4) Ранжировать и сравнивать сущности по разным показателям, проводить факторный анализ (видеть топ городов по продажам и знать какие там скидки и маркетинговые расходы).
5) Видеть сырые данные для оценки их качества (важно видеть нет ли «битых» данных, неправильно преобразованных дат, не так заполненных полей CRM и т. п.).
6) Видеть точные данные для их обработки (точные показатели технического процесса, значения плана и факта и т. п.) или бланки строгой отчетности.
7) Не хотят ломать привычку (привыкли к Экселю или им «не нравятся графики»).

Вот что я делаю в каждом из кейсов:

1. Получить данные для их дальнейшей обработки
От бизнеса такой запрос звучит чаще всего как: «Нужна таблица за 5 лет со всеми метриками по всем срезам».

Тут всё довольно прозаично, но придется выяснить потребности. Здесь нужно узнать «Что было дальше?», что пользователь делает после того, как скачал или куда-то перенёс данные. Если вариантов, что с ними происходит дальше, очень много, то научите пользователя self-service — дайте доступ к данным и покажите как с помощью вашего BI инструмента из них можно получать выводы. В Табло, например, для таких целей отлично подходит роль Explorer на сервере и сертифицированные датасорсы.

Если после скачивания данных пользователь, например, каждый раз делает графики в экселе, а потом переносит их Power Point, то просто сделайте ему такие графики, чтобы они формировались автоматически. Вы удивитесь как часто происходит именно такой кейс. =)

Классический self-service

2. Узнать конкретные значения для ad-hoс анализа
От бизнеса такой запрос звучит чаще всего как: «Нужна таблица, в ней можно выбрать любую метрику и даты, и должны быть все фильтры по нашим разрезам».

В бизнесе часто надо узнать значение какой-то метрики «здесь и сейчас». И это отличная задачка для таблиц. Здесь также можно использовать self-service, а можно сделать специальный отчет — такой «полу self-service»: форма, где можно выбрать какие-то срезы и метрики и получать одно или несколько визуальных отображений.

Если и правда происходит так, что пользователям изредка нужны конкретные метрики в определённых разрезах, то сделайте такой отчет. У нас в компании, например, это очень популярный тип отчетов — огромный справочник метрик и возможность показать его в каком-то разрезе в виде таблички или графика. Хорошо решает задачи, чтобы на совещании можно было быстро достать метрику и что-то решить. Или если аналитик проверяет свои расчеты и хочет сверить их с общими трендами или более общей метрикой.

Часто такие отчеты превращаются в операционные дашборды: пользователи сохраняют себе какой-то набор метрик и смотрят за ними каждый день. В целом, это не так страшно. Если пользователь знает свои данные вдоль и поперёк, следит за ними каждый день и понимает даже небольшие изменения на цифрах, то он может работать просто с такими отчетами. Это кейс из серии «ночью разбуди, а он ответит хорошо или плохо, что продажи в точке А составили 12 649 рублей». Но такие кейсы, конечно, лучше отслеживать и делать из них хорошие операционные дашборды.

Полу self-service — готовый отчет с выбором метрик и срезов

3. Увидеть много метрик сразу для одной сущности
От бизнеса такой запрос звучит чаще всего как: «Нужная широкая таблица со всеми метриками. Менеджер, который отвечает за свою часть, выбирает нужное в фильтре и смотрит как обстоят дела».

Часто бизнесу нужно получить овервью по какой-то сущности: все метрики по какому-то городу, по какой-то кампании и т. п. Это можно заметить, если в отчете пользователь выбирает что-то фильтрами, а потом пользуется только одной или несколькими строчками. В этом случае классно подходят «страницы сущности», такие one-pager’ы, в которых есть вся нужная информация только по одному городу, например. Всегда сравниваю такие странички с профилем на Фейсбуке — в одном месте вся информация: сколько лет, где работал и т. п.

В Фармакей, например, были популярны такие отчеты для отдельных аптечных сетей. Менеджер по работе с сетью открывает «страницу сети» и видит всё-всё по этому B2B клиенту: сколько тот совершил закупок товара, сколько продал конечным покупателям, сколько в этой сети открытых точек и какие основные показатели YTD. Такие страницы сущностей могут собираться в «портфели» и может получаться иерархичная структура с похожими отчетами.

Страница сущности для аптечной сети

4. Ранжировать и сравнивать сущности по разным показателям, факторный анализ
От бизнеса такой запрос звучит чаще всего как: «Нужная таблица, в которой можно сравнить разные срезы по такому-то набору метрик».

Иногда бизнесу нужно сравнить между собой разные срезы: чем отличается портрет пользователей, пришедших по рекламе, от органики; какой стиль работы разных менеджеров, кто из них продал большего всего товаров, у кого самая лучшая конверсия и т. п. На мой взгляд, для таких случаев идеально подходит таблица, дополненная графиками-спарклайнами, фононовыми барчартами и удобным интерфейсом для управления этой таблицей. Часто этим интерфейсом могут быть дополнительные графики, которые одновременно дают и дополнительную информацию, и позволяют быстро фильтровать основную таблицу.

Слева можно нажать на регион и увидеть для него топ продуктов. Справа можно сортировать по любой колонке, а при клике на товар увидеть хитмапы и таймсерию продаж

5. Видеть сырые данные для оценки их качества
От бизнеса такой запрос звучит чаще всего как: «Выведите сырые данные , что бы можно было смотреть и сразу изменять их».

Такая задача часто возникает у аналитиков, когда они готовят данные и нужно видеть, что именно посчитал код. Или, например, менеджерам, которые работают с анализом данных из CRM, нужно понять правильно ли были заполнены поля. Или если кто-то анализирует неструктурированные ответы пользователей на опросы и т. п. То есть это те кейсы, где нам действительно нужно видеть сырые данные и я делаю обычную таблица. Классно дополнять её какой-то сводной информацией по столбцу, как это сделано, например в Data Wrangler от Trifacta или Tableau Prep. И, если есть такая возможность, прокидывать ссылку из таблицы в систему с сырыми данными.

6. Видеть точные данные для принятия решений или бланки строгой отчетности
От бизнеса такой запрос звучит чаще всего как: «Вот форма отчетности, сделайте чтобы она обновлялась автоматически».

Это редкий кейс, когда точные данные нужно видеть в неизменном виде, поскольку это влияет на регулировку какого-то процесса. В этом случае представление информации нужно не для анализа чего-либо, а просто для обработки этой информации и принятии какого-то (часто механического) решения. Примеры: бухгалтер смотрит на выполнение плана сотрудником и выдает премию; технолог на производстве смотрит на показатели и увеличивает давление в приборе и т. п. То есть когда не нужен анализ, а нужно просто получить точную информацию.

Ещё существуют бланки строгой отчетности и принятые финансовые стандарты. Здесь таблицы нужны просто, чтобы все одинаково считывали информацию по заранее придуманному стандарту.

Если есть такие кейсы, то просто делаем таблицы, но тоже стараемся их оформлять по правилам хорошего графического дизайна.

Аккуратную таблицу можно сделать даже в Табло

7. Не хотят ломать привычку
От бизнеса такой запрос звучит чаще всего как: «Таблички, таблички, таблички!».

Если не удается выявить ни одну из потребностей, перечисленных выше, то, возможно, люди правда «просто привыкли» или «речевики». К сожалению, привычки — самое сложное, что можно менять у пользователя, а иногда это делать и не нужно. А если и делать, то аккуратно и постепенно. Что делаю в таких случаях я:
— Пытаюсь рассказать почему существуют различные типы представления данных и зачем они нужны, ссылаюсь на исследования из первой части статьи.
— Показываю примеры табличек и графиков: играем в задачки «найди самую большую категорию в таблице и на бар-чарте», «скажи какой тренд в таблице и на таймсериях», «найди минимум и максимум в таблице и на хитмапе».
— Добавляю в таблицы графические элементы: фоновые бар-чарты, спарклайны, хитмапы (highlighted table).

— Делаю и графики, и таблицу. И ставлю её под ними или рядом. Только важно не делать это двумя разными дашбордами, а то вторым могут демонстративно не пользоваться. А если на одном, то графики могут примелькаться и вдруг стать полезными.

— Если пользователь один (то есть это не задевает других) и прям уперся, то просто делаю ему таблицы. Если ему это помогает решать бизнесовую задачу и он достигает своих целей, то пусть будет так, если даже это делается не оптимальным образом. Всё-таки визуализация здесь инструмент, а не самоцель.

Надеюсь, что модное нынче течение data literacy не угаснет и скоро таблички будут просить только там, где они нужны.

Подводя итог

Таблицы — отличный инструмент, когда нужно узнать точное значение или сравнить по многим параметрам небольшой набор сущностей. Отлично использовать таблицы как часть дашборда для вывода информации самой мелкой детализации или чтобы сделать какой-то топ по разными метрикам. Я часто делаю внизу дашборда таблицу с детальными данными до строки в базе данных.

Если же на дашборде просят только одну таблицу, то стоит разобраться какая потребность из семи перечисленных выше существует у бизнеса и попробовать решение из этого блока. Если вы не смогли определить потребность, то попробуйте объяснить как работают таблицы и графики или дополняйте таблицы графиками. Если это всё не помогло, то дайте людям таблички или организуйте self-service.

Почему визуализация лучше табличек

Tue, 21 Jul 2020 21:14:49 +0200

Недавно со мной случилось неприятное приключение — мою собаку укусила змея и у него началась сильная аллергическая реакция. Всё обошлось и сейчас с псом всё хорошо, но в моменте было, конечно, страшно. В ветеринарке ему вкололи нужные препараты и дальше следили за его состоянием: становится лучше или хуже. Один из показателей — артериальное давление, если оно падает, то надо срочно что-то делать.

И вот тут начинается история про визуализацию. Медсестра измеряла давление каждые 5-7 минут и следила за динамикой. Результаты она записывала «в столбик» на бумажку. Давление — нестабильный показатель и от измерения к измерению оно довольно сильно пляшет. Даже людям советуют измерять несколько раз и потом усреднять. Медсестра говорила, что нужно где-то 4 измерения, чтобы понять среднее значение.

Через полчаса измерений врач спрашивает: «Ну как, не падает?». Они с медсестрой смотрят на бумажку, думают-думают, и говорят: «Ну вроде нет, но не понятно, надо ещё последить» и не могут ничего решить. Я понимаю, что в критическом варианте, они бы увидели что давление падает даже в табличке. Но, представьте, насколько было бы проще, если бы у них был график. Ниже реальные данные за час наблюдений, каждое наблюдение — пара точек. Видно, что если брать скользящее среднее за 4 измерения (линии), то давление на самом деле немного падало, а потом пришло в норму. Синее— систолическое давление, оранжевое — диастолическое.

В общем, в следующий раз, когда мне надо будет рассказать почему визуализация лучше табличек, я буду знать какой пример показать. И буду вспоминать как мне не хватало графиков, когда ветеринары не могли решить колоть адреналин или нет.

А измеряют давление собакам оказывается на хвосте! 🐶

Перемещение людей по данным Apple

Sat, 06 Jun 2020 12:58:38 +0200

Сделал мини-проект/прототип дашборда про перемещение людей по данным Apple. К сожалению, визуализация в всплывающей подсказке в Табло работает медленно, но в целом хотелось показать именно как сработала бы тепловая карта.

Пять классных работ в Табло

Tue, 19 May 2020 21:09:47 +0200

Готовлюсь к проведению Лабораторного курса — обновляю список классных примеров в Табло, которые буду показывать слушателям. Добавил в него ещё 5 работ.

Распределение земли по назначению в США
На этой визуализации показан «каждый» акр земли в штатах и зачем он используется. При этом супер уместно используется анимация, которая показывает разные срезы этого распределения: географически, в абсолютном или относительном сравнении по типам. Это работа Александра Варламова — дата-виз энтузиаста из Казани. Как он такое делает, можно послушать на его выступлении на дне открытых данных.

Радиус взрыва атомной бомбы
Это довольно распространённый визуальный образ радиуса поражения на карте и даже есть сервисы, где можно выбрать большое кол-во разных видов бомб и самому «понаводиться» на цель. Эта работа — ремейк печатного плаката, видимо поэтому меня в ней зацепило аккуратное оформление и реализация.

Поездки Такси в Нью-Йорке
На этой визуализации 3 дня поездок такси в Нью-Йорке, показана каждая точка поездки и её длительность. Ещё есть два POI — куда люди уезжают от Эмпайр Стейт Билдинг и из аэропорта Кеннеди. У этой визуализации только одна проблема — переиспользование цветов легенды для разных метрик на разных графиках. Это путает и является грубой ошибкой, но всё равно не смог не включить эту работу в список.

Уровень преступности в разных штатах США
Удачная реализация Camel plot (сам придумал, так как не смог найти как это называется) — графиков в которых ограничена ось Y, и если значение больше него, то оно наслаивается сверху.

Такой вид графиков хорошо подходит, что бы делать small multiples для срезов с большим разбросом значений. Если бы оси для каждого штата были независимы, то значения на графиках нельзя было бы сравнивать между собой. Если бы оси были зафиксированы, то штаты с небольшим кол-вом преступлений превращались бы в прямую. Плюс, если отдалится взглядом, такие графики образуют хитмап, что тоже круто.

В работе автор решает проблему сложности считываемости графика тем, что при наведении появляются обычные тайм-серии. На них ещё круто добавлено сравнение со средним по стране.

Я бы это задачу решал ещё более наглядно и добавлял бы что-то на подобии такой легенды:

Графики в стиле Тафти
Последняя работа — моя собственная. Наверное, это самая законченная работа из всех, что у меня есть на Табло Паблик и я получил большое удовольствие от её реализации. Во-первых мне хотелось понять, можно ли что-то сделать в такой эстетике в Табло (да! можно!), во-вторых попробовать графики Тафти на реальных данных (да! работают!).

Классные работы в Табло можно искать в галерее работ Viz of the Day. Ещё можно поискать работы, которые подают на Make Over Monday (сами работы можно искать в твиттере). И там, и там, к сожалению, приходится копаться с пинцетом.

Новая подборка крутых примеров

Mon, 18 May 2020 08:26:33 +0200

Продолжаю эксперимент с дайджестом классных примеров. Собрал ещё три работы, которые меня вдохновили на этой неделе. Дисклеймер, в этой рубрике не только новые работы, но и те, которые я просто увидел впервые. Поэтому тут будут и старые работы, но я не видел их в основных чатах по визуализации. =)

Звук толпы на стадионе во время футбольного матча
Эта работа очень запала в душу. Это анализ пяти футбольных матчей на стадионе Альянц Арена — показан уровень «социальной» активности во время матча: громкость звука трибун и кол-во сообщений в твиттере. Самый сок — это запись звука болельщиков с реальных матчей, историю про твиттер я что-то не понял.

На таймсериях справа видно громкость болельщиков, можно выбрать самые яркие моменты и слева послушать, что происходило.

Самый кайф создатели проекта почему поместили в подвал сайта. Там можно выбрать конкретный матч и посмотреть модель стадиона и полные графики в разных разрезах. Это просто огонь, тот редкий случай когда 3D в самый раз, так как отображает реальность данных:

Очень крутая работа, которая показывает природу событий через данные, можно прям залипнуть. Смотрите проект со звуком.

Топ футболистов по забитым голам

Ещё одна работа про футбол. Продолжает тематику прошлого выпуска — это простой и лаконичный график, но его очень интересно рассматривать. На графике все самые известные футболисты и кол-во забитых голов. Самое классное в визуализации — возможность найти интересного игрока, выделить его, и после этого переключить ось x. Видно как класно перемещаются игроки и что картина становится совсем другой. Очень классное применение интерактивности и анимации, прям захотелось попробовать что-то подобное сделать в Табло.

Неравенство зарплат мужчин и женщин в Англии
Гардиан визуализировали результаты отчетов компаний о неравенстве зарплат (да-да, такие отчеты обязаны сдавать крупные компании в Англии). Работа состоит из двух классных графиков: распределения и джой плота.

На распределении показана каждая компания и есть подписи для самых интересных из них. Я не очень понял, почему компании с равенством (серые) вынесены в отдельный круг, так его не сравнишь с остальными компаниями. Но сама идея выбросить на график все точки — классная.

Ниже в статье joy-plot — график, названный в честь обложки альбома Unknown Pleasure группы Joy Division. Вот как бывает — графики получают имена! Мне этот график очень нравится, он даже у меня на стартовой странице сайта стоит )) Он классно подходит для этих данных, наглядно сравниваются распределения по разным индустриям и удобно сравнивать пики распределения. Обратите внимание, как точки с прошлого графика на этом графике стали областями — это классный приём: сохранили каркас (читатель с ним уже знаком), но при этом выбрали более подходящее визуальное представление (точки тут бы шумели и отвлекали от основной сущности визуализации — индустрии):

Конкурс дашбордов Клуба анонимных аналитиков

Mon, 18 May 2020 08:17:21 +0200

Участвовал в конкурсе Алексея Колоколова про дашборд для продаж. Занял первое место. )

Задача была интересная — были приближенные к реальным данные отдела продаж небольшой компании, которые было нужно превратить в дашборд. Разрезов было не очень много, но от этого было ещё интереснее. Ещё понравился двухступенчатый формат: было одно ревью работ судьями → время на доработки → финальная оценка. Это уменьшало разночтения в ожиданиях и давало идея для разработки.

Вот сам дашборд — https://revealthedata.com/examples/sales-dashboard/

Вот видео, где судьи разбирают работы. Мне конечно было очень приятно, что большего всего мой даш зашёл Эдуарду Шмидту, специалисту по продажам. Так как он был голосом пользователя в этом конкурсе.

Когда делал дашборд, экспериментировал и сделал два интересных решения.

Часть дашборда с основными метриками сделана по принципу mobile first: она будет хорошо смотреться на мобильном, даже без специальной версии дашборда. И именно это часть нужна, чтобы быстро «в дороге» взглянуть на общее состояние дел, остальное можно проанализировать уже дойдя до ноута.

Сделал What-If калькулятор для воронки, с помощью него можно подобрать нужные уровни конверсии или кол-во лидов для выполнения плана.

3 примера лаконичных графиков

Tue, 12 May 2020 10:50:12 +0200

Многие друзья говорят мне, что будет классно собирать крутые примеры визуализации каждый месяц/неделю. Я пока не знаю, насколько это нужно и будет ли интересно — чаще всего самые классные примеры и так сами пролезают во все чаты и люди уже подписаны на редитты и подобное. Но так как запрос вроде бы есть, решил попробовать. Просто дублировать то, что уже все видели не хочется. Но решил попробовать. Собрал не самые громкие последние визуализации, а три небольших примера, которые зацепили меня лаконичностью и дизайном. Я вообще обожаю когда визуализация — это простые один-два графика, но их дико интересно изучать.

Сравнение игроков разных видов спорта
Супер классно оформленный скетерплот. Для эти данных он подходит идеально: видно кластеры разных видов спорта, видно общее кол-во игроков и выбросы, есть подписи самых интересных случаев. Даже при том, что график статичный подписи игроков заменяют часть интерактивности.

Карта Москвы с раскраской улиц по типу
Леша Тихонов сделал простую и при этом мега интересную и крутую визуализацию. Это улицы Москвы по типу: улица, переулок, тупик и т. п. Это супер интересно рассматривать и близко каждому, кто живет в столице.

Андрей Кармацкий и его команда тоже поделились подобной работой:

Индекс счастья

Классное оформление, показывает, что в Табло тоже можно делать красиво. За счет джиттеринга точки равномерно распределены по столбцам, это создает приятную визуальную картинку. Ещё здесь супер ОК то, что нед точных подписей на оси Y, так как сам индекс как раз важен просто в разрезе много/мало, а не точных значений.

Россия на фоне других стран

Итоги
Даже простые графики могут быть супер интересными. Мне кажется, что это и есть самые интересные типы визуализаций и здесь супер важным становится графическое оформление, сама идея и тип подобранного графика. Ещё на этих графиках много данных — это не суммарный условный бар-чарт, а каждая частица данных на плоскости. Это круто повышает интерес и контекст для читателя.

Видеоинфографика

Thu, 30 Apr 2020 17:27:09 +0200

Астрологи объявили месяц видео (запредельное кол-во ссылок на ютуб в этом посте)

Недавно ютуб подсунул мне ролик от моего любимого канала Cut. Это была живая инфографика, где люди отвечали на вопрос, вставая в одну из областей, нарисованную на полу.

Это классный пример очеловеченного датавиза. Здесь каждый человек — визуальный атом, который транслирует свою частицу данных — ответ на какой-то вопрос. Вспомнилось несколько похожих примеров. Первый это фото людей, образующих нормальное распределение по росту:

В белом девушки, в черном парни

Ещё была очень-очень классная визуализация: Sexpierence — одна из самых увлекательных визуализаций, что попадала ко мне в руки. Вообще такой формат очень подходит для результатов опросов. К сожалению, её уже нет в интернете (да! такое, к сожалению, бывает) и нельзя посмотреть даже в веб архиве, так как она была сделана на флеше. Нашёл только такое видео, где показывают её небольшую часть:

Также такая визуализация классно работает для отображения изменения состояний. Например Найтан Яу сделал классную визуализацию о том, чем заняты Американцы в разное время дня:

Подобную визуализацию, кстати, в Табло делать сложно (но можно, смотрите работы Саши Варламова). Но есть, например, встроенный формат во Флоуриш, которые позволяет делать такие истории с перемещением точек:

Вообще формат видео-инфографики с одной стороны сложный и мало, кто её делает. С другой самый распространённый на ТВ (и поэтому довольно старый) и в последние годы набирает популярность. Те же самые Race Bar Chart’s набирают миллионы просмотров на ютубе. Если вы ещё не смотрели, то вот залипайте. Флориш, кстати тоже такие умеет.

Появляются и новые форматы, например, такие топы:

Самая крутая видео-инфографика, которую я видел, это конечно же fallen.io о второй мировой войне. Если вы почему-то её ещё не видели, то обязательно посмотрите:

UPD Нашёл еще похожий формат про живые визуализации

Трекинг жизни

Sun, 18 Aug 2019 17:38:41 +0200

Я давно собираю данные о своей жизни. Иногда в них находятся классные инсайты, которые помогают её улучшить. Мой любимый пример — это то, как я купил себе беспроводные наушники для созвонов по работе и сразу стал ходит на 40% больше по кол-ву шагов. Оказалось, что мне во время разговора отлично «гуляется» по комнате и можно за два совещания пройти 4-5 тысяч шагов. Ещё я смотрю на свои привычки по сну, чем в основном занят в рабочее время и т. п. Проблема со всеми этими метриками для меня была в двух вещах:
— разные данные живут в разных приложеньках и устройствах, смотрю на эти данные по-отдельности;
— все данные собираются автоматически, вроде бы здорово, но это приводит к тому, что они лежат мертвым грузом и руки у меня до них доходят в лучшем случае раз в год на новогодних праздниках.

Вот, что я придумал, чтобы это исправить. Я сделал гугл-форму, куда последние полтора месяца заношу данные из всех приложений, которыми пользуюсь. Плюс дописываю комментарии и другие не структурированные данные. Теперь я каждый день «перевариваю» свои данные так как их надо внести в форму. По сути, это та самая «осознанность», но на уровне контроля данных. Я успеваю вспомнить всё, что было вчера, обдумать это и переварить. Плюс у меня теперь есть источник в виде гугл-таблицы, куда я подтянул всю историю и могу подключить это к Табло → получать живой отчет, который сам обновляется каждый день. Получился вот такой дашборд. Верстал изначально под мобильный, так как смотрю его там.

Как и что я трекаю. Вдруг кому-то полезно.

Шаги, вес, сон — Mi Fit + Mi Band + Mi Scale. По-моему идеальное сочетание цена/качество, особенно браслет меня очень радует. Само приложение странное, но не так давно появилась классная скрытая опция, для экспорта всей истории данных.

Время за компом в разбивке по проектам — Timecamp. Чудесный бесплатный таймтрекер. Особенность в том, что каждому приложению, сайту/поддомену или названию папки можно задать свой проект. В итоге получается не разбивка по типам приложений или названию приложения, а именно проекты или области, над которыми работаешь. А в каждый проект можно добавить более детальные задачи. Для каждой задачи задается «ключевое слово», которое трекер ищет в названии программы или сайта и так определяет, что ты занимаешься именно этой задачей.

Есть встроенные репорты в разных разбивках и можно строить кастомные таблицы, по типу сводных таблиц в Экселе. Единственный минус — не трекает время в мобильном. Энивей, очень крутой сервис.

Время за телефоном — измеряю с помощью Rescue time. Неплохой трекер, данные бьются с таймкемпом, но есть разбивка только по приложениям/сайтам (без проектов) и бесплатно дают данные только за последние полгода. Для мобилки альтернативы нормальной не нашёл. Если знаете хорошее — порекомендуйте.

Калорийность и питание — приложение MyFitnessPal. Удобное и понятное приложение, есть сканер штрих-кода продуктов, что супер удобно. Часто есть всякие редкие продукты, которые не ожидаешь там увидеть.

Не структурированные данные — гугл-формы. Очень удобно, что сохраняют данные в таблицы, к которым можно подключиться в Табло.

Если кому-то нужен шаблончик дашборда в Табло — пишите, скину книгу.

Кривая ОФЗ

Mon, 29 Jul 2019 23:06:28 +0200

Одним из показателей макроэкономики в стране является кривая безкупонной доходности облигаций федерального займа (ОФЗ БКД) — это аппроксимация доходности государственных облигаций с разными датами погашения, если бы за них не платили купоны.

По форме и крайним значениям кривой можно судить о стабильности экономической ситуации в стране. «Правильная» форма, как на рисунке ниже, свидетельствует о развитии экономики. Краткосрочные облигации имеют небольшую доходность, долгосрочные — высокую. Уровень «плато» долгосрочных облигаций примерно равен инфляции.

Кривая ОФЗ на 28 января 2014 года

Если кривая «инвертируется» или «уплощается», то это свидетельствует о кризисе — инвесторы не верят в долгосрочные вложения в страну.

Инвертированная кривая в кризис, 8 декабря 2008 года

Мне стало интересно, что же сейчас происходит в стране и я решил сделать небольшой инструмент для мониторинга кривой ОФЗ. Я вдохновлялся работой New York Times о кривой доходности государственных облигаций США и тем, чему научился во время работы над Скайбоднс в Лаборатории данных. Немного рассказываю про этот проект и облигации на кодфесте.

Вот, что у меня получилось:

Интерактивная версия по клику в картинку и ссылке https://public.tableau.com/views/9363/sheet0

Видно, что последние 4 года кривая ОФЗ почти всегда инвертированная и коридор доходности между краткосрочными и долгосрочными бумагами небольшой. Это говорит о том, что экономика не стабильна. Однако радует, что сама кривая не ползет вверх. Сейчас центробанк верит, что в стране всё становится лучше и снижает ключевую ставку, за ней следует и кривая, значит инвесторы тоже думают так же, как и центробанк. Это вроде бы неплохо, но инвестор из меня доморощенный, за прогнозы не ручаюсь.

Ещё понравился вот такой вид, когда данные за каждый день представлены по годам слева направо:

Технические особенности
Тот редкий случай, когда 3d в графиках служит на пользу, а не во вред. Чтобы сделать псевдо-3d в Табло использовал преобразования в полярных координаторах, чтобы отрисовать с помощью линий проекцию трехмерного графика. Для этого умножаем каждую координату на сочетание cos() и sin(). Как это делается подсмотрел тут. С осями это выглядит так:

Сделать нормальную анимацию в Табло пока, к сожалению, нельзя, хотя это бывает мощный инструмент визуализации. А в вебе pages вообще не работают. Записал гифку с десктопа, но почему-то она не проигрывается при вставке в блог. Тогда ссылочкой — https://recordit.co/s161XJx5lp

Данные я брал с сайта центробанка, с помощью гугл-таблиц. Оказывается есть замечательные функции IMPORTHTML и IMPORTXML. Сделал гугл-табличку, которая подставляет в урл сайта нужную дату и парсит оттуда данные. Формула такая: IMPORTXML(«https://www.cbr.ru/hd_base/zcyc_params/zcyc/?DateTo=» & Text(A4201,«dd.mm.yyyy»),«//tr[2]»). Выглядит это так:

Парсинг данных через гугл-таблицы

Поставил гугл-таблицу и Табло обновляться автоматом, в теории дашборд теперь будет автоматом обновляться, посмотрим.

Переверстка дашборда от MI Fit

Mon, 01 Jul 2019 22:13:38 +0200

Это будет экспериментальный пост с переверсткой мобильного дашборда в приложении MI Fit от Xiaomi.

Я пользуюсь их браслетом MI Band уже четвертый год и меня всегда бесил их дашборд с историей активности. Недавно делал мобильную версию дашборда для обзора рынка вакансий в BI области и понял, что дашборд в мобильном — это отдельная история и не так все просто, поэтому решил потренироваться и взял пример, который давно не нравится.

Вот как это выглядит в приложении:

Вот как я переверстал дашборд:

Я больше занимался логикой, чем графической версткой, но и её попытался подтянуть. Что я изменил:
— сместил график вправо и сделал столбики более пропорциональными, чтобы влезло больше данных;
— обозначил на графике цель пунктирной линией и подсветил градиентом ее достижение;
— добавил подписи на график;
— сделал более приятную верстку фактоидов внизу (убрал выравнивание по центру и сделал меньше расстояния);
— дополнил фактоид с шагами буллет-чартом. К нему явно нужна легенда. Я бы по клику разворачивал его с анимацией в полноценный бар-чарт. Вот так:

— сделал фактоиды более осмысленными (не смог придумать зачем нужно знать накопительную сумму калорий за месяц, заменил на потраченные калории в день) ;
— дополнил фактоиды доп информацией и картой с перемещениями;
— заменил в цифрах пробелы на полупробелы.

Если вы бы сделали как-то по другому, предлагайте. Если вам понравился сам формат заметки или хотите чтобы я разобрал ваш дашборд, пишите.

UPD
Кирилл Беляев предложил сдвинуть по высоте верхний график и сразу показывать бар-чарт, вместо буллет-чарта. Кажется, что для массовой программы это неплохое решение, хотя и хочется всех учить более сложным типам визуализаций.
«И внизу „д“, „нед“ и „м“ можно по человечески написать, места хватит.» — вот за это люблю Кирилла, смотрит не только на то, что в фокусе, но и вообще на интерфейс в целом.
У меня получился такой вариант как-то так, хотя можно было ещё и места под карту дать по-больше:

Обзор вакансий в области BI

Sat, 22 Jun 2019 20:00:20 +0200

Решил сделать небольшой обзор рынка вакансий в области BI. Данные брал с hh.ru через официальное API.

Немного про методологию. Хотя это сложно конечно назвать методологией. Я запрашивал с hh кол-во резюме и сводную статистику, по сути получал в ответ всё-то, что обычно вы видите в левой части сайта. Для этого пользовался методом clusters. Данные брал только в разрезе регионов за 22 июня 2019 года.

АПИ hh отдает такие же данные

Зарплата считается как средневзвешенная от кол-во вакансий с указанной зарплатой. Так как hh отдает данные с припиской «от», то думаю что можно прибавлять 5-10%. Для расчета конкурса на вакансию использовались только соискатели с таким названием профессии в название резюме или таким навыком в описании обязанностей или умений. Брались только актуальные вакансии и соискатели обновлявшие резюме в течении последнего месяца. Регион соискателя не учитывался.

Все результаты это не индивидуальные вакансии, а вакансии которые отдал бы вам поиск hh, если бы вы запросили его в поисковике. Так как, навыки, например могут быть указаны в одной вакансии, то общий юнивёрс вакансий в области конечно же меньше, чем по каждому навыку или названию профессии.

Вот, что получилось:

Ссылкой на Табло паблик — https://public.tableau.com/views/HHBI/BI

Выводы из анализа
Рынок сильно перегретый, даже для IT отрасли. Так, средний конкурс — 1,5 человека на вакансию, для сравнения в среднем по IT это 3, как пишет hh, но не уверен, что мы с ними считаем одинаково. Если проверять по той же методике, что делал я, то для сравнения получаются такие конкурсы:
— Front-end программист — 1,5
— Менеджер проектов — 2,7
— Дизайнер интерфейсов — 4,7
— Java-script — 21

Если посчитать конкурс на кол-во участников в чатиках Табло и Power BI в ТГ, то получается так:
— 2,3 участника чата Табло на одну вакансию с упоминанием Табло
— 1,2 участник чата Power BI на одну вакансию с упоминанием Power BI

Зарплаты указаны только в 14% случаев, это конечно немного для нормальной оценки. Интересно как коррелирует с реальным зарплатами, но как такое разузнать кроме опросов не придумал.

В целом понятно, что методика довольно кривая, но я пока не придумал лучше. Ведь и Табло и Power BI могут указать почти в любой профессии, но кажется, что общее представление, всё равно можно получить. Хочу ещё попробовать сделать тоже самая, но забирая с hh, не сводную информацию, а конкретные вакансии и анализировать уже полные данные. Будет здорово, если маякнёте, что такое было бы интересно. Для моих целей мне подойдет и этот анализ, но я готов попробовать такое для сообщества BI спецов. Или если знаете какие ещё ключевые слова и названия профессий надо попробовать загнать в анализ.

Технические особенности
Из этого мини-проекта могу поделится такими находками:
— Гугл-таблицы из коробки умеют подключатся к любому АПИ и парсить JSON, просто чума. Делается через написание простейшего скрипта. Я был покорен этой фичей. Мои любимые JS и гугл-таблицы, что может быть лучше.
— В Табло есть встроенная и не задокументированная функция RANDOM(), которая возвращает случайное число от 0 до 1. Использовал для житерринга в левом графике. Пока он смотрится не очень уместно, но я планирую в таком же духе положить все вакансии, если спаршу их.

П.С. Дисклеймер, если будете использовать это все на собеседованиях как работодатель или соискатель, я тут ни при чем и за данные не ручаюсь, хотя и проверил всё несколько раз.

UPD: Друг попросил сделать такой же обзор для вакансий в области управления проектами — https://public.tableau.com/profile/roman4734#!/vizhome/HHPM/sheet0

Gartner BI Magic Quadrant

Sun, 07 Apr 2019 08:56:14 +0200

Каждый год аналитическое агенство Gartner публикует отчеты о развитии разных направлений IT. Меня всегда бесило, что чтобы сравнить год к году надо открывать кучу картинок. Моя интерактивная вариация про квадрант в области BI:

Маленькое исследование рынка вакансий Москвы и России

Sat, 19 May 2018 12:53:38 +0200

Сделал маленькое исследование рынка вакансий Москвы и России. Взял интересные мне профессии и скилы. Данные с hh.ru и моего небольшого инструмента, там данные тоже с hh.
Если хотите чтобы добавил какие-то профессии — пишите. =)

https://public.tableau.com/views/_21975/sheet1

Разделение на квантили в Табло

Sun, 28 Jan 2018 16:16:37 +0200

Одна из участниц корпоративного курса по Табло спросила про так, как покрасить цвета в облаке слов по квантилям от частоты слов. Вот рецепт.

Для примера взял данные о частоте слов в английском языке. В наборе данных — слова и частота их возникновения. Для того, чтобы построить «облако слов» расположим слова на текст, частоту на размер, выберем в качестве визуального атома (makrs) слова.

После этого создадим расчетное поле, которые будет считать накопленный процент вхождений от общего числа.

RUNNING_SUM(SUM([Frequency])/TOTAL(SUM([Frequency])))

Автоматическим инструментом bins для разбиения на квантили использовать не получится, так как это table calc. Поэтому создадим разбивку в ручную, ещё через одно расчетное поле.

IF [Runnig % of total] >=0 AND [Runnig % of total] <0.25
THEN "0-25%"
ELSEIF  [Runnig % of total] >= 0.25 AND [Runnig % of total] <0.5
THEN "25-50%"
ELSEIF [Runnig % of total] >= 0.5 AND [Runnig % of total] <0.75
THEN "50-75%"
ELSE "75-100%"
END

Кинем получившееся поле на цвет.

Получилась фигня, так как Табло не знает как отсортировать наши слова при расчете накопительного процента. Чтобы это исправить скажем ему как отсортировать слова. Для этого зайдем в редактор table calc и зададим сортировку:

Вуаля:

Добавил Парето и залил на Табло Паблик. Там можно скачать книгу и посмотреть как что реализовано.

https://public.tableau.com/views/Wordfreqineng/Wordfreqineng?:embed=y&:display_count=yes&publish=yes

55 работ участников «Один раз увидеть»

Sun, 14 Jan 2018 12:03:27 +0200

В том году закончился конкурс ОРУ (один раз увидеть). Спасибо организаторам и все участникам, было круто. Вот разбор работ и моя последняя работа. Делал её из отпуска на коленке, но считаю, что самая это моя самая сильная работа из всего конкурса. Не успел только картинки пожать, чтобы быстрее грузилось. В во время реализации узнал про «новую» фишку размеров в css c помощью vw и vh. Очень удобно и полезно для адаптивности визуализаций и приложений в вебе.

http://revealthedata.com/examples/oru/