Выбор типа шкал для графика, всегда казалось мне интуитивно понятной задачей. Однако, когда мне нужно было объяснить, чем они отличаются, то я не смог привести понятных аргументов. В интернете хорошей информации мне не попалось. Поэтому решил разобраться, откуда растут ноги у разных видов шкал и как их следует применять. Я решил рассмотреть три самых распространенных вида шкал — равномерную, логарифмическую и степенную.

Равномерная шкала

Самый распространенный и привычный вид шкал. Также их называют арифметическими или линейными шкалами. На такой шкале значения равноудалены друг друг от друга.
Например значения 100 и 200, и 200 и 300 отстают друг от друга на одно и тоже расстояние.
Например, на этом графике по оси Y — равномерная шкала с шагом в 20 лет средней продолжительности жизни, а по оси X — равномерная шкала с шагом 10 календарных лет.

Логарифмическая шкала

Этот вид шкал тоже используется достаточно часто, особенно когда речь идёт о научных исследованиях. Она используется для отображения широко диапазона величин, когда значения, которые попадают на график отличаются на много порядков. То есть когда мы хотим одновременно видеть и значения 0.1, 0.2 и значения 100, 200 на одном графике. Зачастую это связанно с физикой процесса. Так, например, в музыке ноты, различающиеся по частоте в два раза это ноты на октаву выше (Ля и Ля следующей октавы). Чтобы показать частоты двух нот будет удобно использовать логарифмическую шкалу.

Но бывает, что в наборе данных просто содержаться большой разброс данных. Например, как на этом графике из Beautiful Evidence Тафти, где он использует логарифмические шкалы для сравнения массы тела и мозга различных существ. Так как бывают и крошечные рыбки и огромные киты, то на таком графике удобно использовать логарифмические шкалы.

Чаще всего используются логарифмические шкалы с основанием 10. Это значит, что одинаковые расстояние на графике откладываются между значениями отличающимися на один порядок. Но бывают логарифмические шкалы с другими основаниями. Например 2.

Степенная шкала

Это менее известный тип шкал. Он отличается от остальных тем, что расстояние между рисками, соответствует числам возведенным в степень. То есть получается, что расстояние между соседними рисками постоянно растёт или уменьшается. Такие шкалы удобны, когда мы хотим показать на одном графике более детально какую-то группу значений, но при это не хотим потерять из вида, значения которые, сильно отличаются от этой группы. Чем-то это похоже на логарифмическую шкалу, но здесь идёт акцент не на всем промежутке, а только на отдельной его части. Это хорошо видно на примере РИА новости, где они использовали степенные шкалы, чтобы сгладить выбросы по доходам отдельных депутатов.

Со степенной шкалой

С равномерной шкалой

То есть степенные шкалы используются когда данные смещены в ту или иную сторону.

Сравнение шкал

Чтобы удобно сравнить и понять как использовать ту или иную шкалу, я сделал небольшой инструмент. На нём можно выбрать разные наборы данных и понять, как они выглядят на разных шкалах.

Прочитал книгу, хочу поделиться впечатлениями.

Автор книги — Тамара Манзнер, профессор Университета Британской Колумбии в Канаде. Интересно, что автор занимается визуализацией очень по научному. Оказывается, что как и всё в этом мире, тема визуализации данных достаточно серьёзно разрыта учеными. Ученные мужи занимаются проблемой давно, стараются найти зависимости и построить математический модели. С одной стороны — это очень круто, с другой иногда кажется излишне формализованным. И вся книга такая — с одной стороны всё очень круто структурировано, с другой слишком сухо. В книге очень классные визуальные выводы-саммари перед каждой главой, которые часто понятнее текста самой главы. Как бывший научный сотрудник, могу авторитетно заявить, что чем больше копаешься в какой-то теме, тем сложнее она становится, но, к сожалению, это не всегда улучшает результат.

Книга состоит из пяти смысловых частей:

• обобщенный алгоритм визуализации данных
• графические и смысловые «элементарные частицы» для визуализации данных
• виды и примеры использования различных «идиом» (типов визуализации) для трёх типов данных (таблицы, пространственные данные, связи)
• как использовать цвет
• инерактив и организации визуализации

Крутая часть про обобщенный алгоритм. Идея простая, но полезная.

Алгоритм состоит из четырёх крупных шагов:

1. Понять, что за данные мы имеем

К какому они относятся типу, изменяются ли они во времени

2. Понять какую задачу должна решать визуализация

«Потреблять» или «генерить» данные, какие параметры данных должен обнаружить пользователь (тренды, выбросы, значениях атрибутов), необходимо ли ему сравнивать данные между собой и т. п.

3. Решить как отображать данные и запрограммировать решение

Только на этом шаге появляется визуальная составляющая. В самом простом случае надо выбрать из «каталога» подходящую «идиому» и понять какое у неё будет управление.

4. Проверить как реализованная визуализация решает задачу на практике

Необходимо убедиться экспериментально, что разработанное решение решает поставленные задачи. При этом важно, чтобы такая валидация была сделана для каждого предыдущего шага.

Для меня самой интересной идеей из всего алгоритма показалось следующее — в общем виде, задач которые нужно решать при помощи визуализации данных не так уж много. Поэтому всегда решая задачу хорошо выходить на более высокий уровень абстракции, а не решать задачу в рамках терминов и определений предметной области. Например, задача — определить оптимальность инвестиций в ценные бумаги, за счет построения спреда исторических кривых. На более высоком уровне абстракции может звучать так — сравнение зависимостей x(y) по третьему атрибуту z с определенным шагом по z. Абсолютно такая же абстрактная задача скрывается из-за научной задачей — анализ вольт-амперных характеристик вакуумной дуги в зависимости от собственной индуктивности разрядного контура.

Вряд ли бы мы подумали применить один и тот же тип визуализации, для столь по разному звучащих задач. Но приводя их к общему виду, это можно легко увидеть. Возможно идея покажется слишком простой, но на мой взгляд именно простые идеи правят миром и их сложнее всего применять на практике.

Из этой же идеи можно сделать вывод о том, что не важно насколько вы разбираетесь в предметной области, гораздо важнее уметь нужным образом описать задачу (для этого придется потрудится при общении с клиентом) и знать наибольшее кол-во хороших решений для абстрактных задач. Конечно же не получится просто использовать шаблонные решения для абстрактных задач, особенно для сложных данных со смешанными типами атрибутов, но это точно повышает вероятность успешного решения задачи.

Подводя итоги 

Кига понравилась, но написано очень сухо и научно. Вся книга про дэшборды и интерактивные вещи, никакой инфографики, эстетики и журналистики данных. Большинство примеров достаточно старые и визуально не привлекательные, но это не мешает понимать о чем суть. Можно использовать как справочник по типам визуализации, использованию цвета и возможных каналов передачи данных.

В качестве бонуса — видео лекция автора.

Вот и закончился курс по визуализации данных на coursera. Теперь я сертифицированный специалист по визуализации данных. =)
Было интересно и полезно. Лекции совсем не длинные за четыре недели занятий — где-то 6 часов видео материла. С одной стороны, лекции больше посвящены общим вопросам, с другой — достаточно много теории про математические основы лежащие под созданием того или иного типа графика или диаграммы. Это ни хорошо, ни плохо, но иногда скучновато. Часто лектор просто читает с слайда.

Про дэшборды совсем чуть-чуть — только общая теория без конкретики.

Конечно же самая интересная часть курса — домашние задания и кросс-оценка с другими участниками, было классно разобраться в предлагаемых датасетах и найти свое решение, а ещё интереснее посмотреть, что делали другие. Кто-то делал очень интересные и полезные штуки, как, например, Дэн и его визуализация для Твиттера или вот это работа неизвестного автора:

Взаимодействие на фейсбуке членов благотворительной организации

А кто-то вот таких монстриков:

Я тоже своял две визуализации график глобального потепления и анализ бюджета США.

Что узнал для себя по выходе с курса:

• как работают цветовые схемы RGB и HSL
• как устроены сети и диаграммы связей, понял, что инструмент интересный, но сложный для понятной визуализации
• мантра визуализации — нужно предоставлять данные пользователю в следующей последовательности: общий обзор данных → возможность зума и фильтрации данных → дополнительная информация по запросу (например, наведение мышки)

У Тани Бибиковой и её лаборатории данных есть рубрика ответов и вопросов по визуализации данных — каждый месяц ребята решают какую-нибудь интересную задачку и чаще всего реализуют прототип решения.

Мне повезло поучаствовать в одном из таких советов. Меня, как бизнес-консультанта, всегда интересовало как удобно и правильно отображать производственные KPI, например OEE.
OEE или общая эффективность оборудования — это показатель который отображает насколько эффективно на заводе используется оборудование и машины. Он состоит из трёх компонент — доступность, производительность и качество. Каждый из них измеряется в процентах от 0 до 100%. При перемножении эти показатели дают общий показатель, также от 0 до 100%.

Доступность — это процент времени которое оборудование отработало от запланированного времени работы (например, планировали отработать 8 часов, но 2 часа стояли на ремонте, тогда доступность = 75%).

Производительность — это соотношение того, что проивели за период времени, к тому, что могли бы произвести. Потеря производительности связанна с тем, что оборудование работало не на максимальной мощности. Например, у какой-то единицы оборудования максимальная производительность 10 тонн в час, а по факту она работает с производительностью 8 тонн в час, тогда производительность = 80%.

Качество — это соотношение годной произведённой продукции к общему кол-ву произведенной продукции. Качество снижается из-за того, что производим брак. Например из 10 тонн, оказалась 1 тонна брака, тогда качество = 90%.

OEE в таком случаи будет 75% х 80% х 90% = 54%. Этот показатель очень важен, так как напрямую от него зависит выручка компании. Обычно отчеты по OEE, это огромные таблицы в Excel’е, так как существует множество заводов, цехов, единиц оборудования и отчетных периодов (день, неделя, месяц и т. п.). Было ясно, что должен быть лучший путь. =) С таким вопросом я и обратился к лаборантам.

В процессе работы я был подключен к разработке как клиент компании — давал советы и комментарии по поводу реализации, говорил как принято обычно, что хорошо, и что плохо с моей точки зрения. Это был очень интересный и полезный для меня опыт — я понял с каким огромным количеством задач можно столкнуться при проектировании даже небольшого дэшборда — нужно учесть задачи разных пользователей, нужно соблюсти единство в информационных блоках, к этому всему должен быть удобный интерфейс, это должно одинаково хорошо работать с разными типами информации на входе и учесть специфику каждой единицы оборудования…

Вот, что получилось в итоге. Ссылка на живой прототип.

Получился очень интересный и полезный дашборд — он собрал в одном месте информацию, которая обычно занимает 6-8 листов в экселе. Здорово, что визуализация оперирует одним и тем же отображением информации для разных периодов времени (день/месяц и т. п.) — это позволяет легко ориентироваться в данных (часто это разные виды отчетов). Очень удобное отображение OEE, оно интуитивно понятное и позволяет легко отслеживать тренды.

К сожалению, дашборд в большей степени рассчитан на директора завода или руководителей производств, для начальников цехов и бригад местами не хватает детализации. Но думаю, что если бы перед лабораторией стояла такая задача, то такой функционал там бы появился.

На курсе Coursera Игорь Яновский (вот его сайт) поделился списком своих любимых книг по тематике. Я пока что не успел ещё его просмотреть, но решил перепостить. Странно, что в списке нет Тафти.

1. Жак Бертин “Semiology of Graphics” — классика теории информационного дизайна;
2. если чтение “Information Visualization: Perception for Design”Колина Вэра покажется жестковатым, рекомендую обратить внимание на его же “Visual Thinking: for Design” или на книгу Конни Маламид “Visual Language for Designers” — они воспринимаются полегче;
3. в книгах Стивена Фью — “Now You See It”, “Show Me the Numbers”, “Information Dashboard Design” — описаны методы графического представления данных (в основном количественных), рассматриваются их особенности и приемы визуального анализа; кстати, недавно в продажу поступила его книга “Signal: Understanding What Matters in a World of Noise”;
4. о методах визуализации качественных данных (графы, сетевые диаграммы) можно почитать в “Visual Complexity” Мануэля Лимы;
5. книги Нэйтана Яу — “Visualize This” (кстати, есть на русском языке — «Искусство визуализации в бизнесе»), “Data Points” — могут найти практическое применение сразу же, т. к. он рассматривает различные методы визуализации на конкретных примерах и предлагает читателю сделать самому все то же самое, приводя алгоритмы действий и листинги программ (в первой книге) и описывает процесс работы над визуализацией, начиная с анализа данных и понимания целей самой визуализации, о чем часто забывают, если вообще задумываются (об этом во второй книге, соответственно);
6. “Beautiful Visualization” и “Beautiful Data” — это сборники статей, написанных экспертами по работе с данными; просто интересно почитать, узнать о чьем-то конкретном опыте, привычках работы над проектом, особенностях мышления, каких-то хитростях, вдохновиться этим занятием.

Апдейт: Игорь собрал ещё более внушительный список у себя на сайте. За что ему отдельное спасибо!

Хочу написать про вторую книгу по применению визуализации данных, которую можно найти на русском языке. Книга вызывает странное и двоякое впечатление. С одной стороны в ней есть классные базовые идеи:

• сначала определи, что ты хочешь сказать, запиши это словами → затем выбери тип диаграммы
• определи какой тип сравнения ты хочешь использовать — во времени, по значению, по позиции, по частоте или хочешь показать корреляцию
• выбери диаграмму по таблице:

С другой стороны автор предлагает странные местами странные идеи — использовать в заголовке, вместо названия, вывод из графика. Такой газетный заголовок, точно подойдёт не всегда. Да и как-то кажется слишком «продажным», возможно это и имеет место, но только не всегда и не везде. Автор любит 3D штучки и фоны для диаграмм — Тафти он точно не читал. =)

Также в книге стрёмный дизайн из прошлого века (я читал от издательства ИКСИ, а не МИФ). Да и сами примеры пришли из той эпохи когда для показа презентации использовались реальные слайды.

Плюс книги — в ней есть кучу практических задачек, которые можно порешать от руки, а уж пользоваться советами автора или нет, это ваше дело. ;)