Reveal the Data: заметки с тегом подкаст

Видеоподкаст c Анастасией Кузнецовой

Tue, 23 Feb 2021 18:01:28 +0200

Записал подкаст с Анастасией Кузнецовой, автором канала Настенька и графики (если ещё не подписаны, то очень рекомендую).

Поговорили про то, как дизайн помогает аналитикам в работе, посмотрели работы Насти и обсудили работы с Табло Паблика в новой рубрике «дашборд-рулетка».

Аудиоверсия
Текстовая версия — под видео (спасибо Наташе Shirosayuri!)

0:43 Карьерный путь
Началось всё с того, что мне предложили вести паблик, он был про анализ данных и визуализацию и поскольку посты нужно было делать каждый день, я стала очень много читать и изучать в этой сфере, перезнакомилась со множеством людей. Параллельно с этим я занималась количественными исследованиями для научной деятельности. Потом поняла, что это всё сильно пересекается и что датавиз это тема. Сейчас уже веду только свой паблик.

Я скорее называю себя свободным аналитиком, не привязываюсь к какому-то определению. Или, например, говорю, что я автор телеграмм-канала. Дата-визуализатором я себя не называю, всё же скорее ближе к аналитике.

По образованию я социолог. Когда я поступала, то ничего не знала про это. На профтестах мне сказали, что я люблю вставлять данные в таблички и я поняла, что это правда моё. Я пошла в Вышку на социологию, эта программа сейчас называется «Социология и социальная информатика». Там больше уклон на computational social of science, на все, что связано и с анализом данных, и в том числе с визуализацией. Там мы учили программирование на R, на третьем курсе немного Tableau, хотя очень поверхностно. В дальнейшем я увидела, насколько больше там глубины на самом деле. Ну и когда занималась научными исследованиями, часто данные просто визуализировала и был такой больше описательный анализ.

Если кратко, то социология это про исследование людей. Но если психология, например, больше про то, что человек чувствует или как переживает, то социологи смотрят на людей в контексте других людей. В социологии есть разделение на качественную, количественную и есть смешанные методы. Мне больше нравится, когда мы совмещаем какие-то интервью с количественным анализом, конечно. Я занималась исследованиями университетов — делала библиометрический анализ (как они сотрудничают в научном поле) и как упоминаются в СМИ. Видно, как по-разному выстраивают университеты свои стратегии в сотрудничестве. Про контекст любопытно, что, если какие-то топовые вузы упоминаются в темах рейтингов, экспертных оценках, то вузы послабее — в статьях вида «ректора посадили» или «отпустили под домашний арест».

7:12 Про работу аналитика клиентских данных
Основными моими обязанностями сейчас является построение дашбордов, к сожалению, пока что в data studio. И обычная, в общем, аналитика, подсчёты каких-либо моделей, показателей, проведение тестов. То есть анализирую все данные, которые есть, а их много: и crm, и логи, и опросные данные.Также я преподаю в Вышке и Европейском университете визуализацию данных и веду свой канал.

8:34 Зачем аналитику нужно знать основы дизайна
Я пропагандирую идею, что визуализация данных это больше про коммуникацию. У меня есть пост в блоге про датасатанистов, которые говорят на каких-то своих языках, и другим людям в компании не понятно, что происходит. Поэтому я выступаю за то, чтобы сделать всё максимально понятным и удобным. Базовые навыки предоставления информации должны присутствовать. От того, что ты покажешь результаты своего регрессионного анализа табличкой, никому понятнее не станет. Все результаты лучше визуализировать. Хотя я не могу сказать, что всегда соблюдаю свои же принципы, потому что многие вещи приходится делать в спешке. Правда, потом я к ним возвращаюсь, чтобы что-то сделать лучше.

Когда я изначально пришла на свою позицию, от меня больше ожидали таблиц. В дальнейшем, когда у меня сменился руководитель, попросили рисовать графики, поэтому думаю, что бизнес замечает старания визуализаторов.

13:14 Наука в северной Корее

Это первая работа в моей визуализаторской карьере про науку в Северной Корее. Так как я занималась до этого библиометрией, я решила посмотреть на неё. Данные я брала из web of science, это база научных журналов высокого уровня. Тут есть интересные вещи, например, про финансирующие агентства, где есть какие-то китайские организации, а ещё сети соавторства и карты терминов. Это сделано при помощи VOSViewer. Как оказалось, темы северокорейских учёных очень технические. А в сетях соавторства оказалось, что 39 из 265 авторов зовут «Ким». Ещё было про языки публикации, например, 3 на русском, до распада СССР. У исследователей из Северной Кореи есть некоторая свобода: им предоставляется интернет, а это уже достаточно много. Очень интересно, про что они пишут и как осуществляется их общение. Можно увидеть, как меняется развитие тематик, по цвету сети: сразу больше писали про физику, а позже стали популярнее молекулярные исследования и генетика.

В плане бизнеса применение сетей — это скорее HR-аналитика. С помощью сетей можно находить такие изолированные группы или людей, которые называются мостами, и объединяют их.

20:25 Граф для связей в ВК

Это сеть друзей, она задумывалась как подарок. Здесь я, мой друг и как наши друзья связаны между собой. На сетях много делается исследований по пересечениям. Я как-то анализировала группы МСГ и там есть две группы: официальная и не очень. И в официальной, если построить сеть друзей, то большего всего связей получается у разных председателей молодёжных советов, а у неофициальной это будут просто такие популярные ребята. В этой сети с другом можно увидеть разные кластеры, самый большой кластер — это университет, и там часть наш факультет, а часть другие программы. Зелёный кластер — это мои мурманские друзья. Сетки по друзьям в принципе все так раскладываются: есть школа, клубы по интересам, универ, может быть работа.

23:50 Музыка в ВК

Люблю с данными ВК работать. Для блога SkillFactory писала статью про музыку, хотя я в ВК уже давно не слушаю. Эта статья очень понравилась людям и получила много отклика.

Здесь получается интересная вещь со скаттерплотом по продолжительности и частоте прослушиваний. Мне скидывали другие люди, как у них эти графики получились, и там были выбросы: либо какие-то длинные подкасты, либо много коротких песен.

Барчарты закрашены по продолжительности песен и кажется, что это не так сложно для восприятия зрителями как, например, двойные оси.

Облако слов в плане аналитики даёт примерно ничего, но все любят на них смотреть, и я в том числе, оно скорее для красоты.

У ВК есть возможность запросить архив, чтобы узнать, какие у них есть данные про вас. Там сохраняются все сообщения, лайки, комментарии. Можно либо посмотреть на свои сообщения 10 года и ужаснуться, либо вот, собрать из них такие красивые визуализации.

35:05 Сравнение пенсий

Мне однажды скинули статью про сравнение пенсий по странам, в которой данные были представлены просто текстом. Поэтому я решила их визуализировать. Здесь барчарты и картинки про средний возраст жизни и размер пенсии. Это данные на 2018 год, уже могло что-то поменяться. Так же я посмотрела, сколько бигмаков можно купить на эту пенсию. Мне очень нравится индекс бигмаков для сравнения таких вещей. Получается, что в Дании самая большая пенсия, можно купить целых 689 штук, а в России всего лишь 100, то есть 3 с лишним в день.

33:00 Дашборд рулетка
35:05 — Социальное неравенство в США
43:44 — Вкус рождества
54:50 — Торнадо

1:05:22 За чем следит и что почитать
Из того, зачем я слежу, это Flowing Data и Visual Cinnamon. Ещё очень много пабликов в телеграмме, я за ними за всеми слежу, это и Чартомойка, и Reveal the Data, и Дашбордец. Ещё в твиттере очень много интересного публикуют.

Мне очень нравится книга Дональда Нормана «Дизайн привычных вещей», классическая в дизайне. Он описывает такую идею: если вы не понимаете, как работает какой-то прибор, то это проблема дизайна, а не ваша. И это применимо так же к дашбордам: если вы не понимаете, как работает какой-то дашборд, то это проблема тех, кто их разрабатывает, то есть наша.

1:07:20 Блиц
Москва или Питер? — Питер.
Google Studio или Tableau? — Когда как. Tableau для души, Google Studio для скорости.
Tableau или R или ggplot? — Если Tableau или ggplot, то Tableau, если Tableau или R, то R.
Тафти или Босток? — Тафти.
BI или дата арт? — Дата арт, потому что для души.

Ссылки, которые рекомендовала Настя:
— https://flowingdata.com
— https://www.visualcinnamon.com
— https://medium.com/@kennelliott/39-studies-about-human-perception-in-30-minutes-4728f9e31a73

Книги:
— Дизайн привычных вещей: https://www.mann-ivanov-ferber.ru/books/dizajn-privyichnyix-veshhej/
— Storytelling With Data: A Data Visualization Guide for Business Professionals: https://www.amazon.com/Storytelling-Data-Visualization-Business-Professionals/dp/1119002257
— Better Data Visualizations: A Guide for Scholars, Researchers, and Wonks: https://policyviz.com/pv_books/better-data-visualizations-a-guide-for-scholars-researchers-and-wonks/

Видеоподкаст с Никитой Рокотяном

Mon, 21 Dec 2020 09:57:10 +0200

Записал подкаст с Никтой Рокотяном — Data Visualization Engineer, основателем студии Interacta и автором канала Виз Ньюз. Никита — отличный пример «renaissance man», человека совмещающего большое количество разных компетенций и интересов: кодинг, дизайн, аналитику и арт.

Поговорили с Никитой о сложной визуализации для аналитических инструментов, посмотрели примеры интересных проектов и обсудили как обстоят дела с визуализацией в Кремниевой долине. В конце был отдельный блок про дата-арт и криэйтив кодинг. Не совсем по теме визуализации, но невероятно вдохновляет. В живую проекты можно посмотреть на странице компании и личном сайте Никиты.

Аудиоверсия
Текстовая версия — под видео (спасибо Наташе Shirosayuri!)

1:03 Карьерный путь
Термин «визуализация данных» настолько широкий, что те, кто знают, что это такое, до конца не понимают, чем конкретно ты занимаешься. А те, кто не знают, путают это с другими областями. Например, с 3d-визуализацией или визуализацией мыслей.

Когда я нахожусь в профессиональной среде, я говорю, что занимаюсь инструментами для визуальной аналитики. Это включает в себя не только визуализацию, но и алгоритмы, и ux-дизайн. В течении карьеры я занимался не только этим, мы также делали компоненты, которые куда-либо встраивались, и дата-арт.
Я делаю всё, но стараюсь концентрироваться на создании визуализаций и компонент инженерной части, и немного ещё data science и дизайн. Прелесть области состоит в том, чтобы делать всё и сразу.

По образованию я физик. Занимался научной работой около 5-6 лет, был сотрудником лаборатории климата и окружающей среды. Мы исследовали по солнечному излучению состав атмосферы. Кратко: солнечное излучение проходит через атмосферу и может быть измерено в наземных лабораториях. Потом оно отражается от поверхности Земли и может быть замерено спутником. Таким образом, наземные лаборатории являются валидацией данных от спутников. Потому что спутники могут давать данные по всей поверхности Земли, а лаборатории — нет. Молекулы в атмосфере поглощают излучение и по его спектру мы можем достаточно точно восстановить состав атмосферы.

Со временем это переросло в визуализацию, потому что я хотел совмещать свой научный интерес с творческим.
До этого я занимался дизайном, работал в типографии, мне нравился дизайн как область, и математика, алгоритмы. Область, в которой это всё соединяется и востребовано — визуализация данных.

8:58 Офф-топ: есть ли глобальное потепление?
Потепление есть, несомненно. Если какое-то время тому назад часть учёных ещё считала, что только на 95% потепление обусловлено антропогенными причинами, то сейчас почти все ученые сошлись во мнении. И риски очень велики. Огромный ущерб экосистемам, которые мы не видим, а дальше всё идёт по цепочке. Такое быстрое изменение для экосистем очень губительно. Оно не уничтожит планету, но нам станет всем не очень хорошо и наше существование будет под угрозой.

Сам процесс изменения климата медленный и инерционный: то, что мы запустили сейчас будет продолжаться ещё на протяжении ста лет. Ты не сразу можешь видеть результат своих действий.

11:23 Визуализация в Кремниевой долине и переезд
Сейчас здесь почти все работают из дома. Все очень серьёзно отнеслись к коронавирусу. Ещё летом крупные компании перевели на удалёнку всех до следующего года. Поэтому нет того эффекта кампусов, как будто в научном городке, где кипит жизнь. Это не город, это такая деревня, конгломерация крупных компаний, где для сотрудников созданы тепличные условия, чтобы они могли продуктивно работать весь день. Сейчас это остановилось и многие работают из дома. Нет социального эффекта, который был здесь всегда.

Очень интересно развитие долины после пандемии. Я не думаю, что она вымрет, возможно, она расцветёт ещё больше. До этого здесь было слишком много людей, из-за чего цены слишком выросли, было видно слишком большое расслоение общества и огромное количество проблем.

К истории о том, как я переехал. Я долгое время работал с клиентами отовсюду. Как-то так случилось со временем, что большая их часть была из долины. Один из них оказался амбициозным стартапом. У нас завязалось сотрудничество, и на протяжении 2-3х лет всё шло к тому, что для дальнейшего развития мне было бы полезно находиться здесь. Если и учиться где-то создавать крупные масштабные проекты, то именно здесь, потому что это столица современных технологий. Кроме того, по моему опыту американцы из долины и из Нью-Йорка умеют очень продуктивно работать, не растрачивая время на бесполезные детали.

Что касается визуализации, субъективно кажется, что потребность в специалистах всё ещё велика. Именно разработчиком визуализаций — их достаточно мало, чтобы насытить имеющийся рынок. А рынок растёт, потому что значительное число компаний начинают понимать, что можно стать лучше, используя визуализацию.
Наиболее интересная область для меня находится на стыке визуализации данных, data science и ux-дизайна. Если ты можешь создать компонент, который работает с динамическими данными, при этом он красивый и информативный, то это успех и огромное количество продуктов может сделать шаг вперёд благодаря подобным инструментам. Таких специалистов очень мало. Я вижу компании, которые ищут дизайнеров, которые умеют кодить. Они и раньше были, но сейчас для таких специалистов появился рынок.

21:20 Примеры проектов
Show Real на нашем сайте я собирал достаточно долго из разных кусочков. Здесь не только инструменты, но и самые разные проекты. В принципе он отражает то, что нам нравится делать. В связи с тем, что всё моё время уходит на работу со стартапом, студия существует сама по себе без моего активного участия. В проектах, которые там идут, я иногда выступаю в роли ментора. К сожалению, очень много проектов находятся под NDA и ими нельзя поделиться, хотя зачастую они все очень интересные, удобные и красивые.

23:50 Data-Driven Country Map

Это конкурсный проект, который мы делали для World Data Visualization Price Мы сделали инструмент, который может перерасти во что-то больше как концепция, возможно с другим набором данных.

Идея состоит в том, что у нас есть набор данных о разных странах и каждая конкретная страна может быть охарактеризована набором определённых свойств. Например, число жителей, ВВП, различные индексы, уровень коррупции, эффективность судебной системы. Огромное количество метрик и сложно составить картину того, какие это страны. Как они соотносятся друг с другом по своим свойствам, а не по географии? Мы взяли алгоритм t-sne. Он берёт на вход массив данных, где каждая точка описывается большим набором характеристик, и умеет находить между ними схожести и группировать точки по ним. Здесь точки — это страны, и мы видим в них какие-то паттерны. То есть алгоритм считает, что эти страны между собой похожи по какой-то причине. Ты как исследователь сперва не знаешь эту причину, и дальше начинаешь изучать. Первое, что мы сделали, это нанесли эти точки, страны, и покрасили их по континентам. Сама карта открыта для интерпретаций, и чтобы понять, почему те или иные точки оказались рядом, нужно иметь интерактивный интерфейс, который может дать тебе возможность в реальном времени что-то включать и смотреть, как алгоритм реагирует. Это позволяет тебе понять, какие свойства находятся в основании попадания стран в кластеры. Кроме того, можно выбрать какую-то определенную страну и подвигать параметры для неё. Подобная игра позволяет думать комплексно о том, что можно изменить, чтобы страна попала в тот или иной кластер.

35:20 The Seamless Web

Это экспериментальный визуальный поисковый движок по судебной системе США. Как-то к нам обратился юрист, который хотел попробовать визуализировать сеть связанных дел. Боль, которую тут можно решить с помощью визуализации, состоит в том, что ты, будучи юристом хочешь найти случаи, которые подходят под твой. Ты открываешь какую-то поисковую систему и находишь список других дел в виде списка. Дальше тебе нужно их все открывать и читать. Поэтому появилась идея: визуализировать результаты поиска в виде графа. Тут ты можешь увидеть центральные кейсы, на которые ссылаются другие, смежные и кейсы на периферии, можешь выделять какие-то группы и делать текстовый анализ по ним.

Открывая проект в первый раз, ты видишь поисковую строку. Тут же автоматический саджест из базы по документам, которые искали люди или которые могут быть тебе интересны. Ты формулируешь свой запрос, он отправляется на сервер и формирует тебе из него граф: по ключевым запросам ищет дела и потом в них ищет ссылки друг на друга. Здесь каждая точка представляет собой одно дело. Дальше включается алгоритм поиска комьюнити в сети, и по результатам алгоритма точки раскрашиваются. Уже на этом этапе мы видим какие-то определённые кластеры, но пока не знаем, почему они схожи. Тут подключается data science, скрипты, которые вычленяют из кейсов несколько моментов: наиболее важные термины и словосочетания, наиболее релевантный текст. Дальше делается сложный анализ: мы вычленяем из текста кейса фрагменты, которые являются наиболее цитируемыми.

В итоге получается база, по которой юрист может провести поиск и получить граф для того, чтобы продвинуться дальше в деле, которое ведёт. Например, в графе можно увидеть наиболее важные дела и нажать на них, чтобы увидеть их тексты. В текстах подсвечиваются наиболее интересные фрагменты.

47:13 Про графы связей
Использование графов сильно зависит от задачи. Сам по себе он не столько несёт в себе информацию, сколько является навигацией по визуализации. Потом ты уже можешь выбирать ноду, углубляться в неё. Таким образом, граф является первым экраном для инструментов глубокого анализа.

50:27 Красота vs Бизнес-польза
Всё зависит от бизнеса. Кому-то может быть всё равно, красивое оно или нет, а кому-то это наоборот важно. Я думаю, что это не вредит, и когда делаю что-то, задаюсь вопросом: можно ли сделать так же, но ещё и красиво. Не всегда есть возможность так сделать. Часто можно сделать такие нестандартные визуализации, которые решают ту же задачу, что и классические, и делают это не менее эффективно, но более привлекательно выглядят. Анимация, например, очень сильно оживляет картинку, хотя многие её пренебрегают.

50:27 Стек технологий
Чаще всего используем d3 и какой-нибудь фронтенд react/svelte. Последний сейчас стал очень популярным, потому что он маленький и простой, в react’e разобраться сложнее. Svelte позволяет быстро разобраться и создавать в нём простой ui, а сама визуализация d3. Если нужно нарисовать что-то большое, то используются инструменты на webgl, three.js, reguls.

С точки зрения визуализации, мы обычно используем то, что нужно в проекте прямо сейчас. Если нужно не очень много точек, то не нужен какой-то сложный стек, и наоборот.

57:10 Как визуализация спасет жизни пациентов

В этом проекте t-sne был использован для анализа медицинских анализов. Лаборатория, которая занимается исследованиями болезней сердца, делают огромное количество анализов. По их набору хочется найти взаимосвязь и закономерности.

Им нужен был инструмент, с помощью которого можно было работать с их данными. Например, есть файл excel, где в столбцах это виды анализов, а в рядах пациенты. Можно нарисовать точками типы анализа или пациентов, из-за чего у нас появляется две карты. Первая может быть использована для того, чтобы смотреть на пациентов, которые сходятся в каких-то параметрах и определить для них течение болезни и возможные риски. Во втором случае проводились исследования, где брали различные группы пациентов, например, очень больных, которые в итоге умирают. Или наоборот, которые в итоге выздоравливают. И сравнивали, как соотносятся анализы, которые есть у разных групп пациентов. Таким образом, увидели, что чем больше количество кластеров, в которых анализы схожи между собой, тем более велик риск смерти пациента. Так же можно брать анализы у пациентов каждый день и исследовать их с помощью данного инструмента. Чем больше связей между точками появляется со временем, тем сильнее ухудшается состояние пациента. Если пациент идёт на поправку, то эта сеть становится более хаотичной.

1:03:40 Источники вдохновения, Виз Ньюз
Хорошие примеры визуализации я беру из твиттера. Там огромное количество новостей. Можно подписаться на ряд экспертов из этой области, со временем твиттер предлагает ещё людей из этой области, таким образом можно составить себе профессиональную новостную ленту. Как в дизайне важна насмотренность, так она важна и в визуализации. Поэтому важно всё время смотреть на то, какие визуализации придумали другие.

1:06:55 Технологический арт, как не бояться нового

С арта начался интерес к визуализации и области. Изначально меня вдохновляли алгоритмы, которые рисуют графику. Я думал, что круто было так делать, но это так сложно, что никогда не научусь. Со временем страх уходил, а интерес рос. Это как раз совпало с расцветом индустрии интерактивных инсталляций. Я делал генеративные инсталляции, со временем интерес этот вывел меня на работу с визуализацией и совпал с моим научным интересом. На сайте есть раздел с артом, где выложены мои старые проекты. Там есть совершенно удивительные проекты. Например, исследовательский проект в minecraft’e. Совпало два биеннале: выставка Уральского современного искусства и выставка Zero one? Мы строили в игре прототипы инсталляций, которые в итоге может воплотить в жизни.

Так же был интересный игровой проект «18», который так и остался прототипом. Он похож на plants vs. zombies, но в нём ты делаешь музыку. И цель не победить всех, а создать трек. У каждого юнита своя музыкальная тема, добавляя их на поле можно было создать мелодию.

Поскольку я занимался вопросами изменения климата, мне захотелось визуализировать как CO2 на планете меняется. Это вызвало огромный интерес, хотя сама по себе визуализация очень простая. Сам посыл о том, что что-то меняется достаточно агрессивно, так хорошо считывается, что люди действительно начинают задумываться об этой проблеме.

Кроме того, мы делали скульптуры из фарфора: выдавали опросники коллегам и друзьям, чтобы определить, насколько они рискованны в той или иной области. И в итоге получатся такой фарфоровый портрет их риска.

Была ещё одна совершенно невообразимая история о том, как одно рекламное агентство собирает команду для своей творческой резиденции, чтобы создавать новые вещи. Жить три месяца в незнакомой стране было что-то пугающим. Мы жили командой в одном доме и делали экспериментальные проекты. Удивительно, насколько многому можно научиться в подобных резиденциях. Самое важно, что я вынес: я лучше понял, что я могу. Когда работаешь фрилансером, зачастую не знаешь, что ты умеешь относительно других. Если есть возможность поучаствовать в таких проектах, то я бы посоветовал это делать.

Сам проект представлял собой инсталляцию, которая создавалась для фестиваля STEAM Carnival. Там часто делаются инсталляции, которые основаны на законах физики и математики. Наша инсталляция должна была вдохновить детей на интерес к науке. Мы придумали создать несколько станций с граммофонами, внутри которых был микрофон. По нашей задумке ребёнок должен был кричать в граммофон, и дальше крик модифицировался во что-то ещё. Была LED-станция, в которой зажигался свет, ещё с мыльными пузырями, дующая ветром, с шариками и с ленточками, развевавшимися на ветру.

Дети находят самые необычные применения тому, что ты сделал. Например, набрать на одной станции мыльных пузырей, чтобы на станции, которая дует, их развеять по ветру. Очень радует, что это в конечном счёте вдохновило детей на то, чтобы исследовать, как это работает.

Главный урок, который я вынес: я думал, что еду в крупное агентство, уж, наверное, они знают, как делать вещи. И оказалось, что нет, на самом деле никто не знает. Чуда не случится. На самом деле сделать что-то хорошее действительно очень сложно.

1:32:03 Блиц

Топ-3 книги
Я не очень много читаю, мне всегда было сложно учиться по учебникам. Всегда потом приходилось садиться и делать то же самое руками, иначе я не запоминал. Так что я не назову каких-то конкретных названий, но выберите какую-нибудь художественную, техническую и научную книгу и это даст вам разные взгляды на жизнь. Если вы сможете их все переварить и получить удовольствие, то всё, успех вам обеспечен.

Генеративные коддинг или визуализация данных?
Эти вещи даже нельзя сравнить. Но если отвечать на вопрос, то визуализация. Во-первых, она использует генеративный коддинг, во-вторых, в ней есть прикладной аспект.

SVG или Canvas
SVG

Vuj или react
React

React или Svelt
React, если вы делаете что должно масштабироваться. Если что-то маленькое делаете, то Svelt

Россия или Штаты
Россия. У штатов есть огромное количество вещей, где можно было бы поучиться, а у нас — огромное количество областей, которые ещё не заняты и где эти знания можно применить

Процессинг или D3
D3. С досадой отвечаю, потому что процессинг — это моё профессиональное детство. Но всё равно d3, потому что с одной стороны он сложнее, а с другой стороны он больше возможности даёт и в итоге получается проще.

Видеоподкаст c Ольгой Колчевой

Thu, 15 Oct 2020 09:21:57 +0200

Записал подкаст с Ольгой Колчевой. Большинство из вас знакомы с ней как с Solution Engineer в компании Tableau. Но в этот раз Оля представляла не компанию, а просто согласилась поболтать про развитие BI и о том как работается за рубежом.

Обсудили чем отличается найм в Европе, как попала в Tableau, как развивать Data Literacy в компании и почему Self-Service это хорошо.

Аудиоверсия
Текстовая версия — под видео (спасибо Наташе Shirosayuri!)

0:44 Карьерный путь
Карьерный путь был очень тернистым. После школы решила, что единственное, что я люблю — это математика и пошла на мехмат. Это место оказалось сильно не по мне, потому что школьная математика представлялась тем, что проводит параллели с реальным миром. Фундаментальная математика очень теоретическая, а я очень практический человек: всегда нужно знать, зачем это нужно. После окончания решила никогда не иметь ничего общего с математикой. Лучшее, что я там получила: меня научили учиться.

Самые большие проблемы были с программированием. Код, который я писала на папином компьютере, не компилировался на университетских. Мои программы вечно не работали, я не знала достаточно в программировании, чтобы понимать почему. В глубину компилятора было не интересно вдаваться, важнее было получить результат.

После университета пошла в магистратуру ВШЭ и стала искать работу на part-time, чтобы можно было совмещать. Так я попала в группу, которая занималась отчётом о прибылях и убытках департамента системного интегратора. Там был классный отдел, который занимался автоматизациями. Можно было договориться о задачах очень быстро, без бюрократии. Так я и автоматизировала половину своей работы. Поняла, что совсем далеко от математики, автоматизации и технологий мне не интересно. Очень понравилось, что я смогла часы ручного ввода автоматизировать до часа. Поработала там три года: решила, что хочу двигаться дальше.

Подруге предложили собеседование в телеком-операторе, а это был не её профиль. Она предложила отправить моё резюме. Оказалось, что там надо быть аналитиком, так что я рассказала про свой опыт, знание математики. Про SQL я знала только по опыту работы с Microsoft Access: sql, которые там генерируются. На собеседовании мне задачи дали на дом. Моих знаний sql явно не хватало, чтобы их решить, так что я сделала таблички в Access’e и посмотрела, какие получатся запросы. В итоге приняли, и пока согласовывали, я выучила sql. Я была единственным человеком с доступом к базе данных в нашем отделе, и она ещё строилась. Все задачи были мои, я могла быстро развиваться. Но в какой-то момент я упёрлась в потолок, потому что зависела от IT, который развивал эту БД. К тому же за год можно выучить все sql запросы, так что я вновь решила куда-то дальше идти.
Так я попала в команду, которая повлияла на меня больше всего — Lamoda. Я думала, что это интернет магазин из подвала. Там оказался красивый офис на несколько этажей и огромная команда. Я встретила своего будущего руководителя: уютная, замечательная девушка, в толстовке, которая села в стул вместе с ногами прямо при hr’е. Я решила: раз здесь такая атмосфера — я хочу здесь работать. Когда расспрашивали про знания, я поняла, что ещё и интересная. Проработала четыре года, и, кажется, никогда бы оттуда не ушла, если бы не переезд в Германию. Там я у разработчиков научилась очень многому. Для аналитика это было не очень важно, но если ты был готов впитывать, они всем делились. Благодаря всему этому я оказалась в Tableau. Они искали специалистов, так что я позвонила, прошла собеседование, и вот я здесь.

10:00 Как переехала и искала работу
У меня несколько лет была мысль попробовать за границу, но всё время было ощущение, что я не на том уровне.
Моя ситуация осложнялась тем, что я не знаю немецкого. Пул был изначально очень узкий. На разосланные 20 резюме мне ответили из четырёх мест, в двух я в итоге получила оффер, в третью компанию я уже не пошла на финальную стадию собеседования, чтобы не тратить ни своё, ни чужое время. Достаточно быстро это прошло: я переехала в феврале, а уже в июле вышла на работу. Поэтому если кто-то хочет поискать работу за рубежом, я бы рекомендовала попробовать и предложила бы обратить внимание на интервью.

12:55 Отличия при найме на работу
В отличие от России, на интервью совершенно другие вопросы и ты к нему по-другому готовишься. В России мне не пришло бы в голову досконально изучить сайт компании. Здесь по крайней мере на собеседованиях ожидали, что я буду знать о компании, кто её основатель, к чему они идут. Боле осознанный выбор работодателя не с точки зрения работы, а с точки зрения идеологии.

Немного другой подход с испытательным сроком. Не в том смысле, что нанимают всех, а потом увольняют. Но это действительно серьезный этап: если ты не будешь дотягивать по техническим скиллам… На предыдущих работах испытательный срок был больше формальностью. Здесь же очень многим не предлагают оффер после него и это не экстраординарная ситуация. Но и soft-скиллы очень важны. Ещё в Москве тебя проверяют на многофункциональность, важно чтобы ты был человек-швейцарский нож. Здесь ты приходишь на конкретную вакансию, если ты знаешь что-то вокруг — это очень здорово, и ты молодец, но тебя по этому спрашивать не будут.

15:49 Чем занимается Solution Engineer в Tableau?
Я работаю с рынком России и у нас меньше специализаций. Многие компании в России не могут или не хотят говорить по-английски. Поэтому моя роль немного отличается от того, чем занимаются мои коллеги. Я немного и саппорт, и customer success manager, и учитель.

Если в идеале: когда компания решает, что она хочет купить Tableau, то должна понять, соответствует ли это её критериям. Я должна прийти и помочь им задать правильные вопросы, направить в нужном русле. Я не буду делать дашборды за наших заказчиков, но буду помогать находить ресурсы, информацию, сделать dashboard polishing. Иногда это специфическая информация, которую я знаю по опыту. Больше как техническая поддержка во время пре-сейла.

18:30 Какая культура в Tableau?
Мне нравится дух компании, потому что очень мало бюрократии, много открытости. Когда я пришла сюда, я увидела людей, которыми хочу стать, когда вырасту. Мы реально любим наш продукт. Например, каждый наш sales manager действительно сам делает дашборды. Вся наша компания пользуется Tableau.

Есть два подхода к отчётности. Один — когда тебе нужно ось сверху, подпись снизу, шрифт с завиточками и так далее. Аналитика для меня немного про другое: для получения понятного, удобного результата. Тут Tableau самый лучший инструмент, который может быть. Понимаю, что могут быть боли с форматированием. Иногда для реализации нужны hacks&tricks. Из тех дашбордов, что я делаю для своих дейликов, ни один не занял более четырёх часов. Я их дорабатываю время от времени, но они позволяют мне отслеживать то, что я делаю, поддерживать связь с клиентами.

22:53 Как управляют Tableau как продуктом?
Есть несколько потоков информации, которые отслеживают наши product managers.

Community forum, где голосуют за идеи. Есть такие, за которые проголосовало очень много людей, но они до сих пор не реализованы. Здесь скорее есть какие-то причины, например, технические. Идеи community форума проверяются, тестируются, прототпируются и включаются или не включаются в продукт. Если посмотреть на Tableau, как он развивался, то можно заметить, что он исторически делал всё не так, как стандартный BI. Всем это понравилось, но всё равно захотели туда включить стандартный BI.

Есть также стратегические моменты: большие интеграции с крупными вендорами, стратегические направления, которые решаются на высоком уровне. Важно понимать, сколько людей хотят эту фичу. Можно делать классные вещи, которые нужны 2% пользователей, но лучше это сбалансировать. Недавно услышала в подкасте термин: quality of life feature и это очень важно. Возможно мы, как профессионалы, научились уже обходить какие-то сложные моменты, но для массового потребителя они могут быть супер важны.

29:35 — Лайфхаки для развития Data Literacy
Я очень редко думаю о будущем, потому что очень многим нужно освоить те инструменты, которые уже есть сейчас. Понятно, что там будет машинное обучение, интеграции с AI более удобные и незаметные, возможно с голосовым интерфейсом. Я не знаю, идём мы в эту сторону или нет. Но считаю, что мы всё время хотим чего-то нового, в то время, как очень большое количество компаний живут в прошлом. Для меня важнее вместо новой фичи для 1% пользователей, чтобы поднималась грамотность работы с данными. Новые технологии — это хорошо. Но чтобы они не оставались сферическим котом в вакууме, нам нужно подготовить аудиторию. Повышать уровень образования, чтобы вне зависимости от того, что ты заканчиваешь, ты имел базовые знания по работе с данными.

Blueprint очень классный, но должна быть команда, которая может этим заниматься на full time. Это называется center of excellence. Я проработала с Tableau несколько лет до того, как стала сотрудником здесь, но я не знала очень многих вещей. Когда ты решаешь какую-то задачу, ты гуглишь, как её решить, но не смотришь на весь продукт в целом. Когда у тебя кроме этого есть другие задачи, таким самообразованием достаточно сложно заниматься. Поэтому в компании должны быть люди, главная обязанность которых — знать, как работают те инструменты, за которые компания платит. У этих людей должно быть меньше снобизма по отношению к пользователям, когда ты даже не пытаешься объяснить какие-то моменты. Потому что потом возникают какие-то заплатки, дашборды, которые потом перестают обновляться, если нет тех, кто за этим следит.

Когда я готовлю какой-то контент и предполагаю, что этим ещё кто-то будет пользоваться, я могу включить запись монитора и проговаривать, что я делаю. Это полезно для меня, для презентаций, позволяет научиться выражать свои мысли более чётко. Кроме того, у меня появляется видео, из которого можно сделать обучающий материал. Если ты делаешь что-то хорошо, тебе кажется, что всё понятно. В то же время, аудитория очень заинтересовывается тем, как ты что-то делаешь, твоим ходом мыслей. Зачастую мы не заморачиваемся объяснять это, и это кажется большой ошибкой. Коммуницировать очень важно, не нужно ставить тег «это же очевидно». На мехмате меня успели научить, что нет ничего очевидного, все необходимо доказывать.

35:45 — Про необычные проекты и P&L кондитера
Самый интересный проект у меня идёт прямо сейчас. У нас есть пре-релиз сайт и там можно тестировать ещё не релизнутые фичи. Есть партнёр, который как раз занимается этим, даёт фидбек. Это всё связано с докеризацией Tableau-сервера и поскольку я с этим не очень знакома, интересно изучать и погружаться в эту тему.

Самое классное внедрение BI, которое я видела, произошёл в компании, в которой очень классный центр экспертизы. В ней очень большой сервер, он очень густо населён, там много пользователей генерируют контент, при этом там нет беспорядка. Для меня это идеальное сочетание обучения пользователей и качественного governance.

Для меня сейчас неожиданно, если где-то нет BI. Недавно помогала девушке, с которой познакомилась в Instagram, она домашний кондитер. У нас возникло обсуждение о том, как считать свой отчёт о прибыли и убытках. В итоге мы сделали для неё google doc + tableau public для того, чтобы анализировать свою эффективность. Ей достаточно вводить свои данные, и это масштабируется до бесконечности.
Данные нужно аккумулировать и ты должен понимать, что делаешь это правильно. Ты начинаешь видеть недостатки логирования, когда ты пытаешься найти ответы в своих данных.

41:41 — За чем следит
Количество потоков информации огромно. Есть несколько людей внутри и снаружи компании, за которыми я слежу, например Betany Liens??. Слежу за Сашей Варламовым и кучей ребят в комьюнити. С Егором Лариным постоянно обсуждаем какие-то другие вопросы, например, хотим сделать дашборд про Destiny 2.

У нас команда из 10 человек, они делятся чем-то в рабочих чатах, а я делаю для себя закладки. Я не всех людей знаю, на кого я подписана, но если кто-то из коллег поделился, значит это важно. Если вижу несколько полезных постов от одного и того же человека, то подписываюсь и слежу за его обновлениями.

Часто просят что-то локализовать, очень много материалов на английском, поэтому я планирую выкладывать на свою страничку то, что нахожу.

45:40 — Блиц с Tableau Day: Self-service, AI, NLP
Self-service или reporting?
Однозначно self-service. Reporting должен быть, но когда он не имеет отношение к аналитике. Для этого ничего не нужно, все уже знают как делать его качественно. Аналитика должно быть self-service, потому что иначе это испорченный телефон. Даже бизнес-пользователи, возможно, не должны готовить данные сами, но должны понимать те, которые подготовлены для них.
Что мешает внедрять self-service?
Певрое: люди не хотят этого делать. Это как образование в стране: большая сложная задача. Если её никто не решает, то она не решается. Когда уже есть желание, тогда нужно внедрять правильные тулы и мотивировать студентов делать всё правильно. Иногда люди боятся, что всё будет автоматизировано и их заменят. Поэтому им нужно дать другой мотивирующий фактор. Я также видела, как желание высшего руководства ломается о сильное нежелание большинства.

Как будет влиять на BI NLP и AI?
Очень многие вещи, которые люди делают, нужно автоматизировать. Чтобы они занимались более важными, сложными задачами, где надо думать. Я люблю разные тулы, которые связаны с процессингом голоса. Считаю, что все эти классные достижения должны быть везде. Они не решат все вопросы, потому что человеческая экспертиза и интуиция незаменимы. Ещё есть фактор доверия к тому, что сделал AI. Например, мы сейчас включаем эти функции, пользователь может что-то замоделировать, но это не та математика, которую ты можешь проследить от первого до последнего шага и как-то проверить. Понятно, что я могу доверять data scientist’у, который написал эту функцию. Все ошибаются, это абсолютно нормально, но я хочу знать, как именно они ошибаются. Поэтому сложно доверять AI, который предоставляет тебе данные, и ты не можешь их проверить. Мы по-прежнему больше доверяем людям, чем машинам.

Что посоветуешь тем, кто хочет внедрять self-service?
Здесь у меня совет есть к тому, кто будет хоть что-то внедрять. Редко я вижу, что в компаниях есть конкретный список требований, чего именно хотят добиться внедрением нового инструмента. Ты хочешь, чтобы что-то стало лучше. Почему, как, какие у тебя задачи? Хотите что-то внедрить, определитесь, зачем это вам. Иначе вы тратите ресурсы, время, деньги фактически зря. Если вы не знаете, какой результат хотите получить, как вы поймете, что получили его? Важно определиться с целями, определить шаги к ним, подготовить пользователей, не навязывать ему это. С пользователем нужно говорить, объяснять, потому что self-service потребует их максимального вовлечения в процесс.

59:16 — Мини-блиц №2

Level of detail или table calculation?
Сама я больше использую первое, поэтому настойчиво пытаюсь себя пересадить на второе.
Extract или live?
Live.
Tableau Prep или Tableau Desktop?
Оба.

Вместо заключения
Очень рекомендую попробовать встать на роль консультанта, больше общаться. И заниматься саморазвитием. Например, я сейчас читаю литературу о том, как люди в принципе воспринимают информацию. Эти два совета не связаны между собой, но очень важны для меня.

Видеоподкаст c Кириллом Беляевым

Thu, 03 Sep 2020 21:34:57 +0200

Записал подкаст с Кириллом Беляевым — дизайнером из Риги и автором канала своего имени.

Хотя я знаю Кирилла давно, мне было безумно интересно с ним поговорить про графический дизайн и интерфейсы для визуализации данных. Обсудили как можно выбирать сложность интерфейса в зависимости от задач, как можно делать интересный онбординг и какие навыки нужны, чтобы делать классные графические работы. Ещё посмотрели примеры работ, где Кирилл переделывал и улучшал визуализации.

У Кирилла есть проект с логотипами-заготовками Pre-logo и ещё он делает очень крутой дизайн на заказ — примеры работ. Не реклама, искренняя рекомендация если вам вдруг будет нужен дизайн.

Аудиоверсия
Текстовая версия — под видео (спасибо Наташе Shirosayuri!)

0:50 Про самоидентификацию как дизайнера

Чаще всего называю себя дизайнером. Если уточнить, то графический, digital-дизайнер или интерфейсный дизайнер. Зависит от того, кому я это говорю, чтобы им было проще. Почти весь спектр дизайна, который не про среду и не про одежду. Всё, что касается графики в той или иной степени, чуть-чуть потрогал.

Про образование, мотивацию и становление

Когда учился в школе, было модно среди родителей пытаться куда-то направить. Это сейчас они уже понимают, что было бы лучше не мешать. Теория моих родителей была в том, чтобы я стал инженером, потому что у меня было хорошо с математикой, но я сильно споткнулся о физику. То ли из-за учителя, то ли потому что она мне просто не интересна была. Поэтому неожиданно в 9м классе я решил пойти в художку. Я как бы до этого в другие секции ходил, ну и школа была недалеко от дома. Случилось так, что в нашей группе из 7-8 человек разновозрастных была молодая преподавательница, которая как будто недавно университет закончила. Это было здорово: она не пыталась нас ничему научить, всегда пыталась сделать так, чтобы нам было интересно. Это сильно втянуло: мы занимались и линогравюрой, и карандашами, всем, чем угодно. Позже, наверное в 10 классе, нам открыли все окна и дали масляные краски (чего, кажется, в художках нельзя делать), мы там все обнюхались. Всё было просто отлично. Тогда я решил, что это здорово, потому что в этом есть какой-то драйв. Начал думать, куда поступать: не на художника же. Были 90е, художник однозначно был нищий человек, никаких вариантов. Быть нищим очень не хотелось.

Нечаянно узнал о таком явлении, как дизайн. Когда поступал, появилась возможность поступить в Питер, в университет технологии и дизайна, если бы не это название, я бы туда не пошёл. Там были: дизайн рекламы (графический); мода и среда.

На среду у меня не было опыта художественного опыта в объёмности, про моду меня отговаривали, что это сплошное нетрадиционно-ориентированное, так что остался графический дизайн, так что я пошёл туда. Ходил на подготовительные курсы, специалитет по старой программе: 5 лет учёбы и ещё полгода на диплом. Это было долго и скучно, но у нас были рисунок и живопись, которые преподавали в том числе и преподаватели из мухи? Эти два навыка, по прошествии многих лет, дают очень хороший бекграунд. Не могу иногда понять, что это работает, но благодаря этому я знаю, как цвета смешивать, например. Работает на уровне ощущений. Года два назад я начал ощущать этот вклад, до этого вообще не задумывался, не ощущал ни сама техника, технология или методика. Но потом я понял, что люди пытаются понять что-то про цветовой круг, а я знаю точно, что их как-минимум много, это не единственный способ, цвета можно по-разному сочетать. Так что я подумал: если для меня это очевидно, а они что-то пытаются понять, то всё-таки где-то я это знание получил. Так что взглянув в ретроспективу я понял, что это всё из университета.

После университета пошёл работать по специальности, в маленькую студию. Разослал резюме очень много куда, в том числе сделал наflash-e и отправил в студию Лебедева и получил ответ от Людвига Быстроновского, процитирую: «Простите меня великодушно, но я не буду ебаться с вашим flash-ом». Обидно, но что уж тут сделаешь. В следующий раз вместо непонятных форматов я отправлял огромный jpeg 5000х3000, на котором было много разных картинок: один файл точно пройдёт, что-нибудь да увидят.

Поработал два года в студии, пробовал сделать свою, после чего пошёл в бюро Горбунова учиться делать интерфейсы. Они тогда только начинались, поэтому казалось, что это более счётная, проектируемая история, в меньше степени здесь важно логотип делать красненьким и делать его больше или меньше. По крайней мере так казалось. В итоге, конечно, оказалось, что всё то же самое, просто не в логотипе дело, а в другом: контролы побольше, диапазоны поменьше. Тем не менее, из-за того, что это более инженерная история, коммуникация должна быть более структурная. Хотелось меньше договариваться и больше тратить время на производство дизайна. Следующим витком была визуализация, где, казалось, ещё больше инженерной компоненты, потому что здесь нет этого пользовательского опыта, нам надо данные визуализировать. То есть опыт есть, но по большей мере одинаковый: человеку нужно получить инсайт. Поэтому пошёл потом в лабораторию, после неё — в компанию, которая строила аэротрубы и там я занимался всем дизайном подряд: дешборды, айдентика, etc.

11:17 Это более творческая профессия или боле инженерная?

Отвечу очень странно: это исключительно инженерная профессия, но в моём представлении эта инженерная есть самая творческая. Приведу пример: недавно слушал технического директора, который сказал, что математика — это не то, чему тебя учат в школе. Математика это про то, как ребёнок решает задачу про то, как перевезти волк, козу и капусту через речку. Как только у тебя есть какая-то дорожка, по которой надо ходить, то по-хорошему ходить по ней не надо, надо автоматизировать. И здесь уже следующая, творческая задача: как автоматизировать, чем. Не повторять старое, придумывать новые решения.

Деление на гуманитариев и технарей — очень искажённая история. Кто-то когда-то придумал не совсем верный взгляд. То есть писать код и выдумывать конструкции их не пугает, а придумывать что-то другое — да. Возможно, играет отсутствие функционала: руки не разработаны, Photoshop когда первый раз открываешь он сложный. В самом процессе разницы почти нет: щёлкает в голове, придумываешь что-то, ставишь задачи, ограничения.

14:32 Что нравилось в data visualization, как в него пришёл?

Я занимался dataviz’ом с той задачей, о которой говорил [получить инсайт]. Есть, конечно, и более простая визуализация данных. Или всё, что связано с New York Times и другими изданиями, где журналистика данных и визуализация используется как часть повествования. Практики у меня в этом очень мало. Там, допускаю, не один пользовательский опыт, потому что там визуализация не продукт, а, скорее, иллюстрация: у тебя огромная статья, ты хочешь через неё что-то донести, эмоции, факты, показать, какую огромную работу ты проделал и твой вывод точно верный. Это уже другой опыт: не нужно давать пользователю инструмент, чтобы он свои инсайты искал, надо показать, что мы проедали работу. Или была визуализация, как беженцы из Африки бегут в Италию, огромные маршруты, тут нужно просто чтобы масштаб сработал, и ты ужаснулся тому, как люди в кровь ноги стирают. Про такую визуализацию я не очень много знаю.

В Лаборатории делали в основном для финансов, для науки, где почти в ста процентах случаев нужно дать инструмент. Визуализация в центре, нет какого-то повествования. Если и есть, то это какая-то маленькая кнопка infо, спрятанная в сбоку. Это какая-то штука на весь экран. И ещё есть контролы, и здесь отличие от журналистики данных в том, что там это какие-то простые один-два ползунка, которыми точно все смогут воспользоваться. Если мы можем сделать, чтобы оно работало по скроллу — это ещё лучше. Для финтеха, например, так не получится: у нас один экран, он может даже не скроллится. Куча интерфейсного интерфейса, данных, которые ты препарируешь. Весь опыт пользовательский на уровне интерфейса, а не на уровне визуализации данных. Сложно отделить в какой-то момент, но я бы как-то так делал.

22:39 Как сочетать интерфейс и визуализацию, как сделать, чтобы пользователь понимал интерфейсные элементы в самой визуализации

Очень важна подготовка пользователя. Учёным, которые много работают с визуализацией, обычно не надо много обучения или дублирования фильтров. У них огромные названия белковых молекул или ещё чего-нибудь, они уже привыкли, что всё более-менее кликабильное. В бизнесе люди разные бывают, опыт может быть разный. Если просят продублировать, можно продублировать, другой путь — пробовать придумать, как здесь визуализировать, чтобы сразу было видно. Если говорим именно про дешборды, про некие панели, в которых много всего сразу как отчёт, он немного тяготеет к статье: это история, которую ты можешь проскроллить. Возможно убрать фильтр, а просто один график три раза показать, чтобы человек это сразу увидел. Это будет мусорнее, но наш здесь KPI это время, за которое человек получает то, за чем он пришёл. Клики — это дорого: ещё надо найти, где что переключается, добавили вообще этот фильтр сюда или нет. Тут он этого не увидит только если глаза закроет.

История про управления, кажется, больше касается графиков, которые один на экране. Дешборд это когда больше одного элемента: таблица, фактоиды, график, или два основных. А когда там один scatterplot, то можно добавлять интерфейс, потому что мы будем управлять эти точками.

Про паттерны проектирования, разница между интерфейсами в визуализации данных и вне её, лайфхаки для тех, кто делает сложные интерфейсы для бизнеса

Посоветовал бы начать с кривой обучения. Когда человек в первый раз открывает Facebook или Twitter, то с первого раза ему нужно понять, как этим пользоваться. С бизнес-инструментом хочется сказать, что это не Facebook, люди же будут с этим работать, но дешборды носят другим людям, поэтому на них я бы всё же смотрел, как на Facebook. Это вершина айсебрга бизнес-платформы, и вот она, в плане интерфейса, должна быть такой же простой. Там будет много информации, без неё он не сможет даже существовать. Хочется, чтобы взаимодействие с этой информацией было как можно проще, возможно, через скролл, минимум простых интерактивных элементов. И на этот инструмент смотрят 2-5-10 минут. Дальше есть более глубокие, за которыми человек проводит 15-20-30 минут подряд, можно делать сложнее: меньше скроллов, больше фильтров. И так вплоть до интерфейса Bloomberg’а, в котором люди сидят днями, смотрят в один экран, в котором происходит непонятно что. Всё закодировано, потому что на экран выведено всё в один клик, но функций так много, что мы не можем уже словами писать, всё сокращено до аббревиатур и иконок. И это нужно, чтобы сделать быстро какую-то свою задачу, возможно будут учиться этому несколько лет, но оно того стоит. Ну вот на одной стороне он, а на другой даже не Twitter, он кажется слишком сложным. Какой-то просто новостной портал, где ничего кликать не нужно, просто скроллишь ленту и всё. Это почти всегда на время завязано, здесь ещё важно про непрерывные итерации. Поэтому при проектировании интерфейса пытаешься его на эту шкалу приземлить, чтобы прикинуть примерно уровень сложности. Потом, конечно, живые пользователи, тестирование.

27:05 Есть ли какие-то интерфейсные хаки, как сделать онбординг максимально эффективно

Если есть и вершинка айсберга, которую надо быстро посмотреть, и те, которые займут тебя на полчаса, то нужно их соединить, чтобы с вершины можно было проваливаться в эти 30-минутки, потому что там ты уже что-то понял, и после перехода важно, чтобы человек увидел что-то похожее. То, что он успел распознать, смог здесь увидел в таком же виде, в новой среде. И он уже понимает полэкрана и это уже неплохо, остаётся разобраться с остальным.

Что касается видео и документации, то весь мой опыт достаточно скверный. Но недавно я видел видео, которое рассказывал какую-то простую штуку, но было сделано как клип из 90х. Ты не можешь оторваться, ты его посмотрел и уже хочешь-не хочешь, но знаешь, как это работает. Не важно, насколько скучно или сложно то, что человек должен посмотреть, если там будет какая-то интересная обёртка, парень в кепке это будет рассказывать, или петух с оторванной головой, который будет спотыкаться на каждом контроле, выпадать. Это точно посмотрят. Конечно, дороговато в производстве, но есть много энтузиастов, которым нравится это делать. Здесь можно отделить содержание и форму: форма должна помочь мне здесь остаться на этом видео, а содержание оно и есть. Люди точно знают, что в мануалах много полезного и хорошо скорее всего написано. Они по большему счёту уверены, что смогут найти всё, что им нужно, но это всё равно сложно. И эмоции ещё. И если это разработчик, то он много мануалов читает: надо разбираться в языках программирования, sql-ях. Он уже зачитался мануалами, можно уже котиков полистать? А ты тут ему и делаешь мануал с котиками. Это работает для Tinkoff, журнал который для бизнеса, то для внутреннего инструмента, который никто снаружи не увидит, делать что хочешь можно.

32:21Примеры работ

Вот формат промежуточный между визуализацией, как ты её себе представляешь, и чем-то журнальным. Это карта музея недалеко от Риги. Изначально она выглядела так:

Это карта с реалистичными домиками, милая по стилистике и вся в цветных цифрах с огромной легендой. И это всё на А4.Это музей под открытым небом, он достаточно большой: здесь привезённые со всей Латвии дома поселений разных эпох. Они сгруппированы по цветам по регионам: ближе к Беларуси и России одни племена жили, ближе к морю другие, и у них были свои особенности. Снизу сами эти группы по цветам размечены. Из-за того, что это А4, музей большой и ты ходишь по нему долго, первое, что происходит: ты складываешь карту пополам и начинаешь её туда-сюда переворачивать, что неудобно. Так же неудобно сличать цифры по цветам и с легендой, в которой цвета нет. Меня это очень раздражало и я хотел понять, можно ли это сделать нормально. Я попробовал, мне кажется, у меня получилось.

Я её упростил и выбросил часть текста, который для меня, как для посетителя, не нёс никакой информации. Там были какие-то дополнительные сведения, год реконструкции ещё добавлен, например. При этом он есть всегда на самом домике. Для навигации дом реконструкции — лишний. Также попробовал привязывать то, что близко расположено, усиками. В итоге собрал на А4, распечатал на А5, и стало удобно пользоваться. Здесь используются все эти приёмы про подачу информации, цветовое кодирование, но это не совсем визуализация, конечно. Скорее предоставление информации. Информационный дизайн.

Если говорить про махровую? визуализацию, то здесь больше подойдёт этот пример.

Это график, мы его ещё вместе делали, о том, как произошла «оцифровка» профессии и изменения в зарплате и часах, для США. Она что-то показывает, но в моей голове больше похоже на data art. Выглядит здорово, но сходу понять сложно. Так что мы достали данные, пошли смотреть, как можно сделать лучше. Вспомнили про эти гантельки, много экспериментировали, в итоге получилось вот так:

И здесь уже что-то более-менее понятно. Самое важно, что здесь уже появились палочки, которые просто шли против шерсти. Стало хоть что-то видно, потому что со стрелочками считать было невозможно. Здесь, конечно, можно быстро и не считать где какой год.

Графики-прототипы хорошо работают, если человек уже имел опыт взаимодействие с чем-то подобным, здесь не столько важен увлечён читатель или нет. К сожалению, это недостаточно распространённый опыт: показать что-то на одном графике и промасштабировать на другие. Тут помогает, когда разница между образцом и последующими инстансами маленькая и ты считываешь, что это одна и та же вещь. Если разница большая или из-за специфики данных что-то сильно раздувается относительно оригинала, конечно сложно. Так что я бы не рекомендовал использование их в общем случае. Лучше делать проще, если говорим про широкую аудиторию.

Простое всегда работает лучше. У сложного есть только одно оправдание: если нам это экономит клики и у нас есть что-то, что дороже для нас, чем скорость понимания происходящего. Если такое есть — будем усложнять визуальную часть и интерфейс, если нет — не стоит.

Вот эта штука вообще примитивная. Есть такие графики и они чудовищно непонятные:

Мне не совсем понятно, зачем люди так рисуют, когда можно делать иначе.

Здесь есть мальчики и девочки, общий график и распределение: небольшие задачи, но стратегически важные, уровень счастья и частотность. На входе кажется, что чем чаще человек начинает день с маленькой «лягушки», тем он будет счастливее. Здесь это вроде подтверждается, в простом виде, но чтобы понять, что здесь происходит, надо потратить какое-то время. Мы сделали проще: во-первых, перевернули графики. Во-вторых мы транспонировали его: было два графика с тремя полосками, а мы сделали три графика, разбитые на две половинки. Стало удобнее, потому что на исходном надо было сравнивать красное с красным, жёлтое с жёлтым, что абсолютно неудобно — они близки по размерам, но начинаются не на одном уровне. Высота столбцов в нашем случае показывало объём, соответственно, точность данных.

45:11 Почему решил вернуться в классический дизайн?

Поскольку я пришёл в визуализацию из дизайна, мне кажется я её с точки зрения прошёл, как игру. Она с точки зрения графического представления имеет какое-то конечное представление. Более того, вся эта конечность вцелом в четырёх книжках Тафти описана. То есть этому можно всему научиться, пройти и дальше уже начинается история про журналистику данных: это не про дизайн, скорее про сторителлинг. Можно было туда пойти, но поскольку я этим занимался в Лаборатории, у нас там даже направления такого не было. Подумал, в новостное агентство идти? Нет, наверное, люблю удалённо работать, а они так не умеют. Так что в ту сторону нет. А если в сторону науки и создания новых типов визуализации, это ещё одно направление в моём представлении, то оно требует большего погружения в статистику, в анализ, более технические вещи. Была возможность в лаборатории туда немного погрузиться, я понял, что это интересно, но для меня конкретно трение высокое. Поэтому я решил, что за единицу времени буду больше делать того, где трение меньше. То есть не захотелось выбирать самый сложный путь. При этом сейчас, если что-то в интерфейсах нужно, я радуюсь, что у меня этот опыт есть: сразу понимаю, где нужно что-то сделать, где нет. Например, когда говорят, что надо визуализацию сделать, можно остановиться на трёх фактоидах. Ещё есть такое направление, как инфографика, где больше иллюстрирование: надо показать на карте какой-нибудь маршрут, например. Тоже визуализация, но не данных, а пути. Само по себе понятие визуализация достаточно широкое: с одной стороны есть 3D-визуализация, с другой есть визуализация данных. Мы делаем что-то видимым. Можно было пойти в какое-то такое иллюстрирование, но на тот момент проектировать те же интерфейсы мне казалось интересней. Может и вернусь, это же так: видишь что-то прикольное, делаешь. Ещё и рынок, если говорить про СНГ, он смешной.

Единственная мотивация для дизайнеров идти в BI — много денег. За ней можно идти. Но тем не менее, для дизайна это конечная область, ты там как дизайнер всё перепробуешь, найдёшь лучшие сочетания.
Если представить, что ты очень прагматичен и при этом быстро осваиваешь такие специфичные штуки как Tableau. А он достаточно странный, это и не код и не борд, непонятная вещь, сходу сложно представить, на что похож. Вот если вспомнить эти ощущения фантомные от моих первых заходов в Photoshop и 3ds Max тоже: сходу не поймёшь. При этом интересно, что и в Photoshop’e и 3ds Max’е можно скрипты запускать. Порог входа высокий. Нужно иметь быстрое усвоение странных вещей для того, чтобы разобраться, дойти до какого-то уровня и потом выйти из этой истории. Здорово, если кто-то так сделает и расскажет остальным, сколько можно на этом поднять. И ещё посчитает, сколько он входил, потому что мне кажется, что для дизайнеров вход будет дороже, чем для инженера.

53:38 Про профисточники в графическом дизайне или UX

На начальном уровне стоит брать книжки классические, например Раскин, Тафти. Старые советы бюро про интерфейсы и визуализацию. В начале следить за кем-то конкретным бегать не надо. Когда ты на уровне middle или выше, кажется, ни за кем не получается следить, потому что сегодня студия N делает классно, а завтра — нет. И сидеть, следить за ней.. Был Тафти, все следили за ним, а он начал искусством заниматься. Можно переключиться вслед за ним, но если тебе визуализация интересна, тебе эти камни не сильно помогут. Можно искать крупицы смысла в его текста, но… За всё время у меня много чего перестроилось, единственное, что осталось неизменным, это Бирман. Единственный стабильный источник информации, на который можно рассчитывать: там не будет больше определенного процента флуда, будет всё ещё что-то интересное, полезное, метко сформулированное. Бывает, что ты много чего знаешь и понимаешь, но сказать не можешь. А у него есть такое полезное свойство: он умеет формулировать. Я видел его TikTok’и, не знаю, зачем они мне, но это такой показатель адекватности: если он может оценить свои силы так, чтобы там появиться, релевантно, значит он на месте. Как только я вижу ребят, которые бегут за остальными в Youtube, возникает вопрос: а вы там ничего не забыли, в своих 99-х в интернете?

Ещё скажу, чтобы люди ходили на курсы. Прекрасно понимаю, что они дорогие, поэтому предлагаю капать на голову работодателю, спрашивать при устройстве на работу: сколько курсов в год мы проходим? Не «проходим ли», а «сколько». Потому что по моему опыту это хорошая встряска, переупаковка всего, что ты знаешь. Я очень рад, что на курсы Ли попал не когда только начинал, а уже чуть ли ни на уходе из лаборатории. То есть я уже делал сложные вещи, у меня не было в этом потребности, но ещё раз всё это пересобрать и вспомнить базу — супер. Когда ты уже достаточно хорошо всему научился и вспоминаешь азы, они более широко раскрываются. Вещи из первой самой простой книжки Тафти, когда я их прокручиваю в голове, замечаю, насколько оно многомерно раскрывается. Понимаешь: незачем на треды смотреть, надо просто раз в год вспоминать всю классику и ходить раз в год на курс бюро или лабораторию. С Тафти ещё полезно, потому что это не наш родной язык, поэтому если ты развиваешь английский, со временем прочтение Тафти делает его более насыщенным. Но интенсивы Лаборатории для junior designer я бы не рекомендовал. Они слишком интенсивные для новичков, ты мало усваиваешь, расстроишься, что потратил деньги. Лучше уж на уровне pre-middle. Либо искать курсы длиннее.

1:02:31 Блиц

Три базовых навыка графической вёрстки?

Работа с пространством, то есть когда у тебя есть текст и белая область вокруг, ограниченная листом или экраном.
Пройти курс про шрифты, чтобы увидеть список ужасных шрифтов и выкинуть их. Оставить себе 5-10 нормальных, это можно один раз сделать и жить с ними. На начальном этапе можно даже не понимать, почему шрифт плохой или хороший, можно узнать у кого-нибудь список, ограничить себя им и остальные забыть
Google it — всё надо гуглить. Сейчас можно нагуглить любой контекст, даже не понимая языка. Найти можно вообще всё, перевести, даже если ты не знаешь, как это люди обычно используют, было это или нет, потому что умея это, можно и шрифты нагуглить нормальные, и инструкции по работе с пространством. В общем, это самый главный навык любого специалиста, у которого есть компьютер или телефон.
В случае с визуализацией, хорошо пойти разобраться в цветах, палитрах, принципах триад, сочетаний, найти для себя color brewer, чтобы просто знать, что есть готовые палитры, потому что в визуализации много возлагается на цветовое кодирование, это самое сильное и часто используемое кодирование. Иногда даже говорят, что другие не надо использовать, потому что они намного сложнее. Чтобы не использовать все оттенки серого или понимать, когда данные уже вышли в следующее измерение и тебе нужно вводить цвет или работать на уровне оттенков.
Пространство, шрифт, цвет — это база. У графического дизайнера дальше бы пошли ещё формы, но для визуализации они нужны в последнюю очередь.

Figma или Photoshop?
Если говорить о визуализации, то Figma. Если про графический дизайн в целом, то оба. Сейчас важнее что-то сделать и получить approve от реального мира, и Figma позволяет получить это быстрее. Чтобы быстрее понять глубину кроличьей норы, то лучше Photoshop. Чем раньше ты её поймёшь, тем быстрее развеются иллюзии и станет интереснее. Иногда кажется, что дизайн скучно — просто посмотри, что люди в фотошопе делают и реши, насколько это скучно.

Когда можно и стоит выравнивать шрифт по центру, а когда нет?
У текста при выравнивании появляется ось. У флага, соответственно, края, у центра центральная. Если она нужна для того, чтобы что-то пояснить, например, по ней же данные идут, то в целом это ок. Если элементы плотно стоят друг к другу, три точечки, то у крайних можно по флагу сделать выравнивания, а у центрального по центру, чтобы они максимально привязались к своим объектам. Можно в заголовках, но это скорее будет каким-то художественным приёмом, и он тоже не просто потому, что заголовок, давайте поставим по центру, должна быть хотя бы какая-то интенция передать что-то. Как только мы не знаем, зачем оно нужно, оно не нужно. У него должна быть какая-то нагрузка функциональная: смысл, эмоция.

Шрифты с засечками или без?
Для визуализации без. Мой опыт больше о бизнесе и науке, где много данных, много всего, там часто кегль нельзя сделать большим, поэтому с экраном проще считывается без засечек. Во всём остальном как угодно, можно и Twitter сделать с засечками круто. Очень интересно, что всегда об этом спрашивают, но никто не говорит: шрифт без засечек или а-ля Comic Sans? Хотя, по-моему, это тоже две большие величины. Или категория шрифтов, которая scripts называется. Это просто шрифт, как узкий или широкий. Для интерфейса широкий сложно: будет плохо вмещать. Засечки примерно из той же категории.

Три любимых шрифта?
Есть шрифт Suisse Int’l который разработали швейцарцы, его люди, ничего не знающие про дизайн, назовут Arial’ом или Helvetica, но он немного другой. Им я могу сделать много всего, он похож на мой дефолтный. И, наверное, всё. Много в памяти шрифтов, названий, но выделить сложно. Они же все по времени меняются. Хороших много. Назову один, хотя подозреваю, он тоже скоро из категории любимых уйдёт, потому что надоедает.

Шпроты или шаверма?
Имеешь ввиду Рига или Питер? Конечно, Рига, если бы был Питер я бы уже вернулся. А так, наверное, ни шпроты, ни шаверма, хотя она по-вкуснее будет.

Видеоподкаст c Дмитрием Аношиным

Sun, 09 Aug 2020 08:35:35 +0200

Записал подкаст с Дмитрием Аношиным — инженером данных Amazon и автором канала Инжиниринг Данных и основателем проекта Datalearn.

Разговор получился довольно философским, много про развитие специалиста и путь Димы. У Димы очень интересный подход к построению карьеры — супер креативный и проактивный. Тот случай, когда построение нетворкинга явно дает свои плоды.

В этот раз снова ничего не смотрели, поэтому можно просто послушать подкаст. Но! В прошлый раз, когда я спрашивал про аудио-подкаст или видео, мне написала коллега, что ей бы вообще подошёл бы текст. Я подготовкой текста заниматься не готов и она решила мне с этим помочь. Если вам нравится текстовый формат — пишите и может сделаем это постоянной практикой. Так что за конспект, все спасибки Наташе Shirosayuri! Текст ниже под видео.

0:00 Как дела, чем занимаешься?

Всё хорошо, вот за последние два дня прошёл курс для менеджеров Amazon’а. В ней рассказывается про научные подходы к менеджменту, теперь понимаю как работают мои коллеги.

2:01 Почему сейчас сложнее войти в профессию?

Я начинал десять лет назад, и мне повезло — я занимаюсь одним и тем и развивался вместе с индустрией. Когда я начинал было IBM SPSS, Business Object, MIcroStrategy, Cognos, Oracle BI. Сейчас инструментов очень много, поэтому разобраться в них по-началу может быть сложно. Ещё очень много проблем с вордингом — все пишут в вакансиях по-разному и не понятно, чем именно будешь заниматься.

6:03 Как ты переехал и искал работу?

У меня была идея фикс — что нужно переехать. Я активно занимался нетворкингом — писал всем вендорам и пытался найти связи, хотел очень хотел уехать в Tableau в Австралию, но не получилось. Здесь важный момент, что мой подход: я пытаюсь сразу, если у меня доступ куда-то есть, максимально общаюсь везде, пишу и т. п. Например, я находил какие-то интересные презентации, которые потом переделывал, переписывал, публиковал от себя. Для своего блога кривого что-то писал. Даже заводит инстаграм аккаунт @tableau_official (у них его тогда ещё не было) и довольно долго его вёл, это было где-то в 2012-2013.

Ещё, скажем, я не могу назвать себя экспертом в чём-то одном. У меня такой подход: я пытаюсь максимально широко брать, там-сям, самую суть выдёргивать из этого всего и как-то использовать. Я даже иногда людям завидую, которые занимаются, например, только Tableau: они могут классные вещи делать. Я его поверхностно знаю, могу быстро разобраться и, если надо, научиться, но красивый дашборд я не сделаю. Я знаю, где посмотреть, но сам сделать с ходу не смогу.

13:36 Аналитик — специалист на все руки, или должен хорошо знать только какую-то область?

Сразу скажу, что западный рынок очень сильно отличается. Думаю, это связано с тем, что у компаний нет таких жёстких условий экономить на всём деньги. Доходит вплоть до того, что есть специалисты в командах, которые занимаются только визуализацией данных. Человек умеет круто нарисовать дашборд в Tableau. И он при этом очень востребованный. В Америке, в Европе ты найдёшь работу со знанием только Tableau, но это всё равно тебя загоняет в рамке. Например, я в Amazon’e практически каждую неделю провожу собеседования, не важно, data engineer, BI-engineer. Там огромный список компетенций. Они хотят видеть, чтобы человек sql знал, моделирование, хотя оно ему даже и не нужно и в Amazon’e его не используют. В общем, если компания маленькая — то нужно быть специалистом на все руки, если большая — то, круто быть узким спецом, но это ограничивает твой поиск.

22:03 Чем занимается data engineer в Amazon’e?

Я хотел рассказать про data engineer’a, откуда это появилось. Потому что я всегда был BI-разработчиком. Как я говорил, когда я начинал работать там было всего 4 разновидности вакансий. И мне нравилось быть BI-разработчиком, потому что на вопрос, а это кстати полезный ответ на собеседовании, когда у тебя спрашивают: «почему ты любишь быть BI-разработчиком?», — ты легко отвечаешь: «А я между IT и бизнесом». Когда переехал в Канаду, работал здесь BI-разработчиком и искал только такую позицию, откликнулся в Amazon на эту вакансию, а когда меня взяли на работу, у меня титул был BI-разработчика, а роль в системе — дата инженер. Я внимания тогда не обратил, первые два года вообще не парился, кто такой дата инженер.

Потом я заметил тренд, что все хотят дата инженеров, и проекты, которые я делал. Первый проект был связан с миграцией в облако.Всё работало как часы, проблемы были классические, особенно для маркетинга. Они новый канал какой-то добавляют, запустили новую компанию. Как это теперь добавить в модель, атрибуции, в существующий отчёт? А никак. Поэтому нужно было ускорить разработку за счет облака. Я сделал проект и презентовал на внутренней конференции.

После этого ко мне много людей подошли, сообщили, что тоже хотят в облако мигрировать. Тогда я понял, что все хотят в облако мигрировать, это первое, а второе — дата-инженеры, которые соединяют системы-источники с хранилищем данных, не важно в облаке или нет, то есть дают бизнесу или аналитикам полезные данные — крутые специалисты.

В целом у для Data Engineer’s в Амазоне есть три типа заказчиков: bi-разработчики, software development engineer и команды machine learning .

Для первых — результат работы это дашборды в Табло. Здесь используется продуктовый подход, для каждого дашборда есть product-менеджер, который отвечает за фичи. Нужно добавить фильтр — это новая фича твоего продукта. Менеджер приходит и говорит: нужно добавить новую фичу. Для тебя, как для дата-инженера, это значит: найти данные. Может быть их трансформировать, построить пайплайн, загрузить их себе. Придумать, как их соединить с тем, что уже есть, всё это автоматизировать, проверить, и предоставить доступ для разработчика bi, чтобы он взял этот дашборд докрутил.

Другая популярная история — с командами разработчиков, software develompent engineers. Если они строят кастомный интерфейс (вместо табло делают свой фронтенд), то им нужны данные. Задача дата-инженера — приготовить им данные и автоматизировать, чтобы их приложение смотрело куда-то. Он может использовать какой-нибудь sql-engine, и тебе надо подготовить всё для этого. А потом приходит какой-нибудь менеджер и говорит, что пользователи захотели новую фичу. Например, искать по тексту. Или, сказали, что когда ищут по тексту, то слишком долго грузится. Значит надо сделать так, чтобы грузилось быстрее. Либо подобрать другой движок, либо другую технологию. Тебе, как дата-инженеру, надо отвечать на это всё. С разработчиками работать сложнее всего потому что у них свой подход на создание пайплайнов, хранилищ данных, если у них вообще термин такой есть: у них структуры данных, структуры хранения. С ними больше всегда конфронтаций: кто прав, кто виноват, как делать. Это не лично моё мнение, я говорил с другими дата-инженерами. Все говорят, что это тяжело. В Amazon’e сейчас все эти историю про работу с разработчиками-программистами идут в мой опыт. Так что когда меня будут спрашивать про сложные ситуации: «Опишите ситуацию, когда вы с кем-то поспорили или случилась сложная ситуация, как вы из неё выбрались?» Я сразу расскажу, что была команда разработчиков, мы с ними совсем не могли сработаться, но в итоге нашли общий язык. Они говорили про свои concern-ы, я слушаю их, мы пишем архитектурные документы, они их ревьюируют, оставляют комментарии, я отвечаю. Получается коллаборация. Это мегакейс, как мы работаем с программистами.

Последний кейс — это работа с data scientist и machine learning. С data scientist’ами работать лучше всего. Хуже всего с программистами, Когда мы работаем с data scientist, они в нас души не чают, потому что они фокусируются на проблемах. Берут dataset’ы, например, в питоне начинают что-то делать, чтобы посчитать модель. У них возникает проблема номер 1: на ноутбуке не хватает памяти чтобы взять большой dataset, им надо это масштабировать. Они не знают, как в облаке дать разрешение на доступ из другого аккаунта. Ты им помогаешь, и они нереально благодарны. Получается, задача дата-инженера когда он работает с data scientist’ом: убрать road blockers для ребят и помогать отправить модель в production. Таким образом, дата-инженер — это человек, который поможет data scientist’у решить все эти проблемы. Например, в моей новой команде нет других дата-инженеров, нет других разработчиков ПО, есть только data scientist’ы и product-менеджер. Таким образом, у меня теперь полная свобода действий.

43:34 Как у вас организован Data Governance?

В Amazon’e со скоростью, с которой мы двигаемся и с какой фичи сыпятся, — мы мало этим занимаемся. То есть главный concern — безопасность и качество данных, чтобы показатели были правильные и как ты собираешься проверять эти данные. Я считаю, что data governance это комплекс. Туда входит и безопасность, и качество, то есть ты про это переживаешь. Ещё один аспект — это data catalog. То есть у тебя есть модель данных, описание. В Amazon’e есть внутренние инструменты, где ты можешь хранить каталог данных. Но поему опыту, несмотря на то, что тебя часто спрашивают про модели данных, у тебя по факту не всегда хватает времени их сделать. Это не моя сильная сторона, теоретически и про необходимость я знаю, но это как бы trade off для меня. Либо скорость, либо надёжность.

47:05 Какие есть рекомендации для разработки модели данных?

Тут всё просто, я всю логику храню в базе данных. Я должен показывать в Tableau именно тот кусок, который будет удобно работать в Tableau. Если им не подходит длинная или широкая таблица, значит я такую таблицу не должен делать, иначе неразбериха потом будет. Мне будет лучше сделать несколько таблиц. Мы часто делаем в Tableau data blending, и ты можешь уже и разную гранулярность показывать на конкретном view, на конкретном дашборде можешь сджойнить и показать.

Я не фанат огромных таблиц. Они классные, когда у тебя row level data, когда ты в staging эти данные собираешь, пусть они будут любого размера, но когда ты будешь уже показывать метрики, то я постараюсь максимально разграничить. В таблице должны лежать метрики, аддитивные друг с другом. Иначе, если мы туда положим разные вещи, и будем думать, что бизнес-пользователь знает, как с этим работать, он обязательно сделает всё наоборот. Моя задача таким образом: максимально разложить на кусочки.

51:28 Экстракт или live

Про это я могу рассказать. Я же был Tableau администратором. Когда мы работаем с редшифтом, у него есть проблема concurrency — сколько одновременных запросов он может обрабатывать. Если у тебя много пользователей и ты им даёшь live-connection, получается, что каждое твое изменение фильтра dimension автоматически отправляет запрос в хранилище данных. Что не круто. Для меня в Tableau всё очень просто: если я могу создать экстракт — я создаю экстракт. Сам по себе экстракт становится кэшем, который позволяет нам работать с Tableau во фронтенде, чтобы не ждать запросы. Я всегда делаю экстракт, и ставлю на расписание.

Экстракт состоит из двух частей: сколько работает запрос, и может ли Tableau сервер его переварить. Если не может, значит надо уменьшать историю, увеличивать агрегаты. Если ничего не помогает, переключаюсь на live. Но live это история о трёх dimension’ах и двух показателях для огромного dataset’а. Потому что, например, у нас есть одна маленькая таблица, в ней миллиарды строк, парень пример показывал про 21 миллиард строк, и у него там несколько метрик в dimesion’ах. Когда он меняет фильтры, то Tableau за несколько секунд всё меняет. Я в книге писал главу big data для tableau, там очень простой подход: если у тебя big data, то Tableau делает рендеринг, отображает результат, а весь heavy lifting идёт в твой data engine, хранилище данных, hadoop, не важно что. Даже спорить не надо «нужно»/«не нужно», потому что мне кажется это best practices: экстракт для всего, только если работаете с огромными данными, то тогда live-connection.

57:49 Блиц

— Озеро или облако?
— Озеро.

— Редшифт или Вертика?
— Редшифт.

— Редшифт или Кликхаус? Ну вдруг, мало ли.
— Редшифт. Ну, если бы я был в России, я бы взял Кликхаус. Хотя я с ним не работал, но как я понял он для продвинутых дата-инженеров, надо брать Кликхаус, Аэрфло и Редаш. Или, если есть деньги, Табло. И всё это на Питоне сделать! Тогда ты такой модный образцовый хипстер.

— Виктория или Бостон?
— Виктория.

— «Сиквел» или «Эскьюэль»?
— «Сиквел».

Миро-дискуссию про стайлгайды

Sat, 08 Aug 2020 15:48:41 +0200

Андрей Демидов из ДатаЙоги пригласил пообщаться на счет стайлгайдов. Поговорили про то зачем нужны гайды, из каких частей они должны состоять и как лучше их внедрять в организации. А вот миро доска с ссылками и картинками. По-моему получилось очень интересно — Андрей задавал отличные вопросы и было весело! 🤘

Ещё договорились с Андреем сделать классную инициативу — общедоступный стайлгайд, который организации могли бы использовать как заготовку для развития собственного. Он будет реализован в рамках проекта ВизСтандАрт и будет состоять из наборов слайдов с описанием графиков и книгой-шаблоном в Табло. Его задача — дать пример как можно сделать, но не чтобы его использовали напрямую как стандарт.

Команда ДатаЙоги сейчас готовит слайды, а у меня есть первая пилотная версия книги-шаблона, которую можно скачать и посмотреть. Если вы готовы помочь или есть идеи, что стоит улучшить — пишите мне или Андрею.

Видеоподкаст с Николаем Валиотти

Mon, 06 Jul 2020 17:16:55 +0200

Записал подкаст с Николаем Валиотти — аналитиком и экспертом по работе с данными, автором канала Left Join и основателем компании Valiotti Analytics.

Было интересно по-общаться про построение полного цикла аналитики: от построения dwh до визуализации и поиска инсайтов. Поговорили про роль аналитики в компании, современные open source продукты на примере одного из проектов и обсудили будущее аналитики.

0:37 — Про карьерный путь
3:21 — Как пришёл в аналитику
8:05 — Что нравится в профессии
10:00 — Какие вызовы есть в профессиональной сфере
14:16 — Как выбрать: новые и модные технологии, или старые и надежные
19:05 — Пример проекта по построению полного цикла аналитики
30:51 — Как будет развиваться область BI
33:35 — Про Self-Service аналитику
38:33 — Про роль аналитика в компании
43:17 — Будущее аналитики
50:02 — Про построение хранилища данных и разработку dwh
55:25 — Блиц

Видеоподкаст с Андреем Демидовым

Wed, 24 Jun 2020 09:59:56 +0200

Записал подкаст с Андреем Демидовым — дата-йогом, предпринимателем и основателем datayoga.ru

Беседа получилась длинной — немного «обо всем», но при этом очень вдохновляющей и легкой. У Андрея, как у какого-то мага — за пазухой куча интересных проектов, активностей и очень классный взгляд на сообщество и бизнес в целом. Отдельно рекомендую последнюю работу — общение с пилотом про дизайн приборной панели самолёта.

0:37 — Про карьерный путь
9:35 — Как появилась идея сделать связь между духовными практиками и визуализацией данных
14:15 — Текущие проекты
30:10 — Какие вызовы есть в профессиональной сфере
32:20 — Визуализация для изучения иностранных языков
40:51 — Как будет развиваться область BI
48:27 — Self-Service vs Reporting
[58:55 — Нужны ли письменные описания и интерпретации результатов анализа на дашборде
1:06:53 — Сложные vs Простые визуализации, подходы к проектированию UX
1:15:04 — Жесткие стандарты или рекомендации и принципы
1:21:05 — Блиц

Видеоподкаст с Александром Варламовым

Tue, 09 Jun 2020 09:37:10 +0200

Записал подкаст с Александром Варламовым, автором блога Coul Blue Data и классного профиля в Табло Паблик.

Поговорили с Сашей про его карьерный путь, как он увлекся дата-артом, про развитие BI систем и подходов к их построению и навыки BI специалиста. Ещё Саша показал одну из последних работ и рассказал как она устроена под капотом.

0:43 — Карьерный путь и как пришёл в дата-арт
11:17 — Что нравится в работе
16:25 — Дженерализация vs Специализация в BI
22:08 — Self-service vs Dashboard factory
28:06 — Какие навыки нужны BI специалисту
31:19 — Пример работы Саши с разбором в Табло
50:29 — Зачем следит и где вдохновляется
53:30 — Зачем вести Паблик и заниматься дата-артом BI специалисту
55:47 — Блиц

Видеоподкаст с Александром Богачевым

Wed, 27 May 2020 09:53:01 +0200

Записал подкаст с Александром Богачевым. Саша — автор канала Чартомойка и книги «Графики, которые убеждают всех».

В этот раз получился большой рассказ про карьерный путь Саши и его работы, на фоне которого мы обсудили как измеряется эффективность медиа-проектов, как соблюсти баланс между сложностью и понятностью и почему в медицине не хватает визуализации данных. Рука не поднялась что-то вырезать, сорри за большой хронометраж.

Подборка проектов из подкаста — https://revealthedata.com/examples/digest/all/primery-rabot-aleksandra-bogacheva/

1:55 — Как попал в визуализацию данных
6:02 — Медицинская инфографика — про визуализацию в медицине
23:57 — РИА Новости — про метрики медийных проектов, выбор тем для проектов и упрощение визуализаций для медиа
1:00:51 — Спец проекты — про подходы к работе с проектом
1:15:05 — Чем занимается сейчас — чем вдохновляется
1:22:31 — Блиц

Видеоподкаст с Наташей Степановой

Tue, 19 May 2020 18:25:36 +0200

Провели видеоподкаст с Наташей Степановой — программисткой и автором канала Визуализируй это!

Поговорили про её карьерный путь, программирование визуализаций в вебе и отличие svg и canvas.

1:02 — Карьерный путь
5:39 — Примеры проектов
24:38 — Про визуализацию в вебе
29:20 — SVG vs Canvas
35:30 — Стек для проектов
42:08 — За чем следит и с чего начать изучать визуализацию в вебе
46:47 — Блиц

Видеоподкаст с Андреем Дорожным

Sat, 09 May 2020 07:45:29 +0200

Я запустил новый проект — видеоподкаст с участниками дата-виз сообщества: журналистами данных, BI аналитиками и визуализаторами. Хочется поближе всех нас познакомить и узнать как у кого устроены процессы и проекты. Мы сняли пилотный выпуск с Андреем Дорожным (спасибо ему большое за участие). Поговорили с ним про профессию, карьерный путь и примеры проектов.

Звук и видео не супер айс, буду с этим работать.

1:42 — Карьерный путь, что нравится и не нравится в профессии

12:08 — Примеры первых работ для газеты

14:16 — Какие сейчас проекты в работе

19:33 — Про инстаграм со смешными графиками

23:03 — Как построен процесс работы над проектами

31:11 — Про инструменты

36:57 — Про любимые проекты и работы

43:17 — Блиц

45:58 — Классный пример визуализации по COVID-19

Канал Андрея в телеграмме — https://t.me/data_publication
Видеоблог — https://www.youtube.com/channel/UCQ3cyKr_SnAb5Jsfwa3VCjw
Инстаграм со смешными графиками — https://www.instagram.com/dorozhnijchart/