Аналитика данных (Data Analysis) - это очень интересная и многогранная специализация, востребованная практически во всех сферах деятельности человека, от традиционных, как например ритейл, банковские услуги, промышленность, до инновационных стартапов в области финтех, крипто индустрии, медицины и здоровья.

Количество данных в распоряжении любой современной компании увеличивается темпами геометрической прогрессии. Например, получая информация о каждом действии пользователя при использовании приложения, обычный массив данных связанный с сеансом в приложении банка, фитнес-трекера или мобильной игры может включать в себя сотни записей. В компаниях с тысячами ежедневно активных пользователей объем сырых данных может исчисляться миллионами и десятками миллионов записей в день.

При этом увеличение объема данных позволяет улучшить качество аналитики, детализации поведения пользователей, выявить больше интересных закономерностей и обеспечить бизнес возможностью принимать более точные и верные решения.

Этим и занимаются Аналитики Данных, анализируя гигантские массивы информации различными инструментами, делая объективные выводы на основе математических и статистических законов.

Если Вы читаете данный обзор, скорее всего Вы начинающий специалист в области Аналитики Данных или Вам интересно попробовать себя в данном направлении. Мы попробуем ответить на один из наиболее важных на начальном этапе вопросов: На какие инструменты / технологии / программы обратить внимание в первую очередь?

Инструментарий Аналитика разнообразен и зависит не только от самой сферы но и специфики задач, компании или продукта. Однако для начала можно выделить самые ключевые навыки, встречающиеся как необходимые требования в большинстве вакансий вне зависимости от дополнительных факторов.

Статистика

Безусловно для комфортной работы в сфере связанной с аналитикой числовых данных с первых дней особо пригодится хотя бы начальный бэкграунд в областях математики и статистики.

Большим плюсом будет высшее или специальное образование с уклоном в такие дисциплины как минимум благодаря структурированной подаче материала и определенной практике. В случае самостоятельной подготовки рекомендуется начать с составления учебного плана.

Список тем и ресурсов зависит от уровня подготовки и целей учебы, но, в целом, для сферы аналитики характерно частое использование знаний в области:

• - Математики и математического анализа
• - Теории вероятности и комбинаторики
• - Статистики

Список тем в каждой из дисциплин также варьируется. Однако для начального уровня будет полезно узнать или повторить такие темы как Матрицы и действия с ними, Векторы, числовые Ряды, арифметические и геометрические Прогрессии, Математическое Ожидание и Дисперсия, Распределения чисел, Статистические Величины.

Такие знания могут быть полезными в повседневных задачах, а более углубленное изучение математических и статистических тем позволят заложить основы для дальнейшего развития в таких областях как Data Science и Machine Learning

Excel / Google Tables / SPSS

Программы ориентированные на взаимодействие электронных таблиц как правило являются первым требованием и инструментом для начинающего аналитика. На сегодняшний день наиболее распространенными корпоративными решениями является MS Excel и Google Таблицы.

На первым порах они покрывают большую часть необходимых задач в базовой аналитике позволяя работать с различными форматами данных, анализировать их статистическими методами, использовать широкий набор встроенных формул и функций, делать простые визуализации и систематизировать полученные результаты.

Из наиболее важных тем для изучения стоит выделить:

• - Создание сводных таблиц и работу с ними
• - Изучение формул для агрегации данных (СУММ, СРЗНАЧ, СУММЕСЛИ, СУММПРОИЗВ и тп)
• - Формулы условий (ЕСЛИ, ЕСЛИОШИБКА)
• - Формулы ссылок и массивов (ВПР, ИНДЕКС, ДВССЫЛ, СМЕЩ)
• - Создание линейных, столбчатых, круговых диаграмм
• - Удаление дубликатов и замену значений, фильтрацию данных
• - Для более продвинутых пользователей MS Excel будет интересен язык разработки Excel VBA для автоматизации процессов и создания макросов

Формулы и функции в обоих инструментах будут во многом схожими, однако желательно заранее выбирать наиболее предпочтительный вариант а также изучать англоязычные наименования (пример СУММ - SUM) для универсальности использования. При выборе MS Excel желательно убедиться в свежести и актуальности версии программы.

Программа SPSS от IBM является более специализированным и расширенным инструментом по сравнению с двумя рассмотренными ранее. Благодаря ряду преимуществ она часто используется для научных работ и исследований, особенно в области социальных проектов. Однако она не так распространена как классические решения, поэтому ее изучение зависит только от ваших планов и специфики деятельности компании.

SQL

Уже из расшифровки аббревиатуры SQL (Structured Query Language) заметно, что данный язык используется для описания структурированных запросов и управления данными в базах данных.

Как мы помним у любой компании есть множество данных, которые необходимо хранить и обрабатывать. База данных представляет собой упорядоченный набор структурированной информации, а SQL это язык написания команд для наиболее эффективного взаимодействиями с данными.

Данный язык является очень близким по звучанию и виду к оригинальному английскому, благодаря чему смысл простого запроса может быть понятен даже неподготовленному человеку. Рассмотрим пример

SELECT

MAX(house_price) AS max_house_price_ca_2010

FROM

houses_for_sale

WHERE

year_of_build = 2010

AND houses_state = ‘CA’

Благодаря четким названиям таблиц и колонок используемых для запроса мы практически сразу понимаем что цель - найти самую высокую цену среди имеющейся в нашем распоряжении базы домов на продажу. При этом нас интересуют только дома построенные в 2010 году и расположенный в штате калифорния (CA). 

Разумеется запросы могут быть и заметно сложнее, однако для начала необходимо разобраться как минимум в таких темах как:

• - Выбор данных (SELECT)
• - Фильтрация данных (WHERE)
• - Агрегация данных (GROUP BY) и агрегированные функции (MIN, MAX, SUM, AVG, STDEV и т.д.)
• - Сортировка (SORT), нахождение уникальных значений (DISTINCT) и лимит (LIMIT)
• - Объединение данных из различных таблиц или запросов (JOIN, UNION)

Названия функций и некоторые особенности синтаксиса SQL могут варьироваться в зависимости от выбранной системы управления базой данных (СУБД). Для учебных целей или начальных практик хорошо подойдут SQLite или MYSQL, однако выбор может зависеть от ваших установок или специфики работы компании.

Python Pandas / R

Работа с действительно большими объемами данных (миллионы записей) как правило сильно затруднена или просто невозможна используя только MS Excel или Google Таблицы.

Для аналитики массивов информации более сотен тысяч строк прекрасно подойдут языки программирования и специализированные библиотеки. Изучение программирования не является обязательным для начинающего аналитика, однако такое требование все чаще встречается в компаниях сферы IT, а развитие в данном направлении является хорошим заделом на будущее.

Изучение программирования в целях аналитики это отдельная и очень обширная тема. Хотелось бы отметить некоторые моменты важные для неподготовленного человека:

• - R и Python как правило встречаются во всех требованиях как возможные варианты владения одним из двух языков, что объясняется тем, что оба прекрасно подходят для данной цели и практически взаимозаменяемы в большей части задач, хоть и имеют разный синтаксис и специфику
• - Исходя их сказанного, не имеет особого смысла пытаться выучить оба языка одновременно, если с этим не связана определенная ваша цель
• - Язык программирования R изначально спроектирован для аналитики данных и Data Science, имеет свой уникальный синтаксис и библиотеки
• - Python является более универсальным решением, зная основы программирования на Python, вы можете не только пользоваться определенными библиотеками для аналитик данных, но и использовать все его возможности в других направлениях (например, для создания интернет-приложений или разработки программного обеспечения)
• - Если ваш выбор сделан в сторону Python, наиболее популярными библиотеками для аналитических задач являются Numpy и Pandas, желательно удостовериться что вы включили их в свое обучение

Если вы не уверены, стоит ли вам изучать языки программирования на начальном этапе или в выборе одного из них, можно изучить эту тему из многочисленных статей и обзоров. Даже изучения основ в разработке займет продолжительное время, поэтому очень важно выяснить ваши задачи и предпочтения перед тем как сделать выбор.

Визуализация

Мир визуализации данных огромен и разнообразен. Он включает в себя не только множество отдельных технических навыков, но и определенное творческое мышление и даже владение основами дизайна. Нередко встречаются профессионалы именно в Визуализации Данных.

Для базовых визуализации полученной информации (например, сделать график продаж или показать распределение клиентов по регионам в презентации) вполне достаточно встроенного функционала MS Excel и Google Таблиц.

Развитие в этом направлении предполагает навык создания интерактивных визуализаций, с которыми может взаимодействовать сторонний пользователь (например, руководитель компании). Данные в такого рода визуализации обновляются и обрабатываются автоматически для отображения наиболее точного текущего результата, а пользователь может выбирать из множества различных фильтров и настроек, получать заметно большее количество данных и отвечать сразу на множество вопросов.

Если вы интересуетесь данным направлением, то стоит учитывать некоторые базовые детали:

• - Число инструментов для визуализации превышает десятки (если не сотни) программ и платформ, они могут выбираться из-за заточенности под сферу или специфику данных
• - К одним из наиболее универсальных можно отнести Google Data Studio / Looker / Power BI / Tableau
• - Данные инструменты перечисляются в порядке увеличения сложности и соответственно встроенных возможностей
• - Любая их платформ для интерактивных визуализаций будет заметным шагом по сравнению с созданием классических графиков в MS Excel и Google Таблицах, однако изучение новых инструментов займет время и лучше заранее убедиться в такой необходимости
• - Большинство платформ для интерактивных визуализаций (включая перечисленные выше, кроме решения от Google), являются платными и в лучшем случае самостоятельно можно начать с бесплатной пробной лицензии
• Для визуализации также прекрасно подходят и специализированные библиотеки Python и R, некоторые из них способны создавать не только статичные, но и интерактивные работы. Однако сложность состоит в общем пользовании такими решениями с другими отделами и пользователями

Others (IT)

Если вы заранее нацелены на работу в компании сферы IT, стоит помнить, что есть целый набор универсальных навыков и инструментов, который необходим различным специалистам, а именно:

• - Хороший уровень владения иностранным языком (как правило Английский с желательным уровнем от Intermediate), используемым не только для изучения профильных материалов, но и ведения документации и общения с иностранными командами
• - Умение работать по “гибкой” методологии ведения проектов (Scrum, Agile), в чем вам точно понадобятся знания такие термины как таск, спринт, цикл, бэклог и умение работать в специализированном ПО (Jira или аналогичные программы)
• - Если вы используете языки программирования, то для использования общего кода с командой потребуются знания в основах систем управления версиями кода, таких как Gitlab или Github
• - Умение пользоваться корпоративной почтой и мессенджерами
• - Любая другая информация и навыки с учетом сферы и особенностей отдельно взятой компании

Подводя итоги, как с Вами мы выяснили, Аналитика Данных не только очень интересная и разнообразная, но также и ответственная специальность, требующая заметного упорства в подготовке и затрат сил и времени.

Список инструментов и технологий выглядит действительно большим, но вы можете начать с базовых знаний в инструментах которые вам необходимы в первую очередь. Все блоки данного обзора расположены в таком порядке, однако он может отличаться с теми приоритетами, которые важны именно в Вас. 

Всегда старайтесь сформировать свое мнение на основе сразу нескольких источников а также помните, что в любой учебе огромную роль играет своевременная и достаточная практика полученных знаний.

Путь в Аналитику выглядит непростым и тернистым, но, как говорится, дорогу осилит идущий. Успехов Вам в начинаниях!