Корпоративные хранилища данных (КХД, Data Warehouse, DWH) стали неотъемлемой частью функционирования финтех-компаний, торговых и телекоммуникационных компаний, а в последнее время они также привлекли внимание производственных холдингов, которые активно внедряют IT-технологии. В связи с этим, запрос на DWH-разработчиков встречается все чаще.
Компетенции DWH-разработчика
В зависимости от особенности деятельности компании требования к вакансиям, связанным с созданием корпоративных хранилищ данных, могут иметь свои специфические моменты. Однако, есть ряд обязательных компетенций, которыми должны обладать кандидаты на эти позиции.
Достаточно часто возникает несоответствие уровня опыта кандидата и требований к работе. Например, в резюме указываются соответствующие технологии, но на интервью становится понятно, что человек только начинает их изучать. Поэтому при беседе с претендентом важно обсудить используемые методы работы и определить уровень их владения.
На что стоит обратить внимание при подборе кандидатов на позиции DWH-разработчиков:
Опыт работы с Oracle. Это главная система работы с БД, оптимизированная для обработки больших объемов информации, обеспечивающая высокую производительность системы (сбор данных и их анализ) и позволяющая быстро создавать новые КХД и витрины данных. Поэтому специалист по DWH должен уметь работать с Oracle.
Знание OLAP. Эта технология применяется при анализе больших объемов данных, позволяет быстро обрабатывать информацию и считается важным компонентом баз данных. Учитывая, что основной характеристикой КХД является скорость работы, знание технологий, обеспечивающих эту скорость, является неотъемлемой частью разработки эффективных КХД.
Отличное владение SQL, PL/SQL. SQL является стандартным языком БД, а PL/SQL интегрирован в него, поэтому без навыков работы с этими языками кандидат не сможет успешно работать с проектами DWH.
Умение работать с инструментами ETL (Informatica Power Center, IBM DataStage, Oracle Data Integrator, Oracle WareHouse Builder). Для управления данными в КХД, их обработки, преобразования и перемещения в хранилище, используются ETL-процессы. Поэтому без знания и применения различных инструментов для осуществления этих процессов сложно представить эффективную работу с DWH. Желательно, чтобы кандидат мог подтвердить свои знания и получить сертификат вендора для выбранного им инструмента ETL. Это будет гарантией его быстрой адаптации и вовлечения в работу.
Опыт построения Data Mart. Data Mart можно назвать хранилищем данных для одного отдела или подразделения, где собрана информация определенного типа, работающая под управлением одного приложения. Опыт работы с Data Mart является большим плюсом для кандидатов на вакансии, связанные с КХД.
Глубокие знания стека Hadoop (Apache Hadoop, Cloudera Manager, MapReduce, HDFS, Spark, Kafka, YARN). Эта технология Big Data обеспечивает работу систем с высокой нагрузкой и позволяет сохранять, сортировать и быстро обрабатывать огромные объемы информации. Поэтому специалист, знакомый c этими технологиями, сможет реализовывать проекты DWH любой сложности.
Разработка корпоративной БД с нуля. Это, как правило, дает кандидату большое преимущество, так как подразумевает глубокое понимание принципов создания и поддержки работы КХД. Соответственно, такой специалист быстро сможет внести изменения в существующую базу данных или самостоятельно создать новое хранилище.
Знание одного из языков программирования. Поскольку для реализации ETL-процессов необходимо использование программирования, знание языков программирования является неотъемлемой частью работы с DWH. Если специалисту предстоит поддерживать и модернизировать существующее корпоративное хранилище данных, то на этапе интервью следует определить его уровень владения тем языком программирования, который использовался ранее при разработке.
Высоким спросом пользуются DWH-специалисты с опытом работы в области Big Data: Hadoop, Oracle, Teradata, DB2, SQL. Даже опыт работы, например, от года, обеспечивает большую востребованность этих кандидатов.
Поэтому, чтобы закрыть вакансию разработчиков хранилищ данных в Москве, по факту нужно предложить Regular-специалисту — от 150 тысяч рублей, Senior — от 230 тысяч рублей, тимлиду — от 285 тысяч рублей в месяц до вычета налогов.
Востребованность кандидатов на вакансии DWH будет только усиливаться, а требования к ним будут усложняться. Так, если раньше основной задачей разработчиков хранилищ данных был выбор правильных фреймворков и построение системы, то теперь они сталкиваются с другими вызовами: необходимостью использовать данные в real-time режиме, плюс в условиях высоконагруженной системы.
