На вопросы из этого раздела отвечали разработчики, работающие в области анализа и инжиниринга данных, а также машинного обучения, либо те, кто занимает должность инженера данных или специалиста по анализу данных и Data Science. Этот опрос рассчитан конкретно на разработчиков, поэтому результаты могут быть нерепрезентативными для более широкой аудитории в сфере больших данных.
Большие данные
Чаще всего для анализа и визуализации данных используются редакторы электронных таблиц (46%).
Большинство разработчиков, работающих с большими данными, не используют платформы анализа данных (68%). Самая распространенная из таких платформ — Google Colab (19%).
Jupyter — самый популярный инструмент для работы с большими данными: его используют 32% разработчиков в этой сфере. Другие популярные инструменты — Apache Spark (20%) и Apache Kafka (17%).
Данные в основном размещаются на внутренних серверах (36%) или локально (26%). 21% респондентов используют для размещения данных AWS, другие варианты встречаются гораздо реже.
За пределами ИТ-отрасли инженеры данных чаще работают в финансовой сфере, а специалисты по машинному обучению — в образовании и науке.
66% респондентов используют вместе с Apache Spark язык Python, 34% — Java, а 11% — Scala.
10% используют Apache Spark и Apache Kafka. 9% используют Apache Spark и Apache Hadoop.
Вместе с Apache Kafka чаще всего используются Python, Java и SQL.
R шире используется в России (5%), Python — в Азии (59%).
С Google Cloud чаще используются Python и Java, с AWS — JavaScript и PHP, а с Azure — C#.
С Google Cloud чаще используются Jupyter и Apache Beam. Пользователи AWS предпочитают Apache Spark и Apache Kafka.
По сравнению с разработчиками, занятыми анализом и инжинирингом данных, специалисты по машинному обучению чаще используют Python, C++ и C, реже — SQL и PHP.
Разработчики, работающие в сфере образования и науки, чаще используют Python и R.
В образовании и науке чаще используют Jupyter, в банковской сфере предпочитают Apache Spark, Apache Kafka, Apache Hadoop и Apache Hive.
Самые большие доли пользователей Apache Spark — в Китае, Индии, Южной Корее, Испании и Латинской Америке.
Спасибо, что уделили время!
Если результаты исследования показались вам интересными, поделитесь ими с друзьями и коллегами.
Примите участие в будущих опросах
Если у вас есть вопросы или пожелания, свяжитесь с нами по адресу surveys@jetbrains.com.