Big Data
Partager :
Les questions de cette section ont été posées aux développeurs ayant déclaré être impliqués dans l'analyse de données, l'ingénierie des données, le machine learning ou aux personnes occupant un poste d'analyste de données, d'ingénieur de données ou de data scientist.
Partager :
Comme on pouvait s'y attendre, Apache Airflow est l'outil d'orchestration le plus populaire, en particulier parmi les ingénieurs de données. Il est intéressant de noter que 9 % des outils d'orchestration utilisés sont personnalisés ou « faits maison ».
Kubernetes, YARN et Amazon EMR sont les solutions cloud les plus populaires pour l'exécution de Spark. Kubernetes gagne en popularité d'année en année, tandis que l'utilisation de YARN a diminué de 8 points de pourcentage d'une année sur l'autre. Les entreprises préfèrent généralement inclure des outils d'ingénierie de données dans d'autres parties du paysage informatique plutôt que d'utiliser des systèmes distincts comme YARN.
La majorité des répondants déclare ne pas utiliser d'outils de traitement massivement parallèle (MPP), mais ceux qui le font ont tendance à utiliser BigQuery, Redshift ou Azure SQL Data Warehouse.
Une large majorité des répondants (64 %) a déclaré n'utiliser aucun moteur pour leurs tâches d'ingénierie de données. Les trois moteurs les plus populaires sont BigQuery, Databricks et AWS Athena, chacun 10 % chacun. Amazon EMR, Redshift, AWS Glue et Azure Analysis Services suivent de près.
Kafka se démarque en tant que solution de messagerie et diffusion de données la plus populaire (58 %), suivie par RabbitMQ avec 46 %. Il est intéressant de noter que seulement 2 % des personnes interrogées ont déclaré n'utiliser aucun outil de ce type.
La plupart des personnes interrogées n'exécutent pas de tests dans leur base de code d'ingénierie. Parmi les 31 % qui le font, la majorité n'utilise aucun framework ou utilise Great Expectations.
Merci du temps que vous nous avez accordé !
Nous espérons que vous avez trouvé ce rapport intéressant. N'hésitez pas à le partager avec vos amis et collègues.
Rejoignez le JetBrains Tech Insights Lab
Participez à des enquêtes et à des études sur l'expérience utilisateur pour aider les produits JetBrains à gagner en facilité d'utilisation, mais aussi en puissance. En participant à nos études, vous aurez également la possibilité de gagner des récompenses.
Données brutes Bientôt disponibles
Nous sommes en train de préparer les données brutes. Vous pouvez laisser votre adresse e-mail pour recevoir une notification lorsqu'elles seront disponibles au téléchargement.
Si vous avez des questions ou des suggestions, contactez-nous à surveys@jetbrains.com.