Big Data

Les questions de cette section ont été posées aux développeurs impliqués dans l'analyse de données, l'ingénierie de données, le machine learning, ou ayant comme rôle professionnel analyste de données, ingénieur de données ou data scientist. Cette enquête s'adressait spécifiquement aux développeurs. Les résultats peuvent donc ne pas être représentatifs des professionnels du secteur du big data dans leur ensemble.

Lequel de ces outils de traitement par lots utilisez-vous ?

Lequel de ces outils de traitement de streaming utilisez-vous ?

Les professionnels qui ne sont pas impliqués dans la création de pipelines de données utilisent des bases de données relationnelles traditionnelles pour créer des lacs de données. Spark reste l'outil le plus populaire pour le traitement par lots et le streaming.

Lequel de ces outils d'orchestration utilisez-vous ?

Comme on pouvait s'y attendre, Apache Airflow est l'outil d'orchestration le plus populaire, surtout parmi les ingénieurs de données. Il est intéressant de noter que 10 % des outils d'orchestration sont personnalisés ou autoconstruits.

Lequel de ces outils utilisez-vous pour l'exécution de Spark ?

Kubernetes, YARN et Amazon EMR sont les solutions cloud les plus populaires pour l'exécution de Spark.

Lequel de ces outils utilisez-vous pour créer des lacs de données ?

Lesquels de ces outils de MPP (traitement massivement parallèle) utilisez-vous ?

La grande majorité des personnes interrogées n'utilisent pas d'outils de traitement massivement parallèle (MPP). BigQuery, Redshift et Azure SQL Data Warehouse sont les outils les plus populaires.

Travaillez-vous avec des agents de messages ou des files d'attente de messages (par exemple Kafka ou RabbitMQ) ?

Lesquels de ces outils utilisez-vous pour la messagerie et la livraison ?

The Big Data Tools Plugin

Un plugin d'IDE pour travailler avec vos outils d'ingénierie de données préférés

Points clés

Mode de vie et loisirs

Données démographiques

Technologie embarquée

Microservices

Technologies diverses

Bien-être mental

Développement à distance

Outils pour les équipes

Rédaction technique

Tests

Merci du temps que vous nous avez accordé !

Nous espérons que vous avez trouvé ce rapport intéressant. N'hésitez pas à le partager avec vos amis et collègues.

Répondre à d'autres questionnaires à l'avenir

Données brutes

Les données brutes de notre Enquête sur l'Écosystème des Développeurs 2022 sont disponibles. Téléchargez-les pour les examiner et faire vos propres analyses !

Télécharger

Si vous avez des questions ou des suggestions, contactez-nous à surveys@jetbrains.com.