Science des données

La majorité des professionnels de la science des données préfèrent utiliser des graphiques éprouvés explorer et présenter les données. Ces types de graphiques sont largement utilisés pour des tâches telles que la collecte, l'analyse exploratoire et l'orchestration des données, ainsi que pour les opérations de ML.

Près de la moitié des équipes et départements disposent d'un ingénieur de données ou d'un ingénieur en machine learning dédié.

Les fonctions spécialisées de data scientist, ingénieur de données et ingénieur en machine learning sont relativement récentes sur le marché du travail. De nombreux répondants ont eu accès à ces types de fonctions indirectement, après avoir travaillé dans des domaines connexes, et on dû acquérir de nouvelles compétences par un apprentissage autonome ou en suivant des cours en ligne.

Plusieurs implémentations de notebooks Jupyter sont très populaires en science des données, principalement pour l'analyse exploratoire de données, l'interrogation et l'expérimentation de données, ainsi que pour le prototypage de modèles. Environ 40 % des professionnels de la science des données utilisent des notebooks Jupyter pour présenter les résultats de leur travail, mais beaucoup d'entre eux (près de 50 %) ne passe que 10 à 20 % de leur temps à travailler avec des notebooks Jupyter.

La plupart des data scientists interrogés traitent des données issues d’une collecte sur mesure. Les types de données les plus répandus sont les données transactionnelles, les données de séries chronologiques, les images et les données générées par machine. Il est intéressant de noter que 30 % d’entre eux travaillent avec des données synthétiques (des données fabriquées artificiellement, plutôt que générées par des événements concrets).

Environ 40 % de l'ensemble des répondants entraînent des modèles de machine learning ou de deep learning. Mais ce chiffre dépasse les 60 % parmi les personnes dont le travail avec les données est l'activité principale. Cette tendance suggère que la modélisation prédictive est en train de devenir l'aspect central du travail avec les données.

La moitié des spécialistes de la science des données déclarent ré-entraîner ou actualiser leurs modèles de machine learning au moins une fois par mois, mais la plupart d'entre eux disent consacrer moins de 20 heures par mois à cette tâche.

La majorité des spécialistes de la science des données (81 %) disent utiliser des processeurs graphiques (GPU) pour l'entraînement de modèles. Une utilisation efficace des processeurs graphiques peut accélérer l'entraînement et ainsi améliorer les performances du modèle, ce qui explique que ce soit une ressource de plus en plus attractive pour les chercheurs et les spécialistes des données. Ce résultat montre également l'importance et la pertinence des innovations technologiques dans le domaine du machine learning.

Les algorithmes fondamentaux du machine learning, comme les méthodes de régression et les méthodes arborescentes, continuent de prévaloir, mais un grand nombre de professionnels de la science des données utilisent également les réseaux neuronaux. La popularité croissante et la facilité d'utilisation des réseaux transformers peuvent expliquer pourquoi 30 % des répondant sont impliques dans des travaux de traitement du langage naturel. Il est intéressant de noter que seuls 24 % des participants ont déclaré utiliser des tests statistiques dans leur travail, ce qui indique que le machine learning et le deep learning devancent maintenant les statistiques classiques en tant que compétences fondamentales en matière de données.

TensorFlow devance légèrement Scikit-learn et PyTorch en termes de popularité. Keras et XGBoost affichent également de solides taux d'adoption. Il est intéressant de constater qu'une proportion notable de répondants (19 %) a déclaré ne pas utiliser de framework spécifique.

TensorBoard est l'outil le plus utilisé, avec une part de 23 %, suivi de MLFlow avec 10 % et de WandB avec 7 %. Toutefois, deux tiers des professionnels de la science des données disent n'utiliser aucun outil spécifique pour suivre leurs expériences d'entraînement de modèles.

Le machine learning et l'IA occupent maintenant une place cruciale dans la vie quotidienne des entreprises, il n'est donc pas surprenant que près de la moitié des répondants déclarent utiliser plusieurs fonctionnalités basées sur l'IA intégrées aux logiciels qu'elles utilisent.

La qualité des données est une question importante pour les professionnels et les organisations qui travaillent avec des données et près de la moitié des répondants déclarent consacrer au moins 30 % de leur temps à la préparation des données. Une enquête réalisée par Anaconda confirme que le nettoyage des données est l'un des aspects le plus chronophages du workflow des spécialistes des données. Près de la moitié des participants à notre enquête disent utiliser des environnements de développement intégrés (IDE) pour gérer ce type de tâches.