Science des données

Un nombre assez important de personnes combinent des responsabilités en matière de science des données avec d'autres activités. Ces résultats montrent une certaine démocratisation de ce domaine et un potentiel de croissance du marché.

Les postes de spécialistes des données, tels que data scientist, ingénieur de données et ingénieur en machine learning, sont relativement nouveaux. Un grand nombre de répondants ont opéré une transition vers ce type de postes après avoir travaillé ou s'être formés dans des domaines connexes et ont donc eu besoin de se perfectionner en suivant des formations ou des cours en ligne par la suite. Alors que les diplômes de troisième cycle dans les STEM étaient traditionnellement la voie royale pour travailler dans la science des données ou le machine learning, la tendance a évolué au cours des sept dernières années et le nombre de personnes ayant eu accès un poste dans l'un de ces domaines avec un diplôme de premier cycle spécialisés dans les données est passé de 20 % en 2015 à 31 % en 2021.

Les notebooks Jupyter sont cités comme éditeur préféré pour les travaux de science et d'analyse des données, avec nviron 40 % des répondants indiquant les utiliser pour ces activités. Ce résultat est encore plus élevé parmi ceux qui ont déclaré faire de la collecte et de la visualisation de données, de l'analyse exploratoire de données ou de la modélisation de machine learning, 70 % d'entre eux déclarant utiliser des notebooks Jupyter.

Outre les fichiers locaux, les bases de données SQL restent les sources de données les plus utilisées par les spécialistes des données.

Les algorithmes essentiels du machine learning, tels que les méthodes de régression et d'arborescences, continuent à être largement utilisés. Toutefois, la majorité des répondants utilisent également les réseaux neuronaux, en particulier les architectures de transformers. La simplicité d'utilisation et la popularité croissante des réseaux de transformers peuvent également expliquer pourquoi plus d'un quart des répondants ont déclaré travailler sur le traitement du langage naturel (NLP). Seulement un cinquième des répondants a déclaré utiliser des tests statistiques dans le cadre de son travail, ce qui suggère que le machine learning et le deep learning ont supplanté les statistiques classiques en tant que compétence fondamentale dans le domaine des données.

TensorFlow est le framework de deep learning le plus populaire parmi l'ensemble des repondants, mais il arrive à égalité avec PyTorch parmi les personnes dont le travail sur les données est l'activité principale. Scikit-learn est la bibliothèque de machine learning la plus populaire, bien que des paquets et des frameworks spécialisés dans la modélisation par arborescence tels que XGBoost et LightGBM soient utilisés par une minorité notable de répondants.

Les services Amazon sont les solutions de cloud computing les plus populaires auprès des entreprises.

La majorité des personnes interrogées (70 %) travaillent en petits groupes de 10 personnes maximum. Une personne sur cinq travaille dans une équipe de plus de 15 spécialistes des données.

Près de 50 % des équipes ou départements ont un ingénieur de données.

La plupart des répondants ont indiqué utiliser des GPU pour entraîner leurs modèles de machine learning ou de deep learning. Les besoins en VRAM diffèrent selon la manière dont elles travaillent sur les données : 40 % des personnes qui le font dans le cadre de leurs loisirs ou à des fins d'enseignement ont indiqué que 8 Go suffisent, contre seulement 18 % de celles dont c'est l'activité professionnelle principale.

La plupart des répondants ont indiqué passer jusqu'à 20 heures par semaine à entraîner des modèles. A noter que le temps de formation du modèle pendant la nuit peut également être inclus dans ce nombre. Près d'un tiers d'entre eux passe 5 heures par semaine ou moins à entraîner des modèles. Comme celle de l'année dernière, ces résultatsponses montrent que l'entraînement de modèles ne représente qu'une petite partie du travail dans la science des données, la majorité du temps étant consacrée à la préparation et à l'exploration des données.

Les réponses à d'autres questions de notre enquête montrent que les principales activités effectuées dans les notebooks sont l'exploration et la visualisation des données, et que la majorité des répondants travaillent avec des fichiers locaux. Il est donc cohérent que la majorité des répondants indiquent également utiliser des ressources locales. Étonnamment, cela ne diffère pas beaucoup en fonction de la façon dont ils travaillent avec les données. Les personnes dont le travail sur les données est l'activité principale sont aussi enclines à utiliser des ressources locales que celles qui pratiquent la science des données dans le cadre de leurs loisirs ou d'une formation.

La majorité des répondants déclare ne pas utiliser d'outils pour suivre les performances de leurs expériences d'entraînement de modèles. L'utilisation de tels outils est beaucoup plus courante dans les environnements specialisés dans le développement de modèles de machine learning, comme les équipes d'esperts en données de 15 personnes ou plus (58 % des membres de ces équipes ayant répondu en utilisent au moins un), lorsque l'équipe dispose d'un ingénieur spécialisé dans le machine learning (62 %) ou lorsque la personne est impliquée dans la modélisation de machine learning et les ML Ops (63 %).

La majorité des spécialistes des données utilisent des graphiques simples mais significatifs pour explorer et présenter les données. C'est le cas pour la majorité des personnes interrogées, quel que soit le type d'activités, de la collecte de données à l'analyse exploratoire des données, en passant par l'orchestration des données et les ML Ops.