Methodik

Mehr als 34.000 Personen nahmen an der Entwickler-Ökosystem-Umfrage 2020 teil. Dieser Bericht basiert auf den Antworten von 19.696 Entwicklern aus 18 Ländern, gewichtet nach verschiedenen, in den nachfolgenden Absätzen beschriebenen Kriterien. Jedes Diagramm im Bericht basiert auf den Daten von mindestens 300 Antworten zu jedem einzelnen Punkt.

Um die Umfrage zu verkürzen und den Beantwortungsaufwand zu verringern, wurden den Befragten einige Abschnitte nach dem Zufallsprinzip angezeigt. Es gab sechs randomisierte Abschnitte, und von diesen wurden jedem Befragten nur zwei angezeigt:

1. Continuous Integration, Issue-Tracking und VCS
2. Testen
3. DevOps und Hosting
4. Statische Analyse, Open Source usw.
5. Weiterbildung
6. Plattformunabhängigkeit und Microservices

Wenn ein Befragter beispielsweise Tester/Qualitätskontrolleur oder DevOps-Engineer/Infrastrukturentwickler als Arbeitsbereich angab, wurde ihm der Abschnitt zu seinem jeweiligen Arbeitsbereich sowie ein weiterer zufällig ausgewählter Abschnitt vorgelegt.

Um potenzielle Teilnehmer zum Ausfüllen der Umfrage einzuladen, verwendeten wir Twitter-Ads, Facebook-Ads, Instagram, Quora, Vkontakte, Codefund, Baidu und JetBrains-eigene Kommunikationskanäle.

Bei unseren Werbekampagnen haben wir zwei große Targeting-Wellen eingesetzt. Mit der ersten Welle sprachen wir einzelne Länder an. Die zweite Welle zielte auf seltene Programmiersprachen ab, um die Varianz in den entsprechenden sprachspezifischen Abschnitten zu reduzieren. Das Targeting umfasste Ruby, Scala, Rust, Swift und Objective-C. Wir baten unsere Befragten auch, den Link zur Umfrage im Kollegenkreis zu teilen.

Um Verzerrungen zu minimieren, basiert der Bericht auf gewichteten Daten in Bezug auf die Teilnehmer, die über Twitter-Ads, Facebook-Ads, Instagram-, Quora-, Vkontakte-, Codefund- und Baidu-Ads und Teilnehmerempfehlungen rekrutiert wurden.

Bei der Berechnung der Ergebnisse gemäß den Gewichtungsverfahren haben wir die Quelle jedes einzelnen Befragten berücksichtigt. Wir haben drei Gewichtungsphasen durchgeführt, um ein möglichst unverzerrtes Bild der weltweiten Entwicklerpopulation zu erhalten.

Erste Gewichtungsstufe: Populationen professioneller Entwickler/innen in 18 Ländern

In der ersten Phase erfassten wir die Antworten, die durch das Länder-Targeting gesammelt wurden. Auf diese Daten wendeten wir unsere Schätzungen zur Anzahl der Berufsentwickler in den einzelnen Ländern an.

Am Anfang standen die Umfragedaten von Berufsentwicklern und berufstätigen Studenten, die über Werbeanzeigen in sozialen Netzwerken in den 18 Zielländern gefunden wurden, sowie die Daten von Befragten, die über verschiedentliche Weiterempfehlungen zur Umfrage kamen. Diese Daten wurden dann entsprechend der geschätzten Entwicklerpopulation in den 18 Ländern gewichtet. Dadurch wurde sichergestellt, dass die Verteilung der Antwortbögen der geschätzten Anzahl der Berufsentwickler in den einzelnen Ländern entsprach.

Zweite Gewichtungsstufe: die Anteile der derzeit beschäftigten und erwerbslosen Entwickler/innen

In der zweiten Phase haben wir den Anteil der Studierenden und Erwerbslosen (die uns durch dieselben externen Werbekampagnen gefunden hatten) in jedem Land auf 17% normiert. Diese Vorgehensweise entspricht der Methodik des Vorjahres, da dies die einzige verfügbare Schätzung des entsprechenden Bevölkerungsanteils ist.

Dadurch hatten wir 10.116 Antworten aus externen Quellen, gewichtet nach Land und Erwerbsstatus.

Dritte Gewichtungsstufe: Haupterwerbsstatus, Programmiersprachen, Verwendung der JetBrains-Produkte

Die dritte Phase war relativ komplex und basierte auf dem Lösen von Gleichungssystemen. Die Ausgangsdaten waren die 10.116 gewichteten Antworten. Für die Entwickler in jedem Land berechneten wir neben ihrem Erwerbsstatus die Anteile für jede der über 30 Programmiersprachen sowie die Anteile der Antworten „Ich verwende aktuell JetBrains-Produkte“ und „Ich habe noch nie von JetBrains oder den Produkten des Unternehmens gehört“. Diese Anteile übernahmen wir als Konstanten in unsere Gleichungen.

Der nächste Schritt bestand darin, zwei weitere Gruppen von Antwortbögen aus anderen Quellen hinzuzufügen: JetBrains-eigene Kommunikationskanäle, zum Beispiel unsere Accounts in sozialen Netzwerken und unser Marktforschungspanel, sowie Werbekampagnen in sozialen Netzwerken, die sich an die Nutzer bestimmter Programmiersprachen richteten. Auf diesem Wege erhielten wir 9580 weitere Antwortbögen, die wir so gewichteten, dass all diese Anteile gleich blieben.

Lösung des Systems von mehr als 30 linearen Gleichungen und Ungleichungen

Wir haben ein System von mehr als 30 linearen Gleichungen und Ungleichungen zusammengestellt, um Folgendes zu beschreiben:

• Die Gewichtungskoeffizienten der Befragten (zum Beispiel repräsentiert Pierre aus unserer Stichprobe durchschnittlich 180 Softwareentwickler aus Frankreich).
• Die konkreten Antworten (Pierre nutzt C++, arbeitet in Vollzeit und hat noch nie von JetBrains gehört).
• Die erforderlichen Relationen zwischen ihren Antworten (z. B. 27% der Entwickler haben in den letzten 12 Monaten C++ verwendet, usw.).

Um dieses Gleichungssystem mit einer minimalen Varianz der Gewichtungskoeffizienten (dies ist wichtig!) zu lösen, verwendeten wir die duale Methode von Goldfarb und Idnani (1982, 1983), mit deren Hilfe wir optimale individuelle Gewichtungskoeffizienten für die Befragten ermitteln konnten.

Trotz dieser Maßnahmen ist mit gewissen verbleibenden Verzerrungen zu rechnen, da JetBrains-Anwender im Durchschnitt eher bereit sein dürften, die Umfrage zu beantworten.

Auch unser Community-Ökosystem entwickelt sich weiter, und so kann es trotz unserer Gewichtungsbemühungen zu Datenschwankungen kommen. So ist zum Beispiel der Anteil der Kotlin-Nutzer, die ihre Anwendungen für die JVM kompilieren, aufgrund des Kotlin/JVM-Bias in unseren Quellen angestiegen, obwohl sich der allgemeine Anteil der Sprache Kotlin nicht geändert hat.

Wir werden unsere Gewichtungsmethodik auch in Zukunft weiter aktualisieren und verfeinern. Freuen Sie sich also auf DevEco 2021!