방법론
공유하기:
이 보고서는 공개용이며 출처를 적절히 밝히기만 한다면 내용을 사용하실 수 있습니다.
데이터 정리 프로세스
응답자가 기본 프로그래밍 언어에 대한 질문에 답하기 전에 설문조사를 나가는 경우를 제외하고 일부만 답변한 응답을 사용했습니다. 또한 일련의 기준을 사용하여 의심스러운 응답을 식별하고 제외했습니다. 확인한 몇 가지 지표는 다음과 같습니다.
- 너무 빨리 작성된 설문조사.
- IP 주소가 동일한 설문조사 및 및 응답이 매우 유사한 설문조사. IP 주소가 동일한 설문조사 2개의 응답이 75% 이상 같은 경우 더 완전한 설문조사를 선택했습니다.
- 상충되는 답변이 있는 설문조사(예: '16년 이상의 전문 경력'과 '현재 연령은 18~20세'가 동시에 선택된 경우)
- 거의 모든 복수 답변 질문에서 하나의 옵션만 선택한 설문조사.
- 동일한 이메일 주소로 제출된 설문조사. 가장 완전한 설문조사를 선택했습니다.
답변에 대한 부담 완화
올해 설문조사는 527개의 질문으로 구성되었습니다. 목표는 설문조사에 최대한 많은 조사 주제를 포함하는 것이었지만, 적용된 논리에도 불구하고 설문조사가 여전히 너무 길다고 생각되었습니다.
설문조사 길이를 줄이고 답변에 대한 부담을 완화하기 위해 일부 질문을 무작위로 배정하는 조치를 취했습니다.
- 섹션 8개가 무작위로 배정되어, 각 응답자에게 2개의 섹션만 표시되었습니다.
- 지속적 통합, 이슈 트래킹 및 VCS
- DevOps 및 호스팅
- 정적 분석, 오픈 소스 등.
- 교육
- 크로스 플랫폼 및 마이크로서비스
- 커뮤니케이션 도구
- 보안
- 원격 및 공동 개발
- 참여 조건에 부합하는 응답자의 50%를 대상으로 Java, JavaScript, SQL, Python 및 GraphQL 등 가장 인기 있는 언어 관련 섹션을 무작위로 표시했습니다.
- 또한 논리나 종속 관계가 없는 질문은 무작위로 숨겼습니다.
설문조사를 완료하는 데 소요되는 시간을 단축하려는 조치에도 불구하고, 응답자의 평균 소요 시간은 30~40분 정도입니다. 여전히 너무 긴 시간이 소요되므로 내년 설문조사 시 경험 개선을 위한 방법을 모색하고 있습니다.
국가 및 지역
아르헨티나, 브라질, 캐나다, 중국, 프랑스, 독일, 인도, 일본, 멕시코, 한국, 스페인, 터키, 영국, 미국 등 14개국에서 충분히 큰 표본을 수집했습니다.
올해 벨라루스, 러시아, 우크라이나에서 응답을 수집하기 위해 유료 광고를 하지 않았습니다. 벨라루스에서 수집된 응답은 동유럽, 발칸 반도, 카프카스 지역의 응답과 통합했습니다.
나머지 국가는 다음 6개 지역에 걸쳐 분포되어 있습니다.
- 아프리카, 중동 및 중앙 아시아
- 동유럽, 발칸 반도 및 코카서스
- 북유럽 및 베네룩스 3국
- 기타 유럽 국가
- 동남아시아 및 오세아니아, 호주 및 뉴질랜드
- 중남미
각 지역(캐나다 및 일본 제외)에서 광고와 같은 외부 소스를 통해 300개 이상의 응답을 수집했습니다.
샘플링 편향 감소
이 보고서는 응답의 출처에 따라 가중치를 적용한 데이터를 기반으로 합니다. Twitter, Facebook, Instagram, Quora의 유료 광고 및 응답자 추천과 같이 JetBrains 사용자로 편중되지 않은 외부 출처에서 수집된 응답을 기본으로 사용했습니다. 가중치 적용 절차를 기초로 결과를 생성하기 위해 각 응답자의 출처를 개별적으로 고려했습니다.
당사는 전 세계 개발자 집단의 의견을 편향 없이 수렴하여 파악하기 위해 최대 3단계의 가중치 적용 과정을 거칩니다.
가중치 적용 첫 번째 단계: 각 지역의 전문 개발자 모집단 조정
첫 번째 단계에서는 여러 국가를 대상 국가로 선정하여 응답을 수집하고 국가별 전문 개발자 모집단의 추정치를 해당 데이터에 적용했습니다.
먼저, 20개 지역의 다양한 소셜 네트워크에 게시한 광고를 통해 전문 개발자 및 일하는 학생을 대상으로 한 설문조사 데이터와 여러 동료 추천을 통해 확보한 데이터를 수집했습니다. 올해에는 러시아와 우크라이나 지역의 데이터를 수집하지는 않았으나 보고서에는 두 국가를 포함하고 작년 데이터의 근사치를 사용하여 가중치를 적용했습니다. 러시아와 우크라이나에는 상당히 많은 개발자가 거주하므로 보고서에서 이 지역의 개발자를 제외하면 예상치 못한 결과가 발생할 수 있다고 판단했습니다.
다음으로 해당 22개 지역 개발자의 모집단 추정치에 따라 모든 응답에 가중치를 적용했습니다. 이러한 과정을 거쳐 응답 분포가 각 국가의 전문 개발자 수의 추정치에 부합하도록 만들었습니다.
가중치 적용 두 번째 단계: 현재 재직 중인 개발자와 미취업 개발자의 비율
두 번째 단계에서는 유일하게 적용할 수 있는 모집단 추정방법인 전년도의 방법론과 일관성을 유지하기 위하여 모든 국가의 학생과 무직인 응답자의 비율을 17%로 설정했습니다.
현재까지 지역 및 고용 상태에 따라 가중치를 적용한 외부 데이터 소스를 통해 14,330개의 응답을 구성하였습니다.
가중치 적용 세 번째 단계: 고용 상태, 프로그래밍 언어, JetBrains 제품 사용
세 번째 단계는 연립 방정식을 통해 얻은 계산이 포함된 더욱 정교한 과정이었습니다. 가중치가 적용된 14,330개의 응답을 사용하여, 각 지역 개발자의 고용 상태에 추가로 30개 이상의 프로그래밍 언어별 점유율, "현재 JetBrains 제품을 사용하고 있습니다" 및 "JetBrains나 해당 제품에 관해 들어본 적이 없습니다"라고 응답한 사람의 비율을 계산하여 연립 방정식의 상수로 사용했습니다.
다음 단계는 기타 출처에서 수집한 응답 그룹 2개를 추가하는 것이었습니다. 기타 출처는 JetBrains 소셜네트워크 계정, 연구 패널 등의 JetBrains 내부 커뮤니케이션 채널과 특정 프로그래밍 언어 사용자를 대상으로 한 소셜네트워크 광고 캠페인입니다. 여기에서 14,939개의 응답을 추가로 수집하였으며 이 비율을 동일하게 유지하기 위해 추가 응답에 가중치를 부여했습니다.
30개 이상의 선형 연립 방정식과 부등식 풀기
다음과 같이 기술된 30개 이상의 선형 연립 방정식 및 부등식을 구성했습니다:
- 응답자에 대한 가중 계수(예: 표본의 Fiona는 평균적으로 프랑스 소프트웨어 개발자 180명을 대표합니다).
- 해당 응답의 특정 값(예: Pierre는 C++를 사용하는 전일제 근무자로, JetBrains에 대해 들어본 적이 없음).
- 응답자의 필수 비율(예: 개발자 중 27%가 지난 12개월간 C++를 사용 등)
가중 계수의 최소 분산으로(아주 중요!) 이 연립 방정식을 해결하기 위해 Goldfarb 및 Idnani의 쌍대방법(1982, 1983)을 사용했습니다. 이는 총 29,269명의 응답자에 대한 최적의 개별 가중 계수를 맞추는 데 도움이 되었습니다.
여전히 존재하는 편차
이러한 조치에도 불구하고 JetBrains 사용자들은 평균적으로 더 적극적으로 이 설문조사에 참가하였기 때문에 일부 편향이 존재할 수 있습니다.
또한 커뮤니티 에코시스템도 발전하고 있으며, 단계적 가중치 적용과 여러 노력에도 불구하고 데이터 변동이 있을 수 있습니다. 예를 들어, 2021년 설문조사에 참여한 PHP 개발자(특히 Laravel)의 수가 대폭 증가했습니다. 그 이유는 개인 설문조사 공유 링크가 일부 PHP 커뮤니티에 게시되었고, Laravel의 Twitter 계정에서 블로그 게시물 링크가 트윗으로 게시되었기 때문입니다. 그 결과 PHP 및 Laravel 개발자가 과도하게 높은 비율로 설문조사에 참여했습니다. 이와 같이 급격하게 참여가 증가하는 경우에 대응할 수 있도록 알고리즘을 개선할 예정입니다.
앞으로도 가중치 적용 방법론을 지속적으로 업데이트하고 개선할 예정입니다. 2023년 DevEco 설문조사도 기대해 주세요!
나에게 적합한 도구를 찾아보세요
읽어주셔서 감사합니다!
이 보고서가 여러분에게 도움이 되었길 바랍니다. 이 보고서를 친구와 동료에게 공유하세요.
향후 설문조사에 참여해 주세요
질문이나 제안이 있으면 surveys@jetbrains.com으로 연락해 주세요.