방법론

이 보고서는 공개용이며 출처를 적절히 밝히기만 한다면 내용을 사용하실 수 있습니다.

응답자 수

2023년 개발자 에코시스템 설문조사 참여자는 35,000명 이상입니다. 가장 대표성 높은 표본을 확보하기 위해 아래 설명된 프로세스를 통해 데이터를 정리했습니다. 결과적으로 이 보고서는 남극에서 보고된 응답 한 개를 포함하여 196개 국가 및 지역의 개발자 26,348명의 응답을 기반으로 작성되었습니다. 이 섹션의 마지막 부분에 설명된 대로 여러 기준에 따라 데이터에 가중치를 적용했습니다.

데이터 정리 프로세스

최소한 프로그래밍 언어 사용에 관한 질문에 답변한 경우에만 불완전한 응답을 활용했습니다. 또한 의심스러운 응답을 식별하고 제외하기 위해 다음을 포함한 일련의 기준을 사용했습니다.

너무 빨리 작성된 설문조사.
IP 주소가 동일한 설문조사 및 및 응답이 매우 유사한 설문조사. IP 주소가 동일한 설문조사 2개의 응답이 75% 이상 같은 경우 더 완전한 설문조사를 선택했습니다.
상충되는 답변이 있는 설문조사(예: '16년 이상의 전문 경력'과 '현재 연령은 18~20세'가 동시에 선택된 경우)
거의 모든 복수 답변 질문에서 하나의 옵션만 선택한 설문조사.
동일한 이메일 주소로 제출된 설문조사. 가장 완전한 설문조사를 선택했습니다.

답변에 대한 부담 완화

올해 설문조사는 544개의 질문으로 구성되었습니다.

우리의 목표는 다양한 조사 영역을 다루는 것이었기 때문에 각 응답자는 이전 질문을 기반으로 특정 섹션에만 노출되고 다른 섹션에는 노출되지 않았습니다. 예를 들어, Go에 관한 질문은 Go를 사용하는 프로그래머에게만 표시되었습니다. 또한 각 응답자의 부담을 덜기 위해 질문과 섹션을 무작위로 분류했습니다.

평균적으로, 참가자들은 설문조사를 완료하는 데 30분을 투자했습니다. 설문조사 프로세스를 간소화하기 위해 노력하는 한편, 내년에는 참여 과정을 더욱 효율적으로 만들려고 합니다.

대상 설정

설문조사에 응할 잠재적인 응답자를 초대하기 위해 Twitter 광고, Facebook 광고, Instagram, Quora 및 JetBrains의 자체 커뮤니케이션 채널을 사용했습니다. 또한 사용자 그룹과 기술 커뮤니티 채널에 설문조사 링크를 게시했으며 응답자들에게 설문조사를 동료들과 공유하도록 요청했습니다.

국가 및 지역

아르헨티나, 브라질, 캐나다, 중국, 프랑스, 독일, 인도, 일본, 멕시코, 한국, 스페인, 튀르키예, 러시아, 우크라이나, 영국, 미국 등 16개국에서 충분히 큰 표본을 수집했습니다.

나머지 국가는 6개 지역에 분포되어 있습니다.

중동, 아프리카, 중앙아시아
동유럽, 발칸 반도 및 코카서스
베네룩스 및 북유럽
유럽 나머지 지역(사이프러스와 이스라엘 포함)
기타 동남아시아 및 오세아니아(호주 및 뉴질랜드 포함)
중남미(아르헨티나, 브라질, 멕시코 제외)

각 지역에서 광고나 응답자의 추천과 같은 외부 소스로부터 최소 300개의 응답을 수집했습니다.

현지화

보다 넓은 범위를 포괄하고 다양한 부류의 참가자를 수용하기 위해 설문조사는 총 10개 언어인 영어, 한국어, 중국어, 프랑스어, 독일어, 일본어, 브라질 포르투갈어, 러시아어, 스페인어, 튀르키예어로 제공되었습니다.

샘플링 편향 감소

응답의 출처에 따라 데이터에 가중치가 부여됩니다. Twitter, Facebook, Instagram, Quora의 유료 광고 및 응답자 추천과 같이 JetBrains 사용자에 덜 편중된 외부 출처에서 수집된 응답을 기본적으로 사용했습니다. 가중치 적용 절차를 기초로 결과를 생성하기 위해 각 응답자의 출처를 개별적으로 고려했습니다.

전 세계 개발자 집단의 의견을 편향 없이 수렴하여 파악하기 위해 최대 3단계의 가중치를 적용했습니다.

1단계: 각 지역의 전문 개발자 인구에 맞게 조정

첫 번째 단계에서는 여러 국가를 대상 국가로 선정하여 응답을 수집하고 국가별 전문 개발자 모집단의 추정치를 해당 데이터에 적용했습니다.

먼저, 22개 지역의 다양한 소셜 네트워크에 게시된 광고를 보고 온 전문 개발자와 직장인 학생들로부터 얻은 설문조사 데이터와 다양한 동료 추천을 통해 얻은 데이터를 취합했습니다. 우크라이나와 러시아에서는 광고를 하지 않았지만 2021년 데이터의 근사치에 적절한 가중치를 적용하여 이 두 국가를 보고서에 포함했습니다. 그런 다음 이러한 22개 지역의 전문 개발자 추정 인구에 따라 응답에 가중치를 부여했습니다. 이를 통해 응답 분포가 각 국가의 전문 개발자 인구 규모와 일치하도록 했습니다.

2단계: 현재 고용되어 있거나 고용되지 않은 개발자의 비율

두 번째 단계에서는 유일하게 적용할 수 있는 모집단 추정방법인 전년도의 방법론과 일관성을 유지하기 위하여 모든 국가의 학생과 무직인 응답자의 비율을 17%로 설정했습니다.

이 시점에서 지역 및 고용 상태에 따라 가중치를 적용한 외부 데이터 소스를 통해 응답을 구성하였습니다.

3단계: 고용 상태, 프로그래밍 언어, JetBrains 제품 사용 여부

세 번째 단계는 연립 방정식을 통해 얻은 계산이 포함되어 다소 복잡합니다. 가중치가 적용된 응답을 가져와, 각 지역 개발자에 대해 고용 상태를 비롯해 30개 이상의 프로그래밍 언어별 비율("현재 JetBrains 제품을 사용하고 있습니다" 및 "JetBrains나 해당 제품에 관해 들어본 적이 없습니다"라고 응답한 사람의 비율 포함)을 계산하여 연립 방정식의 계수로 사용했습니다.

다음 단계는 기타 출처인 JetBrains 소셜미디어 계정, 연구 패널과 같은 JetBrains 내부 커뮤니케이션 채널과 특정 프로그래밍 언어 사용자를 대상으로 한 소셜네트워크 광고 캠페인을 통한 1개의 응답 그룹을 추가하는 것이었습니다.