빅데이터

이 섹션의 질문은 데이터 분석, 데이터 엔지니어링, 머신러닝에 관련된 개발자 또는 직무가 데이터 분석가/데이터 엔지니어/데이터 과학자인 개발자에게만 표시되었습니다.

다음 중 어떤 일괄 처리 도구를 사용하시나요?

다음 중 어떤 스트리밍 처리 프레임워크/도구를 사용하시나요?

Spark 에코시스템은 계속해서 일괄 처리 및 스트리밍 처리에 가장 인기 있는 선택입니다.

다음 중 어떤 오케스트레이션 도구를 사용하시나요?

예상대로 Apache Airflow는 특히 데이터 엔지니어에게 가장 인기 있는 오케스트레이션 도구입니다. 흥미롭게도, 사용되는 오케스트레이션 도구의 9%는 사용자 지정 또는 직접 개발한 도구입니다.

다음 중 Spark 실행에 사용하시는 도구는 무엇인가요?

Kubernetes, YARN 및 Amazon EMR은 Spark 실행을 위해 가장 널리 사용되는 클라우드 솔루션입니다. Kubernetes는 해마다 인기가 높아지고 있는 반면, YARN 사용률은 전년 대비 8% 감소했습니다. 기업은 YARN과 같은 별도의 시스템을 사용하기보다 IT 환경의 다른 부분에 데이터 엔지니어링 도구를 포함하는 것을 선호하는 경향이 있습니다.

다음 중 데이터 레이크 구축에 사용하시는 도구는 무엇인가요?

다음 중 어떤 MPP 도구를 사용하시나요?

대다수의 응답자는 MPP 도구를 사용하지 않지만, 그렇게 하는 응답자들은 BigQuery, Redshift 또는 Azure SQL Data Warehouse를 사용하는 경향이 있습니다.

일반적으로 새 클러스터를 만드시나요? 아니면 항상 동일한 클러스터로 작업하시나요?

다음 중 데이터 엔지니어링 작업에 사용하는 엔진은 무엇인가요?

대다수(64%)는 데이터 엔지니어링 작업에 어떤 엔진도 사용하지 않는다고 보고했습니다. 엔진 사용자 중에는 BigQuery, Databricks, AWS Athena의 인기도가 동일하여 각각 10%의 점유율을 차지하며 Amazon EMR, Redshift, AWS Glue 및 Azure Analysis Services가 그 뒤를 바짝 쫓고 있습니다.