Big Data

As perguntas nesta seção foram mostradas para desenvolvedores envolvidos em Análises de Dados, Engenharia de Dados, Machine Learning ou para aqueles cuja função era Analista de Dados/Engenheiro de Dados/Cientista de Dados. Esta pesquisa foi direcionada especificamente para desenvolvedores e, portanto, os resultados podem não representar o público mais amplo de big data.

Quais destas ferramentas de processamento em lote você utiliza?

Quais destas ferramentas de processamento de streaming você utiliza?

Profissionais que não estão envolvidos na criação de pipelines de dados usam bancos de dados relacionais tradicionais para criar data lakes. O Spark continua a ser a ferramenta mais popular para processamento em lotes e streaming.

Quais dessas ferramentas de orquestração você utiliza?

Previsivelmente, o Apache Airflow é a ferramenta de orquestração mais popular, especialmente entre os engenheiros de dados. Curiosamente, 10% das ferramentas de orquestração são personalizadas ou autoconstruídas.

Quais destas ferramentas você utiliza para execução no Spark?

O Kubernetes, o YARN e o Amazon EMR são as soluções de nuvem mais populares para a execução do Spark.

Quais destas ferramentas você utiliza para construir data lakes?

Quais destas ferramentas de MPP você utiliza?

A grande maioria dos entrevistados não utiliza ferramentas de MPP. BigQuery, Redshift e Azure SQL Data Warehouse são os instrumentos mais populares.

Você trabalha com sistemas de mensageria ou de filas de mensagens (por exemplo, Kafka, RabbitMQ)?

Quais destas ferramentas você utiliza para mensageria e entrega?

The Big Data Tools Plugin

Um plug-in para o IDE que permite trabalhar com as suas ferramentas de engenharia de dados favoritas

Anterior

Swift e Objective-C

Próximo

Bancos de dados

Big Data:

2022

Obrigado pelo seu tempo!

Esperamos que você tenha achado nosso relatório útil. Compartilhe este relatório com seus amigos e colegas.

Participe de pesquisas futuras

Dados brutos

Os dados brutos da nossa pesquisa DevEco 2022 já estão disponíveis. Baixe, explore e faça suas próprias análises!

Se tiver dúvidas ou sugestões, entre em contato conosco em surveys@jetbrains.com.