As perguntas nesta seção foram mostradas para desenvolvedores envolvidos em Análises de Dados, Engenharia de Dados, Machine Learning ou para aqueles cuja função era Analista de Dados/Engenheiro de Dados/Cientista de Dados. Esta pesquisa foi direcionada especificamente para desenvolvedores e, portanto, os resultados podem não representar o público mais amplo de big data.
Big Data
Editores de planilhas são as ferramentas mais utilizadas para análises e visualização de dados (46%).
A maioria dos desenvolvedores de big data não usa plataformas de análise de dados específicas (68%). A plataforma de análise de dados mais comum usada é o Google Colab (19%).
O Jupyter é a ferramenta de big data mais popular, usada por 32% dos desenvolvedores de big data. Outras ferramentas populares são o Apache Spark (20%) e o Apache Kafka (17%).
Os dados são hospedados principalmente em servidores internos (36%) ou localmente (26%). A AWS é usada para hospedagem de dados por 21% dos entrevistados, outros tipos de hospedagem são menos comuns.
Em setores não relacionados a TI, os engenheiros de dados são mais comumente empregados nos setores financeiros, enquanto os especialistas em machine learning trabalham com mais frequência nos setores de educação e ciências.
O Python é usado junto com o Apache Spark por 66%, o Java por 34% e o Scala por 11%.
10% usam o Apache Spark e o Apache Kafka. 9% usam o Apache Spark e o Apache Hadoop.
As três linguagens mais populares usadas junto com o Apache Kafka são o Python, o Java e o SQL.
O R é mais amplamente usado na Rússia (5%), enquanto o Python é mais amplamente usado na Ásia (59%).
O Python e o Java são mais comumente usados com o Google Cloud, o JavaScript e o PHP são mais comumente usados com a AWS e o C# é mais comumente usado com o Azure.
O Jupyter e o Apache Beam são mais comumente usados com o Google Cloud. O Apache Spark e o Apache Kafka são mais comumente usados entre os usuários da AWS.
Especialistas em machine learning usam mais comumente o Python, o C++ e o C e menos comumente usam o SQL e o PHP em comparação com desenvolvedores envolvidos em Análises de dados e Engenharia de dados.
O Python e o R são mais comumente usados por desenvolvedores envolvidos em educação e ciência.
O Jupyter é mais comumente usado nos setores de educação e ciência. O Apache Spark, o Apache Kafka, o Apache Hadoop e o Apache Hive são usados com mais frequência no setor bancário.
As maiores parcelas de usuários do Apache Spark estão na China, Índia, Coreia do Sul, Espanha e América Latina.
Obrigado pelo seu tempo!
Esperamos que você tenha achado nosso relatório útil. Compartilhe este relatório com seus amigos e colegas.
Participe de pesquisas futuras
Se tiver dúvidas ou sugestões, entre em contato conosco em surveys@jetbrains.com.