Analista Big Data – Nível Sênior

Requisitos

• Contratação como PJ ou CLT.
• Superior Completo em TI
• Conhecimentos em Linux: Nível usuário
• SQL para consultas avançadas em banco de dados
• Conceito NoSQL, Teorema de CAP
• Arquitetura Big Data
• Hadoop: Hadoop Common, HDFS, Yarn, Map reduce
• Sqoop: extração de dados de RDBMS e inserção no Hive, Hbase e HDFS
• Hbase: conceito de arquitetura do Hbase (NoSQL, Familia de colunas, etc), realização de consultas básicas
• Hive: consultas avançadas em HQL, External tables, SerDe XML e Json em external tables
• Flume: conhecimento em Flume utilizando Interceptores, tratamento de Small files.

Scala

• Conhecimento avançado em Linguagem Scala e Spark/ SparkStreaming
• Conexões Spark com Hive, Hbase, Kafka, Zookeeper e Hdfs) para extração ou ingestão de dados
• Conhecimento em extração de dados de arquivos, CSV, XML, JSON com Spark
• Conhecimento em extração de dados de RDBMS com Spark
• Transformação de dados para criação de relatórios sumarizados
• Tunning em Scala e Spark usando cache/ persist e parâmetros de consumo do cluster com spark