[Job 26059] Senior Data Developer

AI overview

Lead the hands-on Data Governance core by developing reusable components, implementing pipelines, and ensuring high performance and observability in GCP.
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Sua missão será ser o pilar hands-on do core de Data Governance, materializando o blueprint em componentes reutilizáveis. Implementar pipelines, serviços e automações para metadata/lineage, Data Quality as Code, Policy-as-Code e Semantic Layer com observability e performance em GCP. Responsabilidades - Construir pipelines e conectores de metadata/lineage (batch/streaming) com versioning e end-to-end traceability. - Implementar frameworks de Data Quality as Code: testes, monitors, SLO/SLIs de datasets, alerting e auto-remediation. - Implementar Policy-as-Code e controles em GCP: classificação (Cloud DLP), masking/tokenization, enforcement (policy tags, IAM Conditions, row/column-level security). - Modelar e publicar Semantic Layer (Looker semantic model), criar data contracts e validators em CI/CD. - Desenvolver packages/templates reutilizáveis, documentação técnica e runbooks. - Integrar com plataformas e APIs corporativas, garantindo performance, reliability e cost-efficiency. - Instrumentar observability (logs, metrics, tracing) e atuar em incident response, fomentando continuous improvement. Stack (Google-first) - BigQuery, BigLake, Dataplex, Data Catalog. - Dataflow (Beam), Dataproc (Spark), Pub/Sub, Datastream; Composer (Airflow) para orchestration. - Python, PySpark, SQL; tests com PyTest/Great Expectations. - CI/CD com Cloud Build/Cloud Deploy, Git; IaC com Terraform. - Segurança: IAM/IAM Conditions, VPC-SC, KMS/CMEK, Secret Manager, Cloud DLP. - Observability: Cloud Logging, Cloud Monitoring, Error Reporting, Cloud Trace. Optional: OpenLineage, DataHub/OpenMetadata; Kafka quando necessário. Requisitos - 5+ anos em engenharia de dados com forte atuação em Python, SQL e PySpark. - Experiência prática em ETL/ELT batch e streaming na GCP (Dataflow/Beam, - Pub/Sub, Dataproc/Spark, Datastream) e orchestration com Composer (Airflow). - Data Quality/Observability (Great Expectations, Soda, Monte Carlo) e metadata/lineage (Data Catalog, DataHub/OpenMetadata, OpenLineage). - Policy-as-Code em GCP: Cloud DLP, policy tags, IAM/IAM Conditions; segurança e privacidade (LGPD). - Git, CI/CD (Cloud Build), IaC (Terraform); performance tuning e troubleshooting em BigQuery/Spark. - Boa comunicação e colaboração com times de produto, segurança e compliance. Diferenciais - Looker semantic model, dbt metrics; Kafka; CDC com Datastream. - GenAI para documentação/discovery/quality (Vertex AI). - Otimização de custo (slot management, storage lifecycle, partitioning/clustering) e performance tuning. MidSenior LI-RW1
Nossos benefícios:

- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença parental estendida;
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de Vida;
- Plataforma de aprendizagem contínua (CI&T University);
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
- Curso gestante e parentalidade responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.

Perks & Benefits Extracted with AI

  • Health Insurance: Plano de saúde e odontológico.
  • Learning Budget: Plataforma de aprendizagem contínua (CI&T University).
  • Plataforma para aprendizagem de idiomas: Plataforma para aprendizagem de idiomas.
  • Paid Parental Leave: Licença parental estendida.

CI&T is the digital technology agency empowering agile growth for the world's biggest companies by leveraging advanced technologies including Cloud, IoT, Big Data, Machine Learning/AI, Social, Mobility. For over 20 years, CI&T has been a trusted partne...

View all jobs
Get hired quicker

Be the first to apply. Receive an email whenever similar jobs are posted.

Ace your job interview

Understand the required skills and qualifications, anticipate the questions you may be asked, and study well-prepared answers using our sample responses.

Developer Q&A's
Report this job
Apply for this job