AWS Data Engineer (DataBricks+DataLake)

Opis

Poszukiwany jest AWS Data Engineer do projektu obejmującego Databricks i Data Lake na AWS. Projekt realizowany jest dla międzynarodowej korporacji z siedzibą w Kanadzie/USA; wymagana jest płynna znajomość języka polskiego.

Warunki

• Dostępność: od zaraz lub maksymalnie w ciągu 2 tygodni.
• Dyspozycyjność do godziny 17:00.

Wymagania

• Minimum 4 lata doświadczenia w data engineering.
• Minimum 2 lata praktycznego doświadczenia z Databricks.
• Minimum 2 lata praktycznego doświadczenia z AWS.
• Doświadczenie w co najmniej jednej dużej migracji danych lub platformy.

Data Engineering i Databricks

• Bardzo dobra znajomość Spark i PySpark.
• Praktyczna znajomość Delta Lake: ACID, partycjonowanie, Z-Ordering, optimize i vacuum.
• Budowanie pipeline’ów batch i near real-time.
• Znajomość Databricks Workflows, Jobs i Unity Catalog.
• Pisanie wydajnych transformacji oraz debugowanie problemów wydajnościowych.

AWS i architektura Data Lake

• Mocna znajomość S3 jako warstwy storage.
• Praktyka z IAM, KMS, VPC, PrivateLink i Secrets Manager.
• Integracja z usługami Lambda, SNS/SQS i Glue, jeśli są używane.
• Projektowanie środowisk dev/test/prod oraz separacja kont i uprawnień.
• Optymalizacja kosztów i wydajności w chmurze: tagging, monitoring i optymalizacja.

SQL i migracje baz danych

• Bardzo dobra znajomość SQL; preferowane doświadczenie z SQL Server i PostgreSQL.
• Umiejętność konwersji logiki T-SQL do podejścia zgodnego z Databricks/PostgreSQL.
• Doświadczenie w migracji schematów, procedur, funkcji oraz walidacji danych.
• Reconciliation po migracji: kontrole jakości, zgodność rekordów i raportowanie różnic.

Data Governance, Security, Compliance

• Projektowanie modelu uprawnień na poziomie katalogu, schemy, tabeli i kolumny.
• Praktyka z data lineage, audytem i politykami dostępu.
• Rozumienie wymagań compliance oraz zasady least privilege.
• Praca z danymi wrażliwymi: maskowanie, tokenizacja i kontrola dostępu.

DevOps i jakość

• CI/CD dla pipeline’ów danych i infrastruktury.
• Infrastructure as Code, preferowany Terraform.
• Testy danych: unit, integration i data quality checks.
• Monitoring i alerting: SLA/SLO pipeline’ów, obsługa incydentów i runbooki.

Kompetencje projektowe i komunikacyjne

• Współpraca cross-team z zespołami aplikacyjnymi i architektami.
• Zarządzanie ryzykiem migracji klient-po-kliencie.
• Jasna komunikacja statusu, blockerów i decyzji technicznych.
• Myślenie produktowe, ukierunkowane na stabilną ścieżkę migracji.

Mile widziane

• Certyfikat Databricks Certified Data Engineer Associate lub Professional.
• Certyfikat AWS Certified Data Analytics lub AWS Solutions Architect.
• Doświadczenie z Unity Catalog i governance w środowisku enterprise.