Azure Data Engineer

🏢 Summary: Long-term remote contract for a Senior Data Engineer focused on large-scale migration from SQL Server to Databricks/Delta Lake in an enterprise insurance environment. The role involves transforming complex SQL logic into scalable PySpark/Python solutions and developing production-grade data engineering code within Medallion architecture. You will work with petabyte-scale data and contribute to architectural design, code reviews, and CI/CD processes. 🗂️ Requirements: Strong commercial experience in data engineering (Mid/Senior level), Very good practical knowledge of Python, Hands-on experience with PySpark, Commercial experience with Databricks, Experience with Delta Lake, Advanced SQL skills and ability to analyze complex stored procedures, Experience with large shared codebases, Strong OOP knowledge, Application of Clean Code and refactoring principles, Experience in data modeling (transactional and analytical), Understanding of Medallion architecture, Experience with enterprise development workflows, Ability to write production-grade PySpark/Python code 📃 Skills: Python, PySpark, Databricks, DeltaLake, SQL, SQLServer, OOP, CleanCode, Medallion, Azure, DataFactory, Git, CICD, DevOps, PowerBI, Spark 🏢 Description: Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Data Engineer . Zakres obowiązków: Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja. Wsparcie wielkoskalowej transformacji systemów z SQL Server do platformy Databricks / Delta Lake w środowisku ubezpieczeniowym klienta. Analiza i transformacja złożonej logiki biznesowej (stored procedures) w SQL na czysty, skalowalny i łatwy w utrzymaniu kod w technologiach Python / PySpark. Aktywny rozwój i utrzymanie dużej bazy kodu inżynierii danych (data engineering codebase), współdzielonej przez wiele zespołów. Projektowanie i rozwijanie modeli danych w ramach Medallion Architecture (warstwy Bronze / Silver / Gold). Implementacja kodu transformacyjnego klasy produkcyjnej (pakiety, moduły, reużywalne komponenty), wykraczającego poza użycie samych notebooków. Zastosowanie najlepszych praktyk inżynierii oprogramowania (Clean Code, OOP, modularyzacja, refaktoryzacja). Praca z bardzo dużymi wolumenami danych (petabajty) oraz wysoce równoległymi, opartymi na zdarzeniach (event-driven) transformacjami. Udział w code reviews oraz dyskusjach dotyczących projektowania technicznego architektury. Opcjonalnie: wsparcie workflowów orkiestracyjnych (np. Azure Data Factory) oraz rozwój procesów i CI/CD pipelines. Oczekujemy: Praktycznego doświadczenia technicznego (poziom Strong Mid-Level / Senior) – weryfikowanego na podstawie rzeczywistych umiejętności inżynieryjnych, a nie wyłącznie lat pracy. Bardzo dobrej, praktycznej znajomości języka Python oraz technologii PySpark. Udokumentowanego doświadczenia w pracy z Databricks oraz Delta Lake. Umiejętności pracy w dużych, współdzielonych środowiskach kodu. Biegłej znajomości SQL, szczególnie w zakresie czytania i rozumienia bardzo złożonej logiki. Solidnego doświadczenia w programowaniu obiektowym (OOP) oraz stosowaniu zasad Clean Code i refaktoryzacji. Praktyki w pracy z przepływami dla rozwiązań klasy enterprise (enterprise development workflows) oraz zdolności analitycznego rozkładania istniejącego kodu linijka po linijce. Silnych kompetencji w modelowaniu danych (transakcyjnym i analitycznym) oraz zrozumienia architektur wielowarstwowych (Bronze / Silver / Gold). Gotowości do przejścia rozmowy technicznej weryfikującej produkcyjny kod PySpark/Python. Mile widziane: doświadczenie z Azure Data Factory, Git, CI/CD pipelines, DevOps oraz narzędziami analitycznymi takimi jak Power BI Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku oraz mile widziana jest znajomość języka niemieckiego. Mile widziana jest dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca. Oferujemy: Długofalowa współpraca z wynagrodzeniem w przedziale 140-170 PLN netto/godz. + VAT. Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). Współpraca w pełni zdalna. Benefity - prywatna opieka medyczna, karta Multisport. Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.

🏢 Summary: Long-term remote DevOps Engineer role focused on designing and optimizing Azure-based data platforms and cloud infrastructure. The position involves building scalable data pipelines, automating infrastructure, and maintaining secure, reliable CI/CD environments. The role combines data engineering, cloud architecture, and DevOps practices within Azure ecosystems. 🗂️ Requirements: EU citizenship and residence in Poland, Strong knowledge of data modelling (data warehouse, transactional models), Hands-on experience with Databricks, Delta Lake, Azure Data Factory, Azure Data Lake, Cosmos DB, Proficiency in Python, PowerShell, MS SQL Server, T-SQL, Experience with Terraform, ARM templates, YAML, infrastructure automation, Experience with Azure IaaS and PaaS services, Understanding of distributed systems architecture, Windows Server administration experience, Knowledge of Azure Policies, scaling, disaster recovery, backup and restore, Experience with OAuth2, OpenID Connect, Azure Entra ID, Experience with CI/CD and DevOps practices (Azure DevOps, Git), Experience in Agile/Scrum environments, Good English skills 📃 Skills: Azure, Databricks, DeltaLake, AzureDataFactory, AzureDataLake, CosmosDB, Python, PowerShell, MSSQL, TSQL, Terraform, ARM, YAML, AzureDevOps, Git, WindowsServer, OAuth2, OpenIDConnect, EntraID, KQL, Gremlin, Pester, PowerShellDSC, CI/CD, IaaS, PaaS 🏢 Description: In Cyclad we work with top international IT companies in order to boost their potential in delivering outstanding, cutting edge technologies that shape the world of the future. Currently, we are looking for an experienced DevOps Engineer. Project information: Type of project: IT services Office location: Poland Work mode: Remote Budget: 130 –150 PLN net /h - b2b Project length: Long-term Only candidates with citizenship in the European Union and residence in Poland Start date: ASAP (depending on candidate’s availability) Your tasks: Design and implement scalable data processes using Azure Data Factory and Databricks Develop, maintain, and version data models Work with and optimize Azure-based cloud data infrastructures Execute schema design and data migration activities Optimize ETL/ELT performance and reliability Support infrastructure automation using PowerShell, ARM templates, and Terraform Maintain and enhance existing application and DevOps environments Perform cloud service troubleshooting, root cause analysis, and issue resolution Implement operational and security measures in line with MR guidelines Monitor and ensure stability of cloud and DevOps infrastructure Design and configure network infrastructure components Apply Site Reliability Engineering (SRE) principles Develop and maintain Azure DevOps CI/CD pipelines Support solution roll-outs and deployments Create and maintain infrastructure and technical documentation Requirements: Strong knowledge of data modelling concepts (data warehouse and transactional models) Hands-on experience with Databricks, Delta Lake, Azure Data Factory, Azure Data Lake, and Cosmos DB Proficiency in Python, PowerShell, MS SQL Server, and T-SQL Strong experience with Terraform, YAML, ARM templates, and infrastructure automation Experience with Azure IaaS and PaaS services (App Services, Application Gateway, Azure Firewall, Routing, API Management) Understanding of distributed systems architecture Windows Server administration experience Knowledge of Azure Policies, scaling strategies, disaster recovery, backup and restore concepts Experience with OAuth2, OpenID Connect, and Azure Entra ID Familiarity with SQL Server, Kusto Query Language, Gremlin Query Language, Pester, SaaS, (A)AD, Managed Identities, Azure Artifacts, and PowerShell DSC Practical knowledge of DevOps practices, CI/CD (Azure DevOps, Git, Visual Studio), and optimization of complex data flows Experience working in Agile/Scrum environments PowerBI is considered an advantage Good command of the English language We offer: Private medical care with dental care (covering 70% of costs) Multisport card (also for an accompanying person). Life insurance. Work with talented engineers on large-scale, technically challenging projects.