Data Engineer z GCP (f/m/x)

Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych? Dołącz do naszego zespołu Data & Analytics, gdzie budujemy i rozwijamy rozwiązania oparte na GCP. Pracuj z ekspertami, rozwijaj się w kierunku Data Engineeringu, Big Data lub Machine Learningu i miej realny wpływ na projekty.Twoje ZadaniaProjektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud PlatformPraca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązańIntegracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacjaOrkiestracja workflow danych przy użyciu Apache Airflow / Cloud ComposerTworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastrukturyZarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydentyWspółpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danychUdział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowychWymaganiaMin. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnymBardzo dobra znajomość Google Cloud Platform, w szczególności: BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud StorageUmiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danychDoświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)Praktyka w implementacji CI/CD dla rozwiązań data, np. GitHub Actions, GitLab CI, Cloud BuildZnajomość podejścia Infrastructure as Code, ze wskazaniem na TerraformWcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązańSwobodna komunikacja w języku angielskimWymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiegoMile widzianePraktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)Biegłość w Apache Spark / PySpark przy pracy z dużymi wolumenami danychKompetencje w zakresie transformacji i modelowania danych z wykorzystaniem narzędzi takich jak dbtUmiejętność pracy z różnorodnymi platformami danych (np. Databricks, Snowflake, MS Fabric)Orientacja w narzędziach oraz dobrych praktykach z obszaru Data Governance, Data Lineage i Data Quality