Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).
Twój zakres obowiązków
- Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
- Projektowanie i rozwój procesów przetwarzania danych.
- Implementacja i optymalizacja procesów ETL/ELT.
- Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
- Rozwój rozwiązań opartych o BigQuery.
- Współpraca z zespołami projektowymi oraz technicznymi.
- Monitorowanie i utrzymanie procesów przetwarzania danych.
- Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.
Nasze wymagania
- Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
- Bardzo dobre umiejętności komunikacyjne i organizacyjne.
- Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
- Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
- Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
- Doświadczenie z BigQuery.
- Doświadczenie z Cloud Storage.
- Doświadczenie z Cloud Dataflow (Apache Beam).
- Doświadczenie z Cloud Composer (Apache Airflow).
- Znajomość Datastream.
- Znajomość Dataplex.
- Doświadczenie z Pub/Sub.
- Doświadczenie z Dataform.
- Bardzo dobra znajomość Python.
- Znajomość bibliotek do przetwarzania danych (m.in . Pandas).
- Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
- Znajomość MySQL.
- Znajomość PostgreSQL.
- Znajomość MS SQL Server.
- Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
- Znajomość procesów ETL/ELT.
- Znajomość zagadnień Data Governance.
- Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
- Znajomość zagadnień wersjonowania danych.
- Praktyczna znajomość Git.
- Znajomość procesów CI/CD.
- Doświadczenie z Cloud Monitoring oraz Cloud Logging.
Randlab
Randlab to dynamiczna firma technologiczna, która tworzy innowacyjne rozwiązania dla nowoczesnego biznesu. Specjalizujemy się w tworzeniu oprogramowania, aplikacji mobilnych oraz systemów zarządzania danymi. Company profile
#J-18808-Ljbffr
Data Engineer (K/M/N) Arbeitgeber: Aether Biomedical
Als Arbeitgeber bieten wir Ihnen die Möglichkeit, in einem dynamischen und internationalen Umfeld zu arbeiten, das auf moderne Technologien setzt. Unsere Unternehmenskultur fördert kontinuierliches Lernen und berufliche Weiterentwicklung, während Sie an herausfordernden Projekten mitwirken, die einen echten Einfluss haben. Genießen Sie die Vorteile einer stabilen, langfristigen Zusammenarbeit mit der Flexibilität des vollständig remote Arbeitens in Bulgarien.
