Datalake Migration und Datenarchitektur für Transportunternehmer

Konzeption und Entwicklung einer Data-Architektur in AWS. Zu den Aufgaben gehörte auch die Entwicklung und der Betrieb von Pipelines sowie der Aufbau eines Dataflow-Framework, Führung die Migration nach AWS und Optimierung bestehende Pipelines auf Basis von Cloudera.

Zudem gehörte es Entwicklung von wiederverwendbare Elemente für ETL-Prozesse, Datenflüsse, Best Practices, Code-Standards und Datenarchitektur. In meiner Arbeit nutzte ich Technologien wie Spark, AWS-Dienste wie Glue, Athena, EMR, sowie Programmiersprachen wie Scala und Python. Ich setzte Tools wie CDK, CloudFormation, Lambda, RDS, GitLab CI/CD, Docker, Hudi, s3, Meta-Store und Step Functions ein, um effiziente Datenverarbeitung und -verwaltung sicherzustellen.