1
 
 
Profil
In deinem persönlichen Profilbereich kannst du den Status deiner Bewerbung einsehen, unvollständige Bewerbungen zwischenspeichern und aktuelle News und Events einsehen
26. Oktober 2022

Wie wir bei data.works arbeiten - Meet Sven

Worum geht es in diesem Artikel?

Interessierst du dich für Daten und Cloud-Technologie? Möchtest du mehr über verschiedene Rollen in Entwicklungsteams erfahren? Bist du auf der Suche nach einem neuen Job? In dieser Blogpostserie geht es um unsere Arbeitsweise und unsere Berufsbilder bei der Otto Group data.works.

Triff Sven Peeters, Data Engineer bei Otto Group data.works seit Februar 2021.

Hallo Sven! Kannst du deinen Job in 3 Sätzen vorstellen?

Kurz gesagt, als Data Engineer bin ich für die Entwicklung und Implementierung neuer Funktionen für verschiedene datengesteuerte Dienste verantwortlich. Unsere Produkte reichen von der Berechnung von Kundenprofilen in großem Maßstab bis zum Hosting von HTTP-Diensten, die den Inhalt von Webseiten mithilfe von maschinellem Lernen kategorisieren. Die von uns bereitgestellten Daten werden hauptsächlich zur Anreicherung von programmatischer Werbung mit verhaltensbezogenen und kontextbezogenen Informationen verwendet.


Arbeitssituation
Arbeitssituation

"Ich bin dafür verantwortlich, neue Funktionen für verschiedene datengesteuerte Dienste zu entwerfen und zu implementieren."

Klingt interessant! Gib uns einen Einblick in deinen Arbeitsalltag!

Meine tägliche Arbeit ist vielfältig und lässt sich in diesem kurzen Blogpost nur schwer in vollem Umfang beschreiben. In meinem Team arbeite ich eng mit Machine Learning Engineers und Data Scientists zusammen. Daher sind meine Aufgaben neben den üblichen Daten- und Software-Engineering-Themen oft auch mit maschinellem Lernen verbunden, was sich in den folgenden Bereichen zusammenfassen lässt:

  • Design und Implementierung von Big Data ETL-Pipelines, die Vorhersagen machen, unter Verwendung von Python, Java, Kubeflow Pipelines, BigQuery SQL, Dataflow und Kubernetes (GKE)
  • Entwurf und Implementierung von Microservices unter Verwendung von Java, Python, Cloud Functions, Cloud Run, AppEngine und Kubernetes (GKE)
  • Verwaltung der Infrastruktur in der Google Cloud Platform mit Terraform
  • Wartung einschließlich Bugfixes, Patching und Support für alle von mir und meinem Team entwickelten Produkte
  • Enge Zusammenarbeit mit unseren externen Kunden und den Unternehmen der Otto Group für eine optimale Kundenzufriedenheit
Ein aktuelles Beispiel ist die Entwicklung eines Prototyps einer benutzergruppenbasierten Targeting-Lösung für die Cookie-freie Welt. Ich war hauptsächlich mit dem Design und der Implementierung der Kubeflow Pipelines beschäftigt, die BigQuery SQL-Abfragen zur Berechnung der Nutzergruppen mit ähnlichen Interessen in unserem Data Warehouse und deren Export mittels Dataflow ausführt.

Neben dem Programmieren und Entwerfen von Cloud-Architekturen verbringe ich jeden Tag einige Zeit damit, mich mit meinen tollen Kollegen von data.works über Best Practices und Technologie-Neuigkeiten auszutauschen oder einfach nur eine Partie Kicker zu spielen

.Da wir wissen, dass die Interpretation von Rollenprofilen und Titeln in verschiedenen Unternehmen unterschiedlich sein kann, wollen wir einen groben Überblick darüber geben, wie wir diese Rollen definieren.

Worauf bist du am meisten stolz, seit du in unserem Team arbeitest?

Am stolzesten bin ich auf die Überarbeitung des Volltextsuch-Backends unseres kontextbezogenen Targeting-Produkts. Aufgrund der stark zunehmenden Belastung des Produkts war unser altes PostgreSQL-Backend ins Straucheln geraten und hatte das Ende der Skalierbarkeit erreicht. Obwohl ich damals nur ein Junior Data Engineer war, ermöglichte mir mein Team, eine führende Position bei der Konzeption und Entwicklung des neuen Backends einzunehmen . Dazu gehörte die Entscheidung für Apache Solr als neue Volltextsuchmaschine, die Konzeption der Cloud-Architektur und die Migration bzw. Neuschreibung betroffener Komponenten des alten Backends. Das neue Backend ist seit April online und läuft wie geschmiert.

Du hast bereits viele verschiedene Technologien erwähnt, die du einsetzt.
Welche ist deine Lieblingstechnologie und warum?

In unserer täglichen Arbeit verwenden wir viele neue und beeindruckende Technologien wie Kubeflow Pipelines, Argo oder Apache Beam on Dataflow. Daher ist es nicht einfach, eine auszuwählen, die heraussticht. Wenn ich mich für einen Favoriten entscheiden müsste, würde ich Dataflow in Verbindung mit Java wählen. Der serverlose Ansatz von Dataflow und die Pipeline-Semantik von Apache Beam, die Batch- und Stream-Verarbeitung vereint, bieten mir die Möglichkeit, Java-Code zu schreiben, der große Datenmengen verarbeitet, ohne dass ich stundenlang darüber nachdenken muss, wie ich das Programm skalieren und die verarbeiteten Daten effektiv auf Maschinen verteilen kann. Aufträge, die auf einer einzigen Maschine Tage dauern würden, werden in wenigen Minuten nahtlos auf über 100 Maschinen parallel ausgeführt. Es macht immer wieder Spaß zu sehen, wie mein Code über eine große Anzahl von Maschinen in der Google Cloud Platform verteilt und parallel ausgeführt wird.

Das hört sich an, als ob du deinen Job wirklich mit Leidenschaft ausübst! Und was machst du, wenn du deinen Arbeitslaptop zuklappst?

In meiner Freizeit spiele ich gerne Tischtennis mit Freunden in meinem örtlichen Tischtennisverein. Neben Tischtennis habe ich eine große Leidenschaft für den Motorsport. Ich schaue mir fast jedes Formel-1-Wochenende an und verbringe gerne Zeit auf virtuellen Motorsportstrecken.

Zusammengefasst: Was ist das Beste an der Arbeit bei der Otto Group data.works?

Die Otto Group data.works bietet mir die Möglichkeit, meiner Leidenschaft für Big Data und maschinelles Lernen nachzugehen und viel darüber zu lernen, während ich in einem jungen und dynamischen Team von Datenenthusiasten smarte und coole Produkte für große Datenmengen entwickle.


Dieser Artikel wurde ursprünglich auf Medium veröffentlicht und kann dort auch nachgelesen werden.

Want to be part of our team?

0Noch keine Kommentare

Dein Kommentar
Antwort auf:  Direkt auf das Thema antworten

Geschrieben von

Sven Peeters
Sven Peeters
Data Engineer

Ähnliche Beiträge

We want to improve out content with your feedback.

How interesting is this blogpost?

We have received your feedback.

Cookies erlauben?

OTTO und drei Partner brauchen deine Einwilligung (Klick auf "OK") bei einzelnen Datennutzungen, um Informationen auf einem Gerät zu speichern und/oder abzurufen (IP-Adresse, Nutzer-ID, Browser-Informationen).
Die Datennutzung erfolgt für personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen sowie um Erkenntnisse über Zielgruppen und Produktentwicklungen zu gewinnen. Mehr Infos zur Einwilligung gibt’s jederzeit hier. Mit Klick auf den Link "Cookies ablehnen" kannst du deine Einwilligung jederzeit ablehnen.

Datennutzungen

OTTO arbeitet mit Partnern zusammen, die von deinem Endgerät abgerufene Daten (Trackingdaten) auch zu eigenen Zwecken (z.B. Profilbildungen) / zu Zwecken Dritter verarbeiten. Vor diesem Hintergrund erfordert nicht nur die Erhebung der Trackingdaten, sondern auch deren Weiterverarbeitung durch diese Anbieter einer Einwilligung. Die Trackingdaten werden erst dann erhoben, wenn du auf den in dem Banner auf otto.de wiedergebenden Button „OK” klickst. Bei den Partnern handelt es sich um die folgenden Unternehmen:
Google Inc., Meta Platforms Ireland Limited, elbwalker GmbH
Weitere Informationen zu den Datenverarbeitungen durch diese Partner findest du in der Datenschutzerklärung auf otto.de/jobs. Die Informationen sind außerdem über einen Link in dem Banner abrufbar.