Healthcare-Datentransformationen prüfbar machen

Die Aufgabe dahinter

Bei Cedar Gate Technologies ging es nicht nur darum, Healthcare-Daten von einer Form in eine andere zu bringen. Die wichtigere Frage war, ob das transformierte Ergebnis weiterhin gut genug zu den Erwartungen des Kunden passte, um ausgeliefert zu werden.

Ich arbeitete von Januar bis Oktober 2023 als Associate Data Engineer in Lalitpur, Nepal. Die Rolle verband Analyse, Transformation, Validierung und teamübergreifende Zusammenarbeit für feste Kunden.

Woran ich gearbeitet habe

Ich analysierte Healthcare-Datensätze mit Amazon Redshift, PostgreSQL und SQL sowie statistischen Verfahren wie Zufallsstichproben, Normalisierung und Standardisierung. Für die Transformation nutzte ich die proprietären File-Mapper- und Scrub-Engines des Unternehmens.

Die hilfreiche Erkenntnis war, dass jeder Schritt eine andere Frage beantwortet:

• Analyse macht die eingehenden Daten verständlicher.
• Transformation bringt Daten in die benötigte Zielstruktur.
• Validierung prüft, ob das Ergebnis weiterhin zu den erwarteten Kontrollen passt.
• Zusammenarbeit sorgt dafür, dass technische Ergebnisse zu den Kundenanforderungen passen.

Ablaufübersicht

Das Diagramm fasst die Arbeit zusammen, ohne Kundendaten, Schemas oder interne Details der proprietären Engines offenzulegen.

Was die Kennzahlen bedeuten

Die Pipelines verarbeiteten über 200 GB Kundenrohdaten pro Woche. Bei dieser Größenordnung können kleine Annahmen zu wiederholten Fehlern werden. Deshalb war die Validierung genauso wichtig wie die eigentliche Transformation.

Das berichtete Ergebnis umfasst 99 % Datenintegrität vor der Auslieferung. Ich behandle diese Zahl als berichtete Integritätskennzahl für diese Arbeit, nicht als allgemeingültige Definition von Genauigkeit für Healthcare-Daten. Entscheidend ist die Arbeitsweise dahinter: Ein abgeschlossener Pipeline-Lauf reicht nicht aus. Das Ergebnis muss gegen vereinbarte Kontrollen geprüft werden.

Welche Arbeitsweise das geprägt hat

Diese Arbeit hat Datenqualität für mich sehr praktisch gemacht. Eine Pipeline kann erfolgreich enden und trotzdem ein Ergebnis liefern, das geprüft werden muss. Eine Transformation kann syntaktisch korrekt sein und dennoch Bedeutung, Verteilung oder Nutzbarkeit der Daten verschieben.

Diese Unterscheidung begleitet meine heutige Arbeit mit Plattformen und Daten. Infrastruktur stellt die Umgebung bereit, in der Jobs und Anwendungen laufen. Validierung entscheidet, ob das Ergebnis vertrauenswürdig genug ist.

Quellen und Kontext

• Mein Engineering-Toolkit zeigt, wie die Technologien der ausgewählten Projekte zusammenhängen.