Datenmanagement und Big Data
Eine Stadt stellt an zehn Straßen Feinstaubsensoren auf. Jede Station meldet jede Minute einen Wert. Nach einem Monat liegen Hunderttausende Zahlen vor, teils mit Lücken und Fehlern. Daraus soll ein Diagramm entstehen, dem der Stadtrat trauen kann.
Woher stammen die Daten, und bilden sie die Stadt richtig ab? Wie speichert man sie, wenn ein Server nicht mehr reicht? Wie bereinigt, wertet und zeigt man sie aus? Und wem nützen sie? Die Lektion folgt dem Weg der Daten von der Erfassung bis zur Nutzung.
Phasen des Datenmanagements
Datenmanagement heißt, Daten über ihren ganzen Lebensweg zu planen, zu speichern, aufzubereiten und zu nutzen. Man gliedert diesen Weg meist in Phasen. Hier sind es sechs:
- Erfassen: Daten gewinnen, etwa mit Sensoren
- Speichern: Daten dauerhaft ablegen, etwa in einer Datenbank
- Aufbereiten: Daten herauslösen, prüfen, bereinigen
- Auswerten: Kennzahlen und Muster berechnen
- Darstellen: Ergebnisse sichtbar machen
- Archivieren oder Löschen: Aufbewahrungsfristen beachten
Die Phasen wiederholen sich: Seltsame Werte in der Auswertung führen zurück zum Aufbereiten.
Datenquellen und Bias
Eine Datenquelle ist der Ort, an dem Daten entstehen oder bereitliegen. Primärdaten erhebst du selbst (Messung, Umfrage), Sekundärdaten gibt es schon (offene Daten einer Behörde, Protokolldateien).
Bias heißt systematische Verzerrung: Die Daten weichen in eine Richtung von der Wirklichkeit ab. Ursachen sind die Auswahl (die Stichprobe bildet das Ganze schlecht ab, etwa weil alle Stationen an Hauptstraßen stehen), die Messung (ein Sensor zeigt immer zu viel an) oder die Vorgeschichte (frühere Entscheidungen stecken in den Daten). Ein Zufallsfehler streut dagegen mal nach oben, mal nach unten und mittelt sich bei vielen Messungen heraus. Ein Bias bleibt, auch wenn man auf demselben Weg mehr Daten sammelt.
Datenerfassung, Datenextraktion und Datenbereinigung
Bei der Datenerfassung gelangen Daten in ein System: von Hand über Formulare, automatisch über Sensoren oder über Schnittstellen anderer Dienste. Bei der Datenextraktion holt man aus Rohdaten die benötigten Felder. Aus der Zeile werden Datum, Uhrzeit, Station und Wert. Die Datenbereinigung behebt Fehler:
- fehlende Werte (Lücke oder Platzhalter wie -999) und doppelte Einträge
- Ausreißer, also Werte weit abseits der anderen. Sind sie Messfehler oder echte Ereignisse? Prüfe das, bevor du löschst.
- uneinheitliche Schreibweisen (04.03.2026 und 2026-03-04, Dezimalkomma und Dezimalpunkt, verschiedene Einheiten)
Die Rohdaten änderst du nicht. Du legst eine bereinigte Kopie an und notierst, was du getan hast.
Eine Messreihe bereinigen
Eine Messreihe bereinigen
Ein Sensor meldet stündlich Feinstaub in Mikrogramm je Kubikmeter. Eine gescheiterte Messung kennzeichnet das Gerät mit -999. Roh liegen sechs Einträge (Uhrzeit, Wert) vor: 08:00 22, 09:00 25, 09:00 25, 10:00 -999, 11:00 31, 12:00 28. Berechne den Mittelwert vor und nach der Bereinigung.
Roh: 22 + 25 + 25 - 999 + 31 + 28 = -868. Geteilt durch 6 ergibt das etwa -144,7. Ein negativer Feinstaubwert ist unmöglich, der Platzhalter verfälscht das Ergebnis.
Bereinigt: Der Eintrag von 09:00 steht doppelt, einer fliegt raus. Der Platzhalter von 10:00 gilt als fehlender Wert und wird nicht mitgerechnet. Es bleiben 22, 25, 31 und 28 mit der Summe 106. Der Mittelwert ist 106 : 4 = 26,5 Mikrogramm je Kubikmeter.
Datenaustauschformate
Programme tauschen Daten in einem Datenaustauschformat aus, einer vereinbarten Schreibweise in einer Textdatei. Dieselbe Messung in drei Formaten:
| Format | Schreibweise | Merkmale |
|---|---|---|
| CSV | eine Zeile je Datensatz, Werte durch ein Trennzeichen getrennt (bei uns oft Semikolon), flach | |
| JSON | Paare aus Name und Wert, verschachtelbar, verbreitet bei Webdiensten | |
| XML | Wert zwischen Anfangs- und Endmarke, verschachtelt, mit einem Schema (Strukturbeschreibung) prüfbar |
CSV passt zu Tabellen mit gleichem Aufbau, JSON und XML zu verschachtelten oder verschieden aufgebauten Datensätzen.
Big Data, NoSQL und Wide-Column-Datenbanken
Big Data sind Datenmengen, die für ein einzelnes herkömmliches Datenbanksystem zu groß, zu schnell oder zu vielfältig sind. Das sind die drei V: Volume (Menge), Velocity (Tempo, mit dem Daten eintreffen) und Variety (Vielfalt der Formen).
Statt einen Server endlos aufzurüsten, verteilt man die Daten auf viele Rechner. Dafür gibt es NoSQL-Datenbanken ("not only SQL"): Datenbanken ohne festes Tabellenschema, die sich gut verteilen lassen. Typen sind Schlüssel-Wert (ein Schlüssel führt zu einem Wert), Dokument (je Schlüssel ein JSON-artiges Dokument), Graph (Punkte und Verbindungen) und Wide-Column.
In einer Wide-Column-Datenbank hat jede Zeile einen Zeilenschlüssel und eigene Spalten, gebündelt in Spaltenfamilien (Gruppen zusammengehöriger Spalten). Zeilen dürfen verschiedene Spalten haben, fehlende Zellen kosten nichts. Für Sensordaten ist der Zeilenschlüssel die Station und jede Messung eine Spalte, benannt nach ihrer Uhrzeit: Die Zeile "station-3" hat die Spalten 08:00 (Wert 22), 09:00 (25) und 10:00 (27), die Zeile "station-7" nur 08:00 (40).
Map-Reduce
Map-Reduce wertet riesige Datenmengen auf vielen Rechnern gleichzeitig aus. Die Daten liegen in Blöcken auf verschiedenen Rechnern. Es gibt drei Schritte:
- Map: Jeder Rechner verarbeitet seinen Block für sich und gibt Paare (Schlüssel, Wert) aus.
- Gruppieren: Paare mit gleichem Schlüssel werden zusammengeführt, auch über Rechnergrenzen hinweg.
- Reduce: Für jeden Schlüssel werden die Werte zu einem Ergebnis zusammengefasst (Summe, Maximum, Anzahl).
Beispiel, höchster Wert je Station: Rechner 1 hat die Zeilen "A 22", "B 40", "A 31", Rechner 2 hat "B 35", "A 27", "B 38". Map liefert (A, 22), (B, 40), (A, 31), (B, 35), (A, 27), (B, 38). Gruppieren ergibt A mit 22, 31, 27 und B mit 40, 35, 38. Reduce mit dem Maximum ergibt A gleich 31 und B gleich 40.
CAP-Theorem
Verteilte Datenbanken halten Kopien der Daten auf mehreren Rechnern, den Knoten. Das CAP-Theorem nennt drei Eigenschaften:
- Consistency (Konsistenz): Jede Leseanfrage liefert den zuletzt geschriebenen Wert.
- Availability (Verfügbarkeit): Jede Anfrage an einen funktionierenden Knoten bekommt eine Antwort.
- Partition tolerance (Partitionstoleranz): Das System arbeitet weiter, wenn die Verbindung zwischen Knoten ausfällt und das Netz in getrennte Teile zerfällt.
Das Theorem besagt: Ein verteiltes System kann nicht alle drei garantieren. Netzausfälle lassen sich nicht ausschließen, also muss es bei getrenntem Netz zwischen Konsistenz und Verfügbarkeit wählen.
Zwei Kopien eines Kontostands
Zwei Kopien eines Kontostands
Zwei Knoten speichern je eine Kopie des Kontostands 100. Die Verbindung bricht ab, am Knoten 1 wird der Stand 80 geschrieben, danach fragt jemand den Knoten 2.
Konsistenz vor Verfügbarkeit: Knoten 2 meldet einen Fehler, bis die Verbindung steht. Er nennt nie einen falschen Stand, ist aber zeitweise nicht verfügbar.
Verfügbarkeit vor Konsistenz: Knoten 2 antwortet mit dem alten Stand 100. Er ist verfügbar, aber nicht konsistent.
Visualisierung
Datenvisualisierung stellt Daten in Diagrammen und Karten dar, damit man Muster sieht und Ergebnisse vermittelt. Die Frage bestimmt die Form: Entwicklung über die Zeit zeigt ein Liniendiagramm, Vergleich von Kategorien ein Balkendiagramm, Zusammenhang zweier Größen ein Streudiagramm (jeder Punkt ein Datensatz), Verteilung der Werte ein Histogramm (Zahl der Werte je Bereich), Orte eine Karte. Ein Balkendiagramm täuscht, wenn die Achse nicht bei 0 beginnt: Kleine Unterschiede wirken groß.
Metadaten und Sensordaten
Metadaten sind Daten über Daten: wie, wann, wo und womit etwas entstanden ist. Zum Messwert 41 gehören Station 3, der Zeitpunkt, die Einheit und der Sensortyp. Metadaten können viel verraten, bei einem Telefonat etwa, wer wann mit wem sprach. Darum können sie unter den Datenschutz fallen.
Sensordaten sind Messwerte von Sensoren. Sie treffen laufend ein, meist als Zeitreihe aus Zeitstempel und Wert, in großer Menge. Typisch sind Rauschen (kleine zufällige Abweichungen), Lücken und Drift (der Sensor verschiebt sich mit der Zeit).
Daten als Wirtschaftsfaktor und Filterblase
Daten sind ein Wirtschaftsfaktor. Viele Dienste kosten kein Geld, weil Nutzerdaten das Geschäftsmodell sind: Aus Suchanfragen, Klicks und Standorten entstehen Profile, mit denen sich Werbung gezielt ausspielen lässt. Man bezahlt mit seinen Daten.
Empfehlungsalgorithmen zeigen Inhalte, die zu deinem bisherigen Verhalten passen. Daraus kann eine Filterblase entstehen: Du siehst überwiegend Inhalte nach deinem Geschmack und seltener abweichende Sichtweisen. Wie stark das wirkt, ist umstritten.
Mehr Daten beheben jeden Fehler
Mehr Daten beheben jeden Fehler
„Wir haben Millionen Messwerte, also stimmt das Ergebnis.“
Viele Daten gleichen Zufallsfehler aus, aber keinen Bias. Stehen alle Stationen an Hauptstraßen, bleibt der Mittelwert für die ganze Stadt auch bei einer Milliarde Werten zu hoch.
Zusammenfassung
Datenmanagement gliedert sich in Erfassen, Speichern, Aufbereiten, Auswerten, Darstellen und Archivieren oder Löschen.
Ein Bias verzerrt Daten systematisch und bleibt bei mehr Daten desselben Wegs. Zufallsfehler mitteln sich heraus.
Bereinigung behandelt fehlende Werte, Doppelte, Ausreißer und uneinheitliche Schreibweisen. Die Rohdaten bleiben unverändert.
CSV, JSON und XML sind Austauschformate: CSV flach, JSON und XML verschachtelt.
NoSQL-Datenbanken verteilen große Datenmengen, Map-Reduce wertet sie parallel aus. Beim CAP-Theorem wählt ein verteiltes System bei getrenntem Netz zwischen Konsistenz und Verfügbarkeit.
Metadaten beschreiben Daten und können selbst schutzwürdig sein. Daten sind ein Wirtschaftsfaktor, Empfehlungen können Filterblasen fördern.
Übungen
Ein Sensor meldet stündlich diese Werte: 12, 14, -999, 16, 18. Der Wert -999 kennzeichnet eine gescheiterte Messung. Wie groß ist der Mittelwert der gültigen Werte?
Eine Umfrage zur Handynutzung wird nur über einen Online-Dienst verteilt. Die Ergebnisse sind verzerrt. Was stimmt?
Drei Rechner zählen Seitenaufrufe je Wochentag. Rechner 1 meldet (Mo, 4) und (Di, 3). Rechner 2 meldet (Mo, 5), (Di, 1) und (Mi, 2). Rechner 3 meldet (Mo, 2). Reduce summiert. Wie viele Aufrufe ergibt Reduce für Montag?
Die Verbindung zwischen zwei Knoten einer verteilten Datenbank fällt aus. Das System beantwortet weiter jede Anfrage, nennt aber teils veraltete Werte. Worauf verzichtet es?
Erkläre in zwei bis drei Sätzen, was eine Filterblase ist und wie sie entsteht.