Von großen Datenmengen (englisch Big Data) spricht man, wenn Daten so zahlreich sind, so schnell eintreffen oder so verschieden aufgebaut sind, dass man sie nicht mehr von Hand oder in einer einfachen Tabelle auswerten kann. Ein Programm erfasst und wertet sie dann automatisiert aus, also ohne dass jemand jeden Schritt von Hand ausführt.

Große Datenmengen kommen aus vier typischen Quellen:

• Sensordaten: Sensoren (Messgeräte) liefern laufend Werte, zum Beispiel Temperatur, Ort per GPS oder Schritte.
• Crawling: Ein Crawler ist ein Programm, das Webseiten automatisch abruft, den Links folgt und die Inhalte speichert. Suchmaschinen arbeiten so, aber man sammelt damit auch Preise oder Texte.
• Tracking: Das Verhalten von Nutzern wird aufgezeichnet: besuchte Seiten, Klicks, Verweildauer, oft mit Cookies oder Gerätekennungen.
• Metadaten: Daten über Daten. Bei einem Foto sind es Aufnahmezeit, Ort und Kameramodell, bei einer Nachricht Absender, Empfänger, Zeitpunkt und Größe, aber nicht der Text.

Rohdaten sind selten sauber. Sensoren fallen aus und melden dann einen Platzhalterwert wie -999, Datensätze stehen doppelt, Zahlen haben mal Komma und mal Punkt. Die Datenaufbereitung beseitigt das: ungültige Werte entfernen, Doppelte streichen, Formate und Einheiten vereinheitlichen.

Danach wertest du mit statistischen Methoden aus: Minimum, Maximum, Mittelwert (Summe geteilt durch Anzahl) und Median. Der Median ist der mittlere Wert der sortierten Liste. Bei gerader Anzahl nimmt man den Mittelwert der beiden mittleren. Ein Ausreißer (ein Wert weit neben den anderen) verändert den Mittelwert stark, den Median kaum. In Python helfen Listen, Schleifen und die Bibliothek $\texttt{statistics}$ mit $\texttt{median}$.

Eine Visualisierung stellt Daten als Diagramm dar. Sie ist automatisiert, wenn ein Programm sie zeichnet: Kommen neue Daten, läuft das Programm erneut, und das Diagramm ist neu. Python zeichnet mit der Bibliothek $\texttt{matplotlib}$. Die Wahl des Diagramms hängt von der Frage ab: Eine Linie zeigt einen Verlauf über die Zeit, Säulen vergleichen Gruppen, Punkte zeigen den Zusammenhang zweier Größen.

$\texttt{stunden}$ und $\texttt{temperaturen}$ sind zwei Listen gleicher Länge. Zeile 2 zeichnet eine Linie durch alle Punkte, Zeile 3 und 4 beschriften die Achsen, Zeile 5 speichert das Bild. Ohne Achsenbeschriftung versteht niemand das Diagramm.

Chancen: Aus vielen Daten erkennt man Muster, die in wenigen verborgen bleiben. Wettervorhersagen nutzen Messwerte von sehr vielen Stationen. Verkehrsleitsysteme erkennen Staus, und Ärzte können seltene Krankheitsmuster in vielen Patientendaten finden.

Gefahren: Aus vielen harmlosen Angaben entsteht ein genaues Bild einer Person, ein Profil. Es kann zu Überwachung, zu unfairen automatischen Entscheidungen (zum Beispiel beim Kredit) und zu gezielter Beeinflussung durch Werbung führen. Je mehr Daten gespeichert sind, desto größer ist der Schaden, wenn sie gestohlen werden.

Jede Person hat ein Recht auf informationelle Selbstbestimmung: Sie darf grundsätzlich selbst entscheiden, wer welche Daten über sie erhält und wofür er sie nutzt. Das Bundesverfassungsgericht hat dieses Recht 1983 aus dem Grundgesetz abgeleitet. In der EU regelt die Datenschutz-Grundverordnung (DSGVO) den Umgang mit personenbezogenen Daten. Wichtige Grundsätze:

• Einwilligung: Es braucht eine Einwilligung oder einen anderen gesetzlichen Grund.
• Zweckbindung: Daten dürfen nur für den Zweck genutzt werden, für den sie erhoben wurden.
• Datensparsamkeit: Es wird nur erhoben, was nötig ist (die DSGVO nennt das Datenminimierung).
• Auskunft und Löschung: Betroffene dürfen erfahren, was gespeichert ist, und die Löschung verlangen.

Große Datenmengen verschärfen das Problem. Auch ohne Namen lässt sich eine Person oft wiedererkennen, wenn man Angaben kombiniert, etwa Wohnort, Geburtsjahr und Geschlecht. Man nennt das Re-Identifizierung. Daten anonymisieren heißt deshalb mehr, als Namen zu streichen: Es darf auch durch Kombination keine Person mehr erkennbar sein.