Wie man mit dplyr und lubridate Zeit- und Distanzdaten analysiert

Im Kontext der Analyse von Zeit- und Distanzdaten bietet R eine Vielzahl von Möglichkeiten, um Daten effizient zu manipulieren und zu aggregieren. Mit der Bibliothek dplyr können Benutzer Daten in einer gut strukturierten und lesbaren Weise transformieren, während lubridate für die Arbeit mit Datums- und Zeitangaben von großem Nutzen ist. Die vorliegenden Methoden und Techniken ermöglichen es, verschiedene Aspekte des Nutzungsverhaltens, wie zum Beispiel die Häufigkeit von Fahrten oder die Distanz zwischen Stationen, tiefgehender zu analysieren.

Ein häufiger Anwendungsfall in der Datenanalyse von Fahrraddaten – wie sie etwa von Bikesharing-Programmen erhoben werden – ist das Aggregieren von Fahrten über verschiedene Zeiträume hinweg, beispielsweise stündlich oder täglich. Ein praktisches Beispiel stellt die Untersuchung von Fahrten nach Stunden des Tages und Wochentagen dar. Dies kann helfen, Muster im Nutzungsverhalten zu erkennen, etwa, ob Pendler zu bestimmten Tageszeiten häufiger unterwegs sind oder ob es Unterschiede zwischen Wochenendtagen und Werktagen gibt.

Zur Erstellung eines aggregierten Datensatzes, der nach Wochentag und Stunde der Nutzung gruppiert ist, kann folgender Code verwendet werden:

r
Copy code
ny_temporal <- ny_trips |>

  mutate(
    day = wday(start_time, label = TRUE),
    hour = hour(start_time)
  ) |>
  group_by(user_type, day, hour) |>

  summarise(count = n()) |>

  ungroup()

In diesem Code wird das ny_trips-Datenframe mithilfe von mutate() um neue Spalten für den Wochentag (day) und die Stunde des Tages (hour) erweitert. Anschließend erfolgt eine Gruppierung nach Nutzerkategorie (user_type), Wochentag (day) und Stunde (hour). Die Anzahl der Fahrten innerhalb jeder dieser Gruppen wird mit der Funktion summarise(count = n()) ermittelt. Diese Zusammenfassung ermöglicht es, detaillierte Einblicke in die Nutzungsmuster der verschiedenen Nutzertypen zu gewinnen.

Besonders interessant ist, dass der resultierende aggregierte Datensatz mehrfach im weiteren Analyseprozess verwendet werden kann. Wenn die zusammengefassten Daten mehrmals gebraucht werden oder rechenintensiv sind, empfiehlt es sich, sie als benannten Datensatz zu speichern. Dies verhindert eine unnötige Überlastung des Arbeitsbereichs und sorgt für eine bessere Übersichtlichkeit im Analyseprozess.

Zur Veranschaulichung des aggregierten Datensatzes kann dieser dann in ein Plot für ggplot2 überführt werden, wie der folgende Code zeigt:

r
Copy code
ggplot(aes(x = hour, y = count)) +

  geom_line(aes(colour = user_type), size = 1) +
  scale_colour_manual(values = c("#e31a1c", "#1f78b4")) +
  facet_wrap(~day, nrow = 1) +
  labs(x = "hour of day", y = "trip counts", colour = "user type")

Dieser Plot zeigt die Fahrten nach Stunde des Tages und Nutzerkategorie. Auf diese Weise können verschiedene Nutzungsmuster visualisiert werden, etwa die Unterschiede zwischen Abonnenten und Gelegenheitsnutzern oder die typische Fahrverteilung an Wochenendtagen im Vergleich zu Werktagen.

r
Copy code
od_pairs <- ny_trips |>

  select(start_station_id, end_station_id) |>

  unique() |>
  left_join(ny_stations |> select(stn_id, longitude, latitude), by = c("start_station_id" = "stn_id")) |>

  left_join(ny_stations |> select(stn_id, longitude, latitude), by = c("end_station_id" = "stn_id")) |>

  rename(o_lon = longitude, o_lat = latitude, d_lon = longitude, d_lat = latitude) |>
  rowwise() |>

  mutate(dist = geosphere::distHaversine(c(o_lat, o_lon), c(d_lat, d_lon)) / 1000) |>

  ungroup()

Hierbei werden die Start- und Zielstationen aus der Tabelle ny_trips extrahiert und mit den entsprechenden Koordinaten aus der Tabelle ny_stations verknüpft. Anschließend wird die Haversine-Formel verwendet, um die Distanz zwischen den Koordinatenpaaren zu berechnen. Das Ergebnis ist die Entfernung der Fahrt, die dann weiter analysiert oder visualisiert werden kann.

Ein weiterer wichtiger Aspekt in der Analyse von zeit- und distanzbasierten Daten ist die Effizienz des Workflows. Da in R eine Vielzahl von Datenmanipulationen erforderlich sein können, ist es entscheidend, dass der Code gut strukturiert und effizient ist, insbesondere wenn mit großen Datensätzen gearbeitet wird. Der Einsatz von dplyr-Pipelines (also der |>-Operator) sorgt dafür, dass der Code modular und übersichtlich bleibt. Jede Funktion wird dabei auf das Ergebnis der vorherigen Funktion angewendet, was den gesamten Analyseprozess stark vereinfacht.

Zusätzlich zu den oben genannten Techniken sollte der Leser auch ein gutes Verständnis dafür entwickeln, wann es sinnvoll ist, verschiedene Funktionen wie mutate(), group_by(), summarise() und join() zu kombinieren. Diese grundlegenden Operationen bilden das Rückgrat vieler Datenanalysen und müssen effizient eingesetzt werden, um das volle Potenzial der Daten auszuschöpfen.

Der Benutzer sollte darauf achten, dass in komplexeren Datensätzen immer darauf geachtet wird, wie die verschiedenen Variablen miteinander in Beziehung stehen und welche Berechnungen durchgeführt werden müssen, um die gewünschten Analysen zu ermöglichen. Es empfiehlt sich, den gesamten Analyseprozess schrittweise zu testen, um Fehler frühzeitig zu erkennen und die Qualität der Ergebnisse sicherzustellen.

Variationen der demografischen Merkmale von Fußgängern und Fahrern bei Verkehrsunfällen: Eine Analyse der sozialen Ungleichheit

Verkehrsunfälle, an denen Fußgänger beteiligt sind, spiegeln häufig nicht nur die örtlichen Gegebenheiten wider, sondern auch tief verwurzelte soziale und demografische Ungleichheiten. Eine detaillierte Untersuchung der demografischen Merkmale der Fußgänger und Fahrer, die in Unfälle verwickelt sind, und deren Beziehung zu den sozioökonomischen Verhältnissen der jeweiligen Unfallorte zeigt, dass diese Ungleichheiten nicht zufällig sind, sondern klare Muster aufweisen.

Die Häufigkeit von Unfällen in städtischen Ballungsgebieten, insbesondere in Vierteln mit hoher sozialer Benachteiligung, zeigt eine signifikante Neigung zu stärkeren Ungleichheiten. Diese Unterschiede manifestieren sich in der Tatsache, dass die Mehrheit der verletzten Fußgänger aus benachteiligten Gebieten stammt, während die Fahrer, die in Unfälle verwickelt sind, weniger stark in solchen Vierteln vertreten sind. Es scheint ein Muster zu geben, bei dem Fahrer, die in sozial besser gestellten Gegenden leben, unverhältnismäßig häufig in Unfälle mit Fußgängern verwickelt sind, die aus sozial benachteiligten Vierteln stammen. Dies lässt sich möglicherweise mit einem „Import“-Effekt erklären, bei dem Fahrer aus wohlhabenderen Gebieten in Unfälle mit Fußgängern aus ärmeren Gegenden geraten, was weiter untersucht werden sollte.

In den analysierten Daten, insbesondere der grafischen Darstellung der Unfallhäufigkeit in Abhängigkeit von der sozialen Schicht der Beteiligten, lässt sich eine interessante Divergenz erkennen. Während die Verteilung der Unfälle für Fußgänger in sozial benachteiligten Gegenden stärker konzentriert ist, zeigt sich bei den Fahrern eine relativ gleichmäßigere Verteilung über alle sozialen Schichten hinweg. Diese Unterschiede deuten darauf hin, dass Fußgänger in sozial benachteiligten Gegenden aufgrund schlechterer infrastruktureller und verkehrspolitischer Bedingungen sowie höherer Fußgängerzahlen ein höheres Risiko für Unfälle tragen.

Ein weiteres auffälliges Phänomen zeigt sich, wenn man sich die Kreuztabellen der IMD-Quintile der Fußgänger und Fahrer genauer anschaut. In den Zellen, die die stärkste Assoziation zeigen, befinden sich hohe Deprivationswerte sowohl bei den Fahrern als auch bei den Fußgängern. Diese Zellen weisen nicht nur eine hohe Häufigkeit von Unfällen auf, sondern auch eine hohe Konzentration der Unfälle in den am stärksten benachteiligten sozialen Schichten. Interessanterweise zeigt sich jedoch auch eine hohe Häufigkeit von Unfällen zwischen Fahrern und Fußgängern in den am wenigsten benachteiligten Gebieten, was gegen die Erwartung einer zufälligen Verteilung der Unfälle spricht. Dies zeigt, dass es auch zwischen den am wenigsten benachteiligten Schichten eine erhöhte Wahrscheinlichkeit für Unfälle gibt, wenn die IMD-Klassen der Fahrer und Fußgänger übereinstimmen.

Die Analyse der Daten und der grafischen Darstellungen legt nahe, dass die sozialen und demografischen Merkmale der beteiligten Personen nicht nur in Bezug auf die Unfallhäufigkeit, sondern auch hinsichtlich der Schwere der Verletzungen einen wichtigen Einfluss auf das Unfallgeschehen haben. Es zeigt sich eine klare Assoziation zwischen den sozioökonomischen Bedingungen der Unfallorte und den demografischen Merkmalen der Fußgänger und Fahrer. Diese Assoziationen sind besonders in den am stärksten benachteiligten Gegenden von Bedeutung, wo sowohl die Häufigkeit als auch die Schwere der Unfälle besonders hoch sind.

Wichtig ist, dass die Berücksichtigung der demografischen und sozialen Merkmale der beteiligten Personen nicht nur für die Analyse der Unfallursachen von Bedeutung ist, sondern auch für die Entwicklung gezielterer Präventionsstrategien. Indem man die geografische und soziale Verteilung von Unfällen untersucht, lässt sich möglicherweise ein besseres Verständnis für die zugrunde liegenden Ursachen sozialer Ungleichheit im Verkehrsgeschehen entwickeln und gezielte Maßnahmen ergreifen, um diese Ungleichheiten zu verringern.

Wie demografische Faktoren das Wahlergebnis beeinflussen: Eine Analyse des Leave-Votings in Großbritannien

In der politischen Analyse spielen demografische Merkmale der Wählerschaft eine entscheidende Rolle bei der Erklärung von Wahlverhalten, insbesondere in Bezug auf die Brexit-Abstimmung. Eine detaillierte Untersuchung zeigt, wie verschiedene demografische Variablen mit den Wahlergebnissen der Leave- und Remain-Wähler korrelieren. Diese Variablen sind in Form von Anteilen der jeweiligen Bevölkerungsgruppe innerhalb einer Wahlkreises dargestellt, was eine vergleichende Analyse von Wahlergebnissen in Abhängigkeit von sozioökonomischen Faktoren ermöglicht.

In den Parallel Coordinate Plots wird jede Linie eine Wahlkreiseinheit repräsentieren, wobei die Farben der Linien (rot für Remain, blau für Leave) die jeweilige Wahlentscheidung widerspiegeln. Auffällig ist, dass in Wahlkreisen mit einem höheren Anteil an gut ausgebildeten Bürgern der Anteil der Leave-Stimmen tendenziell geringer ausfällt. Andererseits ist in Wahlkreisen mit einem höheren Anteil an EU-Bürgern oder einem höheren Anteil an weißen Wählern eine stärkere Unterstützung für das Leave-Votum zu beobachten. Diese Muster sind statistisch signifikant und können durch lineare Regression modelliert werden.

Das lineare Regressionsmodell stellt eine nützliche Methode dar, um diese Assoziationen systematisch zu quantifizieren. Hierbei wird das Leave-Votum als eine Funktion von verschiedenen demografischen Variablen dargestellt. So könnte etwa der Anteil der mit Hochschulabschlüssen ausgestatteten Bevölkerung (di1) als eine unabhängige Variable in das Modell aufgenommen werden. Das Modell lässt sich dann wie folgt formulieren:

Es zeigt sich, dass in Wahlkreisen mit höherem Bildungsniveau der Anteil der Leave-Stimmen tendenziell sinkt, was eine negative Assoziation zwischen Bildung und Unterstützung des Brexit anzeigt. Umgekehrt sind Wahlkreise mit einem höheren Anteil an EU-Bürgern tendenziell stärker für das Leave-Votum, was eine positive Korrelation widerspiegelt. Dies wird auch durch die Ergebnisse einer multiplen linearen Regression bestätigt, bei der mehrere demografische Faktoren gleichzeitig berücksichtigt werden. Das Modell liefert für jede Variable spezifische Regressionskoeffizienten, die deren Einfluss auf das Wahlergebnis quantifizieren, während die Effekte der anderen Variablen konstant gehalten werden.

Ein weiterer wichtiger Aspekt der Analyse ist die Bewertung von Modellverzerrungen. Auch wenn das lineare Regressionsmodell nützliche Einsichten bietet, ist es nicht unfehlbar. Eine häufige Quelle für Verzerrungen ist die räumliche Autokorrelation der Residuen, die auftritt, wenn benachbarte Wahlkreise ähnliche demografische Eigenschaften aufweisen und ähnliche Wahlergebnisse produzieren. Dies könnte darauf hinweisen, dass das Modell nicht alle relevanten räumlichen oder sozialen Variablen erfasst und daher in bestimmten Regionen zu Überschätzungen oder Unterschätzungen des Leave-Votums führt.

Ein Beispiel für solche räumliche Abhängigkeiten zeigt sich in der geografischen Verteilung von Industrien und sozialen Gruppen in Großbritannien. Wahlkreise in Regionen mit einer starken Industriepräsenz oder einem höheren Anteil an weißen Wählern tendieren dazu, mehr für das Leave-Votum zu stimmen, was in vielen Fällen mit der sozialen und wirtschaftlichen Struktur dieser Gebiete korreliert. Diese regionalen Unterschiede machen deutlich, dass der Brexit nicht nur als ein nationales Phänomen betrachtet werden kann, sondern auch tief in den lokalen sozialen und wirtschaftlichen Bedingungen verwurzelt ist.

Zusammenfassend lässt sich sagen, dass die demografische Zusammensetzung von Wahlkreisen eine bedeutende Rolle bei der Erklärung der Unterschiede im Wahlergebnis zwischen Leave und Remain spielt. Dabei bieten sowohl Scatterplots als auch Parallel Coordinate Plots wertvolle visuelle Hilfsmittel, um diese Zusammenhänge zu erkunden. Für eine fundierte Modellierung der Variationen im Leave-Votum sind jedoch detaillierte lineare Regressionsansätze notwendig, die auch mögliche Verzerrungen und räumliche Abhängigkeiten berücksichtigen müssen, um ein möglichst genaues Bild des Wählerverhaltens zu erhalten.

Wie man verschachtelte Datenrahmen für Modellierung und Visualisierung in R verwendet

In der Datenanalyse mit R, insbesondere bei der Erstellung von Modellen mit vielen erklärenden Variablen, kann es erforderlich sein, verschachtelte Datenrahmen zu generieren. Ein verschachtelter Datenrahmen ist eine spezielle Art von Spalte, auch „Listenspalte“ genannt, in der jeder Wert eine Liste von Datenrahmen enthält – einen für jede erklärende Variable, auf der ein Modell aufgebaut werden soll. Diese Technik ist besonders nützlich, wenn man Modelle für verschiedene Subgruppen der Daten erstellen möchte, ohne für jede Subgruppe einen neuen Datensatz zu generieren.

Ein weiteres wichtiges Werkzeug in diesem Zusammenhang ist die Funktion map() aus dem Paket purrr, die es ermöglicht, Iterationen über die Listenspalten des verschachtelten Datenrahmens durchzuführen. Hiermit kann für jede Subgruppe (d.h. für jede Kombination von erklärenden Variablen) ein eigenes Modell berechnet werden. Das Ergebnis dieser Iterationen ist ein neuer Datenrahmen, der nicht nur die ursprünglichen Variablen enthält, sondern auch die geschätzten Modellparameter sowie deren Standardfehler und p-Werte.

Ein typisches Modell, das auf diesen verschachtelten Datenrahmen angewendet wird, ist ein lineares Modell (z.B. mit lm()), das die Beziehung zwischen der erklärenden Variable (z.B. dem Bildungsgrad oder der Region) und der abhängigen Variable (z.B. dem Abstimmungsverhalten) untersucht. Nach der Modellierung kann das Modell durch verschiedene Funktionen wie glance(), tidy() und augment() ausgewertet werden, um eine detaillierte Übersicht der Modellparameter und ihrer Signifikanz zu erhalten.

Die Bedeutung der Koordinaten in der Visualisierung eines solchen Modells kann ebenfalls nicht unterschätzt werden. Wenn wir beispielsweise den geom_pointrange() verwenden, um die Modellparameter zu visualisieren, sind die y-Positionen der Punkte durch die Größe des Koeffizienten und die 95%-Konfidenzintervalle bestimmt. Hierbei geben die Parameter ymin und ymax den unteren und oberen Wert des Intervalls an, während die x-Achse typischerweise die erklärenden Variablen darstellt.

Ein weiteres Beispiel, das oft in der Praxis vorkommt, ist das Hinzufügen von sogenannten „Fixed Effects“ (FE), insbesondere wenn Variablen wie „Region“ in das Modell aufgenommen werden. Fixed Effects ermöglichen es, die regionalen Unterschiede zu kontrollieren, indem für jede Region eine Dummy-Variable erstellt wird. Hierbei wird jede Region als separate Kategorie in das Modell aufgenommen, und die Intercept-Variable wird entfernt, um die Wirkung jeder Region im Vergleich zu einer Referenzregion zu isolieren. Die resultierenden Koeffizienten geben an, ob das Abstimmungsverhalten in einer bestimmten Region höher oder niedriger ist als in der Referenzregion, nachdem demografische Faktoren kontrolliert wurden.

Wird nun eine Interaktion zu einem Modell hinzugefügt, so kann das durch Anpassung des R-Befehls erreicht werden, indem man eine Variable für die Regionen hinzufügt und die Interaktion explizit spezifiziert. Der resultierende Code stellt sicher, dass die Modellierung die Variation innerhalb der Regionen und zwischen den erklärenden Variablen korrekt abbildet, wobei eine detaillierte Visualisierung auf den Interaktionen zwischen den Regionen und den anderen Variablen basiert.

Für die Visualisierung solcher Modelle, die viele Interaktionen und erklärende Variablen umfassen, ist es wichtig, dass die Ausgabe der Modelle klar und übersichtlich dargestellt wird. Dies erreicht man durch das Entfernen unnötiger Textteile in den Achsenbezeichnern und durch das Filtern von konstanten Variablen, die keine nützliche Information für die Visualisierung liefern. Auch hier ist die Verwendung von geom_col() und geom_pointrange() äußerst hilfreich, um die Schätzwerte und ihre Unsicherheiten in einem klaren und verständlichen Format darzustellen.

Es ist jedoch entscheidend, dass beim Umgang mit verschachtelten Datenrahmen und komplexen Modellen die zu Grunde liegenden Annahmen des Modells stets überprüft werden. Gerade bei der Aufnahme vieler erklärender Variablen oder der Verwendung von Interaktionen können die Ergebnisse des Modells fehleranfällig werden, wenn nicht alle zugrundeliegenden Variablen korrekt codiert oder die Daten richtig normalisiert wurden. Es ist auch wichtig zu verstehen, dass die Hinzunahme von Fixed Effects oder Interaktionen das Modell so anpassen kann, dass es spezifische Muster in den Daten besser erfasst, aber auch das Risiko von Überanpassung (Overfitting) erhöhen kann.