• Zur Erinnerung:
  Wir hatten die 3 Datensätze am Ende der letzten Sitzung und in der Hausaufgabe mit der Funktion left_join()verbunden. Der Datensatz df_work enthält 16 Spalten und 5404 Zeilen, wobei die Zeile jeweils eine Transaktion darstellt - also den Verkauf eines bestimmten Produkts (allein oder in Kombination mit anderen Produkten) an einem bestimmten Tag. Pro Tag kann es bis zu 7 verschiedene Transaktionen geben, da die unterschiedlichen Produkte als Einzel- oder, gegebenenfalls, in einem 2er oder 3er Menü verkauft worden sind (siehe “sell_id”).

  Datenauszug:

1. pivot_wider() - Umformen von Daten vom long- ins wide-Format.

• Um Daten vom long- ins wide-Format umformen zu können, verwenden wir die Funktion pivot_wider(). Dieser Fall tritt seltener auf als die Umformung vom wide- ins long-Format, kann aber mitunter für die Datenbearbeitung ein nützlicher Zwischenschritt sein.
  
• Das Argument names_from sagt uns, welche Variable für die Spaltennamen verwendet wird (als Grundeinstellung wird der Name “names” vergeben). Das Argument values_from sagt uns, aus welcher Variable die einzelnen Zelleinträge stammen (als Grundeinstellung wird eine Variable “value” vergeben).
• Es ist auch möglich die Spaltennamen auf mehrere Variablen anzuwenden. Das verkompliziert die Datenstruktur weiter.
• Neben weiteren Detaileinstellungen können Sie u.a. das Trennzeichen - Grundeinstellung ist Unterstrich "_" - zu anderen Zeichen ändern. Dies geschieht mit names_sep = "gewünschtes Trennzeichen".
• NA Werte werden dann produziert, wenn für bestimmte Wertpaarkombinationen keine Werte auftreten. Im folgenden Beispiel wurden am 03.01.2012 die sell_ids “2052 und 2053” nicht verkauft. Entweder filtern Sie diese Werte vorab filter(!is.na(Variablennamen)) oder ersetzen Sie durch einen Wert - hier bspw. 0. Dies kann mit der Option values_fill = 0 erreicht werden. In manchen Fällen kann pivot_wider() aus zur Aggregation über bestimmte Merkmalskombinationen verwendet werden.

Beispiel A1:

• Im Folgenden sehen Sie den vorhergehenden Auszug aus unserem Beispieldatensatz, der ins wide-format überführt wurde. In dieser Form ist die Datennutzung für weitere Anwendungen meist mit Mehraufwand verbunden und deshalb eher ungeeignet.

• Lesebeispiel: Die sell_id = 1070 steht bspw. für den Einzelverkauf eines Burgers, die sell_id = 2053 steht für den Verkauf eines Menüs, nämlich der Kombination von Burger, Cola und Kaffee. In der jeweiligen Zeile der sell_id beinhalten die Variablen 2012-01-01 bis 2012-01-03 etc. die Menge der verkauften Einzelprodukte bzw. der verkauften Menüs an diesem Tag. Am 01.01.2012 wurden bspw. “46 Burger (single) und 30 Menüs (Burger, Cola, Kaffee)” verkauft. Hingegen waren es am 03.01.2012 “62 Burger (single) und kein Menü (Burger, Cola, Kaffee)”.

   test <- df_work %>% select(calendar_date, sell_id, quantity) %>% slice(1:10)
   wide <- test %>% pivot_wider(names_from = calendar_date, values_from = quantity)
   wide

   wide <- test %>% pivot_wider(names_from = calendar_date, values_from = quantity, values_fill = 0)
   wide

Beispiel A2

• Im Folgenden sehen Sie den vorhergehenden Auszug aus unserem Beispieldatensatz, der ins wide-format überführt wurde. Diesmal gibt es zwei unterschiedliche Variablen, die pro Datum abgespeichert worden sind.

• Lesebeispiel: Die sell_id = 1070 steht bspw. für den Einzelverkauf eines Burgers, die sell_id = 2053 steht für den Verkauf eines Menüs, nämlich der Kombination von Burger, Cola und Kaffee. In der jeweiligen Zeile der sell_id beinhalten die Variablen price_2012-01-01 und price_2012-01-02 die Preise der verkauften Einzelprodukte bzw. der verkauften Menüs an diesem Tag. Am 01.01.2012 wurden bspw. “Burger (single)” zum Preis von 15.5 US$ und “Bürgermenüs (Burger, Cola, Kaffee)” zum Preis von 12.6 US$ verkauft (zur Erklärung der Preise von Single- und Menüprodukten erinnern wir uns an die detaillierte Datenbeschreibung in Sitzung II: tiefere Preise bei Menüs sind den geringeren Mengen bzw. Portionsgrössen geschuldet). Äquivalent dazu sehen Sie die Tagesmengen pro Produkt in den Spalten quantity_2012-01-01 und quantity_2012-01-02.

   test <- df_work %>% select(calendar_date, sell_id, price, quantity) %>% slice(1:8)
   test

   wide <- test %>% pivot_wider(names_from = calendar_date, values_from = c("price", "quantity"))
   wide

2. pivot_longer() - Umformen von Daten vom wide- ins long-Format.

• Um Daten vom wide- ins long-Format umformen zu können, verwenden wir die Funktion pivot_longer(). Dieser Fall tritt häufiger auf als die Umformung vom long- ins wide-Format.
• Das erste Argument der Funktion sagt uns, welche(r) Data Frame bzw. Datentabelle umgeformt werden soll.
• Das zweite Argument benennt die Spalten, deren Werte in jeweils neue Variablen eingerückt werden sollen. Dabei kann man bspw. einzelne (Auswahl: cols = var1) (Abwahl: cols = -var1, d.h. alle Variablen ausser var1) oder mehrere Variablennamen für die Umformung aus- oder abwählen (bspw. cols = var1:var3; cols = c(holiday, sell_category); -c(holiday, sell_category)). Mit starts_with("Zeichenkette") (z.B. 2012) können Spalten, die mit bestimmten Zeichenketten beginnen; mit everything() alle Spalten zum Umwandeln ausgewählt werden.
• Die neue Spalte, die die ursprünglichen Namen der Variablen enthält, und die neue Spalte mit den Werten können mit den Befehlen names_to = .. und values_to = .. benannt werden. Auch hier gibt es viele Unteroptionen. Bspw. kann man mit names_prefix = "Zeichenkette" feste Zeichenketten in den Variablennamen beim Umformen entfernen. Die Option names_to = .values erlaubt Werte aus den Spaltennamen direkt den Werten in den neu angelegten Spalten zuzuweisen.
• Abschliessend können wir mit dem Befehl values_drop_na = Fehlwerte ausschliessen und mit names_transform = list() die Klasse einer Variable abändern (numeric, date, ..).

Beispiel B1:

• Im Folgenden sehen Sie erneut das vorhergehende Datenbeispiel A1 im wide-Format.

   wide

• Die Daten werden nun mit der Funktion pivot_longer() ins long-Format überführt.
  

• Lesebeispiel: In der Spalte sell_id stehen die Verkaufsnummern der Produkte. Die sell_id = 1070 steht bspw. für den Einzelverkauf eines Burgers, die sell_id = 2053 steht für den Verkauf eines Menüs, nämlich der Kombination von Burger, Cola und Kaffee. In der jeweiligen Zeile des calendar_date steht der Tag, an dem das Produkt verkauft wurde. Am 01.01.2012 wurden - 46 Burger (single) (sell_id = 1070) und 30 Menüs (Burger, Cola, Kaffee) (sell_id = 2053) - verkauft. Hingegen waren es am 03.01.2012 - 62 Burger (single) und kein Menü (Burger, Cola, Kaffee) - , da es keinen Eintrag zur sell_id = 2053 am 03.01.2012 gibt (hier als “NA” ausgewiesen).

   long<-pivot_longer(wide, `2012-01-01`:`2012-01-03`, names_to = "calendar_date", values_to = "quantity", values_drop_na = FALSE)
   long

• Die Daten wurden nun mit der Funktion pivot_longer() ins long-Format überführt. Statt die umzuformenden Spalten zu nennen, können wir im Beispiel auch die “sell_id” (die nicht umgeformt wird) ausschliessen. Zudem wollen wir keine neuen Zeilen für fehlende Werte hinzugefügt bekommen. Die Datumsvariable wird abschliessend wieder als Datum umgeformt (da sie durch die Umformung sonst als Character vorliegt).

   long <- wide %>% pivot_longer(-sell_id, names_to = "calendar_date", 
                                 values_to = "quantity", values_drop_na = TRUE, names_transform = list(calendar_date=as.Date))
   long

Beispiel B2:

• Wir betrachten wieder die Daten aus Beispiel A2.

   test <- df_work %>% select(calendar_date, sell_id, price, quantity) %>% slice(1:8)
   wide <- test %>% pivot_wider(names_from = calendar_date, values_from = c("price", "quantity"))
   wide

• Man kann diese zusammengesetzten Spalten nun u.a. wie folgt ins long Format umformen.

   long <- wide %>%
   pivot_longer(
   cols = -sell_id,
   names_to = c(".value", "calendar_date"),
   names_sep = "_",
   names_transform = list(calendar_date=as.Date))
  
   long

Laden Sie nun das aktuelle R-Skript zur weiteren lokalen Bearbeitung der folgenden Übungsaufgaben herunter und speichern Sie es lokal in Ihrem Projektordner.

Lösen Sie die folgenden Übungsaufgaben und vervollständigen Sie das Skript Schrittweise nach jeder Übungsaufgabe.

Bei einigen der Multiple Choice Aufgaben ist es sicher hilfreich, wenn Sie die Syntax zur Lösungsfindung jeweils lokal bei sich in R ausprobieren.

Am Ende der Übung werden die Dozierenden mit Ihnen die Lösungen besprechen.

Laden Sie nun das aktualisierte R-Skript herunter und speichern Sie es lokal in Ihrem Projektordner.

1. separate() - Aufteilung von Spalten in Datentabellen.

• Um Spalten in mehrere Spalten aufteilen zu können, verwenden wir die Funktion separate().
  
• Das erste Argument in der Funktion gibt an, welche Spalte bzw. Variable bearbeitet werden soll.
• Das zweite Argument wird meist als Vektor verwendet c(“var1”, “var2”) und gibt an, in welche Spalten bzw. Variablen die bearbeitete Spalte aufgeteilt werden soll.
  
• Das dritte Argument gibt das Zeichen an, welches zum Trennen verwendet werden soll. Sie können mittels der Option “sep =” Trennzeichen wie folgt festlegen:

1. als Zeichen: sep = “[Zeichen]”

2. als Position: sep = Position)

3. bei mehreren Zeichen: sep = “[erstes Zeichen- letztes Zeichen]”
   ODER: sep = “[Zeichen 1,Zeichen 2, …]”. Bspw. würden für Einträge der Art “price_48-34” oder “price-48_34” als Trennzeichen bei der Option sep = “[ _ -]” folgen.

4. Unterscheidet sich die Zeichenanzahl zwischen Zeilen des Vektors, wird beim Separieren das Ergebnis durch die vorgegebene Anzahl neuer Spalten bestimmt.

5. Wenn die Trennzeichen zwischen den Spalten auch innerhalb der Spalten vorkommen (bspw. “sellid_2024_01_02” und man möchte zw. sellid und Datumseingabe separieren), kann bspw. die Unteroption “extra =” verwendet werden.

Beispiele:

Beispiel 1

• Im Folgenden sehen Sie einen Auszug aus unserem Beispieldatensatz, der im long-format vorliegt. Es gibt allerdings fehlerhafte Einträge bei der Variable “calendar_date”, da Preis & Datum und Menge & Datum nicht voneinander getrennt. Zudem sind in der Spalte “values” die Werte von Preis und Menge zusammen abgespeichert. Wir beheben die fehlerhaften Einträge u.a. mit der separate-Funktion.

  data

• Wir teilen im ersten Schritt die Variable calendar_date in 2 Variablen.
  

• In der ersten variable - “name” - sollen die Bezeichnungen “price” und “quantity” gespeichert werden. In der zweiten Variable - “calendar_date” - soll das Datum erfasst werden

  data %>% separate(calendar_date, c("name", "calendar_date"), sep = "_")

• Nun ergänzen wir die Funktion pivot_wider(). Im vorliegenden Beispiel können wir aufgrund der vorgebenen Datenstruktur mit dieser Funktion in ein geordnetes “long-Format” überführen.

   data %>% 
     separate(calendar_date, c("name", "calendar_date"), sep = "_") %>% 
     pivot_wider(names_from = name, values_from = values)

Beispiel 2:

• Wir wollen bei der Variable “calendar_date” nur die Datumseinträge im folgenden Datenauszug beibehalten. Dazu behandeln wir den ersten Eintrag vor dem Trennzeichen als NA.

  data

  data %>% separate(calendar_date, c(NA, "calendar_date"), sep = "_")

Beispiel 3:

• Wir wollen die Jahreseinträge und den Preis in 2 separaten Variablen speichern. Mit extra = “merge” behalten wir den letzten Eintrag in Zeile 1 und 3 (“34” und “50”, was eigentlich Nachkommastellen wären die falsch abgespeichert wurden) bei. Ohne “merge” würde bspw. die Zahl “50” im Eintrag bei Zeile 3 “43_50” gelöscht.

  df

  df %>% separate(year_price, c("year", "price"), sep = "_", extra = "merge")

2. unite() - Verbinden von Spalten in Datentabellen.

• Um mehrere Spalten in einer Spalte zusammenfassen zu können, verwenden wir die Funktion unite().
  
• Das erste Argument in der Funktion gibt an, wie die neue zusammengefasste Spalte bzw. Variable heissen soll.
• Das zweite, dritte,..n-1 Argument gibt an, welche Spalten bzw. Variablen zusammengefasst werden sollen.
  
• Das letzte Argument gibt das Zeichen an, welches als Trennzeichen verwendet werden soll. Die Grundeinstellung ist “Unterstrich”.

Ein Auszug aus unseren Beispieldaten:

• Im Folgenden sehen Sie einen Auszug aus unserem Beispieldatensatz. Die Variablen “name” und “calendar_date” sollen in einer Variable “name_date” zusammengeführt werden.

   dat

   Zusammenführen der Variablen in einer neuen Variable "name_date"
  
   dat %>% 
   unite(name_date, name, calendar_date, sep = "_")

Laden Sie nun das aktualisierte R-Skript herunter und speichern Sie es lokal in Ihrem Projektordner.

Was haben wir gelernt:

Wir erkennen, ob Daten im wide- oder long- Format vorliegen.

Wir können mit dem package tidyr einfache und komplexe Datentabellen zwischen wide- und long- Format umformen.

Wir können Spalten in Datentabellen umformen.