Effekte, Effektstärken, und Interpretation von Effekten Seminar Forschungsmethoden der Sozialpsychologie Johannes Ullrich

  • Published on
    05-Apr-2015

  • View
    107

  • Download
    3

Embed Size (px)

Transcript

  • Folie 1
  • Effekte, Effektstrken, und Interpretation von Effekten Seminar Forschungsmethoden der Sozialpsychologie Johannes Ullrich
  • Folie 2
  • Mittelwertsdifferenzen Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenber Offenbachern Bogus Pipeline (Jones & Sigall, 1971) Studie 1
  • Folie 3
  • Mittelwertsdifferenzen Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenber Offenbachern Bogus Pipeline (Jones & Sigall, 1971) Studie 1 Studie 2
  • Folie 4
  • Mittelwertsdifferenzen Vergleich von Mittelwertsdifferenzen unmglich ohne Information ber Variabilitt der Daten SD pooled Studie 140 Studie 220
  • Folie 5
  • Standardisierte Mittelwertsdifferenzen Cohen's d.2 = klein.5 = mittel.8 = gro Studie 1 Studie 2
  • Folie 6
  • Kovarianz Zusammenhang zwischen zwei Variablen Einstellung zu gesundem Essen und gesundes Essverhalten Studie 1Cov = 30 Studie 2Cov = 70
  • Folie 7
  • Korrelation Pearson's r klein =.1 mittel =.3 gro =.5 Studie 1 Studie 2
  • Folie 8
  • Zusammenhnge zwischen Effektstrken Differenzen durch Variabilitt (Fehlerterme) teilen bekannt aus ANOVA und t-Tests Unterschied: Abhngigkeit von Stichprobengre
  • Folie 9
  • Zusammenhnge zwischen Effektstrken r und d sind mit Zusammenhangs- bzw. Unterschiedshypothesen assoziiert sind aber in einander transformierbar ermglicht Vergleiche von Effektstrken nicht nur zwischen Replikationsstudien, sondern auch zwischen verschiedenen Designs und Variablen
  • Folie 10
  • Meta-Meta-Analyse von Richard et al. (2003, Review of General Psyc)
  • Folie 11
  • Zwischenfazit 1 Effekt = Beziehung zwischen X und Y, egal ob X treatment vs. control oder kontinuierliche Variable Standardisierung (Relativierung an Variabilitt der Daten) macht Effekte leichter interpretierbar
  • Folie 12
  • Interpretation von Effekten: Das "Label" Aus Wainer & Brown (2004) 1992 National Assessment of Educational Progress Mathematik-Ergebnisse fr Schler der 8. Klasse, getrennt nach Staat und Hautfarbe
  • Folie 13
  • Simpson's Paradox Aus Wainer & Brown (2004) Ensteht bei der Aggregation von gruppierten Daten, wenn die Gruppenmitgliedschaft mit der Aggregatvariable und der abhngigen Variable korreliert!
  • Folie 14
  • Simpson's Paradox Aus Wainer & Brown (2004) 1992 National Assessment of Educational Progress Mathematik-Ergebnisse fr Schler der 8. Klasse, getrennt nach Staat und Hautfarbe "Natrliche" Gewichtung der Subgruppen-Mittelwerte bei der Errechnung eines Gesamtmittelwerts Standardisierte Gewichtung anhand der national reprsentativen Subgruppengre
  • Folie 15
  • Zwischenfazit 2 Standardisierung alleine garantiert noch keine Interpretierbarkeit Simpson's Paradox nur eine Variante des "Drittvariablenproblems" Label bezieht sich auf X und Y, aber Z hngt auch mit X und Y zusammen (und A, B, C,... mglicherweise auch)
  • Folie 16
  • Kausalitt John Stuart Mill (1806-1873): Ursache geht der Wirkung voraus Zusammenhang Ursache-Wirkung Ausschlu von Alternativerklrungen
  • Folie 17
  • Kausalitt John Stuart Mill (1806-1873): Ursache geht der Wirkung voraus Zusammenhang Ursache-Wirkung Ausschlu von Alternativerklrungen XY
  • Folie 18
  • Kausalitt XYXY XY
  • Folie 19
  • Ursachen Streichholz als Ursache eines Waldbrands Inus condition: Insufficient but Nonredundant part of an Unnecessary but Sufficient condition (Mackie, 1974) Deterministisch (Physik) vs. probabilistisch (Humanwissenschaften)
  • Folie 20
  • Kausale Effekte Definiert ber Counterfactuals (kontrafaktische berlegungen) Y t (u) - Y c (u) Effekt in Rubin's Causal Model: Unterschied zwischen dem, was man bei einer Person in der Treatment-Bedingung beobachten wrde, und dem, was man bei derselben Person unter denselben Umstnden in der Kontroll- Bedingung beobachten wrde Fundamentales Problem des kausalen Schlieens
  • Folie 21
  • Der ideale Vergleich Y t (u) - Y c (u) Wird am besten angenhert durch experimentelle Methoden Zufallszuweisung von Untersuchungseinheiten (Recipients) zu verschiedenen Bedingungen Zwischen den Bedingungen wird die vermutete Ursache systematisch variiert (Manipulation), wobei alle weiteren Umstnde mglichst konstant gehalten werden Aspirin Placebo
  • Folie 22
  • bung Prosoziales Verhalten bei Mnnern und Frauen Welche methodischen Probleme gibt es, die die Validitt der Schlussfolgerungen gefhrden knnen? Wie valide ist die Schlussfolgerung im letzten Satz des Berichts? 1 'berhaupt nicht' bis 11 'vllig valide'
  • Folie 23
  • bung Stimulus-Sampling (Wells & Windschitl, 1999):
  • Folie 24
  • Probleme mit Experimenten Knstliche Bedingungen und Generalisierbarkeit Ethische Bedenken Manchmal bestimmt der Effekt die Fragestellung, und die Ursache ist schwer manipulierbar (Krankheiten, soziale Probleme), wie in Kriminalgeschichten: Wer ist der Mrder?
  • Folie 25
  • Alternativen zu Experimenten Keine Zufallszuweisung, aber Kenntnis von quantitativer Zuweisungsvariable Interrupted Time Series Design Regression Discontinuity Design Nicht-quivalente Designs, "Beobachtungsstudien"
  • Folie 26
  • Interrupted Time Series Design Groe Anzahl von Beobachtungen auf einer Variablen im Zeitverlauf Kenntnis des Zeitpunkts eines Treatments Vernderung in Intercept oder Slope Sofortiger oder verzgerter Effekt? Punktueller oder andauernder Effekt?
  • Folie 27
  • Datenquelle: Statistisches Bundesamt
  • Folie 28
  • Datenquelle: Statistisches Bundesamt
  • Folie 29
  • Regression-Discontinuity Design Bsp.: Finanzielle Zuschsse fr aus der Haft entlassene Menschen, wenn sie in den letzten 12 Monaten mind. 652 Stunden im Gefngnis gearbeitet haben. Senkt das die Rckfallquote?
  • Folie 30
  • Regression-Discontinuity Design
  • Folie 31
  • Kriminalgeschichten "Schmudellige" Kriminalgeschichten: Keine Zufallszuweisung, keine quantitative Zuweisungsvariable Der ideale Vergleich ist auch in "schmuddeligen" Kriminalgeschichten die Grundlage fr alle weiteren berlegungen Wie und warum weicht ein Forschungsdesign von dem idealen Vergleich ab?
  • Folie 32
  • Schlussfazit Effekte leichter interpretierbar durch: Standardisierung (z.B. d oder r) Kontrolle oder Kenntnis des Mechanismus der Zuweisung von Personen (und/oder Stimuli) zu den verschiedenen Stufen einer Treatment- Variable Validitt von Schlussfolgerungen ber empirische Ergebnisse hngt von der Passung von Effekt und Label ab