Statistische Analyse Unsere Fachstatistiker beraten Sie gern, wie Sie Ihre Recherche - und Datenerfassungsmethoden optimal gestalten können. Wenn Sie Ihre Daten noch nicht gesammelt haben, können Sie eine Excel-Datei erstellen. Siehe Beispiel. Wir sind in der Lage, Ihnen mit allen statistischen Analyse-Bedürfnisse zu helfen, egal, ob Sie an einem bestimmten Forschungsgebiet arbeiten oder eine große und vielfältige Datenmenge interpretieren. Ivory Research statistische Dienstleistungen umfassen: Grundlagen Statistische Statistik (Mittelwert, Median, Modus, Standardabweichung, Reichweite, Diagramme amp Graphen) Wahrscheinlichkeit (Grundlegende Theoreme zur Wahrscheinlichkeit Bedingte Wahrscheinlichkeit) Diskrete Wahrscheinlichkeitsverteilungen (Binomial, Poisson, Geometrisch, Hypergeometrisch) Kontinuierliche Wahrscheinlichkeit Verteilung (Normal, T, Chi-Quadrat, F) Z-Score Konfidenzintervall für Mittelwert, Standardabweichung und Proportion Hypothesentest über Mittelwert und Anteil Hypothesentest über Standardabweichung und Varianz ANOVA (Einweg Zweiweg) MANOVA Korrelation (Pearsons-Korrelation, Rangkorrelation ) Biostatistik Lineare Regression (Einfache lineare Regression Multiple lineare Regression) Nicht-lineare Regression Logistische Regression Nicht-parametrischer Test (Chi-Quadrat, Run-Test) Signaltest Mann Whitney U-Test, Wilcoxons gepaartes Zeichenrangtest, Kruskal Wallis Test) Statistische Qualitätskontrolle (Diagramm, R-Diagramm, C-Diagramm, P-Diagramm, NP-Diagramm) Entscheidungstheorie Spieltheorie Lineares Programmieren Problem Zeitreihenanalyse (Gleitender Durchschnitt, Exponentielle Glättung, Anpassungstrend und Saisonmodelle) Indexnummern Geschäftsstatistiken ÖkonometrieWillkommen am Institut für Digitale Forschung und Bildung SPSS-Bibliothek Verstehen und Interpretieren von Parameterschätzungen in Regression und ANOVA Diese Seite wurde von einer Webseite auf der SPSS-Webseite angepasst. Wir danken SPSS für die Erlaubnis, diese Seite über unsere Website anzupassen und zu verteilen. Diese Seite besteht aus 5 Artikeln von SPSS Keywords, die Fragen im Verständnis und Interpretation von Parameterschätzungen in Regressionsmodellen und anova-Modellen untersuchen. Die Zahlen wurden nacheinander neu numeriert. Sie können die in diesem Artikel verwendete Datendatei (catreg. sav) herunterladen, damit Sie die Ergebnisse für sich selbst reproduzieren können. Bei der Untersuchung von Stichworten-Lesern, um herauszufinden, welche Arten von Themen, die sie am meisten sehen wollten, in künftigen statistisch gesprochenen Artikeln behandelt wurden, fanden wir Dass viele SPSS-Benutzer über die richtige Verwendung von kategorischen Prädiktor-Variablen in Regressionsmodellen betroffen sind. Da die Interpretation der geschätzten Koeffizienten ein wichtiger Teil der Analyse eines Regressionsmodells ist und diese Interpretation davon abhängt, wie die Prädiktoren kodiert wurden (oder in technischer Hinsicht, wie das Modell parametrisiert wurde), ist dies in der Tat ein wichtiger Faktor Thema. Zunächst gehen wir davon aus, dass es sich bei dem betrachteten Modell nur um primäre oder primäre Effekte von Prädiktorvariablen handelt. Das heißt, es werden keine Polynomausdrücke höherer Ordnung verwendet, wie Quadrate oder Würfel, und es gibt keine Wechselwirkungen zwischen Prädiktoren. Solche höherwertigen oder Produktausdrücke führen Komplexitäten ein, die über die Anwesenheit von Haupteffekten mit kategorialen Variablen hinausgehen. Wir werden diese Komplexität vorerst vermeiden. Wir gehen weiter davon aus, dass wir vollständige Daten haben, dh keine fehlenden Werte für irgendwelche Prädiktoren oder abhängige Variablen. Wir beginnen mit einem kurzen Überblick über die Interpretation der geschätzten Regressionskoeffizienten. Wie Sie sich erinnern können, wird in einem linearen Regressionsmodell der geschätzte rohe oder nicht standardisierte Regressionskoeffizient für eine Prädiktorvariable (als B auf der SPSS-REGRESSION-Ausgabe bezeichnet) als die Änderung des vorhergesagten Wertes der abhängigen Variablen für eine Erhöhung einer Einheit interpretiert In der Prädiktorvariablen. Somit würde ein B-Koeffizient von 1,0 anzeigen, dass für jede Einheitszunahme im Prädiktor der vorhergesagte Wert der abhängigen Variablen ebenfalls um eine Einheit zunimmt. In dem gemeinsamen Fall, in dem es zwei oder mehr korrelierte Prädiktoren in dem Modell gibt, ist der B-Koeffizient als partieller Regressionskoeffizient bekannt und stellt die vorhergesagte Änderung in der abhängigen Variablen dar, wenn dieser Prädiktor um eine Einheit erhöht wird, während alle anderen Prädiktoren gehalten werden Konstante. Der Intercept - oder Konstant-Term gibt den vorhergesagten Wert der abhängigen Variablen an, wenn alle Prädiktoren auf 0 gesetzt werden. Für unsere Zwecke liegt die wichtige Unterscheidung zwischen verschiedenen Typen von Prädiktorvariablen zwischen jenen, die auf mindestens einer Intervallskala gemessen werden, wobei eine Änderung einer Einheit erfolgt In der Prädiktor hat eine konstante Bedeutung über die gesamte Skala, und diejenigen, wo solche Konsistenz der Einheit Unterschiede nicht angenommen wird. Obwohl diese theoretisch verschieden sind, kommt es in der Praxis häufig vor, daß die Begriffe Intervall und Subintervall durch kontinuierliche und kategorische ersetzt werden. Die oben gegebene Interpretation der geschätzten Regressionskoeffizienten gilt in ziemlich einfacher Weise den Intervallvorhersagen, kontinuierlich oder nicht, und ihre Verwendung in Prozeduren wie REGRESSION ist als praktische Angelegenheit ganz einfach: Benennen Sie sie einfach als unabhängige Variablen und geben Sie an, wann sie verwendet werden sollen . Für Subintervall-Variablen, die die Annahme in SPSS für kategorische Variablen ist, sind die Dinge komplizierter. Trotz der Tatsache, dass Gleichung mit Intervall und kategorisch mit Subinterval ist ein Missbrauch der Sprache, auch weiterhin tun, um zu vermeiden, dass Verwirrung im Zusammenhang mit der Verwendung von SPSS-Verfahren. Ein Grund dafür, dass die Handhabung von kategorischen Prädiktoren so wichtig ist, besteht darin, dass bis zum Erreichen der tatsächlichen Berechnung der Regressionsgleichung keine Unterscheidung zwischen Subintervall - und Intervallvariablen erfolgt. Um es anders auszudrücken, weiß eine Matrixalgebra-Routine nichts über verschiedene Arten von Zahlen, die sie alle gerade Zahlen sind. Einige SPSS-Verfahren verwendet, um lineare und generalisierte lineare Regressionsmodelle zu analysieren sind entworfen, um die Übersetzung von kategorischen zu Intervall-Darstellungen mit nur minimale Führung durch den Benutzer zu behandeln. Dazu gehören das T-TEST-Verfahren, die Analyse von Varianzprozeduren ONEWAY, ANOVA und MANOVA sowie die neueren nichtlinearen Regressionsverfahren LOGISTIC REGRESSION und COX REGRESSION. Selbst wenn eine derartige automatische Behandlung von kategorischen Prädiktoren verfügbar ist, ist es jedoch immer noch Aufgabe des Benutzers, sicherzustellen, dass er kategorische variable Repräsentationen gut genug versteht, um nützliche Ergebnisse zu erzeugen und diese Ergebnisse interpretieren zu können. Die einfachste mögliche Regression mit kategorialen Prädiktoren ist eine mit einer einzigen dichotomen (zwei Ebenen) unabhängigen Variablen. Ein Beispiel für ein solches Regressionsmodell wäre die Vorhersage von 1990 Mordraten in jedem der 50 Staaten in den USA, basierend darauf, ob jeder Staat eine Todesstrafe Satzung in Kraft kurz vor und während dieser Zeit hatte. Die Daten werden aus Almanachquellen zusammengestellt, wobei die Mordrate in der Zahl pro 100.000 Einwohner gemessen wird. Die Variable von Interesse, bezeichnet MURDER90, hat einen Mittelwert von etwa 4,97 für die vierzehn Staaten ohne Todesstrafe Satzung und etwa 7,86 für die 36 Staaten mit der Todesstrafe. Fig. 1 zeigt die Ergebnisse einer Dummy-Variablenregression von MURDER90 auf DEATHPEN, eine kategorische Variable, die einen Wert von 0 für die Todesstrafenzustände und 1 für die Todesstrafenzustände annimmt. 0-1-Codierung, die als Dummy - oder Indikator-Codierung bekannt ist, ist sehr populär, da sie sich häufig der einfachsten Interpretation eignet. Hier haben wir zwei Koeffizienten, einen Konstanten - oder Intercept-Term und einen Quotslopequot-Koeffizienten für die DEATHPEN-Variable. Erinnern Sie sich, dass die Interpretation ist, dass die Konstante der vorhergesagte Wert ist, wenn alle Prädiktoren auf 0 gesetzt sind, was hier einfach die Zustände ohne Todesstrafe darstellt. Somit ist der konstante Koeffizient gleich der mittleren Mordrate für diese Gruppe. Der DEATHPEN-Koeffizient ist der vorhergesagte Anstieg der Mordrate für eine Einheitszunahme in der DEATHPEN-Variablen. Da es sich bei diesen Staaten mit einem DEATHPEN-Wert von 1 um jene Staaten mit Todesstrafe handelt, stellt dieser Koeffizient die Veränderung der geschätzten oder prognostizierten Mordrate für diese Staaten gegenüber denjenigen ohne Todesstrafe dar. Der 2,89-Wert ist genau der Unterschied zwischen den beiden Mitteln, so dass die Addition der Konstante den Mittelwert für die Todesstrafe ergibt. Da wir die ganze Staatenbevölkerung betrachten, ist das Signifikanzniveau nicht von besonderem Interesse, aber wenn wir die gegenwärtige Situation als Ergebnis einer Stichprobe aus einigen hypothetischen Bevölkerungsgruppen konzipieren wollen, wäre der p-Wert von 0,0172 so anzugeben Ist es unwahrscheinlich, dass ein großer Koeffizient aus dem Zufall resultiert, wenn zufällige Stichproben dieser Größe aus hypothetischen Populationen mit gleichen Mitteln gewonnen wurden. Weitere Ergebnisse sind, dass der p-Wert für den t-Test für den MURDER90-Koeffizienten der gleiche ist wie für den Gesamtregressions-F-Test. Dies ist auf die Tatsache zurückzuführen, dass der t-Test die Nullhypothese testet, dass dieser Koeffizient 0 in der Population ist, während der F-Test die Nullhypothese testet, dass alle Koeffizienten außer dem Intercept in der Population 0 und mit nur einem Prädiktor sind , Sind diese Hypothesen die gleichen. Der F-Wert ist genau das Quadrat des t-Wertes. Dies gilt nur für eine einfache Regression mit einem Prädiktor. Bemerkenswert ist auch, dass das Multiple R, das sich in einer einfachen Regression auf den absoluten Wert der Korrelation zwischen Prädiktor und abhängiger Variable reduziert, gleich dem standardisierten Regressionskoeffizienten (Beta) ist. In einer einfachen Regression ist der genormte Koeffizient die Korrelation zwischen dem Prädiktor und den abhängigen Variablen und ist daher zwangsläufig zwischen -1 und 1 zu betrachten. Man beachte, daß dies im allgemeinen nur für eine einfache Regression gilt und daß bei korrelierten Prädiktorvariablen die Können standardisierte Koeffizienten größer als 1 im Absolutwert sein. Diese Korrelation zwischen einer dichotomen Variablen und einer kontinuierlichen Variablen wird manchmal als Punkt-biseriale Korrelation bezeichnet. Keine spezielle Formel erforderlich Spezielle Berechnungsformeln in Texten sind einfach spezielle Fälle der allgemeinen Pearson-Produktmoment-Korrelationskoeffizientenformel, die auf diese Kombination von Variablentypen angewandt wird. Wenn beide Variablen dichotom sind, reduziert sich die Standardformel auf einen phi-Koeffizienten. Schließlich ist anzumerken, dass es in SPSS eine Reihe von Möglichkeiten gibt, die gleichen Ergebnisse zu erzielen, die wir von REGRESSION erhalten haben, wenn wir die Nullhypothese der Gleichheit der Mittel zwischen den beiden Gruppen von Staaten, die aus unseren hypothetischen Populationen gezogen wurden, testen sollten. Aus T-TEST, der KONTRAST-Option in ONEWAY oder der Parameter-Schätzung in MANOVA und dem F-Wert kann genau die gleiche t-Statistik (oder das Negativ des Wertes von REGRESSION, was bei den variablen Codierungen gleichbedeutend ist) erhalten werden - Statistik könnte in ONEWAY, ANOVA oder MANOVA dupliziert werden. In ONEWAY oder ANOVA müssten wir die Dummy-Variable für DEATHPEN als zweistufigen Faktor verwenden, während wir in MANOVA entweder als Faktor oder als Kovariate spezifizieren können. Die Ergebnisse in jedem Fall wäre die gleiche in Bezug auf Test-Statistiken und p-Werte. Ein Beispiel ist in Abb. 2 dargestellt, wobei die Standard-DEVIATION-Kontraste in MANOVA verwendet werden: Wir sehen, dass das Signifikanzniveau für den t-Test für die DEATHPEN-Parameter-Schätzung das gleiche ist, wie wir es in REGRESSION erhalten haben. Allerdings ist es entgegengesetzt im Zeichen unserer früheren Koeffizienten, und nur die Hälfte der Größe. Unsere Konstante hat sich auch geändert, dass sein Wert jetzt auf halbem Weg zwischen den Mitteln der beiden Gruppen ist. Die Unterschiede, die wir hier sehen, beruhen auf der Verwendung eines anderen Satzes von Prädiktorcodierungen, die intern von MANOVA verwendet werden. Das heißt, MANOVA hat das Modell etwas anders parametrisiert als früher. Die Standard-DEVIATION-Kontraste in MANOVA sind so ausgelegt, dass sie jede Ebene eines Faktors mit dem Mittelwert aller Ebenen vergleichen. In diesem Fall vergleicht der DEATHPEN-Koeffizient die Todesstrafe nicht mit dem einfachen Mittelwert der beiden Gruppenmittel. Der Konstante Koeffizient ist dieser einfache Mittelwert von Gruppenmitteln. Die F-Statistik bleibt gleich, das Quadrat des t-Wertes, wie es bei REGRESSION der Fall war. Diese Ergebnisse weisen auf drei wichtige Merkmale des Regressionsmodells hin. Eines ist, dass die Interpretation der geschätzten Modellkoeffizienten von der Parametrisierung des Modells abhängt, um zu wissen, wie die Koeffizienten interpretiert werden müssen, wir müssen wissen, wie die Prädiktorwerte codiert worden sind. Zweitens, trotz der Verwendung von zwei verschiedenen Parametrisierungen, haben wir die gleichen Ergebnisse in Bezug auf die Test-Statistiken für DEATHPEN. Dieses Ergebnis würde unabhängig von den beiden numerischen Werten, die verwendet wurden, um die Gruppen zu repräsentieren, auftreten, was wir nur tun könnten, indem wir diese Werte ändern würden, um das Vorzeichen des Koeffizienten zu kippen und den Koeffizienten und seinen Standardfehler um einen gleichen Faktor aufzuladen oder zu entleeren, Der absolute Wert des Verhältnisses bleibt gleich. Dies trifft zu, weil die Existenz von nur zwei Gruppen bedeutet, daß eine numerische Darstellung eines Vergleichs zwischen ihnen nur in einer Weise durchgeführt werden kann, in der Unterschiede in den praktischen Ergebnissen auf Skalierungsbetrachtungen zurückzuführen sind. Eine andere Möglichkeit, dies zu sagen, ist, da wir nur zwei Gruppen haben, kann es nur einen Freiheitsgrad in jedem Test verwendet werden, um sie zu vergleichen, und die Ergebnisse müssen daher immer die gleichen sein. Schließlich, obwohl die identischen Fehlersummen von Quadraten dies nur intim und nicht unbedingt beweisen, ist es der Fall, dass die vorhergesagten Werte, die durch die beiden Ansätze erzeugt werden, identisch sind. Mit anderen Worten: Wir haben das gleiche Gesamtmodell in zwei verschiedenen Varianten eingebaut. Wir haben noch nicht identifiziert, die Codierungen auf die beiden Ebenen der DEATHPEN, die in der MANOVA Parameter Schätzungen ergeben. In MANOVA haben wir DEATHPEN als kategorische Faktorvariable mit Codes von 0 und 1 vorgegeben und die Prozedur intern die für die Modellbefestigung benötigte Design - oder Basismatrix erstellt. In REGRESSION wird nur die Konstante oder Intercept-Spalte von 1s automatisch durch die Prozedur bereitgestellt, wobei die anderen Spalten durch den Benutzer in Form der spezifizierten Prädiktorvariablen bereitgestellt werden. In MANOVA erzeugt die Prozedur automatisch einen Satz von Vorhersagevariablen, um einen Faktor darzustellen, anstatt den Benutzer dazu zu zwingen. Im Falle eines dichotomen Faktors erzeugt MANOVA neben dem konstanten Term nur einen Prädiktor, der standardmäßig die Variablen 1 und -1 angibt. In unserem Beispiel sind die Zustände ohne Todesstrafe die erste Gruppe (mit Faktorvariablenwert 0) und codiert 1, während Staaten mit der Todesstrafe einen Wert von -1 erhalten. Wenn wir die Interpretation des Regressionskoeffizienten als die Zunahme des vorhergesagten Wertes der abhängigen Variablen für eine Einheitszunahme im Prädiktor wieder aufrufen, können wir sehen, warum der DEATHPEN-Koeffizient in MANOVA -12 jener in REGRESSION ist. Zunächst wurde die Richtungsänderung geändert. Das heißt, ein Anstieg der Prädiktoren bedeutet, sich von der Todesstrafe in Richtung der Todesstrafe zu bewegen. Also die Veränderung im Zeichen. Zweitens, um die beiden Gruppen in dieser Parametrisierung zu vergleichen, müssen wir zwei Einheiten von -1 zu 1 und nicht von 0 bis 1 verschieben. Daher sagen die beiden Parametrisierungen wirklich genau dasselbe. Dies wird unter Verwendung der MANOVA-Ergebnisse weiter veranschaulicht, um die Mordraten der beiden Gruppen vorherzusagen. Für die Staaten ohne Todesstrafe addieren wir die CONSTANT - und DEATHPEN-Koeffizienten, was uns einen vorhergesagten Wert von etwa 4,97 ergibt. Für die Todesstrafegruppe subtrahieren wir den DEATHPEN-Koeffizienten aus dem CONSTANT und erhalten einen vorhergesagten Wert von etwa 7,86. Dies sind natürlich die gleichen Werte, die mit REGRESSION erhalten wurden. Was, wenn wir die gleichen Schätzungen in MANOVA, dass wir in REGRESSION erhalten produzieren wollte Die einzige einfache Weg, um exakt die gleichen Schätzungen zu produzieren wäre, geben Sie die DEATHPEN Prädiktor als covariate codiert 0-1. (Es gibt einen Weg, um MANOVA in die Bereitstellung der gleichen Koeffizienten wie REGRESSION auch mit DEATHPEN als Faktor, aber gut ignorieren, dass hier.) Der Grund dafür ist, dass in seiner automatischen Reparametrisierung oder interne Rekodierung der Faktor (s), MANOVA Erzwingt eine Summe von 0 Einschränkungen für die Werte der Kategoriencodierungen. Somit ist keine 0-1-Codierung verfügbar. Für die Differenz zwischen den beiden Gruppen von Zuständen können wir dennoch denselben Parameterwert erhalten. Dies kann durch die Verwendung von EINFACHEN Kontrasten mit der ersten Kategorie als Referenzkategorie erreicht werden. Dabei werden die Kategoriencodes von -12 und 12 verwendet, so dass eine Erhöhung einer Einheit im Prädiktor eine Veränderung von der Todesstrafe bis zur Todesstrafe bedeuten würde und der resultierende Koeffizient in der Größenordnung und im Zeichen wie in REGRESSION. Der Konstante oder Intercept-Term wäre jedoch immer noch der ungewichtete Mittelwert der beiden Gruppenmittel. Mit dem CONSTANT-Koeffizienten aus dem MANOVA-Ausgang plus oder minus 12-mal dem DEATHPEN-Koeffizienten aus dem REGRESSION-Ausgang können Sie sicherstellen, dass diese Parametrierung wieder genau die gleichen vorhergesagten Werte erzeugt wie unsere früheren Ansätze. So viel für die einfache Situation eines dichotomen Prädiktors. Wie wir gesehen haben, ist in dieser Situation die Codierung der Variablen für die Interpretation des Wertes des Regressionskoeffizienten wichtig, aber nicht, wenn wir testen wollen, ob der Prädiktor eine Beziehung ungleich Null zur abhängigen Variablen hat. Eine Möglichkeit, über diese Tatsache nachzudenken ist, dass, wenn es nur zwei Werte eines Prädiktor gibt es nur ein Intervall zwischen diesen Werten, so dass die Annahme der gleichen Bedeutungen von Intervallen automatisch erfüllt ist. Jedoch, sobald wir auf Prädiktoren mit mehr als zwei Ebenen zu bewegen, werden die Dinge komplizierter. Nun sparen diese Komplikationen für die nächste Ausgabe. In der vorliegenden Arbeit wurde die Diskussion um die kategorialen Prädiktoren in der linearen Regression auf den Fall einer dreistufigen Prädiktorvariable erweitert. Ein Weg, dies in unserem Beispiel zu tun, ist die Unterscheidung zwischen Staaten mit einem Todesstrafe-Statut, aber keine Hinrichtungen in einem relevanten Zeitraum und diejenigen, in denen eine oder mehrere Hinrichtungen während dieser Zeit stattgefunden haben. Hier werden wir eine neue Variable mit dem Namen STATUS89 verwenden, die für jene Staaten ohne Todesstrafe einen Wert von 0 annimmt, für die 28 Staaten, in denen die Todesstrafe verhängt ist, aber keine Hinrichtungen im Jahr 1989 und 2 für die acht Staaten Wo Hinrichtungen während des Jahres 1989 auftraten. Die Todesstrafenzustände sind die gleichen 14 Zustände vom letzten Mal, mit einer durchschnittlichen Mordrate von ungefähr 4.97. Die 28 Staaten mit den Statuten, aber keine 1989 Hinrichtungen hatten eine Rate von etwa 6,98, und die acht ausführenden Staaten hatten eine Rate von etwa 10,96. Wie sollten wir unseren neuen Drei-Ebenen-Prädiktor darstellen Der Dummy-Variable-Ansatz ist wieder wohl der beliebteste unter den angewandten Forschern. Da es drei Gruppen gibt, haben wir zwei Freiheitsgrade für Vergleiche. Daher benötigen wir zwei Dummy-Variablen, um STATUS89 darzustellen. Wenn wir STATUS1 eine Dummy-Variable mit einem Wert von 1 für die Zustände mit einem Wert von 1 für STATUS89 und 0 ansonsten machen und STATUS2 eine Dummy-Variable mit einem Wert von 1 für die Zustände mit einem Wert von 2 für STATUS89 und 0 ansonsten machen , Dann wird der STATUS1-Koeffizient Zustände mit einem Wert von 1 an STATUS89 mit jenen vergleichen, die einen Wert von 0 haben, und der STATUS2-Koeffizient vergleicht Zustände mit einem Wert von 2 an STATUS89 mit denen mit einem Wert 0. Eine nützliche Möglichkeit, um zu sehen, was wir tun, ist es, die Design-Matrix, die wir verwenden, auf der Zellebene, die, um die Werte der neuen Prädiktor-Variablen einmal für jede unterschiedliche Ebene des ursprünglichen Prädiktor. Diese Aufzählung ist in Abbildung 3 dargestellt: Eine Frage, die hier in den Sinn kommen kann, ist, wie STATUS1 die Ebene 1 von STATUS89 auf Ebene 0 und nicht auf beiden Ebenen 0 und 2 vergleichen. Ähnlich wie STATUS2 stellt einen Vergleich zwischen Stufe 2 von STATUS89 und Ebene 0 und nicht zwischen Ebene 2 und den beiden anderen Ebenen Um zu sehen, warum dies der Fall ist, beachten Sie, dass Fälle auf Stufe 1 von STATUS89 sich von denen auf Ebene 0 nur auf STATUS1 unterscheiden, während Fälle auf Ebene 2 sich von denen auf Ebene 0 unterscheiden Auf STATUS2. Aus diesem Codierungslayout können wir sehen, daß die Zustände auf dem Pegel 0 von STATUS89 von dem CONSTANT vorhergesagt werden, während die Zustände auf dem Pegel 1 durch die Summe der CONSTANT - und STATUS1-Koeffizienten vorhergesagt werden und die Zustände auf dem Pegel 2 von STATUS89 vorhergesagt werden Die Summe der CONSTANT - und STATUS2-Koeffizienten. So sollten unsere Regressionskoeffizienten den Mittelwert für die Todesstrafe-Staaten als den Konstanten, den Unterschied zwischen den nicht-tödlichen Todesstrafen und den Todesstrafe-Staaten als den STATUS1-Koeffizienten und den Unterschied zwischen den Vollstreckungsstaaten und dem Nichttod geben Strafzustände für den STATUS2-Koeffizienten. Wie die Ausgabe von REGRESSION in Fig. 4 zeigt, ist dies in der Tat der Fall: Wie bereits erwähnt, verschwinden die meisten der Identitäten zwischen verschiedenen Nummern am Ausgang, wenn mehrere Prädiktoren betroffen sind. Die t-Tests für die einzelnen STATUS-Koeffizienten deuten darauf hin, dass die hypothetische Bevölkerung keine Todesstrafe und Todesstrafe bedeutet, aber keine Ausführungsgruppen können nicht unterschiedlich sein, während die hypothetische Population für die Ausführungsstaaten höher zu sein scheint als für die Nr Todesstrafe Staaten. Der F-Test bei der Analyse der Varianztabelle testet die Nullhypothese, dass beide STATUS-Koeffizienten 0 in der Population sind, was logisch bedeutet, dass alle drei Populationsmittel gleich sind. Es ist zu beachten, dass es trotz der logischen Beziehungen zwischen Hypothesen, die durch die zwei Arten von Tests getestet werden (ein oder mehrere Koeffizienten ungleich Null implizieren eine Ablehnung der Omnibus-Nullhypothese und umgekehrt), wenn Schlußfolgerungen über Populationswerte auf der Grundlage von Probendaten erhalten werden Logischen Widersprüchen. Das heißt, ein oder mehrere individuelle t-Tests können quotsignifikant sein, wenn der Gesamt-F-Test nicht vorliegt, oder der Gesamt-F-Test kann quotsignifikant sein, wenn keine individuellen t-Tests vorliegen. Wenn der Gesamt-F-Test quotsignifikant ist, dann kann eine Paramterisierung gefunden werden, die mindestens einen quotsignificantquot-t-Test erzeugt, aber in einigen Fällen liefert diese Parametrisierung viele keine nützliche Interpretation hinsichtlich der Unterschiede zwischen den Gruppenmitteln. Abbildung 5 zeigt, wie sich die Standard-MANOVA-Parametrierung für diese Analyse ergibt. Wie in der ANOVA-Tabelle zu sehen ist, ist der gesamte F-Wert für STATUS89 identisch mit dem, der für die Gesamtregression in REGRESSION angegeben ist. Dies trifft zu, weil, obwohl die verschiedenen Parametrisierungen unterschiedliche Koeffizienten erzeugen, wir noch zwei Prädiktoren verwenden, um zwischen drei Gruppen zu unterscheiden. Alle zwei nichtredundanten Prädiktoren, die die Unterschiede zwischen unseren drei Gruppen genau darstellen, würden die gleichen Ergebnisse liefern. Dies wird formal durch die Aussage formuliert, dass der Gesamttest unter verschiedenen Parametrisierungen invariant ist. Das heißt, wir testen die gleiche Omnibus-Nullhypothese der Gleichheit unter den drei Populationsmitteln, ungeachtet der spezifischen Kontrastcodierungen, die wir verwenden, um Gruppen zu vergleichen. Wie bei dem früheren dichotomen Prädiktor stellt der CONSTANT-Koeffizient in dieser Analyse das einfache ungewichtete Mittel der Probengruppenmittel dar. Die beiden Abweichungskoeffizienten für STATUS89 geben die Mittelwerte der beiden ersten Ebenen abzüglich des ungewichteten Mittelwertes aller drei Ebenen. Diese Art der Parametrisierung wird oft als quoteffectquot-Kodierung bezeichnet, da der Parameter für eine Ebene einer Faktorvariablen als der Effekt des Seins auf diesem Niveau des Prädiktors interpretiert wird, im Gegensatz zu dem Gesamtdurchschnitt. Diese Terminologie ist den Benutzern, deren lineare Modelle in einer Analyse des Varianzgerüsts behandelt wurden, wahrscheinlich vertrauter, im Gegensatz zu einem multiplen Regressionsansatz. Wichtig ist hierbei, dass trotz gewisser terminologischer Präferenzen beide Ansätze genau dasselbe tun. Da wir das gleiche Gesamtmodell in MANOVA passten, das wir in REGRESSION gemacht haben, müssen wir in der Lage sein, die gleichen Werte für jeden vorhergesagten Zustand vorherzusagen. Um genau sehen zu können, wie dies geschieht, müssen wir uns das Design oder die Basismatrix ansehen, die MANOVA verwendet hat. Wie Sie sehen können, indem man die Koeffizienten in der Matrix in Fig. 6 betrachtet, wird der vorhergesagte Wert für die keine Todesstrafgruppe durch Summieren der ersten und zweiten Parameterschätzungen abgeleitet, der Wert für die Todesstrafe aber keine Ausführungsgruppe wird durch Summieren der Werte erhalten Ersten und dritten Schätzungen, und der Todesstrafgruppenwert wird durch Subtrahieren der zweiten und dritten Schätzungen von dem ersten erhalten. Indem Sie hier die Arithmetik durchführen, können Sie die identischen Vorhersagen, die sich aus den beiden verschiedenen Parametrisierungen ergeben, überprüfen. INTERAKTIONEN UNTER DICHOTOMEN PREDIKTOREN IN DER REGRESSION David P. Nichols Senior Support Statistician SPSS, Inc. August 1995 Hier werden wir die Diskussion über die Parametrisierung linearer Regressionsmodelle mit kategorialen Prädiktorvariablen aus den Stichpunkten 56 und 57 fortsetzen. In diesem Artikel beschäftigen wir uns mit dem Problem Der Interaktionen zwischen kategorischen Prädiktoren. Wir werden weiterhin die Daten der Vereinigten Staaten mit der Mordrate 1990 als unsere abhängige Variable verwenden und auch annehmen, dass die Staaten als zufällige Stichprobe von einer theoretischen Bevölkerung von Interesse betrachtet werden könnten, um die Aufmerksamkeit auf Teststatistiken zu lenken. Nun befassen sich mit dem einfachsten Fall der Interaktion, die zwischen zwei binären oder dichotomen Vorhersagevariablen. DEATHPEN, eingefügt in Heft 56, ist eine 0-1-Variable, die die Abwesenheit oder die Anwesenheit eines Todesstrafegesetzes in den Jahren 1989-90 anzeigt. KULTUR ist eine neue Variable, wieder 0-1, was auf die Abwesenheit oder das Vorhandensein eines bestimmten Einflussniveaus einer Reihe von kulturellen Merkmalen hindeutet, die von einigen Sozialwissenschaftlern in die Produktion von hohen Raten von bestimmten Arten von Gewalt einbezogen werden. Obwohl beide Prädiktorvariablen vor der abhängigen Variablen gemessen werden und potentiell kausale Mitwirkende sind, gibt es zweifellos eine Reihe weiterer Faktoren, die aus unserem einfachen Modell herausgelassen wurden. Daher sollten die hier gezeigten Beziehungen nur als eine Darstellung der grundlegenden Regressionsmethoden und nicht als eine strenge Analyse der Beitragszahler zu Mordraten betrachtet werden. Abbildung 7 enthält die Mittelwerte, Standardabweichungen und Zellzahlen für die vier Kombinationen der beiden Prädiktoren. Wir können sehen, dass die Mittel für Staaten ohne den kulturellen Faktor niedriger sind als die mit ihnen, und dass im Durchschnitt die Staaten ohne Todesstrafe niedrigere Mittel haben. Allerdings sehen wir auch, dass der Mittelwert für die Staaten der KULTUR 0 höher ist für die Staaten ohne Todesstrafe. Es gibt also Hinweise auf eine unterschiedliche Wirkung von DEATHPEN, je nachdem, welches Niveau der KULTUR man berücksichtigt. Mit anderen Worten, es scheint, dass DEATHPEN mit KULTUR in seinen Auswirkungen auf MURDER90 interagiert. Formell bedeutet eine Interaktion, dass die Wirkung eines Prädiktors auf die abhängige Variable von dem Pegel des anderen betrachteten Prädiktors abhängt. (Übrigens enthalten die 13 Zustände in der CULTURE 0-DEATHPEN 1-Zelle keinen der 1989 durchführenden Zustände. Obwohl eine 2x3-Analyse unter Verwendung der drei Level-STATUS89-Variablen aus der Ausgabe 57 vielleicht ein eher theoretisch zufriedenstellender ist, ergibt sich In einer leeren Kombination von Prädiktoren, die Probleme verursacht, die zu kompliziert sind, um in diesem kurzen Artikel behandelt zu werden.) Abbildung 7: Beschreibende Statistik Wir analysieren zunächst die Daten mit dem REGRESSION-Verfahren und geben die beiden Dummy-Variablen CULTURE und DEATHPEN sowie ein Produkt ein Die durch Multiplikation der beiden Variablen berechnet wird. Diese INTERACT-Produktvariable stellt zusammen mit CULTURE und DEATHPEN das Zusammenspiel von CULTURE und DEATHPEN dar. Die Ergebnisse der Regression sind in Abbildung 8 dargestellt. Abbildung 8: REGRESSION-Ergebnisse mit Dummy-Codierung Das Wichtigste an dieser Stelle ist, dass die INTERACT-Variable einen Signifikanzniveau von .0078 aufweist, was anzeigt, dass der Interaktionsterm im Modell verbleiben sollte. Einige Leute könnten die Signifikanzniveaus für die CULTURE - und DEATHPEN-Quotierungseffekte betrachten, die beide weit über 0,05 liegen, und schließen daraus, dass es sich um eine Situation handelt, bei der es sich um eine Interaktion handelt, aber keine Haupteffekte. Daraus ergibt sich ein Missverständnis der Bedeutung einer Interaktion. Eine Interaktion bedeutet, dass sich die Effekte einer Variablen über die Ebenen einer anderen Variablen unterscheiden. Damit sich die Auswirkungen einer Variablen auf unterschiedliche Ebenen einer anderen Variablen unterscheiden können, müssen einige dieser Effekte ungleich Null sein. Logischerweise bedeutet eine Interaktion, dass alle beteiligten Haupteffekte ebenfalls vorhanden sind. Ein wichtiges Merkmal des Interaktionsmodells wird durch Vergleich dieser Ergebnisse mit denen aus dem MANOVA Verfahren, wo wir das gleiche Modell, aber verwendet eine etwas andere Parametrisierung. Es sei daran erinnert, dass in den bisherigen Analysen, die nur die Hauptwirkungen betreffen, die Parametrisierung den Gesamteffekt-F-Test nicht änderte (nur die Konstante war betroffen). Wir sehen hier, dass dies nicht mehr gilt, sobald eine Interaktion in das Modell eingeführt wird. Fig. 9 stellt die (editierten) MANOVA-Ergebnisse unter Verwendung von SIMPLE (1) - Kontrasten dar, die einen Vergleich der zweiten Kategorie jedes Faktors mit dem ersten anwenden, wie es durch die Dummy-Codierung erzeugt wird, wenn nur die Haupteffekte passen. Abbildung 9: MANOVA-Ergebnisse mit EINFACHEN (1) Kontrasten Auch hier ist der Interaktionsbegriff, der identisch ist mit dem von REGRESSION. Beachten Sie, dass das Ändern der Parametrisierung die Skalierung des Parameters hier ändern könnte, aber den Wert der t-Statistik oder deren Bedeutung nicht ändern würde. Beziehungen zwischen einzelnen Parametern sind komplizierter, wenn Faktoren mehr als zwei Ebenen haben, aber die Gesamt-F-Statistik bleibt gleich, unabhängig von der Parametrisierung, wenn der höchste Auftrag Begriff betrachtet wird. Da alle Begriffe hier einen Freiheitsgrad haben, testen die F-Prüfungen das gleiche wie die t-Prüfungen und wurden weggelassen, um Platz zu sparen. Das nächste, was wir vielleicht bemerken, ist, dass nach den MANOVA-Ergebnissen, beide der quotmaain effectsquot sind signifikant, anders als in der REGRESSION Ergebnisse. Hier ist das Verständnis der parametrisierten Modellierung von entscheidender Bedeutung. Lets Blick auf die codingsquot quotparameter oder Basis Matrizen in den beiden Analysen verwendet, um zu sehen, wie wir die beiden Sätze von Befunden Platz können. Fig. 10 zeigt die Werte der Codierungen für den Dummy-Ansatz. Die 4x4 Matrix auf der rechten Seite ist die Basis - oder Entwurfsmatrix (X), die im linearen Modell verwendet wird. Die Kontrastmatrix (C), die durch dieses Codierungsschema erzeugt wird, ist in Fig. 11 angegeben. Die Beziehung zwischen den beiden Matrizen kann durch Auswertung der folgenden Gleichung verifiziert werden: Fig. 10: Parametrisierung unter Verwendung von Dummy-Codierungen Ablesen über die erste Zeile von Fig Dass die Zustände CULTURE 0, DEATHPEN 0 vollständig durch den Parameter CONSTANT repräsentiert werden. Dies wird durch die Werte in der ersten Zeile der Kontrastmatrix in Fig. 11 bestätigt, wobei der CONSTANT einfach als der Mittelwert der Gruppe von CULTURE 0, DEATHPEN 0 angesehen wird und daß der Wert von 4,84 für den CONSTANT in der Fig Die REGRESSION-Ausgabe ist der Mittelwert für diese Zustände. The second row of the basis shows that the CULTURE 0, DEATHPEN 1 mean is modeled by summing the CONSTANT and DEATHPEN parameters, which implies that the DEATHPEN parameter compares this group to the CULTURE 0, DEATHPEN 0 group. The third line of the contrast matrix shows that the DEATHPEN parameter is indeed comparing these two groups. Again, you should be able to derive the parameter estimate value from the appropriate means (within printed levels of precision). Thus the DEATHPEN effect here is really the simple main effect of DEATHPEN at the 0 level of CULTURE (4.092-4.84-.748), which according to the significance level printed is quite possibly chance variation. The third row of the basis in Figure 10 and the second row of the contrast matrix in Figure 11 show that the CULTURE parameter is assessing the simple main effect of culture for the DEATHPEN 0 states (5.3-4.84.46), which is also easily attributable to chance. Finally, the INTERACT parameter estimates the difference between the simple main effects of CULTURE at the two levels of DEATHPEN and vice versa: Thinking about the interaction parameter in this way illustrates how an interaction implies main effects: interactions are differences among differences, and if all differences are 0, then by definition the differences among the differences must also be 0. Figure 11: Contrasts estimated by dummy codings Now lets look at the basis and contrast matrices for the SIMPLE(1) coding used in MANOVA (Figure 12). The last line of Figure 13 shows that the contrast estimated by the interaction parameter is the same as with dummy coding, which fits with our earlier observation that the parameter estimates for the interaction terms were the same in both analyses. As we noted earlier though, none of the other parameters represent the same things. The similarity of the basis and contrast matrices for the SIMPLE contrasts is an artifact of the 2x2 design, and does not hold for designs involving larger numbers of levels. In general, it is difficult to use the basis matrix with SIMPLE contrasts to see what is being estimated. Figure 12: Parameterization using SIMPLE(1) codings The contrast matrix shows us that the CONSTANT parameter is simply estimating the (unweighted) average of the four means. The CULTURE parameter estimates the average of the two CULTURE 1 cells minus the average of the two CULTURE 0 cells, while the DEATHPEN parameter estimates the average of the two DEATHPEN 1 cells minus the average of the two DEATHPEN 0 cells. You should be able to use the cell means to reproduce the parameter estimate values. Note that what are labeled as main effects here are averages of the simple main effects of each factor across the levels of the other factor. Thus the 1.974 coefficient for DEATHPEN is the average of the 9.996-5.34.696 difference at level 1 of CULTURE and the 4.092-4.84-.748 difference at level 0 of CULTURE. Though such quotmain effectsquot have become the norm for computer output from ANOVAlinear models procedures, largely due to the simplicity of the hypotheses tested, the danger in taking averages of different effects as representative of the whole is well illustrated by this example. If DEATHPEN were a treatment, CULTURE denoted two types of patients and the dependent variable were a measure of health, for example, we might conclude based on the averaged effect that the treatment is good for everyone, when the results are really telling us that it has no effect or is perhaps harmful for one group of patients. Figure 13: Contrasts estimated by SIMPLE(1) codings In addition to using the means to verify the interpretations of the parameter estimates, you should be able to use the basis matrices and parameter estimate values to reproduce the predicted values for each cell for both analyses. If you do this, you will see that the predictions produced in each case are identical. This is true because have fitted exactly the same model in both cases. The choice of parameterization strategy affects only the interpretation of the individual parameters, not the overall model. The most important thing to note here is that the interaction is the only term that is independent of the choice of parameterizations. The presence of an interaction means that there is no single main effect for a factor involved in that interaction, so different choices of parameterization lead to different interpretations for the quotmain effects. quot CONTINUOUS BY CATEGORICAL INTERACTIONS IN REGRESSION David P. Nichols Senior Support Statistician SPSS, Inc. From SPSS Keywords, Number 61, 1996 Continuing the topic of using categorical variables in linear regression, in this issue we will briefly demonstrate some of the issues involved in modeling interactions between categorical and continuous predictors. As in previous issues, we will be modeling 1990 murder rates in the 50 states of the U. S. Our predictors will be the previously used 0-1 culture dummy variable, along with a new variable: state 1990 per capita income, expressed as a percentage deviation from the national average (i. e. a value of 10 indicates that a states per capita income was 10 above the national mean). For most people, the parameterization of choice in this situation is to code the culture dummy variable so that 0 means no and 1 means yes (that state is deemed to be affected by the cultural factor of interest). The interaction variable is created by multiplying the dummy variable by the income variable. Results of this REGRESSION are given in Figure 14. As always, the constant is the predicted value for the dependent variable when all predictors are 0. In this case, it represents the predicted 1990 murder rate for a state without the cultural characteristic of interest, with 1990 per capita income equal to the national average. The culture parameter gives the change in predicted value for the affected states relative to the others when income is 0 (at the national average). Affected states have a much larger predicted rate (almost twice as high). The income parameter gives the predicted slope for the unaffected states increases in per capita income are associated with higher predicted murder rates for these states. The interaction parameter estimates the difference in predicted slope for the affected states the -.13 value here can be added to the .08 value for income to obtain the predicted slope for these states, which is about -.047. In other words, for these states, increases in income are associated with decreases in predicted murder rates. Figure 14: REGRESSION results with dummy coding (1YES) Note that the interpretation of the quotmain effectsquot is conditional upon the level of the other variable, due to the presence of the interaction in the model. An alternative parameterization is presented in Figure 15. Here, the dummy variable for culture has been reverse coded, 0 for affected, 1 for not. Here, the constant now gives the affected groups predicted value at 0 or mean income. Culture again compares the two groups at mean income, but this time subtracts affected from unaffected and thus has a negative sign. Income gives the -.047 value we calculated above: the predicted slope for the affected states. The interaction coefficient is the same but with an opposite sign. Again, adding this to income produces the predicted slope for the group coded 1. Figure 15: REGRESSION results with dummy coding (1NO) Note that the t-statistics for the constant and income parameters differ between the two tables. This is because these parameters are estimates of different things under the alternative parameterizations. You should be able to reproduce exactly the same predicted value for a given combination of culture and income from the two parameterizations in order to verify the fact that they are estimating the same overall model. For example, for an affected state with an income value of 10, parameterization 1 would predict while parameterization 2 would predict While the intercept and income terms here varied with the parameterization of the model, the culture term did not. There are ways of parameterizing the model that would produce different results for culture. Can you think of what some of these might be Well talk about this in the next issue. FURTHER INTERACTIONS WITH CATEGORICAL VARIABLES IN REGRESSION David P. Nichols Senior Support Statistician SPSS, Inc. From SPSS Keywords, Number 62, 1996 In the last issue, we talked about interpretation of the parameters of a regression model that included one dichotomous and one continuous predictor, plus their interaction. As has been the case throughout this series, the point was to illustrate the dependence of parameter interpretations on the way the predictor variables were coded that is, on how the model was parameterized. We saw how the interpretation of the quotmain effectquot of the continuous income variable was conditional upon the way the dichotomous culture variable was coded. We also saw that in the two parameterizations we used (reversing the 0-1 dummy coding for culture), the culture quotmain effectquot parameter had the same absolute value, producing the same t-statistic and significance level. At the end of that article, we alluded to the fact that this would not necessarily be the case under alternative parameterizations, and promised to show why. Figure 16 gives the same numbers as Figure 14 (from the above article). Recall that the culture dummy variable was coded 0 for no and 1 for yes, and that the income variable was expressed as a percentage deviation from the national mean. Though it was not specified at the time, the national mean was based on an unweighted mean of individuals or a weighted mean of states, so that states with higher populations contributed more heavily. When we use such a variable in an analysis with each state treated as a single unit, the mean of the income variable is not 0 in this case, its -5.08 (states with larger populations tend to have higher relative incomes). Figure 16: Original REGRESSION results (from previous issue) Suppose we now recompute the income variable by centering it that is, we make it so that it has a mean of 0 in our sample (we do this by adding 5.08 to the earlier income variable). What happens now when we recompute the interaction product variable for culture and income and run a regression using the same dummy coding for culture As you can see from Figure 17, we now get different results for the constant term and for the culture quotmain effect. quot The constant is of course the predicted value when all predictors are set to 0. In both cases, this means culture0. However, in Figure 16, it means that income is set to 100 of the national mean, while in Figure 17, income is set to 94.92 of the national mean. Thus the constant for Figure 17 is equal to the original constant minus 5.08 times the income coefficient: Figure 17: Centered REGRESSION results Notice also that the culture coefficient has changed, from 4.377789 to 5.039091, as has its t-value and significance. This is because we are now estimating something different: the difference in predicted value for a state with culture1 compared with a state with culture0, but this time at income equal to -5.08 on the old scale (which is 0 on the new scale). The culture coefficient in Figure 17 is (to within rounding error) the original culture coefficient minus 5.08 times the interaction coefficient: The primary implication of course is that the interpretation of the quotmain effectquot of the culture variable, like that of the income variable, depends on how the model has been parameterized. There is no single interpretation of this effect available. Another implication is that we can make this coefficient estimate the predicted difference between groups at any fixed value of the income variable we choose, simply by subtracting that value from the original variable. A common usage of this property is the centering of variables so that comparisons are made at the mean of a variable rather than at the 0 point of the original continuous predictor, which often isnt of interest. Finally, you may have noticed that the interaction coefficient remained the same in absolute value throughout our variable transformations. It is possible to change this value by rescaling the predictors. If we change the distance between the two groups on the dichotomous culture predictor, while keeping the continuous income predictor the same, the result is to multiply the interaction coefficient by the reciprocal of the change in distance (e. g. doubling the distance between the two group codes, to say -1 and 1 rather than 0 and 1, results in a halving of the interaction coefficient). Similarly, keeping the unit distance between the culture codings and multiplying the continuous income predictor by a constant produces a reciprocal change in the interaction coefficient (e. g. multiplying the income variable by two produces an interaction coefficient half the size of the original one). Note in each case that the interaction product variable must be recomputed from the transformed original variables. While linear transformations (multiplication by a constant and addition of another constant, or newabold) of original variables will rescale the interaction term, the standard error will also be rescaled, resulting in the same t-statistic and significance level. The interaction term in this model is the highest order term in a hierarchical model, and is thus invariant under such transformations. It is the only term in this model for which this is true. All lower order terms are quotcontained withinquot or quotmarginal toquot this interaction effect, and are thus dependent upon the specific model parameterization for their meaning. In a nutshell, this is the lesson of this series. This page was adapted from a web page at the SPSS web page. We thank SPSS for their permission to adapt and distribute this page via our web site. Der Inhalt dieser Website sollte nicht als eine Bestätigung für eine bestimmte Website, ein Buch oder ein Softwareprodukt der Universität von Kalifornien verstanden werden.
No comments:
Post a Comment