Posts tagged: foreign language research

#dgff11 Jenseits der Paradigmenkriege – die Integration qualitativer und quantitativer Methoden in der Interventionsforschung

29. September 2011, by No comments yet

Die DGFF-Nachwuchstagung 2011 beschließt Prof. Dr. Udo Kelle von der Helmut-Schmidt Universität Hamburg.

Methodologische Diskussion und Forschungspraxis fallen in einem wissenschaftlichen Umfeld, das Konzepte der Kausalität untersuchen will, oft auseinander. Kelle verweist zunächst auf zwei allgemein bekannte Studien (Marienthal und Hawthorne) als Beispiele erfolgreicher Methodenintegration in der sozialwissenschaftlichen Forschungspraxis. In der Methodologie jedoch halten sich seit den 1930ern paradigm wars (Gage 1989), die sich an teilweise sehr scharfen Abgrenzungen zu den Wissenschaftlern der jeweils anderen Richtung ablesen lassen. So finden sich einerseits etwa Behauptungen wie die, die qualitative Praxis liefere nur “subjektive Evidenzerlebnisse” – eine wirklich fiese Formulierung (Schnell, Hill, Esser 1999:110), oder auf der anderen Seite ein vergleichsweise harmlos klingendes “Quantifizierung führt zu vermindertem Verständnis der empirischen sozialen Welt” (Filstead 1979:31).

Für Kelle hat der Methodenstreit jedoch rationale Grundlagen: beide Richtungen benennen deutlich die Schwächen der anderen Richtung, aber es findet keine Auseinandersetzung mit dieser Kritik statt, um die eigenen Methoden zu verbessern und die Stärken der jeweils anderen Richtung zu nutzen. Aus der Schulforschung ist inzwischen die Mixed-Methods-Bewegung bekannt, die die Vorzüge beider Paradigmen zu verbinden und zugleich die Schwächen abzufangen versucht.

Was ist mit Stärken und Schwächen gemeint?

Stärken quantitativer Methoden:

  • Standardisierung der Datenerhebung (Fragebögen…), dient der Objektivität und Reliabilität
  • Bereitstellung eines Modells für hypothesen- und theoriegeleitete Forschung
  • Erhebung großer Fallzahlen: ermöglicht (statistische) Generalisierbarkeit
  • Messung des Grades der Zielerreichung möglich

Bei Anwendung dieses Paradigmas in der Interventionsforschung gestaltet sich der Ablauf verkürzt wie folgt: Man sucht nach der Theorie, die den Zusammenhang zwischen Intervention und Outcome erklärt, man erklärt das Outcome und kontrolliert Störvariablen statistisch. Quantitative Methoden können dabei den Grad der Zeilerreichung messen und auf Nebeneffekte hinweisen.

Schwächen quantitativer Methoden:

  • Das was gemessen werden soll, muss bereits im Voraus möglichst genau bestimmt werden.
  • Unzureichende Hypothesen, da Nebeneffekte nicht beachtet werden, mangelnde Kenntnis der “kausalen Pfade” (Interventionsforschung arbeitet mir Anreizen, Gelegenheitsstrukturen oder Sanktionen, die erwartete und unerwartete Effekte generieren sollen; dazwischen liegen heterogene kausale Pfade und Handlungsketten, mittels derer Beteiligte ihre eigene Ziele verfolgen. Probanden können sich kreativ verhalten und besitzen lokales Wissen über Wege zur Umsetzung von Programmzielen.)

Qualitative Methoden zeichnen sich im Gegensatz dazu durch Offenheit und eine geringe Strukturierung der Datenerhebung aus. Sie beschäftigen sich i.d.R. mit intensiven Analysen weniger Einzelfälle.

Stärken qualitativer Methoden:

  • Hypothesenentwicklung
  • gut für Exploration und zur Entdeckung unbekannter Phänomene
  • Identifikation erwünschter und unerwünschter Nebeneffekte

Schwächen qualitativer Methoden:

  • Zu kleine Fallzahlen
  • ressourcenintensiv
  • Aus der Grundlagenforschung bewährte Verfahren sind in anwendungsorientierten Bereichen mitunter nur schwer einsetzbar
  • divergierende Interpretationen bei der Datenanalyse

Um die Bedeutung der kausalen Pfade zu verdeutlichen, auf denen eine Intervention wirkt, zitiert Kelle Butler et al. (1998) “Understanding the Culture of Prescribing: Qualitative Study of General Practitioners’ and Patients’ Perceptions of Antibiotics for Sore Throats”. Das Ergebnis in kurz: Ärzte verschreiben Medikamente auch bei kleineren Wehwehchen, weil sie denken, Patienten fühlten sich ohne Medikament ignoriert, während die Patienten nur jemanden wollen, der zuhört.
Eindrucksvoll auch Tourigny (1998): “Some new dying trick”, eine Studie, die zeigt, dass “frewillige” HIV-Infektionen von Jugendlichen in innerstättischen Ghettos als Ausdruck einer Initiation interpretiert werden können. Rein quantitative Verfahren stoßen hier an ihre Grenzen.

Ein weiteres Beispiel Kelles für die Identifikation von Methodenartefakten ist die Zufriedenheitsbefragung unter älteren Menschen in Pflegeheimen (Kelle & Niggemann 2003, 2004 “Methodenprobleme bei der Befragung dauerhaft institutionalisierter älterer Menschen” und hier…). Dabei zeigt sich die Zufriedenheit in einer rein quantitativen Auswertung als linksschief: Bewohner von Pflegeheimen geben mehrheitlich an, mit der pflegenden Institution zufrieden zu sein. Problematisch aber ist hierbei, dass die Daten mittels standardisierter Interviews erhoben wurden, wobei man das Interaktionsgeschehen nicht kennt.
Daher ergänzen Kelle und Niggemann ihre Datenbasis aus der standardisierten Befragung durch Interaktionsprotokolle, und – siehe da – im persönlichen Gespräch kommen dann auch Negativaspekte zum Vorschein. Kelle deutet: eine diffuse Angst vor Vergeltung bei Negativantworten beeinflusst die Qualität der Daten. Wer also etwa täglich vom groben Hermann gewaschen wird, hält sich in einer Befragung mit Kritik an Hermann vielleicht eher zurück. Er könnte ja noch grober werden.
Hinzu kommt: soziologische Fragereien sind von der Lebenswelt der untersuchten Subjekte mitunter sehr weit entfernt; auch das Prozedere ist für Außenstehende oft schwer nachvollziehbar. So werden Befragungen dann auch schon mal mit Verhören gleichgesetzt. Warum muss auch immer alles aufgenommen werden – der Interviewer könnte doch die Antworten auch einfach auf Papier notieren. Kelle und Niggemann diagnostizieren ein mangelndes Vertrauen in Anonymitätszusagen, die potentielle Vulnerabilität der Befragten beeinflusst die Qualität der Daten.

Fazit

Triangulation hilft bei

  • der Definition und Operationalisierung von Interventionseffekten,
  • Identifikation von Messproblemen,
  • Beschreibung von Nebeneffekten,
  • Interpretation schwer verständlicher statistischer Befunde

Kelle meint, der rationale Kern des Methodendualismus müsse fruchtbar gemacht werden. Die unterschiedlichen Methoden wurden entwickelt, um jeweils berechtigte Forschungsziele zu erreichen.
Im Falle quantitativen Vorgehens sind dies die Objektivität, die Theoriegeleitetheit sowie die statistische Verallgemeinerbarkeit. Qualitative Methoden hingegen untersuchen Sinndeutungsvorgänge der Akteure und kulturelle Praktiken und sie befassen sich mit tiefer gehenden Analysen von Einzelfällen. Die wechselseitige Kritik sollte produktiv gewendet werden und einen pluralistischen Einsatz von Methoden ermöglichen.

 

#dgff11 DGFF-Nachwuchstagung 2011, Kolloquium Introspektion

28. September 2011, by No comments yet

Folgende Mitschrift versucht, die Vielfalt der angesprochenen Aspekte mehr oder weniger stringent festzuhalten und einige ergänzende Quellen zu liefern und ist am besten als work in progress zu verstehen.

Das Kolloquium leitet Frau Prof. Dr. Lena Heine, Juniorprofessorin und Geschäftsführende Direktorin  am Seminar für Sprachlehrforschung  der RUB. Sie eröffnet die Sitzung mit der Aufforderung, das Plenum möge in Kleingruppen die Definition des Introspektionsbegriffes diskutieren.

Übersetzt man naheliegender Weise den Begriff zunächst einmal, ergibt sich eine Art „Nabelschau“, bei der der Blick nach innen gerichtet ist, also auf das Subjekt selbst. Darüber hinaus ist die Definition nicht trivial und abhängig davon, welchen Standpunkt (kognitiv, soziologisch…) man bezieht, was auch die Ergebnisse der Kleingruppen illustrieren.

Denkprozesse
Zunächst lässt sich unter Introspektion die Selbstauskunft über Denkprozesse verstehen, wobei sich direkt die Frage anschließt, ob dabei lediglich solche Prozesse relevant sind, die einen direkten Bezug zu einer Handlung haben oder ob auch eine psychologische Komponente erfasst werden soll. Der Begriff der „Bewusstmachung“ hat nicht für alle Diskutanten den gleichen Stellenwert. Während einige ihn als hinderlich für die Introspektion erachten, sehen andere ihn als zentral für die Definition der Introspektion an: indem es sich selbst besieht, macht sich das Subjekt Lernprozeduren, -prozesse und –strategien bewusst und verbalisiert diese.

Verfahren
Grundsätzlich ist zwischen retrospektiven Verfahren zu unterscheiden, die Denkprozess ex post facto zu rekonstruieren versuchen und simultanen, bei dem der Proband das, was er denkt, in der Situation direkt vokalisieren soll. (Prof. Heine wies auf den Unterschied zwischen verbalisieren und vokalisieren hin.) Wichtige Fragen, die in diesem Zusammenhang auftauchen, fragen etwa danach, ob/in wie weit Unbewusstes vokalisiert werden kann und welche Rolle dabei ein Training spielt – ist ein solches immer von Vorteil oder welche Nachteile sind damit verbunden? Wie werden Handlungen dokumentiert? Was ist mit der emotionalen Komponente, soll diese mit erhoben werden? Prozesshaft oder statisch? Qualitativ oder quantitativ? Was sind überhaupt qualitative Daten und mit welcher Auswertungsmethodik will man ihrer habhaft werden?

Daten
An diesem Punkt verweist Prof Heine darauf, dass eine Kodierung der gesammelten Daten im Grunde bereits ein quantitatives Verfahren darstelle (ebenso etwa im Falle von sehr reduzierten Antwortformaten wie „Ja-Nein“), werden doch schließlich durch eine Kodierung zählbare Kategorien geschaffen. Das Label „qualitativ“ bezeichne daher in erster Linie ein Datenformat, welches einem rekonstruierenden,  interpretativen Vorgang unterzogen werde.
Offener erfasste, quantitative Daten seien häufig reichhaltiger und würden später in ein quantitatives Format überführt. Näheres hierzu findet sich in einem Artikel von Chi (1997) mit dem Titel „Quantifying Qualitative Analyses of Verbal Data: A Practical Guide“.

Das Kolloquium diskutiert die Unterschiede zwischen Interviewdaten und Daten, die durch Lautes Denken gewonnen werden. Was erheben retrospektive bzw. simultane Daten? Klarheit lässt sich in solchen Fragen nur schaffen, wenn man eine klare Vorstellung vom zugrunde liegenden Kognitionsmodell hat, denn diese vermittelt ihrerseits eine deutlichere Idee von dem, was mit den Daten eigentlich untersucht werden soll.

Lautes Denken: kognitionspsychologische und soziosemiotische Aspekte
Bei der Anwendung introspektiver Verfahren sind Kenntnisse kognitionspsychologischer Kategorien unverzichtbar. Einfache Modelle wie etwa von Ericsson  und Simon  wirken inzwischen antiquiert. Eine Aussage dieses Ansatzes ist die Annahme, dass Automatisiertes nicht verbalisiert werden könne, da Vorgänge, die intern nicht sprachlich kodiert werden, auch nicht verbalisierbar seien.
Auch sind die Soziosemiotik und der Name Vygotskys zu nennen, demzufolge dadurch, dass vokalisiert wird, bereits ein Reflexionsprozess in Gang kommt. Verändert sich durch das Vokalisieren vielleicht auch die Problemlöseleistung der Probanden?
Hinsichtlich der Frage der Reaktivität vertritt Prof. Heine den Standpunkt, dass ein Erhebungssituation ohne Reaktivität durchaus möglich sei – allerdings wären dazu die Probanden hinsichtlich ihrer Vokalisationsfähigkeit zu trainieren und auch das Versuchssetting sei genau zu kontrollieren. Wer mit dem Lauten Denken arbeitet, hat zu reflektieren, welchem kognitiven Modell sie sich und die eigene Untersuchung zuordnet.

Introspektion im „Zwiegespräch“ mit sich selbst und in Gruppen?
Introspektion kann als innerer Dialog verstanden werden, bei dem kein Adressat beachtet werden muss. In der Fremdsprachenforschung fasst der Begriff alles, was Selbstauskunft ist und unterscheidet sich damit vom Introspektionsbegriff in anderen Disziplinen wie etwa der Linguistik (Chomsky springs to mind) oder Psychologie. Metakognitive Daten stehen dabei für die Fremdsprachenforschung nicht im Fokus des Erkenntnisinteresses (anders als bei der Retrospektion; metakognitive Äußerungen verändern Denkprozesse). So mag man denn in letzter Konsequenz unter Introspektion nichts weiter verstehen als lautes Denken. Ist diese Form der Datenerhebung auch in Gruppen möglich?
Für Prof. Heine illustriert ein Zitat der ersten Präsentation des Kolloquiums, dass das zugrundeliegende Kognitionsmodell nicht verstanden wurde, wenn nämlich Haastrup (1987) den Rückgriff auf das paarweise Laute Denken in der Interkomprehensionsforschung damit zu rechtfertigen versucht, indem er darauf hinweist, dass schließlich das paarweise Laute Denken viel mehr Daten produziere als wenn sich ein einzelner Proband mit einem Kassettenrekorder unterhalte. Dabei übersieht er, dass paarweises Lautes Denken immer auch Argumentationen elizitiert, dass Kommunikation stattfindet, im Verlauf derer erklärt und gerechtfertigt wird. Solche Vorgänge haben aber letztlich nichts mehr mit Lautem Denken zu tun. Als Alternativbegriffe für solche Gruppendiskurse scheinen Begriffe wie „collaborative discourse“ oder „kollaboratives Problemlösen“ geeigneter, die allerdings auch bereits wieder Richtung Vygotsky tendieren. (Bei Interesse könnte man mal nach DiCamilla & Anton suchen…) Will man also Gruppenprozesse untersuchen, so spricht nichts gegen das paarweise Laute Denken, es ist aber dabei zu beachten, dass dieses Verfahren eine komplett andere Datenart produziert als „eigentliches“ Lautes Denken.

Forschungsdesiderata
Prof. Heine formuliert mehrmals deutlich Forschungsdesiderata an den Nachwuchs der Fremdsprachenforschung  aus ihrer Sicht. Besonders wichtig ist ihr eine Verknüpfung der Introspektion zu Modellen des Mentalen Lexikons. Dieser Bereich präsentiert sich derzeit noch stark psychologisch geprägt, was mit einem naiven Verständnis von Sprache einhergeht. Hier sind Fremdsprachenforscher dazu aufgefordert, differenziertere Modelle davon anzubieten, wie mentale Inhalte im Mentalen Lexikon mit Sprache verknüpft sind (vgl. die „imagery debate“ ). Erste Ansätze hierzu lieferten Cummins sowie auch de Groot (1997) mit der über Weinreich auf Osgood zurückführbaren Unterscheidung compound – coordinate – subordinate. Der Sprachlernkontext (lernen vs. erwerben), der Unterschied zwischen semantischen und konzeptuellen Inhalten, individuelle Unterschiede, Lernertypen, Sprachlerneignung – all das hat einen Einfluss auf die Fähigkeit, Denkprozesse (automatisch) zu verbalisieren. Es ist aber nicht zu erwarten, dass diese Konzepte seitens der Vertreter der Psychologie hinreichend in den wissenschaftlichen Diskurs eingebunden werden.
Als weiteres Desiderat ergibt sich eine Klassifizierung verschiedener Verbalisierungstypen: Individuen bevorzugen eine unterschiedlich starke bzw. schwache Verknüpfung mit konzeptuellen Inhalten. Zur Introspektion aufgefordert reden manche Probanden daher „frei von der Leber weg“ drauf los, während anderen die Versprachlichung erhebliche Schwierigkeiten bereitet. Manche Probanden praktizieren die innere Rede quasi von Natur aus mit sich selbst, für andere ist die Aufgabe „Sprich aus, was in dir vorgeht“ alles andere als trivial. Ist letzteres der Fall, ist eine höhere Reaktivität erwartbar, heißt, solche Probanden werden Laut-Denk-Daten vermutlich häufiger durch metakognitive Daten verwässern. Eine Typologisierung solcher Verbalisierungstypen liegt derzeit noch nicht vor und wird wohl auch kaum aus den Reihen der Psychologen kommen.

Um das fehlende Zwischenstück kümmert sich derzeit etwa Pavlenko , die ein Modell der kognitiven Verarbeitung im (mehrsprachigen) Mentalen Lexikon anbietet. Auch bei Barsalou und bei Bowles (2010) lassen sich einige wegweisende Ansätze finden. Bei letzterem Titel handelt es sich um eine Metastudie mit Fokus auf den L2-Erwerb und gibt wieder, welche Studie sich wie zur Frage der Reaktivität stellt. Eine Lernertypologie wird man in den meisten Fällen vermissen (siehe Forschungsdesiderat!), außerdem werden nur simultane Verfahren beachtet, alles Retrospektive wird konsequent ausgeklammert).

Vermutlich wird die Introspektion niemals wirklich alle Denkprozesse erfassen können; zudem ist die Methodik anfällig für eine Vielzahl von Faktoren. Vor diesem Hintergrund ist es unumgänglich, beim Einsatz von Introspektion psycholinguistische Modelle zu reflektieren. Es ist genau zu begründen, weshalb introspektive Verfahren zur Anwendung kommen sollen. Es empfiehlt sich außerdem, die Schwachpunkte selbst realistisch einzuschätzen und offen zu Diskussion zu stellen. Dennoch bleibt in den meisten Fällen eine Restunsicherheit darüber, inwiefern alles verbalisiert wurde, was man zu erheben gedenkt. Ein naiver Umgang mit der Methode der Introspektion ist daher ausgeschlossen.