MIXED METHODS RESEARCH

D E PA RT M E N T O F S O C I O L O G Y A N D S O C I A L W O R K

1 4 . S E P T E M B E R 2 0 1 7

M O RT E N F R E D E R I K S E N

HVAD ER FORSKELLEN PÅ KVALITATIV OG KVANTITATIV METODE

?

Inkompatabilitets tesen

• Smith og Heshusius:

‘Even though some elements may be combined across the quan/qual divide, the two paradigms are fundamentally incompatible since they represent objectivism and relativism, respectively’

• Hammersley:

‘The quan/qual divide cannot be represented as: numbers/words, natural/artificial, meaning/behaviour, science/non-science, deductive/inductive, cultural patterns/scientific laws, idealism/realism.’

Nurværende tilgange til paradigme problemet(Greene 2007)

1. Purist

2. A-paradigmatisk

3. Substantiel teori

4. Komlementære styrker

5. Dialektisk

6. Alternativt paradigme

ER MIXED METHODS ALTID ET BEDRE VALG?

HVORNÅR ER MIXED METHODS RETFÆRDIGGJORT

Så hvad gør folk egentlig?

• Klassifikation af 232 itdsskriftartikler fra SSCI hvor MMR er indikeret I titel, abstrakt eller keywords (Bryman 2008)

• Indholdskodning af de eksplicitte formål der gives for MMR og hvad der faktiskgøres

• Kodeskema:

Triangulation Offset Completeness Process

Different research questions Explanation Unexpected results

Instrument development Sampling Credibility

Context Illustration Utility Confirm and discovery

Diversity of views Enhancement Other/Unclear Not stated

Hensigt Praksis

Triangulation 29 80

Offset 7 4

Completeness 31 67

Process 5 6

Different research questions 13 10

Explanation 13 32

Unexpected results 0 2

Instrument development 18 21

Sampling 31 43

Credibility 2 5

Context 8 10

Illustration 4 53

Utility 2 2

Confirm and discovery 9 15

Diversity of views 26 35

Enhancement 73 121

Other/Unclear 8 14

Not stated 62 1

Metodologi

• Forudsætninger for at gennemføre et forskningsprojekt med succes:

• En forskningsinteresse

• Et forskningsobjekt

• Forskningsspørgsmål eller hypoteser

• En metodologi

Metodologi

• A. Hvad vil du gerne vide og hvorfor?(Problem formulering/forskningsinteresse)

• B. Hvordan kan du (teoretisk) beskrive de relevanteaspekter/dele af det fænomen du er interesseret i?

(Konstruktion af forskningsgenstanden)

• C. Hvordan kan A formuleres som et meningsfuldt spørgsmål tilB?

(Forskningsspørgsmål)

Metodologi i mixed methods

Forskningsinteressen og teorien

A. Har du en eller flere videns interesser? Er det en enkel eller en kompleks videns interesse?

B. Er forskningsgenstanden teoretisk beskrevet så den har flere sider eller aspekter? Er den en genstand, flere genstande, eller aspekter af et

genstandskompleks?

C. Kræver forskningsspørgsmålene forskellige eller kombinerede undersøgelser for at kunne besvares fyldestgørende?

Metodologi

Når du har en problemformulering og en forskningsgenstand/forskningsspørgsmål:

• METODE: Hvilken type data har du brug for, for at besvare forskningsspørgsmålene?

• DESIGN: Hvilken type studie har du brug for, for at besvare forskningsspørgsmålene?

Metoder

Valget af metoder skal ske så metoderne kan indfange forskningsgenstanden på en måde der er i overensstemmelse med forskningsspørgsmålene

Style Data Collection

ValidityStrength

ValidityWeakness

Empirical strength

Empirical weakness

Survey Representative population

External validity

Ecological validity

Generalizability and control

Instrumentation, causality

Experiment Scheduled data production

Internal validity

External and ecological validity

Testing alternative causal hypothesis

Samplelimit, instrumentation

Field Work Natural site Interpretative/ecological validity

External validity

Developingtheories and causal hypotheses

Site limit, instrumentation, control

Unobtrusivemeasure

Unobtrusive/indirect measuring

Measurement validity

Construct validity

Naturally occuring data

Unobservedbias

Kvant-kval distinktionen, revisited

Survey Experiment Unobtrusive FieldworkSc

ale

Scal

e

Scal

e

Scal

e

Forskningsgenstande og metoder

Øvelse:

1. Hvad er forskningsgenstanden i dit projekt?

2. Hvilke aspekter har den?

3. Hvilke metoder kan indfange den og hvordan?

Design skal føre til at man har det empiriske og analytisk grundlag for at svare bedst muligt på

forskningsspørgsmålene

Design type Monostrand designs Multistrand designs

Monomethod designs

Traditional QUAL designsTraditional QUAN designs

QUAN + QUANQUAL + QUALQUAN > QUANQUAL > QUAL

Mixed methods designs

(Quasi-mixed methods) Monostrand conversion designs

Mixed methods multistrand:Parallel SequentialConversionMultilevelFully integrated (mixed model)

Mixed Methods Design klassifikation (Greene 2007)

• Komponent eller integreret?

Qual

QuantConclusion

Method

MethodConclusion

Quant QualQual

QuantConclusion

Mixed Methods Designs (Greene 2007)

• Komponent designs:

• Convergence designs

• Extension designs

• Integrerede designs:

• Iteration design

• Blending design

• Nesting/Embedding design

• Substance/value design

Design eksempel: Iteration

Sutton and Rafaeli 1998:

Studie af forholdet mellem medarbejder venlighed og salg.

1. Kvantitativ, forklarende analyseHypotese afvist

2. Kvalitative, forstående analyseNy hypotese

3. Kvantitative, forklarende analyse,Hypotese bekræftet

Design eksempel: Blending

Østergaard og Andrade 2014

• Et komparativt studie af alkohol indtager under byture og til før-fest (UK, DK)

• Survey (før, efter og under) samt interview studie

• Survey items blev også brugt til at rekruttere deltagere til interviews

• Separat data analyse

• Integreret analyse, sammenligning af lande

• Bekræfter og modsiger

Design eksempel: Nesting

• Skjøtt-Larsen 2011

• Studie af klasse og kulturel kapital

• Survey (primær metode)• Cluster analysis baseret på SES variable• Interview sample udtrukket af clusters• Illustrative og forstærkende brug af interview analyse• Præsenteret sammen

Design eksempel: Substance

• Albæk et al. 2014

• Studie af forholdet mellem politiske journalisters selvopfattelse og praksis

• Parallel

1. Selvopfattelse (survey)2. Trykte artikler (content coding)

3. Data analyse, sammenligning af resultater og konklusion

FRIVILLIGE TAK

Design øvelse

• Paradigme – et eller flere?

• Fænomen – et eller flere?

• Metoder – hvor forskellige?

• Status – prioritering?

• Implementering (uafhængighed) – er metoderne uafhængige?

• Implementering (timing) – er metoderne samtidig eller sekventielle?

• Study – et eller flere?

ANALYSE I MIXED METHODS RESEARCH

Integreret analyse

Faser• Data rensning• Data reduktion og beskrivelse• Data transformation• Data sammenligning• Analyse mhbp fortolkning og konklusion

Det er ikke altid nødvendigt at lave integrerede analyser

Integreret analyse

Data transformation, forbundet analyse

Data sammenligning, mønsteranalyse

Overordnede analyser, fører til integrerede fortolkninger og konklusioner

Data transformationData konsolidering og

integration

Data importeringExtreme case analysisIntegrerede data display

‘Warranted assertion’ analyseMønster sammenligningIntegrerede data display

Integrerede analyser – principper

• Beslutninger om analyse strategier og procedurer I MMR er forbundet til, men ikkedikteret af metodologiske beslutninger.

• Integrerede MMR analyser er iterative og forudsætter eventyrlyst

• Ikke alle kreative ideer til analyser vil føre tilbrugbare resultater.

Integrerede analyser – principper

• “Mixing” er kognitiv, analytisk aktivitet

• Integrerede analyser bør indeholde planlagtebeslutningspunkter hvor der tilsigtet ledes after måder at forbinde eller integrere de adskilteanalysedele

Integrerede analyser – principper

• Konvergens, konsistens og bekræftelse erovervurderet. Man bør lede lige så meget eftermodsigelser og konflikter da det ofte er her nyeideer eller indsigter kan opstå.

• Der kan opstå udfordringer ift data kvalitet ogintegritet I forbindelse med integrerede analyser da der kan indgå transformation af data.

Data transformation• Muliggør sammenhængende analyse• For at skabe overblik over dimensioner I kvalitativt materiale

• To hovedtyper:• Conversion• Consolidation

Data transformation

• Integreret MM analyse der undersøge et core construct• Seks faser (concurrent, lige vægt):

1. Design2. Data indsamling3. Data konversion

• Kvalitative koder til numeriske skalaer• Numeriske skalaer til temaer, kategorier

4. Analyse af original og transformeret data sammen5. Fortolkning og rekontekstualisering6. Integration i fortolkningen

Data sammenligning og mønsteranalyse• Mid-stream analyse• Eksplorativ, eksperimentel, udforskende• Grundideen er at tage meningsstrukturen fra et data sæt og anvende den

på det andet data sæt• Eksampel: indsætte kvalitative data I klusters med kvantitative data og

sammenligne forskelle mellem og inden for klusters

Kval temaer

Ordnede matricer

Sammenlignet med

Narrative opsummeringer

Kvant tabel og graf

Narrative summer

Sammenlignet med

Ordnede matricer

ESL test score GPA Faculty responsesCongruent Discrepant

Student responsesCongruent Discrepant

low > 1sd below mean (satisfactory performance)

Has trouble listening, Assignments second to last in well prepared, performance asked very good

questions

I understand only It is easy to 60% of lectures, understand thehas made my grade lectures, the profless than I expected speaks slowly

< 1sd below mean (low performance) No data available No data available

(1 entry) (2 entries) (3 entries) (1 entry)

mode-rate > 1sd below mean (satisfactory performance)

< 1sd below mean (low performance)

(2 entries) (1 entry) (8 entries) (0 entries)

high > 1sd below mean (satisfactory performance)

English skills are betterthan some Native- English speakers in the classHas excellent English,Is a straight-A student

I do not have any language problems

< 1sd below mean (low performance) I understand almost 100% of the lectures

(3 entries) (0 entries) (2 entries) (0 entries)

Major analyses• Det primære fokus er at generere begrundede slutninger ud fra en samlet

analyse af data fra forskellige kilder• Nogle af disse udspringer af mixed methods analyser og andre står

selvstændigt

• Typer:• Warranted assertion analysis• Mønstersammenligning• Integrated data display

• Analyse proces:• Sammel data I rå form• Sæt antagelser om data typer og deres styrke til side• Gentagende læsninger af hele data basen med induktivt sigte

“warranted assertions” = er fortolkninger der er begrundet I hele data sættet

• Samle data for hvert enkelte påstand• Gennemarbejde påstandene iterativt mod større styrke og søg bevidst

efter fund der kan modsige dem

HVILKE ANALYSEPROCESSER HAR I SELV BETJENT JER AF?

HVORDAN KUNNE DE FORBEDRES?

INTEGRATION

Integration i Mixed Methods Forskning

• Definitioner på integration I mixed methods forskning.

• Bryman 2006: Integration simply means research that involves both quanand qual strands.

• Brannen 1992: Integration is the merger of data and analysis in opposition to complementarity in which they remain distinct (Denzin 1970)

• Caracelli and Greene 1997: Integration is a design type where strands interact before

the meta-inference stage• Moran-Ellis et al.

2006: Integration is a ‘bridge’ produced intentionally by the research to connecting separate parts of the study(s)

• Creswell and Plano Clark 2011: Integration indicates the design shift from handling strands

separately to handling them together. Integration point

To udlægninger af MMR integration

1. Stage of integration (Creswell and Plano Clark, Greene et al. )

2. Integrations hierarki (Moran-Ellis)

3. Integrationsformer (Bazeley and Kemp, Frederiksen)

Stage of integration/Point of interface

• ‘…is a point within the process of research where the qualitative and quantitative strands are mixed’ (2011, p.66)

• Integrationspunkt og tilhørende strategi:

• Fortolkning: Mixing takes place at the level of inference, by comparing and synthesizing results after each strand has been concluded. Meta-inference

• Dataanalyse: Involves the merger of analyses either by conducting one comprehensive analysis or by employing a two stage process of analysis (Meta analysis).

• Dataindsamling: In the collection of data the point of interface is in the sequence of collecting data in the second stage drawing on knowledge from the first.

• Design: Embedded mix (single paradigm), theoretical framework mix (theory guides the design), and program framework mix (program objectives guide the design).

Integrations hierarki

• Integration er ‘noget’ og skal ikke forveksles med andre aspekter af MMR

• Integration indebærer at der skabes relationer mellem data eller metoder

• Integration ‘denotes a specific relationship between two or more methods where the different methods retain their paradigmatic nature but are intermeshed with each other in the pursuit of “knowing more”’ (p.51)

• ‘Integration, then, involves the generation of a tangible relationship among methods, data and/or perspectives, retaining the integrity of each, through a set of actions clearly specified by the research team, and that allows them to “know more” about their research topic’ (p.51)

Integrations hierarki

• Integrated methods: Data produces integreret og integration undersøgelsen erudviklet som en integreret undersøgelse I alle dens faser

• Separate methods, analytical integration:Hver datakilde bevarer sin integritet men analysergennemføres på tværs af datakilder – enten med fællesforskningsspørgsmål eller som meta analyse

• Separate methods and analysis, theoretical integrationFortolkningen foregår integreret på tværs af fund fra hverdelundersøgelse – teori leverer integrationen.

• Combining methods: En metode tilføjes som en elaboration af hovedmetodensfund, men tilføjer ikke noget selvstændigt til undersøgelsen

Integrations former

• Metaforer overfører velkendte meningsbillider til MMR og kan hjælpe med at forstå processer.

• Review a MMR metaforer fra litteraturen

• To hovedtyper:

• Komplementaritet

• Generativitet

Complementaritets metaforer

• Completion: • Bricolage as placing alongside• Mosaic, jigsaw as purposefully fitting together

• Enhancement: • Sprinkling as illustrating • Mixing/stirring as letting element complement each other in

produce en enhanced whole

• Detail a more significant whole:• Triangulation (complementary) as pointing to knowledge beyond

what is available and can otherwise be known• Archipelago as separate contributing sources contributing to a

greater knowledge of some whole ‘out of sight’

Generativitets metaforer

• Exploration through transformation: • Blending, morphing or fusing are different ways of interlocking

data and methods to create new or transitional elements.

• Iterative exchange: • DNA as the alpha-helix process of continuously of undoing and

rebuilding data and findings until sense is made of both convergence and divergence as well as empirical findings and literature

Mixed Methods integrationsformer

• (Mindst) Seks integrationsformer:

• Teoretisk Integration

• Design Integration

• Data Integration

• Metode Integration

• Analyse Integration

• Fortolknings integration

Integrationsform Teori Design Metode Data Analyse Fortolkning

Hvad

integreres?

Antagelser om

forsknings-

genstanden

Delstudiern

es rolle ift.

forsknings-

spørgsmåle

ne

Data-

indsam-

lingen

Data-

sættene

Procedurer

ne for at

bearbejde

og

strukturere

data

Vurderingen af

analysernes fund i

forhold til

forsknings-

spørgsmål og

teori

Hvilke

integrations-

former kan især

afhænge af

denne?

Design,

metode,

fortolkning

Metode,

data,

analyse

Data,

analyse

Analyse,

fortolkning

Fortolkning -

Hvilken

integrations form

kan denne især

være afhængig

af?

- Teori Design Metode Design Teori

FORMIDLINGSINTEGRATION ?

Trianguleringsspøgelset….

• Cambell and Fisk……

• Lincoln and Guba……

• Hammersley and Bergmann