38
Methodology of Comparative Cross-national Surveys – State of Art and Future Prospects anna andreenkova CeSSI
Methodology of Comparative
Cross-national Surveys – State
of Art and Future Prospects
anna andreenkova
CeSSI
2
New Book is Presented
CONTENTS
Preface. WHY COMPARE COUNTRIES AND CULTURES?
PART 1. THEORERICAL AND METHODOLOGICAL FRAMEWORK FOR COMPARATIVE SOCIAL RESEARCH
PART 2. HISTORY AND PROGRESS OF COMPARATIVE CROSS-NATIONAL SURVEYS IN SOCIAL SCIENCES
PART 3. MAIN CONCEPTS IN THE METHODOLOGY OF COMPARATIVE SOCIAL SURVEYS, SURVEY ERRORS AND BIASES
PART 4. EQUAVALENCY OF MEASUREMENT
PART 5. EQUAVALENCY OF SAMPLES AND SAMPLING UNIVERSE
PART 6. DATA COLLECTION, DATA PROCESSING AND DATA ARCHIVING
Afterword. What is next?
Bibliography
3
Author – Anna V. Andreenkova
Russian sociologist
Vice director of CESSI (Institute for Comparative Social Research)
Work in CESSI since 1992
Survey methodologist in post-Soviet countries
Author of many articles and academic papers
More than 2000 research projects in different countries including more than 1000 research projects in Russia
Head of Mitofsky-CESSI Exit Polls in post-Soviet countries (1993-2005)
Senior research and project manager in many large scale international and regional comparative surveys
RUSSET (Russian panel on objective and subjective indicators of quality of life and
living conditions) – with Willem Saris, University of Amsterdam, 1993-1999
Youth and the Future (with University of Maryland)
“Ethnicity, Nationalism and Citizenship in countries of the former Soviet Union” in
first decade of the reform (G.Evans, S.Whitefield, Oxdord, UK)
Religious and social values of Russian society and Muslim community in Russia
(with Helsinki University)
Post-Soviet Trends – comparative cross-section study of countries of the former
Soviet Union
European Social Survey in Russia 2006-till current time
4
Content – Part 1 and 2
PART 1. THEORERICAL AND METHODOLOGICAL FRAMEWORK FOR COMPARATIVE SOCIAL RESEARCH
1.1 Comparison as a fundamental tool of social inquiry, comparative method in social sciences
What and when can we compare? Limitations of the comparative method
Comparability and beyond
1.2 Comparative social research – approaches to definition and understanding
1.3 Typology of comparative social surveys
PART 2. HISTORY AND PROGRESS OF COMPARATIVE CROSS-NATIONAL SURVEYS IN SOCIAL SCIENCES
2.1 The historical stages in the progress of comparative cross-national surveys and comparative survey methodology
The factors stimulating the development of comparative cross-national surveys
Theoretical and methodological grounds of comparative research method
2.2 Academic cross-national cross-time comparative surveys of recent decades
The European and World Value Surveys – the EVS and the WVS
The International Social Survey Program - the ISSP
The European Social Survey - ESS
Some other European comparative time series projects
2.3 Comparative social surveys in the USSR and post-Soviet countries
PART 3. MAIN CONCEPTS IN THE METHODOLOGY OF COMPARATIVE SOCIAL SURVEYS, SURVEY ERRORS AND BIASES
3.1 Comparability as the key task and the main issue in comparative cross-national surveys
3.2 The issue of equivalency in comparative surveys
3.3 Errors and biases in cross-national surveys
5
Why compare?
Just interesting, scientific and human curiosity
To lean about others and even more about yourself
One of the main tool of scientific inquiry
Validate empirically social theories
Instrument to study macro-social processes
Evaluate and predict the consequences of different
social policies, decisions, social interventions
Role in international politics
More knowledge about nations, groups = more mutual
understanding
6
Comparative surveys in post-Soviet
countries
Общий недостаток информации о социальной сфере жизни обществ
этого региона, информации о состоянии общественного мнения,
установок, ценностей, социальных взаимосвязей;
Начало сравнительных исследований методом опросов совпало в
постсоветских странах со временем общего интенсивного развития и
внедрения методологии массовых опросов и ее применения на
практике. Сравнительные исследования стали не просто новым
этапом в развитии методологии опросов, а ее естественной
составляющей.
Опыт зарубежных стран, зарубежные теории и методики,
заимствование методик
Долгое время республики СССР воспринимались и исследовались как
единое пространство в рамках одной единицы анализа – СССР.
Однако, после разделения СССР на отдельные государства и выбора
каждой страной своего независимого пути, задача сравнения этих
разных частей бывшей единой страны стала очень актуальной.
Геополитика явилась стимулирующим фактором для развития новой
отрасли знания. Расширились возможности для межстранового
анализа – вместо одной страны возникли пятнадцать.
7 7
Why comparative surveys play
important role in the region
Accumulating Experiene and Promoting General Population Survey
as Social Instrument
Raise of systematic approach to collecting comparable data although the
number of surveys in this region is multiple, the amount of comparable
information is very limited.
Methodological
comparative surveys serve as drivers for promoting best standards in
survey methodology in individual countries, stimulate the inclusion of
national researchers into broader international community of scientists.
Socio-political function
showing the direction, speed of development and making predictions for the
future for individual countries.
7
8
What can be compared?
LEVEL (PURPOSE) OF
COMPARISON
PREREQUISITS FOR THE
COMPARISON
ILLUSTRATIVE (extracting,
defining the characteristics as
the object of inquiry)
Иллюстративная
Common traits,
characteristics should be
available (Общие свойства)
DESCRIPTIVE
Описательная
Comparability of objects to
compare (Сравнимость
объектов сравнения)
EXPLANATORY
Объяснительная
Comparability of objects and
subject of the comparison
Сравнимость объектов
сравнения
Сравнимость предмета
сравнения
9
Comparative surveys – to limit the scope
МЕЖСТРАНОВЫЕ
КРОСС-КУЛЬТУРНЫЕ
ПО ТИПУ ОБЪЕКТА
ИССЛЕДОВАНИЯ (ЕДИНИЦЫ НАБЛЮДЕНИЯ И
АНАЛИЗА)
СОЦИЕТАЛЬНЫЕ
Страны Культуры, нации Типы сообществ (примитивные, развитые)
ПО ТИПУ
ИСПОЛЬЗУЕМЫХ
ДАННЫХ
ДОКУМЕНТЫ
ОПРОСЫ
НАБЛЮДЕНИЯ
Сравнительный исторический анализ
Сравнительная лингвистика
Юриспруденция
Классическая сравнительная
политология
Сравнительная статистика, экономика
Сплошные Этнография
Социальная антропология
Психология
Выборочные
10
Comparative social survey – what is
it? Definition
объектом исследования являются две или более (неограниченное число)
социальных единиц;
эти социальные единицы - большие образования, относительно стабильные во
времени. Чаще всего они гетерогенны на внутрисистемном уровне и гомогенны на
макроуровне. На макроуровне представляют собой систему институтов, юридически
и/или социально закрепленных норм, правил, традиций, законов, определенный
экономический уклад;
пространственное сравнение является приоритетным по сравнению с временным
сравнением;
сбор и анализ сравнительных данных являются первоначальной целью
исследования, сравнительный характер исследования заложен в его Программе;
анализ данных такого исследования является многоуровневым. Кроме
внутрисистемных переменных используются также макропеременные – страна,
культура, нация – или отдельные компоненты или характеристики макропеременных.
Сравнительным социальным исследованием на данных опросов мы будем
называть то, в котором целью сбора эмпирических данных и анализа
является сравнение двух и более больших социальных единиц - наций,
стран, культур - в один момент времени по заранее определенным
основаниям (критериям), при этом анализ данных носит многоуровневый
характер.
11
Максимально сходные единицы – поиск
различий (пр. Россия-Украина)
Максимально различные – объединяющие
факторы (пр. «Как нации воспринимают
друг друга» Кантрил, Буханан, 1953)
ПО КОЛИЧЕСТВУ ОБЪЕКТОВ
(СТРАН)
Несколько стран Региональные
Всемирные
(сплошные или
выборочные)
ПО КОЛИЧЕСТВУ
ВРЕМЕННЫХ ТОЧЕК
Одноразовые
Повторные
Трендовые
(временные ряды)
Comparative cross-national surveys
based on sampling
12
Comparative survey methodology in Russia and
Soviet Union – main historic steps (1)
Этап 1. 60-е годы прошлого века. СССР принял участие в двух сравнительных проектах (координатор - Европейский центр по координации исследований в области общественных наук «Венский Центр).
"Международное сравнительное исследование бюджетов времени" (рук. советской части Г.Пруденский и В.Д.Патрушев), инициатор Александр Салаи, 12 стран-участниц.
"Автоматизация и промышленные рабочие" (руководитель советской части В.И.Усенин) 1968 года. Исследование было проведено в 15 странах (6 социалистических и 9 капиталистических). Предмет - влияние автоматизации на жизнь рабочих в промышленности, влияния социально-экономической системы на функционирование и развитие автоматизации в отдельных странах.
13
Этап 2. 70-е годы. СССР не только участник, но и организатор сравнительных межстрановых исследований.
"Влияние высшего образования на воспроизводство и развитие социальных структур социалистического общества" (рук. советской части Ф.Р.Филиппов) 1976-1978 гг., 6 социалистических стран. Предмет - изучение объективных изменений в социальной структуре социалистического общества и функций высшей школы, – в том числе типичных жизненных путей и ценностных ориентаций, жизненных планов молодежи, поступающей в высшую школу, анализ социального происхождения студентов.
"Сближение рабочего класса и инженерно-технической интеллигенции социалистических стран" (рук. от советской стороны Г.В.Осипов) 1976-1982 год, 6 социалистических
"Жизненные пути молодежи в социалистическом обществе" (рук. от советской стороны В.Н.Шубкин), 4 соцстраны, предмет - изучение общего и специфического в сознании и поведении различных групп молодежи в период завершения образования и начала трудовой деятельности, новых пополнений рабочего класса социалистических стран.
Comparative survey methodology in Russia and
Soviet Union – main historic steps (2)
14 14
Stage 1. 60-ss-70s. International academic cooperation – USSR
participate in large inter-national academic comparative projects
European center on coordination of social surveys in Vienna
“International comparative survey of time budgets" (G.Prudenskiy, V.Patrushev),
initiator – Alexandr Szalai, 12 countries-participants .
“Automatization and manufacturing workers" (V.Usenin), 1968.
15 countries – 6 socialist and 9 – ‘capitalist’. The issue – the influence of automatization on the
work and life of blue collar workers in manufacturing, influence of social-economic system on
functioning and the progress of automatization in particular countries.
“Influence of high education on the reproduction and the development of social structures of
socialist countries” (F.R.Fillipov)
“Convergence of working class and engineer-technical intelligentsia of socialist countries”
(G.V.Osipov) 1976-1982 год
“Life paths of youth in socialist societies” (V.N.Shubkin)
Stage 2, 80-s. From individual surveys to the spread of mass surveys methodology based on probability samples in academic and government social research
Mass sampling surveys, methods of telephone surveys and personal interviews at homes
Large academic comparative projects, comparative trend surveys (comparison on space and time)
“Use of time and it’s indicators" (V.G.Andreenkov, V.D.Patrushev in Russia and J.Robinson in USA)
1986 – pilot stage of World Value survey in one Russian region. Russia is first time a member of international project of such scope.
Comparative survey methodology on the in
former Soviet Union
15
Stage 3, 80-s. Spread of mass surveys methodology based on
probability samples, personal interviews, establishing of
comparative survey methodology is separately scientific discipline
Mass sampling surveys, methods of telephone surveys and personal
interviews at homes
Large academic comparative projects, comparative trend surveys
(comparison on space and time)
“Use of time and it’s indicators" (V.G.Andreenkov, V.D.Patrushev in
Russia and J.Robinson in USA)
1986 – pilot stage of World Value survey in one Russian region.
Russia is first time a member of international project of such scope.
Important publications, articles, reflection of survey methodology
Comparative survey methodology in Russia and
Soviet Union – main historic steps (3)
Развитие методологии массовых выборочных опросов, внедрение методики телефонных опросов и личных интервью на дому у респондента. Отдел методических исследований Института социологии АН СССР - центр методической разработки и внедрения методов массовых опросов.
российско-французское исследование 1987 года «Мир глазами современных людей» (впервые метод телефонных опросов.
«Образ Франции и французов» (1988) при поддержке газеты «Фигаро» при сотрудничестве с компанией SOFRES (был проведен опрос населения Москвы 18 лет и старше и национальные опросы в других странах);
«Отношение населения к Олимпийским играм в Сеуле» 1988 г. при сотрудничестве с компанией Гэллап Интернейшнл (опрос проведен в СССР – телефонный опрос взрослых жителей Москвы, США, Китае и Японии);
«Советско-западногерманские отношения» 1988 г. (национальный телефонный опрос в ФРГ и телефонный опрос взрослых жителей Москвы в СССР);
советско-американское исследование «Понимание» - о советско-американских отношениях, образе врага, международных глобальных проблемах (телефонный опрос жителей Вашингтона и Бостона в США и телефонный опрос жителей Москвы).
16
4th stage, 90s. Inclusion of some countries of the former Soviet Union in
large comparative surveys.
New independent states
Integration processes in Europe
Search for new place on international arena for new countries
Huge interest to different sides of life of Russian society inside the country and
abroad (new topics – political behavior and political preferences, consumer
preferences, gender roles, etc.)
Intensive spread of mass surveys in general – academic, commercial, government
Exchange of experience with other countries – theories, methodology and
particular survey instruments. One of the major methodological task – adaptation
of survey instrument to particular national context
United Soviet Union (single unit in comparative survey) appears as complex socio-
cultural territory with different problems, peculiarities in the field of survey
research, comparative surveys of post-Soviet countries
5st stage till now. Countries of the former Soviet Union – separate units for
comparison, the whole region is special set of comparative units
Comparative survey methodology in Russia and
Soviet Union – main historic steps (4)
17
Methodological tasks and challenges of
comparative surveys
Measureme
nt
Conceptual
equivalency - terms, concepts, theories
Type of
measurement,
data
collection (method of data collection,
response style, interaction
of interviewer-respondents
using different data
collection methods)
Linguistic
equivalency(((t
ranslation issues)
Presentat
ion of
data
Unified
format of
data
processingо(including demographic
variables
Detailed
documentatio
n of all survey
stages
Units of
sample and
analysis
Sample design
(similar definition of
sample universe, sample
scheme, sample size and
sample errors )
Sample
implementation (differences in response
rate, type of inaccessible
units)
Issue of equivalency
Measurement Equivalence
Conceptual
Normative/ context
Linguistic
18
4.1 Questionnaire design for different countries and cultures
The process of questionnaire design for comparative surveys in different countries and cultures
Major methods of questionnaire design
Specific issues of question wording for comparative surveys, source-questionnaire – standards and errors
From question wording to answer categories
4.2 The translation of survey instruments into different languages
The choice of language for interview – into what languages should questionnaire be translated and implemented?
Multilinguism in national surveys in Russia
The translation of survey instruments into different languages
Theoretical and methodological standards for the translation of survey instruments
Major methods for translations of survey instruments
Translation or adaptation?
Translation and the role of the translator
Organization of the translation process for comparative survey
Specific issues of the translation of survey instruments from English as a source language
The verification of the translation and the assessment of translation quality
4.3 Pretesting of survey materials for the use in different countries
Content – Part 4 Equivalency of
Measurement (1)
19
4.4 Measurement of social-demographic and contextual indicators
Types of contextual information in surveys
Measurement of contextual variables
Issue of comparability of contextual variables
Age as contextual background variable in comparative surveys
Measurement of education in comparative multi-national surveys
Measurement of professional status
Comparative measurement of social position and social class
Household – size and composition
Nationality, ethnicity and citizenship
Religiosity and belonging to a religion
4.5 The influence of question format and ‘response styles’ on comparative survey data
The communication process in survey interview
The use of numerical answer scales in different cultures
The impact of question format and type of answer categories on survey data
Culture as a context for interview
Sensitive questions in different cultures
«Response styles» - types and impact on measurement quality
The acquiescence effect in comparative surveys
Social-desirability effect
Missing answers
Extreme and middle-category answers in a comparative context
Content – Part 4 Equivalency of
Measurement (2)
20
Questionnaire Design and Translation
ПОСЛЕДОВАТЕЛЬНО
ПАРАЛЛЕЛЬНО
ОДНОВРЕМЕННО
ЗАИМСТВОВАНИЕ РАЗРАБОТКА НОВЫХ
ВОПРОСОВ
Точное воспроизведение
(adopting)
Адаптация
(adapting)
ТИП ПЕРЕВОДА
«Дословный»
перевод –
максимально
приближенный
к анкете-
источнику
Адаптация –
часть вопросов,
категорий,
понятий может
быть изменена,
чтобы учесть
социально-
культурный
контекст
ТИП ПЕРЕВОДА и
ТЕСТИРОВАНИЯ
21
Region is very structurally diversed – demographic,
territorial, cultural and national differences
Demographic diversity: different size of
countries, level of urbanization, differences in
age and educational structure
Cultural diversity: religiosity, traditions in
interaction with strangers, openness in giving
information
Экономическое разнообразие: разные
типы занятости (с-х сектор, домашняя
работа), валюта и общий уровень
Populati
on in
mln
% of
urban
populatio
n
Territory
(th of sq
km)
Russia 144.1 73% 17075
Ukraine 47.1 67% 604
Uzbekistan 26 38% 449
Kazakhstan 15.5 59% 2728
Belarus 9.8 69% 206
Azerbaijan 8.3 53% 87
Tadjikistan 6.5 29% 143
Turkmenist
an 6.5 48%
488
Kyrgyzia 5.1 39% 200
Georgia 4.6 54% 70
Lithuania 3.4 66% 65
Moldova 3.4 40% 34
Armenia 3.2 68% 30
Latvia 2.3 68% 64
Estonia 1.3 71% 45
22
Languages in post-Soviet countries
Молдавский 77%,
русский 23%
Русский 60%, украинский 40%
Русский 82%, казахский 18%
Таджикский 89%,
русский 8%,
узбекский 3%
Русский
Армянский 99%,
русский 1%
Киргизский 57%, русский 35%,
узбекский 8%
Грузинский 93%,
русский 7%
Азербайджански
й 99%, русский
1%
23 23
INDO-EUROPEAN
URAL
KARTVEL ALTAI (TYURK GROUP)
Estonian Georgian
Balto-Slavic branch
Paleo-Balkanic >Italinian (Romanian)
Eastern Slavic sub-group
Baltic subgroup
Russian Moldavian
Latvian
Lithuanian
Belarus
Ukrainian
Karluk Oguz Kypchak Mountain-Altai
Azeri
Uzbek Kazach
Kyrgyz
Turkmen
Languages of post-Soviet
24
Ошибки измерения
Особенности формата вопроса – типы шкал для ответов, влияние порядка представления категорий (эффект первой категории, эффект последней категории, длина списка категорий)
контекст, в котором задан вопрос (вопросы, которые были заданы до этого конкретного вопроса, вступительная и вспомогательная информация), порядок, в котором задаются вопросы
содержание предмета изучения – темы, которая может оказаться в разной степени «щепетильной» в разных культурах и обществах
эффект «социального одобрения»
«стили ответов».
25
Sensitive questions (topics)
18%
24%
28%
26%
32%
33%
21%
23%
24%
19%
20%
20%
Политика: участие в выборах
Политика: политические взгляды
Социально неодобряемое поведение: алкоголь
Социально неодобряемое поведение: курение
Доход: размер дохода
Доход: собственность
Семья: структура семьи
Семья: семейное положение
Здоровье
Ценности: качества людей
Ценности: религиозные взгляды
Знания
Вопрос: Люди по-разному общаются с другими людьми – одни готовы говорить на разные темы, другие
стараются этого не делать. Я назову Вам несколько тем или вопросов, а Вы скажите мне, пожалуйста,
насколько трудно или нетрудно для Вас было бы честно ответить или рассказать человеку, которого Вы лично
близко не знаете, о том, что Вы: (% очень трудно, довольно трудно и отказ ответа)
Средний % по всем странам бывшего СССР кроме Прибалтики
26 26 26
Linguistic and Cultural Challenges
LINGUISTIC ISSUES; LANGUAGE OF INTERVIEW
Interviews are conducted in most cases only in one language: Russia, Belarus (most often), Armenia,
Azerbaijan, Georgia, Transnistria
Interviewing in 2 languages: Kazachstan, Ukraine, Moldova, Baltic countries
Interviewing in 3 languages: Kyrgyzstan, Tajikistan, Abkhazia, South Ossetia
NEW TRENDS:
increasing preference of main state language (Ukraine, Kazakhstan)
increasing importance of minority languages (Tatar in Russian)
closer ties of language preference and political views (language of interview influences the
data) – political meaning of the language
mixture of languages, everyday and political language – words from different languages
using different languages during one interview
ISSUES AND TASKS:
harmonization of translations
multi-lingual interviewers
Sensitive and threatening questions:
Income (constant growth of avoiding this question by respondents), structure and members of the
households, in some countries evalution of government performance, participation in political or civic
actions
Questions with social desirability problem
Work with non-verbal scales
Scale „agree-disagree“, „approve-disapprove“
Avoiding answers (unsure and refused to answer)
Traditionally high in Slavic culturals, but low in Caucasian and Middle Asian countries
Extreme answers and choice of middle point
Extreme answers are not often used, biases toward middle of the scale (if symmetical scales with middle
point) in the whole region, but the highest – in Middle Asia
27
PART 5. EQUAVALENCY OF SAMPLES AND SAMPLING UNIVERSE
5.1 Definition of sampling universe as the source for sampling and for data inference
5.2 Sample design in comparative cross-national surveys
5.3 Sample implementation, the issue of nonresponse
5.4 Evaluation of sample quality and weighting procedures
PART 6. DATA COLLECTION, DATA PROCESSING AND DATA ARCHIVING
6.1 The methods for data collection in comparative surveys
6.2 Data processing, documentation and data presentation
6.3 The ethics of comparative cross-national surveys
6.4 Access to data of comparative surveys. Data archives
Content – Part 5 and 6
28
Sample Design and Sample
Implementation
ОСНОВНОЙ МЕТОД ПОСТРОЕНИЯ ВЫБОРКИ ДЛЯ ПРОВЕДЕНИЯ
НАЦИОНАЛЬНЫХ ОПРОСОВ ВО ВСЕХ СТРАНАХ: территориальная
кластерная многоступенчатая выборка домохозяйств (затем респондента)
Исключения: Прибалтика (простая случайная выборка из общего реестра
населения)
ОХВАТ: территориальность доступность (Россия, Таджикистан)
население за пределами страны, различия между наличным и постоянным
населениям,
обычно страны с высокой трудовой миграцией
(Молдавия, Азербайджан, Армения, Таджикистан)
региональные перемещения, внутристрановая миграция (Россия)
учет трудовых мигрантов (Россия) или перемещенных лиц,
беженцев (Узбекистан, Киргизия, Азербайджан)
Отбор: случайный (проблема возвратов), квотный
Смещения: недооценка мужчин (Россия, Беларусь, Украина, Молдавия,
Казахстан), людей среднего возраста 30-45 лет, людей с низким уровнем
образования (во всех странах в выборках слишком много людей с высшим
образованием), национальные и языковые меньшинства
29
Sampling Coverage
23% 23%
29%
19%21%
28%
42%
8%
35% 35%
6%
1%
Sou
th O
sset
ia
Abk
hazia
Arm
enia
Aze
rbai
jan
Nag
orny
Kar
abak
h
Kyr
gyzs
tan
Tajik
ista
n
Kaz
akhst
an
Mold
ova
Transn
istria
Ukr
aine
Rus
sia
Доля семей, где кто-то из домохозяйства
работает за границей
30
Surveys in Russia CeSSI
CESSI
B.Dmitrovka, 20/5
Moscow 107031 Russia
tel. (7495) 650 55 18 (19)
e-mail: [email protected]
www.cessi.ru
31
Survey Mode
ОСНОВНОЙ МЕТОД ДЛЯ ПРОВЕДЕНИЯ НАЦИОНАЛЬНЫХ ОПРОСОВ ВО
ВСЕХ СТРАНАХ: личный опрос на дому
ПРОБЛЕМЫ:
• постепенное падение достижимости единиц отбора и кооперации
со стороны респондентов (response rate, мотивация различна в
разных странах),
• увеличение различий в уровне достижимости единиц отбора в
разных выборочных точках (столицах, больших городах и сельское
местности),
• рост стоимости личных интервью, длительное время опроса
НОВЫЕ ТЕНДЕНЦИИ: телефонные опросы (стационарные
телефоны), телефонные опросы через мобильные телефоны,
Интернет-опросы, панели, эксперименты по Европе по применению
стратегии смешанных методов в рамках одного опроса
32 32 32
Challenges
MAIN METHOD OF SURVEY ADMINISTRATION FOR NATIONAL SURVEYS IN ALL COUNTRIES OF
FORMER SOVIET UNION: personal interviews in respondent s homes
ISSUES:
• constant decrease of response rate and cooperation (refusals, different motivation for survey
participation in different countries),
• increase of the level of accessability in different types of sampling (capitals, large cities and rural areas),
• increase of the cost for personal interviews
NEW TRENDS: telephone survezs (stationary phones), telephone surveys with mobile phones, Internet-
surveys, panels, mixed modes) – but only as experiements and not for national surveys
THE MAIN SAMPLING DESIGN METHOD FOR NATIONAL SURVEYS IN ALL COUNTRIES OF FORMER
SOVIET UNION : multistage area cluster sampling of households (then respondent within a household)
Exclusions: Baltic countries – simple random sample from total list of population)
СOVERAGE: territorial accessability (Russia, Tajikistan)
population outside the country, differences between available and constant population,
countries with high percentrage of working migrants (Moldavia, Azerbaijan, Armenia,
Tajikistan)
regional migration within country (Russia)
record of migrants (Russia) and removed population, refugees
(Uzbekistan, Kyrgyzstan, Azerbaijan)
Selection: randon (call back issues), quota
Biases: underestimation of men (Russia, Belarus, Ukraine, Moldova, Kazachstan), people of middle age
30-45 years old, people with lower education (in all countries), national and linguistic minorities
33
Penetration of stationary phones among
households: difference are still very large
85%,
село 81% 45%,
село 34%
89%,
село 85%
55%,
село 37%
52%,
село 26%
77%,
село 61%
77%,
село 63%
60%,
село 41%
31%,
село 14%
ГРУППА СТРАН С ВЫСОКИМ УРОВНЕМ
ТЕЛЕФОНИЗАЦИИ: Беларусь, Молдова
СТРАНЫ СО СРЕДНИМ УРОВНЕМ (более 60%):
АРМЕНИЯ, АЗЕРБАЙДЖАН
СТРАНЫ С НИЗКИМ УРОВНЕМ: Россия, Казахстан,
Украина
С ОЧЕНЬ НИЗКИМ: Киргизия, Узбекистан,
Таджикистан, Туркменистан
57%, село 51% 45%
34
Interviewing in large cities
35
Interviewing in the region
36 36
The number of surveys increased dramatically. Polls and surveys are part of everyday life
Sampling issues – two controversial trends
Increase of sophistication and higher standards of probability random samples
Higher usage of quota samples (marketing research, Internet, telephone surveys)
Sample drawing: improving of access to demographic information to draw the sample, but closure of any lists for sample drawing (phone databases)
Labor/ temporal migration
Sampling implementation: lower response rate in some countries (Russia, Ukraine)
The use technological innovations in survey research are still limited (CAPI, Internet surveys)
Political climate (Uzbekistan, Tajikistan, Belarus, Kazakhstan, Russia)
Recent Trends in Survey Research
in former Soviet Union
37
The number of surveys increased dramatically. Polls and
surveys are part of everyday life
Sampling issues – two controversial trends
Increase of sophistication and higher standards of
probability random samples
Higher usage of quota samples (marketing research,
Internet, telephone surveys)
Sample drawing: improving of access to demographic
information to draw the sample, but closure of any lists for
sample drawing (phone databases)
Sampling implementation: lower response rate in some
countries (Russia, Ukraine)
Attempts to use technological innovations in survey research
are still scares (CATI, CAPI, Internet surveys)
Political climate (Uzbekistan, Tajikistan, Belarus, Kazakhstan,
Russia)
Recent Trends in Survey Research in
former Soviet Union
38
Main trends in Comparative Surveys
Расширение масштабов сравнительных исследований, усложнение проектов (многострановых и одновременно трендовых или лонгитюдных)
От использования только сравнительного анализа независимо собранных данных к получению сравнимых данных по максимальному количеству параметров (инструменту, построении выборки, сбору самих данных, их обработке и презентации).
Внедрение все более демократических методов организации исследования и с точки зрения его финансирования, и с точки зрения создания концептуального дизайна исследования (увеличение междисциплинарности и интернациональности в создании проекта, в том числе и с точки зрения доступности данных);
Движение за качество данных;
Новые подходы к созданию анкеты для использования в разных национальных и культурных средах, включение перевода не как заключительного этапа работы над анкетой, а как части процесса создания анкеты;
Все более широкое и повсеместное использование случайных вероятностных выборок, более глубокое понимание эквивалентности выборок не как идентичности размера выборки, но как равенства статистической точности оценок, введение понятие «эффективной» выборки в сравнительные исследования;
Усложнение методов сбора данных, необходимость использовать более сложные мульти-модальные подходы кроме простого личного интервью на дому;
Усложнение и значительное улучшение качества документации сравнительных исследований;
Большая открытость сравнительных исследований на всех его этапах – от генерации идей и теоретических предположений, создания инструмента для опроса до всех подробностей сбора данных и доступа к самим данным;
Создание межстрановой исследовательской инфраструктуры.
