Январь 2013 года Ирина Д. Горшкова (эксперт-аналитик E&P)

Ключевые выводы и рекомендации из выпусков

«Дайджеста публикаций международного

филантропического сообщества» за 2010-2012 гг.

по теме:

«ОЦЕНКА»

2

Содержание

1 Измерение/оценка: почему? 4

4 На ком ответственность за качество измерения /оценки? 9

стр.

2 Измерение на макро- и микро- уровнях: уроки 5

3 Технократы и гуманисты: «измеряемая результативность» и результат 8

Стоимостные измерения 5 12

Рейтинги 6 14

Социальный эффект 7 15

3

Характеристика обзора

Общая характеристика источников:

• англоязычные публикации 2010-2012 гг. , посвященные вопросам измерения, мониторинга и оценки (результаты исследований среди НКО, экспертов; материалы ассоциаций, статьи и блоги специалистов, обсуждения на форумах)

Цели документа:

• отразить контекст актуальных обсуждений, повестку дня в сфере измерения результатов лидеров НКО;

• обозначить вектора развития систем измерения;

• дать импульс к учету опыта развитых организаций, совершенствованию собственных систем

4

Измерение/оценка: почему?

• Выше качество услуг для благополучателей

• Рост осознанности действий /самосознания, компетенций, обучение (научения) организаций

• Повышение мотивации сотрудников (при достижении социальных результатов и эффектов)

• Активизируется дискуссия о наиболее эффективных методах работы

• Ускорение позитивных изменений

• Обоснованность распределения ресурсов, снижение расходов

• Укрепление доверия со стороны общества, увеличивает объем пожертвований

5

Измерение на макроуровне

Оценка будет полезнее для повышения эффективности программ, если:

• учитывать особенности, контекст оцениваемых программ (нужно соответствующее руководство по «настройке»),

• привлекать к разработке дизайна оценки широкий круг участников (исследователи, программные специалисты, доноры …),

• повышать заинтересованность доноров в реализации рекомендаций оценки

Оценка станет системнее в условиях:

• долгосрочного (а не краткосрочного) управленческого мышления;

• каждая социальная проблема имеет набор показателей для оценки прогресса;

• есть понимание движущих сил и препятствий прогресса;

• при более широком обзоре инициатив за рамками организации, сферы деятельности.

Оценка отдельной организации (части целого) или оценка прогресса, достигаемого общими усилиями?

6

Измерение на микро-уровне /в организациях: общие вопросы, уроки

• Не приступать к работе, не имея конечных ожиданий

• Четкое видение, какая именно информация нужна, чтобы увидеть достигнуты ли цели, насколько достигнуты, понять, что неэффективно. Не надо измерять все, но все самое значимое

• Контролировать проблемы: смещение внимания на процесс, а не конечную цель; злоупотребление легко измеряемыми (недостаточно обоснованными) показателями. Больше разговоров об индикаторах, а не миссии, много упрощенных индикаторов

• Поддерживать тесную связь с целевыми группами, фондам – с грантополучателями. Только 20% фондов интересуются мнением грантополучателей, но (!) их характеризует более высокие темпы организационного развития, адекватный прогноз расходов, «стратегичность» планирования, результативность на уровне изменений в обществе. При оценке особый фокус на мнениях конечных благополучателей, а не только (не столько) исполнителей

• Не ограничиваться количественной оценкой, количественными методами: как важно понимание внутренних процессов, мотивации. Количественные методы не всегда применимы (например, опросы по вероятностной выборке для программ защиты прав человека, лоббирования)

• Без извлечения уроков, которые опираются на измерение и оценку, их последовательного использования в практике, анализа негативного опыта – нельзя рассчитывать на реальное улучшение деятельности. Для организации, сектора НКО в целом, доверия и уважения необходимо чаще тщательно анализировать негативный опыт, иначе деятельность остается неосмысленной

8

Измеряемая результативность? Результат?

Технократический подход

• Достижения последних 15 лет - применение бизнес-подходов: четкость в формулировании целей, стратегии, задач, требования измеримости ожидаемых результатов, управление качеством, оценка эффективности, характер администрирования и т.п.,

Рациональное, но проблемы с мотивацией и ценностями

Гуманистический подход

• Прорывные задачи НКО (но и риски, горький опыт), сложно сочетаемые с просчитыванием, «производством» и измерением результата

• сильная мотивация, увлеченность, интуитивность, гибкость, ориентация скорее на качественные показатели

• нацеленность на решение проблемы, а не на «результативность» решить проблему бездомности, а не обеспечить охват через раздачу порций супа

Бессознательное, чувства, качество

межличностных отношений

Нужно сочетание, баланс: увлеченности и реалистичных стратегий, контроля и гибкости, цифр и историй

9

Ответственность за качество измерения/оценки: ДОНОРЫ

• Взаимная ответственность доноров и получателей, а не односторонние требования, зашитые в формы заявки и отчетности. Понимать, что каждое новое требование должно быть обеспечено ресурсами.

Сейчас требования архисложны: описать какая именно доказательная база успеха включается в процесс отбора, инвестирования, поддержки, мониторинга, тиражирования и расширения деятельности.

Безответственно возлагать выполнение задачи на плечи НКО, которым зачастую недостает нужных сотрудников, ресурсов, навыков, знаний, т.д.

• Донорам: инвестиции в разработку и внедрение методик измерения и оценки, тесное взаимодействие с исполнителями, специальные гранты на измерение социальных эффектов

Доноры должны упреждать свои требования поддержкой грантополучателей – помогать (финансы, техподдержка) в разработке показателей деятельности; предоставлять помощь в проведении исследований, обеспечивать лучшими практиками; обсуждать результаты работы, оценки.

10

Ответственность за качество измерения/оценки: ГОСУДАРСТВО

• Оценка слишком дорога (и для доноров) => потребность в едином консолидированном центре национального уровня с государственным финансированием по оценке с командами независимых наблюдателей: ежегодная оценка всех НКО, размещение данных на онлайн-ресурсах с информацией об организациях (Профессиональное документальное видео о сотрудниках и клиентах НКО; Описание целевых групп/клиентов; Декларации видения и надежд, связанных с будущим; Результаты и выводы оценки НКО, которые должны быть изложены в доступной форме и отредактированы профессиональным «райтером»; Новации, идеи и предложения ведущих НКО, которые отталкиваются не от возможностей, но выражают мечту; Показатели, которые свидетельствуют о стремлении и намерении добиться устойчивых социальных изменений/социального эффекта (impact)). Отдача: рынок, функционирующий на основе объективной информации, укрепление доверия общества, понимание реалий и трудностей НКО Глава Министерства по делам гражданского общества (UK): «социальный эффект – уникальный рыночный продукт, Правительство (как самый крупный донор) должно быть активным пропагандистом».

• Пример государственной поддержки. Министерство гражданских дел Китая поддерживает

компетентность НКО тренингами по структуре проекта, финансовом менеджменте, выявлении ЦГ и отчетности, особый интерес – этика , прозрачность, о раскрытии информации о пожертвованиях, об условиях и порядке проведения внешнего аудита, правительство разработало сводную платформу

11

Ответственность за качество измерения/оценки: межсекторные инициативы, ассоциации

Профессиональные сообщества: инициативы для содействия достижению социального результата, повышения культуры сектора Пример: The Inspiring Impact Group 4 организации (консалтинговая, финансовая,

ассоциация благотворительных организаций, Министерство по делам гражданского общества, UK) в целях совершенствования

инструментария измерения эффективности о «десятилетке социального эффекта» (нач. с 2011 г.), по направлениям: • управленческая практика и культура; • единые подходы к оценке; • сбор/обработка/хранение данных, инструменты и системы оценки; • роли и ответственность доноров, инвесторов и представителей

государственных структур; • поддержка деятельности по оценке социального эффекта

Новая организация (дек. 2011) Social Impact Analysts Association (SIAA). Квалификация аккредитация профессиональных оценщиков, обмен опытом, методиками, виртуальный ресурсный центр

12

Стоимостные измерения

• Средство убеждения для филантропов Психологическое консультирование и сопровождение семей в 5 раз выгоднее

прямой поддержки 1 молодого человека, проживающего в криминальной обстановке совместно с наркозависимой матерью (снижение риска неблагополучного жизненного сценария, обезопасили потенциальных жертв, экономия денег на работу полиции, судей, опекунов, трудоустройство клиента приводит к налоговым отчислениям в казну).

• Оценка НКО через «социальный» индекс. Пример: за 5 лет деятельности британской «Tommorrow’s People» 2.4 £

созданной социальной стоимости на 1 вложенный £.

НО !!!

Разные воздействия – разные возможности расчетов. «Легче считать терапию, чем профилактику»: эффект от трудоустройства

безработных, чем предотвращение молодежной преступности

На практике зафиксированные стоимостные эффекты пока не дали приращения объемов финансирования, хотя государство (UK) принуждает проводить

дорогостоящие исследования по стоимостной оценке

13

Стоимостные измерения

• В контексте SROI (Social Return on Investment, с 90-х гг.) призывают не абсолютизировать сегодняшние стоимостные измерения, только один из аспектов оценки организации

• Принять во внимание Triple bottom line с «обратным» подходом, расчеты: не «социальное, потом экономическое», а, наоборот, «экономическое, потом социальное»).

Акцент внимание корпораций не только на создаваемых экономических стоимостях, но и социальной и экологической стоимости, которую они создают или разрушают.

Требование охватить всю систему ценностей, задач и процессов, к которым должна обратиться компания для того, чтобы минимизировать любой вред, наносимый ее деятельностью, и чтобы создать экономическую, социальную и экологическую стоимость.

• Разработка и достижение согласия по поводу единых стандартов еще в перспективе.

Пример по аналогии: многолетнее становление универсальных норм бухучета.

14

Рейтинги / «Таблицы чемпионов» (включающие достижения социальных эффектов)

• Форма поддержки эффективных НКО, добивающихся значительных социальных изменений

• Длительное сопротивление переходит в фазу «нормы жизни», предпринимаются шаги к созданию общего банка данных, совершенствованию рейтинговых систем

Призывы: • НКО: не бояться сравнений с коллегами из сходного сегмента • Государство, доноры: ориентироваться не только на стоимость услуг, но и на

достижения социальных эффектов, отраженных в рейтингах • Академическое сообщество: больше вовлекаться в совершенствование систем

измерений. Пример. Рейтинги Charity Navigator (с 2011 ) по параметрам, разработанным при

содействии экспертов из академического сообщества, НКО и пр.: • финансовые показатели (доля накладных расходов), • прозрачность и отчетность, • результаты реализации проектов (2013 г.)

В планах – качество отчетности по разным типам достигнутых показателей (outputs, outcomes, impact)

15

Оценка социального эффекта (устойчивых социальных изменений)

• Оценка социального эффекта =//= оценка эффективности программ. Социальный эффект – плод коллективных усилий, поэтому должны быть иные подходы, чем измерение результатов

• Проблемой остается измерение изменений в изменяющемся контексте

• Оценка социального эффекта – не самоцель. Главное – содействие положительным изменениям. Проводить в тех случаях, когда помогает понять реальный прогресс, извлечь уроки

• Каково соотношение стоимости измерения и самих достижений? (к вопросу о целесообразности проведения оценки социального эффекта)

• Использовать ресурсы со стандартизированным набором инструментов (f.e., TRASI) осмотрительно, учитывать конкретную ситуацию оцениваемых программ