Форум Доноров и Ассоциация специалистов по оценке программ и политик учредили премию «За содействие внедрению и практическому использованию оценки в деятельности благополучателей». Цель премии – поощрить вклад донорских организаций в развитие оценки в России, показать лучшие практики в этой сфере и повлиять на развитие культуры оценки в целом. Это уже вторая премия Форума Доноров в области оценки. Весной 2015 года была учреждена премия «За успехи и лидерство в области оценки», премию вручили первым шести победителям в октябре прошлого года.

Новая премия отличается тем, что отмечает заслуги не грантопополучателей и НКО, а именно донорских организаций. Прием заявок на соискание премии заканчивается 1 августа, результаты конкурса будут объявлены на Ежегодной конференции Форума Доноров 20 октября 2016 года.

Эксперты — Лариса Аврорина, руководитель программ CAF Россия, член правления Ассоциации специалистов по оценке программ и политик, Ирина Ефремова-Гарт, руководитель программ Форума доноров, Алексей Кузьмин, первый президент Российской ассоциации специалистов по оценке программ и политик (компания “Процесс Консалтинг”) — поговорили с «Филантропом» о премии и оценке в НКО.

Как появилась идея премии?

Ирина Ефремова-Гарт: 2015 год был международным годом оценки, и Форум Доноров выбрал в качестве темы года развитие культуры оценки в донорских организациях, мы решили учредить премию в этой области для грантополучателей, то есть организаций, получающих деньги от доноров. Нам было важно озвучить запрос донорского сообщества на успешные практики осмысления грантополучателями своей работы и отметить те организации, которые уже сегодня могли бы считаться лидерами в этом процессе.

Ирина Ефремова-Гарт, фото: Форум Доноров

Это был первый опыт, члены попечительского комитета номинировали своих грантополучателей. В итоге было отобрано Шесть некоммерческих организаций из разных регионов – Ростова-на-Дону, Архангельска, Санкт-Петербурга и Москвы. В этом году эта премия тоже останется, н появится и награда для донорских организаций, для тех из них, кто оказывает серьезную поддержку для развития потенциала оценки у благополучателей. Доноры часто говорят о том, что организации, с которыми они готовы сотрудничать, должны быть профессиональными и эффективными. Но при этом донорам было бы неплохо не забывать о том, что развитие этого самого организационного и экспертного потенциала НКО требует определенных инвестиций. Вариантов развития два – либо давать деньги на это, либо помогать внутренними ресурсами, имеющимися у доноров.

Алексей Кузьмин: Это, надо сказать, прецедент. Форум Доноров cам вышел с инициативой к профессиональному объединению — Ассоциации специалистов по оценке программ и политик, чтобы совместно учредить подобную профессиональную премию. Это лучше всего показывает, насколько важна оценка.

В том числе для доноров? Какова их роль в области оценки?

Ирина: У разных фондов по-разному. Кто-то перед тем, как выдать грант и подписать договор пожертвования, в обязательном порядке проводит обучение. И частью этого обучения может быть тренинг по тому, как должна выстраиваться система мониторинга. Есть фонды, которые предоставляют сопровождение своим грантополучателям в ходе реализации проекта, когда привлеченные эксперты смотрят, как работает система мониторинга, и по необходимости корректируют что-то в системе. Еще один вариант — финансирование, позволяющее грантополучателям обучаться на профессиональных курсах, участвовать в профессиональных конференциях по оценке. Кроме этого доноры могут принять решение о выделении денег деньги на проведение оценки того проекта, который они поддержали. В этом случае грантополучатель либо самостоятельно, либо совместно с донором формулирует техническое задание, а потом самостоятельно или с привлечением внешних экспертов проводит оценку того, что у них получилось или не получилось и что было тому причиной. То есть вариантов поддержки может быть много.

Как правильно объяснить, что такое оценка?

Ирина: В прошлом году мы как раз постарались сформулировать роль оценки в благотворительных организациях. В первую очередь это инструмент получения новых знаний и постоянного улучшения тех программ и проектов, которые реализуются на благотворительные деньги. Нельзя сказать, что это единственно правильное или лучшее из существующих определений, но оно расставляет именно те акценты, которые важны для фондов, думающих об оценке и использующих ее в своей работе.

Бывают разночтения?

Ирина: Еще какие! В прошлом году во время обсуждения членов Форума доноров, что такое оценка и кому и за что вручать премию, спор затянулся на шесть часов. Помимо того, что определение оценки зависит от корпоративной культуры организации, существует еще и множество разных видов оценки.

Алексей Кузьмин. Фото: Дина Жук

Алексей: В одной из свежих книжек, написанных гуру в области оценки, американским автором Майклом Куинн Пэттоном, перечислено 79 видов оценки. Один из этих видов – оценка, основанная на критериях. В еще 78 видах критерии не играют такого важного значения. В представлении человека, который этим не занимается, критерии сразу приходят на ум: если оцениваем – нужны критерии. На самом деле, критерий не центральный вопрос при проведении оценки.

И какой центральный?

Алексей: Центральный вопрос – что ты хочешь узнать, зачем это надо, кто это будет использовать. Вот три центральных вопросов. Опыт наших зарубежных друзей показывает, что если начинать без ответа на эти вопросы, то есть огромная вероятность того, что никому не нужен будет результат оценки, то есть впустую будут потрачены время и деньги.

Какие еще существуют виды оценки?

Алексей: Бывает экспертная оценка, и тогда по результатам оценки суждение выносится на основании мнения экспертов. Иногда мы приглашаем экспертов, они разрабатывают модель деятельности, программы или проекта. Потом предлагают индикаторы, по которым можно судить о процессах в организации. Потом это тестируется. И потом мы измеряем значение индикаторов и делаем выводы на этом на основании. За этим стоит серьезная экспертная работа. Но когда ты только пользователь, тебе можно просто мерить значение индикаторов, как в машине: я смотрю на приборную панель – и мне не нужно быть инженером по автомобилю. Уже кто-то за меня это все сделал, вернее даже, для меня. Это индикаторная оценка.

А бывает эмпирическая оценка, когда мы изучаем жизнь как она есть, не сводя это к индикаторам и не ориентируясь исключительно на мнения экспертов.

Как конкретно это происходит?

Алексей: Например, компания должна понять, какой благотворительный фонд нужен в небольшом городе. Тогда мы будем делать интервью с людьми, индивидуальные и групповые, будем изучать документы, проводить анкетирование. Есть и разные нестандартные методы при оценке мнения в местном сообществе: людей просят сфотографировать то, что они считают значимым в сообществе, а потом садятся вместе с ними, они показывают фотографии и рассказывают, почему они считают это важным. Получается качественный, интересный материал в виде истории, который потом ложится в основу суждений о сообществе.

Но в любом случае, чтобы была польза, начинать надо с того, что ты хочешь узнать, зачем тебе это надо, кто этим будет пользоваться.

Непонимание многих этих вопросов — признак того, что оценка – как дисциплина и профессия — находится на стадии формирования, она совсем юная.

Получается, что оценка ближе к социологии?

Алексей: Это, скорее, междисциплинарная область, в оценку приходят люди с разным бэкграундом. Экономист придет — он будет говорить про количественные критерии. Придет социолог, который качественными методами занимается, он будет одно говорить, тот, который из количественной школы, будет говорить другое. И так далее.

Цифры, количественные показатели в оценке не важны?

Лариса Аврорина: Ну, вы же понимаете, что мы используем оценку социальных проектов и программ. И это не бизнес-процесс, а социальные явления, поэтому цифры здесь не очень информативны, тут важны впечатления, ощущения, отношения, экспертное видение. Цифры могут говорить, какая у нас выборка, действительно ли есть рост инвестиций в сообщество. То есть они, скорее, вспомогательные, чтобы можно было представить оценку как суждение о некотором процессе или сообществе.

Ирина: Есть еще такой момент: очень часто оценку ассоциируют не только с цифрами, но и с контролем. И это действительно фундаментальная вещь, с которой важно определиться. Если оценка направлена на контроль – это один путь. Мы же говорим, что оценка позволят делать программы более эффективными, что это инструмент, который выявляет новые знания, возможности, — а это совсем другой подход.

Из 79 видов оценки какая сейчас самая актуальная, какая используется чаще всего? 

Ирина: Мы в 2015 году сделали исследование, их результаты представили 20 июля на презентации ежегодного Доклада Доноров. Цель исследования — посмотреть, каков статус оценки в донорских организациях, существует она или нет, какие виды оценки используют, делают это сами или привлекают внешних экспертов, как развивают потенциал и так далее.

И задали вопрос – какие виды оценки вы чаще всего используете. Оказалось, что чаще всего фонды проводят оценку результативности. Одно из возможных объяснений состоит в том, что многим она кажется достаточно простой по сравнению с той же оценкой социального воздействия. В то же время крайне редко доноры проводят оценку потребностей. И это печально.

Получается, что доноры приходят со своим видением того, как осчастливить людей.

И при этом они не тестируют свои гипотезы, не выясняют, действительно ли нужна их помощь. Нужно обязательно проводить оценку, пусть не полномасштабную, но хоть какую-то. Говорить с людьми в регионе, и с местной властью, и с представителями бизнеса, чтобы хорошо изучить ситуацию и только после этого создавать дизайн своей программы.

И еще один вид оценки, который очень часто забывают или не считают нужным делать, это – оценка исходной ситуации. Важно зафиксировать, какой была ситуация на момент начало программ, чтобы потом, когда благотворительная программа уже реализована, была возможность сравнить и понять, какие изменения произошли благодаря финансированию донора. Важно, чтобы была точка отсчета. Но об этом мало кто думает, к сожалению. Хотя, если говорить о ситуации в целом, то в том, как фонды подходят к реализации своей деятельности, прогресс налицо. Еще десять лет назад многие доноры просто давали деньги и не задумывались ни о результатах, ни тем более о том, что их можно отслеживать и измерить.

Сколько всего лет этому понятию в России? Когда возникла оценка?

Алексей: Первый семинар по оценке в CAF Россия провели британцы еще в 1996 году. Но активно оценка стала развиваться году, наверное, в 2000.

Лариса: Кроме того, в 1997 году в Новосибирске прошла первая школа проектных менеджеров, и мне посчастливилось в ней участвовать и даже организовывать.

Как и какими фондами оценка используется на практике?

Лариса Аврорина

Лариса: СAF Россия в своей программе развития Фондов местных сообществ (ФМС) активно использует оценку. Причем очень давно. Первая оценка была проведена по заказу и при поддержке Форума Доноров, при участии компании «Процесс Консалтинг» и известного канадского эксперта по развитию ФМС Моники Паттон. Это была первая независимая оценка самой программы, и это нам помогло увидеть, какие есть тренды, как идет развитие и становление фондов местных сообществ. Потом был следующий этап, мы провели внутреннюю оценку. В 2008 году была оценка уже по заказу Глобального фонда, организации, поддерживающей развитие фондов местных сообществ в разных странах. И каждый раз, применяя оценку, анализируя уровень и тренды в развитии фондов, мы выстраивали стратегию программы. А самую масштабную оценку программы за период 10-летия от ее начала мы провели тоже вместе с Алексеем и компанией «Процесс Консалтинг». Мы опубликовали отчет, и этот доклад по результатам оценки cтал важной вехой не только для программы и наших фондов. Тогда многие стали ссылаться на этот доклад, увидели, какое большое значение имеет оценка.

Кроме того, как и говорила Ирина, мы начали процесс обучения людей в регионах, фондах, для того, чтобы стали появляться свои специалисты, которые, по крайней мере, могут делать внутреннюю оценку. И для нас это тоже важная часть работы.

Еще мы разрабатываем новые оценочные инструменты, которые позволят нашим грантополучателям, фондам, партнерам лучше оценить потенциал, возможности и ресурсы в своих сообществах.

Таким образом, получается такой многослойный пирог: у нас есть внешняя оценка, внутренние специалисты и внутренние инструменты, технологии.

А с чем связано, что пока не так много фондов использует оценку?

Ирина: Причины разные, и все зависит от степени зрелости процессов в организации, от готовности и заинтересованности учредителей и совета директоров задаваться вопросом, а так ли хорошо мы работаем и как можно нашу работу улучшить. Последние 10 лет происходила эволюция: вопросы, которые сегодня задают руководителям и командам фондов их учредители и доноры стали более продуманными, сфокусированными на том социальном эффекте, который планировалось достичь, благодаря работе фонды. Это раньше можно было утверждать, что благодаря той или иной программе миллионы людей приобщились к искусству, полюбили читать или начали вести здоровый образ жизни. Сегодня вас попросят продемонстрировать определенные доказательства того, что это именно ваш вклад имел такое влияние и будут долго расспрашивать, как именно вы производили подсчеты.

Голословные утверждения больше не удовлетворяют профессионалов.

Поэтому, разрабатывая программы, сотрудникам приходится задумываться и о том, чего же они хотят достичь этой конкретной программой, как она изменит жизнь и благосостояние тех, ради кого реализуется, будет ли она отвечать потребностям и ожиданиям благополучателей, то есть тех, ради кого и создавалась, и самое, пожалуй, важное — как можно будет понять, достигнуто ли то, что было запланировано.

Почему не все этим занимаются? А) Потому что очень разные профессиональный уровень. Есть фонды, которые работают, как CAF или детский фонд «Виктория», очень много лет. Они хорошо знакомы с передовыми международными практиками, у них была возможность прикоснуться к международному опыту. Фонды, которые очень хорошо понимают, что им дает оценка. Что оценка — не просто модное слово, она помогает делать программу эффективнее. Есть фонды, которые сегодня еще в самом начале своего пути, они ищут свой путь, пытаясь помочь сразу и многим, и думают, что пока им не до оценки. Но со временем это придет, придет осознание того, что за обещания и красивые слова надо будет отвечать.

То есть оценка — признак зрелости фонда?

Лариса: Мне кажется, это вопрос зрелости и опыта. Для примера я могу еще рассказать, как мы использовали оценку в программе Фондов местных сообществ. Когда мы заказывали “Процесс Консалтингу” оценку фондов местных сообществ по всей стране, нам важно было понять, во-первых, какую роль они выполняют в сообществе, что они там делают, как они себя оценивают, как видят свою роль сами и специалисты со стороны. С точки зрения программы это очень сильно помогло, и не только нам, но и им.

Далеко не у каждого фонда есть возможность оценить ту роль, которую они выполняют в сообществе.

И по результатам оценки, по одному из индикаторов мы увидели, что они являются центрами инноваций и новых технологий в своих территориях. А ведь далеко не все это осознавали. И только когда мы сделали оценку, они стали себя так ощущать и думать в этом направлении. И новые оценочные инструменты, особенно исходной ситуации, потребностей сообщества, стали более энергично и широко развиваться в том числе благодаря этому.

Ирина: Еще один пример, мы недавно делали интервью с президентом корпоративного фонда JTI, и разговор зашел о том, как они помогают организациям развивать их управленческий потенциал. Они как раз делают то, о чем Лариса сказала, – дают возможность анализа и саморефлексии. Например, они оплачивают расходы на то, чтобы их благополучатели, к числу которых относятся команды специалистов, занимающиеся ликвидаций последствий катастроф, могли собраться вместе, обменяться теми практиками и знаниями, которые у них есть, научиться чему-то новому от коллег, с которым они иначе никогда бы и не встретились. Это еще один подход, который доноры могут использовать для развития потенциала своих грантополучателей – создавать возможности для обмена опытом и знаниями. Но, к сожалению, пока мало кто готов давать на это деньги.

Ну и выходит, что в этом смысл премии?

Ирина: Да, именно. Наш главный посыл в том, чтобы ясно продемонстрировать, что, с одной стороны, доноры очень заинтересованы в грамотных, неравнодушных, профессионально делающих свою работу НКО. С другой стороны, донорам было бы неплохо помнить, что рост профессионализма, приобретение нового опыта и рост потенциала НКО напрямую зависит от того, готовы ли доноры поддерживать это либо финансово, либо другими ресурсами, создавая некоммерческим организациям возможность для роста и развития.

Как вы видите будущее оценки?

Алексей: Сейчас очень многие, не только у нас, но и в мире, согласны, что генеральная линия развития потенциала оценки – это развитие внутреннего потенциала оценки, чтобы организации могли рефлексировать, анализировать собственный опыт, извлекать из него уроки, причем делать это доказательно, основываясь на надежных данных, в том числе на данных эмпирических исследований, которые они сами проводят. И развитие этой способности самим проводить оценку – важнейший момент. Не за внешней оценкой будущее: внешняя оценка всегда будет, но собственный потенциал исключительно важен.

Еще важно, что столько идет процессов, которые объединяют людей, занимающихся оценкой в разных странах. Это очень активно сейчас развивается в мире. Есть международная организация по сотрудничеству в области оценки. Есть Европейская сеть ассоциаций в области оценки. В эти Ассоциации мы тоже входим. И мы создали Евразийский альянс национальных ассоциаций в сфере оценки в нашем регионе. Туда вошли организации шести стран – Армения, Казахстан, Кыргызстан, Украина, Россия, Таджикистан. Международное сотрудничество в области оценки – это очень важный момент. У нас есть доступ к знаниям, которые десятилетиями нарабатывался нашими коллегами в США и Европе. И это сильно мотивирует, потому что видно, какая высокая планка и как она пока далеко.