Что такое профессиональная оценка, по каким критериям и в чьих интересах ее делают? Зачем в принципе некоммерческим организациям ее заказывать или заниматься ей? Владимир Балакирев и Мария Черток обсуждали эти вопросы на встрече Этического клуба фонда «Социальный навигатор» — «Мечты и реальность в оценке социальных проектов. Критично, честно и беспощадно». Основные выводы — в материале «Филантропа». 

Что такое оценка, кто ее делает и зачем она нужна НКО?

Владимир Балакирев, консультант по оценке социальных проектов и программ «Компания «Процесс Консалтинг»: «Оценка – это понимание сущности вашей деятельности. Часто заказчики говорят: «представьте количественные результаты» или «нам нужна серия интервью с благополучателями», но оценка – это не про формальные критерии, это про стремление разобраться, погрузиться в деятельность организации. И если формальные индикаторы помогают это сделать, мы можем использовать их, но они в любом случае не главное. Оценка должна быть полезной, а полезность ее, на мой взгляд, заключается в том, насколько эти результаты потом используются.

Оценка бывает внутренняя и внешняя: либо вы ее делаете сами, либо заказываете у человека со стороны. Стоимость оценки в теории должна составлять от 3 до 10 % стоимости оцениваемого проекта, сегодня в России она стоит от 1,5% от этой стоимости». 

Мария Черток, директор благотворительного фонда развития филантропии «КАФ»:
«Мы в «КАФ» занимаемся оценкой воздействия: оцениваем не относительно того, что мы были намерены сделать – получилось оно или нет, а относительно того, что поменялось в жизни, в восприятии благополучателей – возникла ли новая ценность у людей, ради которых все делалось.

Иногда НКО нужна заказная оценка для отчета донору, тогда удобнее нанять отдельного специалиста. Но в целом я считаю, что важно, чтобы НКО именно сами проводили оценки. Они должны быть драйвером изменений, а для этого оценки должны быть одним из процессов, который НКО все время осуществляет и затем использует для налаживания своей работы. Проводить оценку самим, к тому же, удобно: благополучатели для сбора обратной связи близко». 

Какие сложности возможны при оценке НКО?

Владимир Балакирев: «Люди, с которыми мы работаем, не всегда представляют, зачем они работают и зачем нужна оценка. А правило изначально простое: не надо проводить оценку, если результаты заранее известны. Если они считают, что их программа замечательная, пусть рассказывают об этом сами, но это не дело оценщиков – ориентироваться на определенные, уже ожидаемые, результаты.

Оценка – это на данный момент неизвестные ответы на определенные вопросы. Да, мы работаем на заказчика, у которого свои интересы и потребности, но для нас главное – найти ответы на эти вопросы, какими бы они ни были, приятными или нет. Базовый принцип оценки – она делается в целях общественного блага. И неважно, внутренняя она или внешняя, сторонний ты специалист или ты одновременно реализуешь проект и оцениваешь его. Твоя задача не найти свидетельства, что все хорошо, а провести рефлексию проекта, увидеть как сильные, так и слабые моменты, опросив разные стороны. Например, оценка часто предполагает включение самих благополучателей программы в анализ, в обсуждение – для нас важен учет их мнений.

К сожалению, сегодня часто получается, что оценка – это обслуживание интересов заказчиков либо попытка высказать свое мнение по проблеме, попытаться способствовать ее решению именно таким образом, каким хочет заказчик. И то, и другое для меня означает смерть профессии. Оценка – это не борьба идей, не воспитание аудитории. Специалист по оценке должен занимать критическую позицию по сложным социальным проблемам и следовать ей. Например, я не могу заявлять, что инклюзивное образование – это плохо, я могу констатировать, что в ряде занимающихся таким образованием проектов возникают определенные проблемы.

Бывает также, что предлагаемый метод оценивания не адекватен сути проекта. Это тяжелая ситуация. Например, те, кто обладает властью, начинают диктовать вам условия: НКО не может попасть на платформу, если в ходе ее оценки не выполнят определенные требования – одинаковые для всех. И в итоге получается, что экономисты, допустим, вмешиваются в искусство и говорят, как оценивать, правильно ли детей учат музыке». 

Мария Черток: «Не всегда есть понимание, что оценка нужна, чтобы подтвердить результат и улучшить его (на английском это звучит как красивая формула – to prove and to improve), а не просто для того чтобы отчитаться. Это бывает не просто, потому что для улучшения надо признавать ошибки и осознавать: есть что улучшать.

Часто есть ожидания, что оценка сможет помочь в фандрайзинге. И я бы сказала, что в идеальном мире должно быть так: чем лучше организация демонстрирует свое воздействие, чем больше положительных результатов, тем успешнее она должна быть в фандрайзинге. Но в реальном мире иногда оценка не может помочь фандрайзингу, потому что эффективные проекты никого не интересует, и решающими факторами бывают другие. 

Другая проблема, что сегодня некоторых заоценивали: мы все друг друга бесконечно исследуем, забывая, что наши ресурсы небесконечны.

Например, среднее количество часов, которое люди тратят на то, чтобы получить информацию для оценки с НКО – это 200 часов. А НКО, в конце концов, работают не для оценки, а для того чтобы создавать благо для своей целевой аудитории, и важно не забывать про это».

А какие этические вопросы возникают при оценке? 

Владимир Балакирев: «В оценке часто возникают этические дилеммы. Например, во взаимоотношениях с заказчиками, исполнителями – ваши решения могут быть основаны на разных ценностях. В моей практике был случай, когда мы оценивали одну из программ  в детском доме и по договоренности с заказчиком должны были взять интервью у детей, без сотрудников интерната. Но последние решили присутствовать: мало ли что ребята скажут. Это была этическая дилемма: с одной стороны, есть обязательства перед заказчиком – у нас должен быть открытый разговор с детьми, без присутствия воспитателей, с другой стороны, они настаивают на своем присутствии. 

Открытость оценки — тоже вопрос. Должны ли ее результаты быть доступны общественности?

С одной стороны, результаты оценки всегда принадлежат заказчику. С другой стороны, хорошо бы, чтобы о планируемой публикации он предупреждал заранее. И в целом практика показывает: если заранее заказчик ориентируется именно на публичность, из этого ничего хорошего не получается. В любом случае открытость – это  тоже этический вопрос, на который пока нет однозначного ответа.

Еще считаю, что рейтингование проектов, вынесение «вердиктов» – ужасная практика. Оценщик предоставляет информацию, он не предлагает решения. Самое плохое, когда после оценки тебя спрашивают: финансировать этот проект или нет? Это этически неправильно, такую ответственность нельзя перекладывать на специалиста по оценке».

Мария Черток: «Часто проблема в неравномерном  распределении власти вокруг оценки. Этический вопрос здесь связан с тем, что недостаточно использовать оценку для подтверждения уже известных результатов. В таком случае кто-то один, донор, например, заинтересован, а остальные – «жертвы» этого процесса. Важно, и чтобы остальные звенья цепочки, вплоть до последнего благополучателя, получили пользу, а не были просто материалом для наших оценок».

Какие мифы об оценке существуют?

Мария Черток: «Сакрализация оценки – как будто без оценки ничего нельзя о вашей деятельности сказать. А часто очевидные вещи можно сказать и без нее, оценка нужна скорее для уточнения каких-то нюансов. Из-за сакрализации создается также впечатление, что это сложно и дорого, и никто оценкой сама НКО не может заниматься, нужно искать специалиста «первой линии». А ведь в большинстве организаций  есть внутренняя практика оценивания. 

Другой миф, что доноры могут прийти и сказать: сейчас будем делать оценку так, как мы сказали. Но, возможно, организация лучше знает, какие вопросы имеют значение для оценки, а предлагаемые вами не совсем адекватны.

Третий миф — что имеет значение, измерить невозможно. Нет, возможно, посчитать что-то невозможно, а измерить можно все». 

Владимир Балакирев: «Миф о том, что оценка не может быть объективной, и это плохо. Но по определению оценка не может быть объективной. Некоторые считают, что количественные методы точные, но ведь и они составляются на основе анкеты – в ней вопросы, которые сам оценщик придумал, согласовал с донором. К тому же бывают ситуации, когда мы вынуждены делать какие-то выводы, интерпретировать, и это этически сложная ситуация, тебе могут сказать, что выводы неправильные. И аргументы объективности здесь работать не будут – у всех разные взгляды на одни и те же явления.

Получается, такой критерий, как объективность, в принципе надо убрать из оценки, это миф. Другое дело, что оценка может быть предвзятой (это часто проблема внутренней оценки: мы хотим показать проекты с лучшей стороны, а негативное оставить при себе)».

Где можно научиться оценке? 

Владимир Балакирев:  Есть ресурсы на русском языке об оценке: сайт Ассоциации специалистов по оценке программ и политик, у них хорошая библиотека, есть сообщество на Facebook. Есть проект Владимира Вайнера на базе ВШЭ — «Разработка алгоритмов оценки социально-экономической эффективности НКО», также проект Сибирского центра поддержки инициатив – они уже третий год подряд ведут программу оценки. Много пособий и на сайтах КАФ, оценка добровольческих программ в Центре исследований гражданского общества и некоммерческого сектора. А мы в Компании «Процесс Консалтинг» планируем открыть клуб по оценке и раз в месяц встречаться, обсуждать разные аспекты».