О чем говорили на воркшопах конференции по оценке?


Ключевые тезисы и итоги практических онлайн-дискуссий, организованных Форумом Доноров при поддержке ЕВРАЗ в рамках конференции Ассоциации специалистов по оценке программ и проектов (АСОПП-2021).

I. Внешняя оценка: нужна ли она вашей организации?

По мнению ведущей воркшопа Ирины Ефремовой-Гарт, бюджет на оценку постепенно растет и в НКО, и в донорских организациях, однако его объем зависит от типа оценки. «С момента проведения исследования в 2015 году произошло важное изменение: мы видим рост популярности оценки социального воздействия, импакта, но не видим роста бюджета. Если доноры в фокус своего внимания ставят именно этот тип оценки, имеет смысл задуматься о серьезных инфраструктурных вливаниях. Оценка социального воздействия — одна из самых сложных. Для ее проведения вам нужны группы для сравнения, нужны регулярные замеры того, что происходит в ходе реализации. Я за все 20 лет ни в России, ни за рубежом не видела ни компании, ни фонда, которые могли бы себе позволить держать в штате человека, который выполнял бы это упражнение — это предмет для работы даже не одного, а целой команды внешних оценщиков. Приступать к оценке социального воздействия имеет смысл, когда мы 1) инвестируем серьезные, не только финансовые ресурсы, 2) вкладываем их длительное время», — рассказала Ирина.

 

Какие вопросы стоит задать себе перед тем, как принять решение о проведении оценки?

На этапе разработки программ и проектов мы научились прописывать цели и задачи, выбирать методы их достижения, но до сих пор забываем вписывать в них стратегию оценки — то, что должно прорабатываться наряду с остальными компонентами дизайна программы. Он должен отвечать на несколько вопросов:

1. Зачем нам может понадобиться оценка? Какие решения мы будем принимать на основании собранной информации

2. Когда? На каком этапе и какая информация потребуется? Без ответа на этот вопрос спланировать ресурсы на привлечение внешних оценщиков невозможно .

3. Кем она будет проводиться? Внешними или внутренними ресурсами?

4. Для кого? Кто и как будет использовать информацию, полученную в ходе оценки?

5. Какими будут источники информации, достаточно ли у нас данных?

6. Какими ресурсами мы располагаем на проведение оценки?

Для каких целей могут привлекать доноры внешних оценщиков?

— сверить запланированные и достигнутые результаты

— понять, что стало причиной отклонений/изменений

— какие незапланированные результаты появились в ходе реализации

 

Внешняя оценка обладает рядом и недостатков, и преимуществ:

+ Свежий взгляд

+ Независимость и объективность, повышающие доверие к результату

+ Профессионализм и опыт

+ Полностью сосредоточен на задаче проведения оценки

— Отстранённостью может привести к неправильно поставленным акцентам

— Может не хватить авторитета

— После завершения работ организация может потерять много важной информации

— Не несет ответственности за использование результатов и рекомендаций оценки

— Высокая стоимость услуг

 

Основные проблемы, влияющие на качество процесса:

1. Низкий уровень зрелости процессов управления в организациях

2. Несформированность специальной этики управленческих конкурсных технологий, принятии решений по финансированию, оглашению и исполнению контрактов; некорректность и непрозрачность процедур и результатов;

3. Низкий уровень вовлеченности ключевых стейкхолдеров в процесс проведения оценки и использования ее результатов.

Правилом хорошего тона становится обращение и к партнерам, и к благополучателями (при формулировании вопросов оценки), спрашивая, чем им были бы полезны результаты оценки. Не менее важно и согласовать одинаковое понимание и расшифровку вопросов оценки и заказчиком оценки, и исполнителем. При составлении договора с внешним оценщиком не забудьте также 1) закрепить вопросы конфиденциальности и кому будут принадлежать результаты, «ноу-хау», полученные в ходе оценки, 2) сроки и формат промежуточного отчета.

До того, как внешние оценщики начнут работу «в поле», вы как заказчик должны проинформировать респонденты: какова цель оценки, как будут использоваться результаты оценки, кто будет проводить оценку.

К наиболее популярным продуктам по результатам оценки относятся: отчет по оценке, исполнительное резюме, устная презентация заказчику, публикации в прессе, фото- или видео-материал, рабочая сессия с заказчиком (становится все более востребованным форматом и позволяет заменить большие полнотекстовые отчеты).

Своим опытом привлечения внешних оценщиков поделились представители компаний и корпоративных фондов.

КПМГ проводили оценку методом SROI программы раннего вмешательства «Раннее начало» на протяжении почти двух лет, потому что в нашей стране просто нет данных для сравнения.

Фонду «Дом Роналда МакДоналда» оценка стала доказательной базой и позволила показать, насколько программа фонда позитивно влияет и на благополучателей (семьи с тяжелобольными детьми), и на систему здравоохранения в России. В результате удалось выстроить GR-коммуникации с органами власти и получить от государства несколько дополнительных площадок для тиражирования программы в других регионах.

«Раньше подрядчик существовал отдельно от заказчика, но сейчас мы поняли, что такая автономность не работает», — отметила Анастасия Савельева (Металлоинвест), — «самой эффективной стала модель партнерства и обмена мнениями. Они дают понимание, как может развиваться программа без компании, — это особенно ценно, когда донор пересматривает свои проекты.

 

II. ЦУР и оценка: как оценить и описать свой вклад в решение глобальных проблем?

Наталья Кошелева, консультант по мониторингу и оценке сделала обзор материалов, которые были разработаны на международном уровне для филантропических и донорских организаций.
— Глобальный договор ООН:
— «Компас по ЦУР» содержит руководство и логическую модель; на сайте (англ.) приведен перечень индикаторов (более 1500), которые могут использоваться для измерения результатов, встроенных в логическую модель.
— Протоколы по взаимодействию бизнеса с природным и человеческим капиталом — они предполагают, что бизнес не только оказывает позитивное и негативное воздействие, но и сам в дальнейшем зависит от этого. Протоколы могут позволить строить более сложные, но реалистичные модели создаваемых изменений.
— Советники по филантропии Рокфеллера:
— Публикации «Филантропия и ЦУР: делаем первые шаги» и «Филантропия и ЦУР: практические инструменты для адаптации» (шаги предполагают изучение повестки 2030, определение приоритетных ЦУР, тех ЦУР, на которые уже возможно влияние, построение теории изменений или процессной диаграммы с индикаторами.
Несмотря на то, что в этих документах рекомендуют использовать трехшаговый метод (output-outcome-impact), внутри сообщества по оценке уже существует мнение, что длинное воздействие организации лучше отражается при применении системного подхода. Индикаторы воздействия например в социокультурном проекте могут включать число новых созданных партнерств, число и характер упоминаний в медиа, а также опросы посетителей и участников проекта — в момент получения услуги или спустя некоторое время.
— EvalSDGs (EvalPartners):
— «Оценка, связывающая национальные приоритеты и ЦУР» — в основании документа лежит такой тип оценки, как оценка, ориентированная на принципы.
Наталья обратила внимание на то, что при взаимодействии с органами власти, особенно в регионах, можно ссылаться на подготовленный Минэком и АЦПРФ добровольный обзор, обозначая актуальность этой повестки не только для организации, но и для государства.
Материалы и публикации доступны по ссылке: https://drive.google.com/drive/folders/1AEa0G0Bfjz086H-Gazx6ptxeqMhQlJjN
— ПРООН (Программа развития ООН)
— «Стандарты воздействия для бизнеса, ориентированного на ЦУР» — документ показывает, каким образом в компании должны быть выстроено управление (стратегия, управление и обеспечение прозрачности перед стейкхолдерами и руководство). Этот стандарт дает возможность компаниям сравнивать себя друг с другом с т.з. управленческих процессов. В ближайшее время будет опубликовано руководство по применению стандарта для малого и среднего бизнеса.
— Курс от Duke University на Coursera по управлению и измерению вклада в достижение ЦУР (для практиков, занимающихся развитием стратегии, для инвесторов в ЦУР)
erc.undp.org — центр ресурсов по всему, что связано с оценкой (ТЗ, отчеты и другие материалы)
Из существующего корпоративного опыта интересны два кейса. В октябре 2021 года ФосАгро под эгидой РСПП и при методологической поддержке PwC представил рейтинг компаний по раскрытию информации об интеграции ЦУР ООН. В периметре собственного вклада ФосАгро приоритезировала ЦУР, выделив те, по которым компания оказывает положительное воздействие и те, по которым минимизирует негативное влияние, а также раскрыла индикаторы в динамике.
БФ «Система» запустила Центр устойчивого мышления, нацеленный на развитие ESG-культуры в компаниях АФК. Также в 2021 г. Фонд вошел в проект импакт-инвестирования в Костромской области по ЦУР 4 и 8. Оценивать компания будет не только проведенные мероприятия и число вовлеченных учащихся, но и сколько людей из региона присутствия попали на работу на предприятие АФК и проработали там Х лет. Кроме того, запланирована ежегодная оценка социального воздействия на целевые группы благополучателей, а на начальном этапе проводилось исследование целевых групп благополучателей и лидеров мнений на местах на предмет выявления ключевых факторов, влияющих на мотивацию.В настоящее время Фонд также создает чек-лист для оценки эффективности социальных инвестиций.