Процесс революционных преобразований в области эффективности НКО принял не тот вектор. Изучение их влияния должно проводиться независимыми специалистами, а не самими организациями. Об этом пишут Кэролайн Файнс и Кен Бергер в номере журнала Alliance за март 2016 года. Называя себя «ветеранами и движущей силой» этой «революции», в своей статье они заявляют о смене курса и во многом признают свою вину. Но правы ли они? Alliance попросил трех экспертов в разных областях поделиться своим мнением.

Пол Гарнер (Paul Garner), профессор в области синтеза доказательств, Ливерпульская школа тропической медицины:

Эффективны ли некоммерческие организации? Кэролайн Файнс и Кен Бергер абсолютно справедливо требуют доказательств продуктивности работы НКО для обоснования инвестиций в третий сектор. Теперь они размышляют о том, что требование к некоммерческим организациям оценивать свое влияние самостоятельно может принести им больше вреда, чем пользы; они утверждают, что некоммерческие организации могут представлять результаты в том или ином свете, выбирая те, которые им выгодны, и игнорируя данные, показывающие их менее положительные стороны.

В самом деле, почему бы и нет? Некоммерческие организации занимаются бизнесом. Они действуют в конкурентной рыночной среде. Зачастую они — искусные пропагандисты, умеющие представлять убедительные доводы; у них твердая внутренняя убежденность в том, что они делают правое дело. Точно так же, как фармацевтические компании, правительства, академики и организации ООН, они собирают данные для продвижения своих миссий. Кэролайн и Кен указывают на один из самых распространенных методов такой работы —«выборочный отчет», — когда организация просто сообщает о положительных результатах и игнорирует негативное воздействие или провалы. Как академический исследователь, специализирующийся на синтезе исследований, я поражаюсь тому, до какой степени ученые могут искажать результаты своей работы. Например, они могут утаивать исследования, не совпадающие с их убеждениями, или подстраивать анализ, чтобы он представлял то, что они считают правильным. Например, мы сами видели, как исследователи придерживают или откладывают публикацию испытаний, показывающих, что программы дегельминтизации населения неэффективны. Поэтому меня не удивляет то, что некоммерческие организации используют похожие стратегии, которые, в действительности, могут вводить в заблуждение благотворителей и общество.

Кэролайн и Кен выступают за здравый подход

Подход, за который выступают Кэролайн и Кен, вполне разумен: некоммерческие организации должны использовать доказательную базу из независимых исследований, чтобы оценить, насколько эффективна их деятельность. Они должны изучать и понимать, оценивать и интерпретировать данные исследований, прошедших тщательный контроль и часто синтезированных в формате надежных и актуальных систематических обзоров. Если стратегии эффективны, то при помощи обзоров можно выявить элементы, способствующие успеху, и некоммерческая организация может затем определить наиболее вероятные средства реализации (например, охват). Это не гарантирует эффективности, но дает показатели, которые можно использовать для управления программой в целях повышения продуктивности работы.

Наконец, некоммерческим организациям нужны периодические независимые оценки, проводимые методологически разумным образом с использованием различных методов. Конфликты интересов должны быть сделаны явными и тщательно контролироваться. Оценки должны быть доступны общественности, так же, как и четкие методы и данные, чтобы другие могли оценить надежность результатов исследований. Такие меры, если они будут приняты, дадут людям, вкладывающим средства в некоммерческие организации, необходимую информацию об их работе и, как результат, воздействии на жизнь людей.

Революция эффективности НКО: мы пошли по ложному пути

Дэвид Бонбрайт (David Bonbright), президент Keystone Accountability:

Мне понравилась статья Кэролайн Файнс и Кена Бергера. Она прямая, ясная и даже элегантная. За ней чувствуется осмысление обширного опыта. Я бы хотел выделить три момента в качестве квалифицированной поддержки их взгляда; и все они связаны с такой мыслью: когда дело касается оценки чего-либо, то самым главным становится то, для чего она используются.

Первое. Проведение исследования и его применение неразрывно связаны. То, как вы проводите исследование, часто определяет, пойдут ли результаты куда-то дальше или будут просто собирать пыль. Две главные школы реформ в области оценки, известные как «оценка, направленная на использование» и «оценка в режиме реального времени», во многом основаны на этой идее. Они вынуждают исследователей проектировать и проводить работу теми методами, которые им предоставляются.

Второе. Чтобы полученные данные можно было эффективно использовать для улучшения работы и результатов, вам нужно, чтобы эти данные подтвердили главные участники вашей деятельности — сотрудники и предполагаемые благополучатели. Это несложно, но делается редко. Вы даете сотрудникам и благополучателям результаты исследований и говорите: «Вот данные. Мы думаем, что они означают то-то и то-то. А что думаете вы? Каким образом мы должны реагировать?» Когда организации так делают, происходит вот что: они завоевывают уважение и приверженность сотрудников и благополучателей, с которыми они советуются, и распространяют единое понимание результатов исследования в окружающей организацию среде.

Когда мы учимся, мы становимся лучше. Когда мы становимся лучше, мы оказываем большее влияние

И тут мы переходим к третьему: все дело в обучении! Оценка имеет смысл, если мы извлекаем из нее урок. Когда мы учимся, мы становимся лучше. Когда мы становимся лучше, мы приносим больше результатов. Нам нужны такие системы оценки эффективности, которые будут порождать и поддерживать способных учеников. Обществу под силу сложные проблемы, когда мы вместе учимся, как их решать.

Файнс и Бергер утверждают, что «будет гораздо лучше, если ответственность за подбор исследований и создание инструментов для обучения и адаптации будет возложена на независимых специалистов». Я на их стороне, пока те «гуру» оценки эффективности, которых они пестуют, воплощают эти три пункта: использование, согласование с сотрудниками и благополучателями и серьезное обучение.

Трис Ламли (Tris Lumley), директор по развитию, New Philanthropy Capital:

Кен и Кэролайн говорят дело, но мнение, что некоммерческие организации не должны пытаться оценить свою эффективность, кажется мне слишком упрощенным.

Что нам на самом деле нужно — это включить все то, что мы узнаем из исследований сложных систем, в наш подход к оценке продуктивности

Некоммерческий сектор — это экосистема, состоящая из финансирующих лиц и инвесторов, благотворительных организаций и благополучателей. Здесь есть денежный поток и ресурсы, которые позволяют выполнять работу. Но чтобы определить, как распределять ресурсы, нужны еще потоки информации. Именно эта мысль изначально и была в основе движения за оценку эффективности организаций.

В меньшей степени признается то, что за разные части этой мозаики эффективного воздействия, возможно, должны отвечать разные части экосистемы. Академическое исследование может играть главную роль, когда определяется, какие типы программ эффективны для разных людей в разных ситуациях, но не всегда это будет точным соответствием. Например, экспериментальный подход к исследованию, который действует в медицине, не всегда хорошо подойдет для сложных систем, в которых существуют люди и сообщества.

Вместо того, чтобы настаивать на «проверенном воздействии», научным сотрудникам, возможно, стоит составить руководство по рекомендованным практикам: «в таких-то ситуациях, для таких-то людей, мы рекомендуем такие-то типы подходов». Финансирующие организации и инвесторы могли бы использовать такие исследования, чтобы составить мнение о том, какие программы они хотели бы финансировать, благодаря широкому обзору всего сектора. Благотворительные организации могли бы и должны были бы активнее пользоваться существующими исследованиями, руководствами по рекомендованным практикам и руководствами финансирующих организаций. Они также могли бы использовать метод проектирования, чтобы составлять детальное представление о жизни людей, которым они стремятся помогать и разрабатывать подходы в ключе «пути потребителя», отображающие их реалии.

Полностью осознавая те трудности, которые обозначили Кэролайн и Кен, мы не должны отказываться от практики проведения исследований самими благотворительными организациями, особенно исследований в абсолютно новых областях работы, результаты которой непредсказуемы. Если благотворительные организации будут привлекать независимых специалистов по анализу, когда это уместно, если они станут прозрачны в своих методологиях и будут приветствовать внешний аудит своей работы — мы сможем хотя бы приблизиться к решению задач, поставленных Кэролайн и Кеном.

Так что движение за значимость оценки эффективности, возможно, не так уж и отклонилось от курса. Мы просто не видели леса за деревьями.

Источник — журнал Alliance.

Перевод выполнен Благотворительным сообществом переводчиков «Настоящее будущее«.
Переводчики: Светлана Белова, Анна Литвинская.
Редактор: Инна Мельникова.
Корректор: Ольга Закерничная.