Революционные перемены в области эффективности НКО, над повышением которой шла работа более десяти лет, сбились с намеченного курса. И мы, стоявшие во главе и у истоков этого коренного перелома, сами стали тому причиной. В этой статье мы поговорим об основных проблемах, признаем свои ошибки и предложим новые пути развития.

Некоммерческие организации и их воздействие могут отличаться с точки зрения своей эффективности. «Революцию» затевали с тем расчетом, чтобы определить достойные организации и убедить людей финансировать и снабжать их вместо менее эффективных. Иначе говоря, планировалось рационализировать некоммерческий сектор так, чтобы финансовые средства распределялись в зависимости от степени продуктивности работы организации. Однако вся эта «затея с продуктивностью» провалилась, так как мы предложили некоммерческим организациям самостоятельно оценить свою эффективность.

С самостоятельной оценкой эффективности НКО сопряжено две проблемы.

Мотивы

Согласно нынешней «системе», некоммерческие организации самостоятельно оценивают собственную эффективность и предоставляют результаты этой оценки финансирующим лицам и организациям, которые по этим результатам делают выводы об их работе. Такой, казалось бы, непредвзятый анализ в свободной форме служит для некоммерческих организаций своего рода маркетинговым материалом, и от их убедительности и способности показать хорошие результаты зависит возможность продолжать свою деятельность.

Этот мотив влияет даже на то, какие вопросы задают некоммерческие организации. Два американских университета провели тщательно спланированное рандомизированное контролируемое исследование, предложив 1419 учреждениям микрофинансирования (УМФ) критически оценить свою работу. В половине предложений были отсылки на подлинное исследование известных ученых, подтверждающее эффективность микрокредитования. Другая половина ссылалась на аналогичное исследование тех же ученых, но свидетельствующее о том, что микрокредитование неэффективно. УМФ, получившие предложения, в которых подтверждалась эффективность микрофинансирования, соглашались на оценку своей деятельности в два раза охотнее. Но разве можно их в этом винить?

Некоммерческие организации также мотивированы публиковать только те исследования, которые показывают их в выгодном свете: либо тщательно скрывать низкие результаты, либо демонстрировать только наиболее выигрышную часть полученных данных. Мы и сами так делали, когда руководили некоммерческими организациями. Тогда мы еще не знали о «публикационной предвзятости», чем это, по сути, и является. Мы просто рационально реагировали на чудовищно сформулированный стимул. Проблема остается, даже если финансированное за счет благотворительных средств исследование было проведено в другой организации. К примеру, пользующаяся уважением лондонская больница «Грейт Ормонд Стрит» (Great Ormond Street Hospital) провела исследование для ныне не существующей благотворительной организации «Кидс Кампани» (Kids Company), а затем, представьте себе, заявила, что «публикация не планируется, так как данные не подтвердили гипотезу».

То, что оценка собственной деятельности влечет за собой определенные риски, видно и на примере других сфер. Фармацевтические компании, зная, что представленные в выгодном свете препараты принесут им миллиарды, публикуют только половину результатов своих клинических исследований. Вероятность того, что они опубликуют исследования, выгодные для своей продукции, вчетверо выше вероятности публикации отрицательных результатов. Кроме того, в подавляющем большинстве испытаний с отраслевым финансированием, в которых сравниваются два препарата, оба эти лекарства выпускаются финансирующей компанией. Следовательно, компания выигрывает в любом случае, а исследование касается выбора, который фактически не стоит почти ни перед кем из практикующих врачей.

Такие мотивы влияют и на мониторинг. Недавно в Великобритании разразился скандал, связанный с жестоким обращением с молодыми преступниками в частных тюрьмах. Видимо, причиной послужило то, что подрядчики предоставляют данные об «инцидентах» (напр., драках), по которым и судят об их работе. Так у них появляется мотив подделывать их, что они, видимо, и практикуют.

При таком рассмотрении становится очевиден неверный выбор стимулов: Нынешняя система побуждает некоммерческие организации предоставлять искаженные и недостоверные результаты оценки.

Принцип самостоятельной оценки не совершенен. Оценивая собственную эффективность, легко забыть об объективности.

Ресурсы: навыки и денежные средства

Во-вторых, у действующих некоммерческих организаций нет специальных навыков для проведения анализа. В их компетенцию входят навыки такого рода, как, например, управление центрами дневного пребывания, распространение противомалярийных москитных сеток и оказание других услуг.

Для того, чтобы точно определить результаты социального воздействия — а именно это, с нашей точки зрения, и является целью качественного исследования продуктивности НКО — необходимо знать, как рассчитать объем выборки, владеть выборочными методами, позволяющими избежать «искажающих факторов», т. е. факторов, которые внешне кажутся причинами какого-либо явления, но в действительности ими не являются, и понимать, что такое надежность и достоверность с точки зрения статистики. Для того чтобы получить адекватную выборку, позволяющую отделить истинные причины от случайных, а в некоторых случаях еще и отслеживать благополучателей в течение длительного срока, понадобится немало денег. Поэтому так часто исследования, посвященные продуктивности работы некоммерческих организаций, оказываются неудовлетворительными. Возьмем, к примеру, библиотеку Союза пропаганды искусства (Arts Alliance’s library), где хранятся примеры использования искусства в системе уголовного правосудия. Около двух лет назад в ней содержалось 86 исследований. Когда правительство запросило данные со стандартом качества выше минимального, подходящими оказались только четыре.

Все, о чем мы здесь говорим, давно известно в медицинских и социологических научно-исследовательских кругах. Если бы мы обратились к их опыту много лет назад, то могли бы избежать всей этой неразберихи.

Более того, к исследованию продуктивности работы некоммерческих организаций явно даже не пытаются подойти серьезно. В противном случае для некоммерческих организаций и финансирующих их потребителей проводилось бы специальное обучение, разрабатывались бы инструкции по технике составления отчетности и контроля качества вроде рецензирования. Однако ничего такого нет.

Доверьте проведение анализа продуктивности специалистам

Поскольку у большинства действующих некоммерческих организаций нет ни мотивов, ни навыков, ни денег для проведения качественного анализа продуктивности, они и не должны заниматься этим самостоятельно. Вместо того, чтобы проводить исследования, они должны опираться на исследования, проведенные другими.

Какой анализ стоит проводить некоммерческим организациям?

Во-первых, некоммерческие организации должны обсуждать со своими предполагаемыми благополучателями, в чем те нуждаются, что они получат, и каким образом можно улучшить положение. И внимательно относиться к тому, что они услышат. Во-вторых, они могут произвести разумный анализ накопившихся данных, как это уже делают в некоторых организациях. Спрос на большинство услуг некоммерческих организаций превышает предложение. Данные за прошлые периоды могут выявить, какие типы благополучателей лучше всего отзываются на призывы НКО, и на этот результат можно опираться, чтобы максимально повысить свою эффективность.

Иными словами, если вы — действующая некоммерческая организация, вашим сотрудникам, отвечающим либо за финансирование исследований, либо за эффективность, данные, мониторинг и оценку, возможно, не стоит составлять план анализа или проводить оценку продуктивности работы. Есть два более подходящих варианта. Во-первых, вы можете использовать имеющиеся высококачественные и недорогие инструменты, которые могут стать ориентиром на пути к совершенствованию. Во-вторых, можно найти подходящее исследование, видоизменить его, адаптировав к своей ситуации и контексту. Для этого полезно воспользоваться систематическими обзорами, в которых собраны все существующие данные по каждой конкретной теме.

Безусловно, модель, при которой некоммерческие организации используют исследования, а не проводят их, потребует изменения подхода и со стороны финансирующих лиц и организаций. Им придется принять в качестве «доказательства» релевантный анализ, проведенный в другом месте и/или показатели и метод оценки результатов, которые они, возможно, не выбирали. В действительности такое исследование окажется намного надежнее, чем сомнительные утверждения об «эффективности», которые обычно не выдерживают ни одной проверки.

Что если подходящего профильного способа анализа нет?

В большинстве областей, где работают благотворительные организации, гораздо больше вопросов без ответов, чем доступных исследовательских ресурсов. Так что давайте расставим их в приоритетном порядке. Основной принцип клинических исследований состоит в том, чтобы «задать важный вопрос и найти на него достоверный ответ». Во множестве анализов работы некоммерческих организаций не делается ни того, ни другого. Реализация программы анализа, единой для всей сферы, позволила бы не только улучшить качество исследований, но и избежать дублирования. К примеру, каждый центр помощи жертвам домашнего насилия в отдельности должен «измерить свою продуктивность», хотя функции, которые они выполняют, очень похожи.

Организации все больше опираются на большие массивы данных и непрерывно изучают растущую информационную базу данных некоммерческих организаций, чтобы получить более обширные знания о том, какие методы действительно эффективны. Когда некоммерческие организации начнут применять стандартизованные методы оценки, они смогут не только делать более точные прогнозы о вероятности изменения жизни общества, но и подробно разрабатывать основанную на практике методику, которой сможет воспользоваться любая некоммерческая организация.

Подведем итоги

Некоммерческие и финансирующие организации должны опираться в своих решениях на результаты анализа продуктивности своей работы. Однако ошибочно полагать, что каждая некоммерческая организация сможет сама проводить этот анализ и разрабатывать собственную индивидуальную систему управления эффективностью. Будет гораздо лучше, если ответственность за подбор методов анализа и создание инструментов для обучения и адаптации будет возложена на независимых специалистов. Сейчас кажется, что мы должны были понять это уже давно. По нашему скромному и теперь гораздо более обоснованному мнению, эффективность некоммерческой сферы можно преобразовать путем поиска и использования надежной информации по-новому. Революционные перемены должны пойти по иному пути.

Эта статья взята из выпуска «Беженцы и миграция: ответные меры благотворительности», который будет издан в скором времени.

Источник — журнал Alliance.

Перевод выполнен Благотворительным сообществом переводчиков «Настоящее будущее».
Переводчики: Светлана Белова, Анна Литвинская
Редактор: Инна Мельникова
Корректор: Ольга Закерничная