aupam.ru

Информация по реабилитации инвалида - колясочника, спинальника и др.

Социальная реабилитация

Пособие по оценке для организаций инвалидов

Введение

Общественные организации инвалидов действуют в России более 10 лет. Деятельность их сейчас довольно разнообразна, однако, до недавнего времени она традиционно строилась на проведении различных мероприятий - досуговых, спортивных и пр., средства на которые поступали нерегулярно и добывались с трудом. Иногда организации инвалидов обходились собственными средствами, отдельные мероприятия финансировались государственными структурами или спонсорами. Но на проектную работу это не было похоже, и оценка этих мероприятий не требовалась.

Понятия проект, проектная деятельность вошли в обиход организаций инвалидов несколько позднее, чем в деятельность других общественных организаций. Некоторые организации инвалидов стали участвовать в качестве российских партнеров в проектах и программах зарубежных организаций инвалидов, которые осуществлялись в России. Постепенно у них появилась возможность получить небольшие гранты для осуществления собственных проектов, однако, организаций, ведущих проектную деятельность, было крайне мало.

Стимулом для расширения проектной деятельности общественных организаций инвалидов стал первый конкурс проектов К независимой жизни, организованный Институтом Открытое общество в рамках программы Здоровье населения России в 1998г.

Первый раунд этого конкурса привлек около 150 проектов, способствующих внедрению идей независимого образа жизни инвалидов. Через два года, в третьем раунде конкурса участвовало уже 400 проектов. Большинство этих проектов было подано организациями инвалидов.

Еще одним толчком к работе по составлению заявок послужило развитие системы социального или муниципального заказа, в рамках которого организации инвалидов также стали представлять проекты и программы.

Приступив к работе по проектам, организации инвалидов столкнулись с новыми для себя понятиями - мониторинг проекта, критерии и механизм оценки. В любом проекте или заявке заявитель должен пояснить, как будет оцениваться деятельность попроекту. Для многих представителей общественных организаций до сих пор понятие механизм оценки – загадка. Кроме этого, когда речь идет об оценке своего проекта, многие заявители пребывают в затруднении - у них нет или не хватает опыта. Поэтому часто в заявках раздел оценка проекта составляется без четкого плана оценки или спланирован таким образом, что следовать этому плану невозможно.

Следующая проблема, с которой сталкиваются организации инвалидов, получившие грант на работу по проекту - это приход оценщиков. Оценщики обычно приходят из сторонних организаций - грантодающих фондов, из других организаций инвалидов, либо из специализированных консультационных компаний. Часто появление оценщиков воспринимается как вторжение, контроль и, как правило, вызывает в организации волнение.

Поэтому возникла идея подготовить пособие, которое поможет организациям инвалидов оценивать свою деятельность, свои проекты и мероприятия, а также подготовиться к приходу оценщиков. Мы готовы поделиться своим опытом в этой области.

Глава 1. Термины и понятия

В этой главе содержатся общие сведения, касающиеся оценки и мониторинга. Прежде всего, необходимо договориться о терминах и понятиях, которые приняты в среде профессиональных оценщиков и с которыми сталкиваются общественные организации.

Оценка - что это?

Понятие оценка к настоящему времени значительно расширилось благодаря тому, что за последнее десятилетие был накоплен опыт оценки социально ориентированных проектов. Эксперты в области оценки внесли в определение свое видение, в частности, предлагая учитывать цель оценки, потребности заказчика.

Мы предлагаем придерживаться следующих определений:
Мониторинг - это постоянное (систематическое) отслеживание хода работ (в рамках проекта, мероприятия, программы) для сравнения текущего состояния дел с планом.
Оценка - направлена на анализ результатов деятельности и/или произведенного эффекта и соотношения этих результатов с определенными критериями. В ходе оценки в числе прочих используются данные мониторинга.

Различия мониторинга и оценки

Мониторинг Оценка
Проводится непрерывно Модель принимается в существующем виде без изменений Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для улучшения работы по проекту Проводится на ключевых этапах реализации проекта Модель подвергается анализу с целью оптимизации/улучшения Анализируются причины достижения/не достижения запланированных результатов Полученная информация может использоваться для улучшения работы по данному проекту, и для уточнения планов на будущее

Для чего проводить мониторинг и оценку и что для этого нужно?

Мониторинг, как систематический сбор информации, помогает вовремя обнаружить отклонения от намеченного плана и своевременно отреагировать на них, а также получить данные, которые можно использовать при оценке проекта.

В процессе мониторинга не проводится глубокого анализа ситуации. Самое главное – получить оперативную информацию о состоянии дел и, достаточно быстро скорректировать ситуацию, внести изменения или дополнения или даже отказаться от чего-либо.

Лучше, если система мониторинга изначально встроена в проект.
Для этого необходимо сделать следующее:

Это может быть, например, количество семинаров или консультаций, которые планируется провести в течение всего проекта или количество выпусков бюллетеня который будет издаваться в рамках проекта.

Но стоит еще составить оперативные планы, в которых необходимо указать количественные показатели, достигнутые за определенный срок. Например, за неделю или месяц (примеры из практики Перспективы можно найти в разделе Что такое механизм оценки?).

Например, информацию можно получать от сотрудников, ответственных за мероприятие, от ведущих семинаров, из письменных отчетов партнерских организаций.

В случае подготовки к мероприятию в качестве метода можно использовать опрос команды, которая его готовит, периодичность - ежедневно (в зависимости от общего времени подготовки мероприятия). В ходе проекта можно использовать для сбора информации отчеты, которые ежемесячно передают партнерские организации. Встречи членов команды также могут быть способом собрать информацию. В Перспективе, например, мы встречаемся (или стараемся это делать) раз в неделю. На этих встречах обсуждается то, что сделано по проекту и что предстоит сделать. Как ориентир используются предварительные планы (оперативные), а также рабочий план проекта. Как правило, на этих встречах присутствует менеджер. На таких встречах участники проекта рассказывают, что было сделано, и если не сделано, то почему сложилась такая ситуация.

Когда мониторинг проводится в регионах, обязательно надо предусмотреть некоторые расходы, связанные с его осуществлением, например, оплата телефонных переговоров, факсов, командировок.

Оценка проводится для того, чтобы понять эффективность каждого мероприятия и проекта в целом, определить, что есть что (плохое, хорошее) и как это влияет на проект. Это, как правило, нужно, например, для того, чтобы найти ответ на вопрос Почему не получилось? По итогам оценки делаются выводы и формулируются рекомендации (как правило, в форме отчета) для последующего принятия решения относительно данного мероприятия или проекта. Оценка подразумевает проведение довольно глубокого анализа всех данных, который позволяет из разрозненных фактов составить целостную картину. Проведение оценки занимает довольно много времени и имеет некоторые особенности, о которых мы поговорим в следующих главах и разделах.

Глава 2. Как проводится оценка?

В этой главе подробно рассматривается процесс проведения оценки - последовательность действий, составление плана оценки и пр.

При проведении оценки надо очень точно представлять, для кого (определение запроса) и для чего делается оценка? Проведение оценки (речь в данном случае идет только о внешней оценке) – это услуга. Оценка, как и другая оказанная услуга, будет качественной только в том случае, если в ней учтены потребности заказчика.

При проведении оценки желательно учитывать последовательность действий (этапов).

Постановка цели

Постановка цели соотносится с запросами заказчика, зависит и от того, к кому поступит информация. Например, к координатору проекта или менеджеру финансирующей стороны. Цель определяет, для чего проводится оценка и как будет использована полученная в результате оценки информация.

Часто бывает, что оценка может иметь несколько целей:

Существуют различные группы заинтересованных лиц, которые имеют законное право знать, какую "продукцию" производит проект или программа. К числу таких "акционеров" могут принадлежать:

II. Определение задания на проведение оценки.

Основной составляющей задания являются вопросы, на которые надлежит ответить в ходе оценки. Вопросы должны быть логически связаны с целью проведения оценки. Вопросы обычно бывают общими и их не должно быть слишком много. Например:

Формулировка вопросов исходит из того, что нужно узнать в результате оценки.

На этом этапе определяют методы и инструменты для сбора информации, а также источники информации и сроки. На этом же этапе составляется график проведения оценки.

Чаще всего при проведении оценки используют различные сочетания четырех методов:

Для сбора нужной информации мало выбрать подходящие методы, нужно еще и подготовить соответствующие инструменты: составить вопросы для проведения интервью, определить, на что обращать внимание при наблюдении и как регистрировать результаты, разработать и апробировать анкету.

Один из методов, который часто использует Перспектива для оценки семинаров – анкетирование. Этот метод позволяет оперативно и легко фиксировать мнения участников.

Оценочная анкета может включать несколько разделов, которые помогают оценить реакцию участников на обучение. В анкету можно включить вопросы о содержании тренинга, о процессе и методах, об организации обучения.

Перспектива на протяжении ряда лет при оценке семинаров использует анкеты, которые составляются на основе задач семинара.
Например, одной из задач семинара может быть знакомство с философией независимого образа жизни инвалидов. Соответственно, мы просим оценить занятия, связанные с этой задачей. Для оценки мы предлагаем участникам использовать пятибалльную систему, где 1- плохо, а 5 баллов – отлично. Эта система хорошо всем знакома еще со школы и не вызывает затруднений. Также участникам предлагается дать комментарии по раскрытию темы. Таким образом, мы получаем количественную и содержательную оценку, которую потом используем при анализе семинара.

Негативная сторона этого метода заключается в том, что, участники семинара, заполняющие анкету, как правило, уделяют мало внимания комментариям. Таким образом, в основном, остается только статистическая информация. Поэтому мы рекомендуем оставить 10–15 минут до анкетирования для проведения устного опроса-дискуссии участников по эффективности семинара. Можно задать участникам простые вопросы: Что было на этом семинаре? Что понравилось? Что запомнилось? Что не понравилось? Какие были трудности и почему (если уместно задать такой вопрос)? Что было полезно для вашей работы? Такие дискуссии позволяют участникам вспомнить, что было на семинаре (особенно, если это был 3-5-дневный семинар) и облегчают работу по его оценке.
Мы еще раз вернемся к анкетированию в разделе Последовательность проведения оценки эффективности обучения.

Сбор информации

На этом этапе необходимо сосредоточиться на фиксации фактов. Не нужно интерпретировать данные (это будет на следующем этапе). На стадии сбора информации в первую очередь необходимо решить, кто будет вести оценку. Следует также определить необходимый объем данных, которые позволят затем сделать выводы. Также хорошо провести ревизию имеющейся информации, т.е. посмотреть, что вы уже знаете об оцениваемом проекте или мероприятии. Всю информацию следует включить в план оценки, указывая сроки ее получения.

Практический пример:
Приступая к оценке проекта Фонда безбарьерного строительства (Бурятия, Улан-Удэ), Перспектива уже имела информацию о том, что запланировано и делается по этому проекту. Мы уже были знакомы с проектом, читали промежуточный отчет, консультировали руководителя проекта по вопросам управления проектом, встречались с исполнителями проекта на семинарах, читали публикации о ходе проекта. Следовательно, при непосредственном проведении оценки не было необходимости тратить время на сбор этой информации. Кроме того, наличие такой предварительной информации упростило нам работу по составлению вопросов для оценки, определения круга людей, с которыми нам следовало поговорить.

Далее в пособии мы еще будем обращаться к процессу оценки данного проекта для иллюстрации некоторых положений пособия, и поэтому мы приводим здесь краткую информацию о проекте:

Название проекта - Создание безбарьерной среды – одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии. Финансирование осуществлялось Институтом Открытое Общество.
Основной целью проекта являлось создание действенного механизма работы специализированного общественного фонда по постепенному превращению социальной инфраструктуры Бурятии в доступную для инвалидов и других маломобильных групп населения через налаживание эффективного взаимодействия с государственными органами, органами местного самоуправления, населением республики и самим реципиентами программы (инвалиды, пожилые люди).

Запланированные действия по проекту:

Правила сбора информации
Существуют определенные правила сбора информации. В частности, нельзя оценивать информацию на этапе ее сбора, чтобы не создавать "фильтры восприятия". Кроме того, нежелательно допускать влияния на мнения ваших респондентов чьего-то авторитета (даже вашего собственного). Это может привести к искажениям информации.
При сборе информации могут быть использованы данные мониторинга, например, сведения о количестве семинаров, количестве клиентов и пр. Можно использовать сведения, полученные в ходе анкетирования, опроса, интервью. Респондентами (теми, кого опрашивают) в этом случае могут быть сотрудники проекта, получатели услуг, представители партнерских организаций, участники семинара или мероприятия, представители государственных или иных структур, т.е. те, кто вовлечен в орбиту проекта, на кого распространялись его деятельность.

Практический пример:
Проводя оценку проекта в Улан-Удэ, мы выбрали следующие источники информации по проекту:

Детальность информации зависит от степени причастности респондента к проекту. Соответственно, количество вопросов, а также время работы с разными источниками - основными и второстепенными будут отличаться.

Практический пример:
В беседе с руководителем проекта в Улан-Удэ мы хотели получить подробные ответы на 14 вопросов. Поскольку именно руководитель проекта больше всех знает о причинах создания проекта, его развитии, осуществлении, результатах, трудностях, то есть руководитель – самый основной источник информации. Соответственно, работа с руководителем проекта заняла в общей сложности более восьми часов, по 3-4 часа на протяжении двух дней.
На встрече с представителем государственных структур, в данном случае это был Заместитель министра строительства, дорог и связи республики Бурятия, мы хотели прояснить общие вопросы, касающиеся эффективности проекта, поэтому были определены четыре ключевых вопроса. Мы руководствовались тем, что заместитель министра знал о проекте и поддерживал его на своем уровне, участвовал в некоторых мероприятиях проекта, но не владел детальной информацией о ходе проекта.
Ниже приводятся вопросы, которые сотрудники Перспективы использовали при сборе информации для оценки проекта в Улан -Удэ.

Вопросы для интервью с руководителем проекта:

  1. Скажите, пожалуйста, несколько слов о вашей организации. Как называется ваша должность в организации?
  2. Как появилась идея проекта? У кого она появилась? Какова история создания проекта? Как соотносится проект с предыдущей деятельностью организации?
  3. Как можно было бы коротко сформулировать сущность проекта?
  4. В проекте предусмотрена работа с несколькими целевыми группами. Какими именно группами? Почему было важно продвигать идеи независимой жизни именно среди этих целевых групп? Как они восприняли эти идеи?
  5. Как построена работа в проекте? Кто участвует? Кто что делает? Кто где находится?
  6. Как выполняется график работ по проекту? Если есть отклонения, то в чем их причина?
  7. Как Вы считаете, какие результаты достигнуты на сегодняшний день? Что из этих результатов является наиболее значимым, важным? Какие методы использовались для достижения этих результатов? Что еще, на Ваш взгляд, способствовало достижению данных результатов?
  8. Что из запланированного не выполнено? Почему? Какие были трудности?
  9. Расскажите о Вашем взаимодействии с государственными структурами в рамках проекта. В чем состоит заинтересованность государственных структур, что они получили от участия в проекте? Как вы представляли идеи независимой жизни государственным структурам? Какая была их реакция? Что получила ваша организация от взаимодействия с государственными структурами в ходе проекта?
  10. Какие общественные организации привлекались к осуществлению проекта? Какова была их роль?
  11. Как повлиял проект на имидж организации в городе?
  12. Что дал проект сотрудникам организации с точки зрения профессионального развития?
  13. Как Вы видите продолжение работ, начатых в рамках данного проекта?
  14. О чем еще мы Вас не спросили? Что бы Вы хотели добавить?

Вопросы для интервью с представителями государственных структур:

  1. Мы бы хотели начать с вопроса о том, что вы знаете о проекте? Была ли у вас роль в проекте? Какая? Как вы в нем участвовали?
  2. Проект осуществлялся в течение года. Сейчас он завершен. Что дал проект государственным структурам? Что изменилось?
  3. Вы как-то планируете продолжать работу, начатую в рамках проекта?
  4. Вы участвовали в семинарах проекта, верно? Каковы Ваши впечатления? Что запомнилось? Что показалось наиболее интересным?
  5. Может быть, Вы хотели бы еще что-то добавить?

Вопросы для интервью с сотрудниками проекта:

  1. В какой организации Вы работаете? Как Вы попали в проект?
  2. Как можно было бы коротко сформулировать сущность проекта?
  3. Как Вы считаете, какие результаты достигнуты на сегодняшний день? Что из этих результатов является наиболее значимым, важным?
  4. В чем заключалась Ваша работа?
  5. Потребовала ли работа в проекте дополнительных усилий с вашей стороны? Почему? Каких именно?
  6. Возникали ли у вас трудности в работе по проекту? Какие?
  7. Как Вы видите продолжение работ, начатых в рамках данного проекта?
  8. Хотели бы Вы что-то добавить?

Вопросы для участников семинаров/ рейдов/ акции:

  1. Вы участвовали в семинарах проекта/мероприятиях, верно? Каковы ваши впечатления? Что вам запомнилось? Что показалось наиболее интересным?
  2. Участвовали ли вы ранее в подобных мероприятиях?
  3. (для семинаров) Знакомы ли вы с философией независимой жизни инвалидов? Когда (где) Вы услышали об этом?

Вопросы для представителей СМИ:

Дополнительные источники информации.
Другими, не менее важными источниками информации могут служить документы, разработанные в ходе проекта: планы, отчеты, анкеты, списки участников, публикации в прессе.
В ходе оценки проекта в Улан-Удэ мы изучили следующую документацию:

Анализ информации

На данном этапе происходит основное: составление целостной картинки из кусочков фактов. На основании полученных данных делаются выводы и формулируются рекомендации. Выводы - это ответы на вопросы задания.

Практический пример:
При оценке влияния проекта Активизация молодых инвалидов (РООИ Перспектива, 1999-2000 гг.) на молодых инвалидов, мы собрали данные от разных групп молодых инвалидов и увидели, что:
- они стали более самостоятельными,
- им стали больше доверять родители,
- к ним обращаются за советами друзья и знакомые,

Анализ этих данных позволил сделать вывод, что модель активизации молодых инвалидов, предложенная проектом успешна для повышения их уверенности в себе и их социального роста.

Подготовка отчета

Форма и содержание отчета обычно определяется при согласовании задания. Отчет должен быть удобен для последующей работы. Как правило, в отчет включается:

Пункты отчета могут и меняться в зависимости от того, для кого предназначен сам отчет.
Кроме этого в отчете следует отразить успехи и трудности при достижении результатов проекта. Это помогает при составлении рекомендаций, особенно, если проект оценивается с целью его дальнейшего развития или тиражирования в другие регионы.
С отчетом об оценке, проведенной Перспективой в Улан-Удэ можно ознакомиться в разделе Приложения.

Глава 3. Виды оценки

В данной главе мы предлагаем вам ознакомиться с видами оценки и получить представление об особенностях проведения различных видов оценок проектов.

В зависимости от того, кто проводит оценку, различают внешнюю и внутреннюю оценку (самооценку). В первом случае оценку проводят независимые (внешние) специалисты, во втором – сами сотрудники организации, которая выполняет проект. Последовательность действий при проведении разных видов оценки практически сохраняется.

Рис. Виды оценки.
Иллюстрация взята из статьи А. Кузьмина Мониторинг и оценка социальных программ

Из материалов, подготовленных Management Systems International (Washington DC, USA) и Центром Поддержки НКО (Москва), любезно предоставленных авторами в открытую библиотеку Международной Сети Оценка Программ (http://ipen21.org)

Из материалов, подготовленных Management Systems International (Washington DC, USA) и Центром Поддержки НКО (Москва), любезно предоставленных авторами в открытую библиотеку Международной Сети Оценка Программ (http://ipen21.org)

Алексей Кузьмин. Мониторинг и оценка проектов.

Мониторинг и оценка проектов

Другой вариант классификации видов оценки – по цели. Различают формирующую представление или промежуточную оценку (она проводится в ходе проекта для того, чтобы при необходимости внести в проект изменения, установить наличие проблем, требующих решения). А также итоговую или обобщающую оценку (она проводится по завершении проекта для того, чтобы извлечь уроки на будущее). Оценки, проводимые на завершающей стадии проекта, не всегда являются последними оценками. Иногда проведение оценки целесообразно через год или два, поскольку на некоторые вопросы невозможноответить до завершения проекта. Такую оценку обычно называют оценкой после фактической реализации.
Мы остановимся на подробном рассмотрении двух видов оценки - внутренней и внешней.

Внутренняя оценка
Чаще всего у общественной организации инвалидов нет средств, чтобы оплатить услуги специалистов- оценщиков. Намного реальнее проводить мониторинг и оценку собственными силами. Такую оценку принято называть внутренней, и проводят ее сотрудники организации, не занятые в оцениваемом проекте или мероприятии. Эти сотрудники в курсе деятельности проекта, на их глазах он развивается, поэтому они уже обладают определенной информацией, и им не нужно тратить время на знакомство с проектом с нуля.

В свою очередь, те, кто работает в проекте, больше доверяют своим, чем внешним оценщикам. Правда, есть опасность, что сотрудники, проводящие внутреннюю оценку, не имеют достаточного опыта проведения оценки и мониторинга. Поэтому хорошо, если организация найдет возможность обучить своих сотрудников, используя для этого семинары для НКО. Еще одна возможность – обратиться в Центры поддержки НКО, в которых, как правило, есть опытные оценщики. Можно также повысить знания в этой области, опираясь на практический опыт других организаций - почитать пособия, проконсультироваться и т.п.

Ниже приведен пример внутренней оценки проекта, которую проводили сотрудники Перспективы в 1999 году. Это был интересный опыт, поскольку проведение оценки уникального пилотного проекта потребовало выработки соответствующей технологии оценки, для чего были проведены консультации с экспертами из Центра поддержки НКО. В результате полуторадневной работы с экспертами был определен инструментарий оценки, намечены источники информации и пр. технологические шаги оценки.
И последнее замечание перед рассмотрением примера: если у организации недостаточно средств для проведения полномасштабной внешней оценки проекта, то предварительные консультации с экспертами-оценщиками могут быть вполне доступны и усилят эффективность внутренней оценки. Мы советуем вам обратиться в местный ресурсный центр, или зайти на сайт Международной Сети Оценка Программ (ipen21.org). В случае проведения оценки, описываемом ниже, Перспектива обращалась за поддержкой и консультацией в Центр поддержки НКО.

Итак, наш опыт:

Активизация деятельности молодых инвалидов путем формирования позитивного общественного мнения.

Оценка проекта проводилась сотрудниками организации Перспектива и сотрудниками проекта на местах.

Цели оценки проекта

Задачи оценки проекта

Технология оценки.

Составление итогового отчета.

Основные аспекты оценки проекта

1) Эффективность воздействия проекта на активизацию молодых инвалидов.

2) Воспроизводимость проекта.

Методы оценки.

Для анализа полученных данных использовались методы:

Самооценка
Уже по названию можно определить, что такую оценку проводят сами участники проекта или мероприятия. Перспектива довольно часто проводит самооценку своих мероприятий. Самое сложное при самооценке - найти время, что бы ее провести, т.к. обычно много сил уходит на подготовку и проведение самого мероприятия и возникает естественное желание - передохнуть. Но, исходя из нашего опыта, самооценку лучше проводить непосредственно после завершения мероприятия. Ниже мы предлагаем ознакомиться с опытом Перспективы
по проведению самооценки мероприятия - акции.

В декабре 2000 года Перспектива на Пушкинской площади организовала и провела акцию Мы равны, целью которой было привлечь внимание жителей Москвы к недоступности города для инвалидов. В акции участвовали молодые активисты - консультанты проекта, молодые инвалиды из других НКО. Несколько молодых активистов в костюмах Деда Мороза собирали подписи на открытках в поддержку создания доступной среды в Москве. Затем участники акции прошли по Тверской улице до здания Мэрии и передали открытки с подписями Мэру города. После акции была проведена оценка мероприятия.
Оценку проводили два сотрудника Перспективы, которые участвовали в подготовке и проведении акции.

Практический пример:

Цель оценки - Выявить эффективность проведенной акции, те результаты, которые достигнуты в ходе акции, а также выявить положительные изменения в результате проведения акции.

Вопрос оценки: Что было предпринято для того, что бы акция прошла эффективно?

Прежде всего, было определено, какая информация нам нужна для проведения оценки. Например, информация об освещении акции в прессе, о привлечении и участии других организаций и молодых инвалидов в акции, о реакции властей города на переданные обращения.
При этом мы хотели получить ответы на вопросы:

Мы договорились, что судить об успешности акции мы будем по следующим признакам (индикаторам):

- Количество участвовавших молодых инвалидов;
- Количество публикаций и название изданий;
- Количество открыток в поддержку требований о доступной среде было передано в Мэрию;
- Должно прийти более 50.
- Как минимум 10 репортажей;
- Должны раздать не менее 500 открыток.

Мы определили, каким образом будет получена необходимая для оценки информация. Прежде всего, мы решили:

Вот что отвечали участники на вопросы:

Нас поддержали: Катаржина, Фонд родителей инвалидов по зрению, Преодоление, Гагаринская организация ВОИ. Кроме того, время от времени на встречи по подготовке к акции приходили представители других НКО. В целом удалось привлечь шесть организаций инвалидов, 25 человек с инвалидностью, из которых - 10 человек на колясках.

Причины, которые препятствовали привлечению других организаций в деятельность по подготовке акции:

Участники: их было мало. Основной расчет был на молодых инвалидов - участников наших семинаров. Но в это время (Декада Инвалидов) было большое количество мероприятий, которые они предпочли нашей акции. Было достаточно холодно – декабрь месяц и некоторые не захотели в холод быть длительное время на улице.

При обсуждении хода акции иеё подготовки участники отметили:

Что удалось?

Что не удалось и что можно было бы улучшить?

В отношении взаимодействия с представителями СМИ в ходе акции:

В. Внешняя оценка

Вдруг раздается звонок, и вам говорят: Мы хотим приехать в вашу организацию и оценить ваш проект. Как правило, это представитель финансирующей организации или приглашенные консультанты – оценщики.
Под внешней оценкой подразумевается визит в вашу организацию специалистов по оценке. Как правило, это люди, не имеющие никакого отношения к вашей работе. Внешних оценщиков может пригласить руководитель. Это может быть организовано для более объективной оценки какого-либо вида деятельности организации. Внешние оценщики также могут быть приглашены фондом, финансирующим проект, для того чтобы выяснить, насколько успешно ведется проект, выяснить возможности его распространения и необходимости дальнейшего финансирования.
Наша организация за время деятельности (более пяти лет и более 20 проектов) прошла через 5 – 7 оценок. В основном, внешние оценщики направлялись фондами, финансирующими наши проекты. Опыт встречи с внешними оценщиками достаточно разнообразный, и нам хотелось бы им поделиться. Это поможет вам подготовиться к встрече с оценщиками.

Как Перспектива проходила внешнюю оценку
Как правило, мы знали о приходе в организацию внешних оценщиков заранее. Мы получали письменное сообщение или узнавали о визите в ходе телефонного разговора с представителями фонда или оценщиками. Обычно первые визиты оценщики наносили руководителю организации и менеджеру проекта. Оценщики приходили к нам, уже зная проект по заявкам и отчетам, ранее подготовленным и переданным в финансирующую организацию. В ходе встречи обговаривался процесс оценки данного проекта и процедура работы. Не всегда, но достаточно часто оценщики заранее просят подготовить материал по проекту, например, пособия, бюллетени, фильмы, если такие были отсняты, и пр. Оценщики договаривались лично с каждым из опрашиваемых сотрудников о дате и времени встречи, а также отдельно обговаривали, сколько времени займет беседа, либо предупреждали о коллективной встрече. Одной из просьб оценщиков обычно была просьба предоставить помещение для собеседования. Работа оценщиков в офисе Перспективы продолжалась не более двух дней, по 3-4 часа. Если после собеседований возникала необходимость дополнительно прояснить какие- либо моменты, то это уже делалось по телефону. По завершению оценки, оценщики ставили нас в известность о предварительных выводах и рекомендациях. Копия окончательного отчета передавался в Перспективу заказчиком внешней оценки.
Конечно, у сотрудников Перспективы, участвовавших в процессе оценки сложились свои впечатления о встречах с оценщиками:

Денис Роза, директор: Волнения не было. Может быть, это связано с тем, как себя вел оценщик. Было понятно, что ему искренне хочется понять до мелочей все, что было сделано.

У меня всегда вызывал интерес процесс оценки, так как это дает возможность посмотреть на работу по нашим проектам извне. Отвечая на вопросы, ты иногда обнаруживаешь или вспоминаешь какие-то неожиданные результаты. Таким образом, в ходе проведения оценки мне часто удавалось увидеть то, чего я раньше не замечала. На мой взгляд, было бы полезно чаще проходить через процедуру оценки, т.е. быть оцениваемыми. Это полезно для всех сотрудников. Кроме того, это очень полезно перед написанием отчета.

И, пожалуй, единственным минусом в процедуре оценки является то, что это отнимает у сотрудников – участников опроса много времени и отвлекает от их непосредственной работы.
Однако я бы хотела отметить, что не всегда сталкивалась с удачной формой проведения внешней оценки. Например, был случай, когда оценщик с целью выполнения порученной ему функции позвонил мне домой в воскресенье, в вечернее время. Безусловно, мне было очень трудно быстро переключиться с моих домашних дел на рабочие и отвечать на заданные им вопросы.

Наталья Присецкая: Я прошла через оценку двух проектов. В одном я была координатором команды молодых активистов, в другом - ассистентом менеджера. Страха перед процедурой оценки у меня не было. Скорее, было удивление, вызванное теми вопросами, которые мне задавали. Я не ожидала, что кроме цифр, сроков, планов и результатов оценщиков будут интересовать мои впечатления, эмоции. Мне задавали вопросы: Как вы видите дальнейшее развитие проекта? Как я пониманию задачи проекта? Как я строю работу с командой? Еще меня удивило, что оценщики так хорошо знают проект. Складывалось впечатление, что они очень подробно познакомились даже с отчетами наших региональных партнеров. Конечно, я чувствовала ответственность, когда со мной беседовали оценщики. Помогало то, что задавались очень точные вопросы. Оценка, которая проводилась в середине проекта, помогла мне лучше понять, что уже сделано, и на что надо обратить внимание на следующем этапе проекта. А оценка по завершению проекта, помогла осознать достигнутые результаты.

Валерий Школьников, ассистент менеджера проектов, которые проходили оценку в 1999, 2001 годах: Мой опыт участия в процедуре оценки проекта говорит о том, что бояться этого не следует. Если вы работали по проекту, то прекрасно представляете, что и как делалось. Ответы на вопросы оценщиков вас не затруднят.

По моему мнению, внешняя оценка – именно то, что надо для проекта и работы организации. Это такая остановка в море текучки, когда вместе со специалистами (оценщиками) ты оглядываешься на то, что было сделано – что успешно, на а что надо обратить особенное внимание в будущем.

Иван Сиднин, участник команды молодых активистов: По-моему, оценка нужна для того, чтобы можно было осмыслить сделанное и получить выводы о проделанной работе. Для этого больше всего подходит именно внешняя оценка.

Мария Перфильева, менеджер проектов: Мои положительные впечатления от работы с оценщиками сходны с мнением моих коллег. Но у меня есть и отрицательные впечатления, правда, связанные с прохождением внешней оценки в другой общественной организации, где я работала раньше. Пришедшие оценщики были настроены достаточно доброжелательно, однако беседе с руководителем и менеджером проекта уделили очень немного времени. Но гораздо дольше они общались с системным администратором организации, ассистентом проекта. В результате оценщики не получили ясной картины хода проекта.

Как готовиться к внешней оценке.

Рекомендации:

Ваши права при проведении внешней оценки

Глава 4. Оценка эффективности обучения

В этой главе мы поговорим о том, для чего нужна оценка эффективности обучения, что именно подлежит оценке, какова последовательность ее проведения, какие существуют способы сбора и анализа информации.
Многие организации инвалидов проводят различные обучающие семинары. Важный этап - оценка их эффективности.
Проведение оценки эффективности обучения необходимо для того, чтобы:

Возможны следующие направления оценки:

Более подробная информация о проведении акции в книге Инвалиды: отстаивание прав и интересов, РООИ Перспектива, Москва, 2002.

По материалам Принципы оценки программ, принятие Международной сетью Оценка программ (International Program Evaluation Network / IPEN).

Из Сборника Материалы к учебному курсу Тренинг для тренеров, составленного компанией Процесс Консалтинг.

Оценка эффективности обучения может различаться также и по времени проведения. Она может проводиться как во время самого обучения (наблюдение за деятельностью участников), так и сразу по его окончанию или через некоторое время (оценка изменений качества работы сотрудников).
Если проводится количественная оценка результатов обучения, ей должна предшествовать предварительный уровень знаний участников до начала обучения, который можно сравнить с достигнутыми результатами.
На одном из семинаров для подготовки ведущих занятий, который проводили тренеры компании Процесс консалтинг участники, с помощью тренера, составили таблицу, которая представляет классификацию способов оценки эффективности обучения.

Оценка эффективности
Оценка эффективности
Оценка эффективности
Оценка эффективности
Оценка эффективности
Когда
Источник
Информации
Во время Сразу после Через Некоторое время
Заказчик (руководитель организации)      
Слушатели (участники)      
Тренер      

Последовательность проведения оценки эффективности обучения.
При оценке эффективности обучения процесс оценки включает такие же этапы, как и при оценке проектов. Позволим себе повторить суть этих этапов применительно к оценке эффективности обучения.

Например, при обработке ответов участников на вопрос "Заинтересовало ли Вас обучение по теме "Понимание инвалидности" (Занятия по теме понимания инвалидности) Вы можете проанализировать характер следующих высказываний респондентов: - Ерунда; - Очень важная и интересная тема; - Тема должна быть расширена; - Не понятно, для чего это нужно... и сделать следующие выводы: не все участники поняли, для чего изучается эта тема, некоторые считают ее неважной, некоторые очень заинтересовались... и т.д.

Что должно входить в Ваш отчет:

Глава 5. Сбор информации при проведении оценки, в том числе и при оценке эффективности обучения

Часть данных, используемых для оценки, будет основана на мнениях, чувствах, наблюдениях и интерпретациях участников проекта, ведущих занятий, участников семинаров и пр. Оптимальный подход заключается в том, чтобы тщательно продумать процесс оценки и использовать несколько разных способов получения требуемой информации. По мнению опытных оценщиков, исключительно важно, хотя порой и сложно, сохранять непредвзятость на всем этапе сбора информации.

Не менее важно при сборе информации для оценки уметь задавать вопросы. Существуют два типа вопросов: открытые и закрытые.
Открытый вопрос
На такой вопрос нельзя ответить "Да" или "Нет". Открытые вопросы помогают собрать более полную качественную информацию. Когда необходимо получить более подробные объяснения или уточнить что- либо, то задаются уточняющие вопросы. Уточняющие вопросы могут включать одно или несколько вопросительных слов: почему, где, как часто. Например, Что в ходе занятий заинтересовало Вас больше всего? Почему именно это?
Закрытый вопрос
Вопрос, на который можно ответить однозначно "Да" или "Нет". Такие вопросы преобладают в анкетах для количественных исследований. Например, Заинтересовали ли Вас методы планирования рабочего времени руководителя?

Способы сбора информации.

Тестирование
Как правило, тест представляет собой серию закрытых вопросов, связанных с содержательными аспектами проекта или семинара. Полученные таким образом данные можно использовать при количественном анализе. Иногда в тесте присутствуют открытые вопросы, например Как вы будете привлекать молодых инвалидов в группы взаимной поддержки?… и при этом дается несколько вариантов ответа.
Тестирование можно комбинировать/сочетать с другими источниками получения информации.
Предварительный - заключительный тест
Участникам проекта или семинара предлагается один и тот же письменный тест до начала проекта или обучения и после их окончания. При оценке эффективности обучения этот тест предоставляет достаточно объективную количественную оценку усвоения предмета. Он также помогает определить, какие предметные области требуют повторения или закрепления.
Последующее Письменное тестирование
Проводится через некоторое время (1-2 года) после завершения проекта при проведении оценки после фактической реализации проекта. Такое тестирование можно использовать при оценке эффективности обучения для того, чтобы определить практическую ценность проведенного обучения выявить потребности для дальнейшего обучения.

Опросы, анкетирование
Для сбора информации можно применять устные или письменные опросы
Очень важно при устных опросах соблюдать логическую последовательность, помнить о том с какой целью проводится опрос. Помогает проведению устных опросов наличие заранее подготовленного письменного перечня вопросов. Опрашивающий должен иметь некоторые навыки, помогающие установить коммуникацию, получить ответ, который можно использовать при оценке.
При проведении опросов могут использоваться различные формулировки вопросов, в частности многовариантные вопросы. Вопрос, сочетающий черты открытого и закрытого, в нем человеку предлагается выбрать один или несколько вариантов из большого их числа. Например, Какие темы Вас больше всего заинтересовали в ходе занятий (отметьте две наиболее интересные для Вас темы)

  • способы планирования рабочего времени руководителя
  • формулирование миссии организации
  • способы делового общения
  • методы составления бюджета
  • пути реализации Закона о социальной защите инвалидов
  • правила написания пресс-релизов...

Оценочные анкеты:Если Вы используете такие анкеты, лучше объяснить тем, кто отвечает, что означает каждая из оценок. Например: Оцените, пожалуйста, насколько, по Вашему мнению, были решены задачи семинара. Обведите вашу оценку:

Не решена Почти не решена Решена только отчасти Решена в целом Вполне решена

Информацию, полученную в результате применения оценочных анкет, можно довольно легко подвергнуть количественному анализу и статистической обработке. Довольно часто общественные организации используют данные анкеты для оценки семинара или мероприятия.
Иногда при опросах формулируют вопросы так, что они совмещают в себе черты многовариантного и оценочного вопросов. Опрашиваемые получают вопросы и наборы ответов к ним, из которых должны выбрать тот, который, по их мнению, больше подходит. Человек же, проводящий исследование, имеет специальный "ключ" к вопроснику, где указано цифровое выражение каждого из вариантов ответов.

Кейс
Это форма устного опроса с фиксацией, которая использовалась Перспективой при оценке влияния проекта на региональные команды молодых активистов.. Для проведения опроса были разработаны специальные бланки - анкеты. Выбранные в начале проекта участники региональной команды (2-3 человека из каждой команды) персонально опрашивались несколько раз в течение проекта, причем при каждом опросе были включены вопросы по-разному сформулированные, но отражающие общий контекст .Например, вопрос Какова ваша роль в проекте? при последующем опросе был сформулирован Чем Вы занимаетесь в проекте? Таким образом, участники опроса выступили своеобразными реперами, по которым можно было судить об изменениях роста молодого активиста

Опрос мнений
Применение данного способа помогает собрать нужную информацию при оценке проекта или программы обучения. Открытые вопросы, задаваемые непосредственно после завершения обучения, или периодически в ходе его, помогают выявить отношение к программе обучения или методам ведения. Данные, полученные в ходе такого опроса помогают понять как участники оценивают общий план обучения, адекватность программы по отношению к их потребностям, адекватность используемых методов ведения. Для оценки проекта подобный опрос можно проводить не только с основными участниками проекта, но и с получателями услуг проекта или партнерами. Полученные мнения помогут выявить проблемы, скорректировать действия проекта для их решения, сделать рекомендации по дальнейшему развитию проекта.

Наблюдение
Еще один инструмент сбора информации – наблюдение. Этот способ полезен для сбора информации о состоянии людей, которые участвуют в проекте. Наблюдение может проводиться в течение одного семинара, на разных семинарах в течение проекта или в течение всего проекта. При этом можно применять структурированное наблюдение, когда составляется список характеристик, которые будут отслеживаться и неструктурированное наблюдение, при котором наблюдатель основывается на том, что привлекло его внимание.
Например, при наблюдении за конкретными участниками проектов наблюдателя привлекло поведение молодого активиста, который брал на себя большую ответственность, уверенно говорил о том, чем он может помочь другим…
Однако, при явной простоте метода, наблюдение имеет существенный минус- наблюдение требует значительного времени
Прямое наблюдение в ходе обучения
Проводится непосредственно в ходе обучения. Наблюдение на семинарах лучше проводить специальному наблюдателю, не ведущему. Это может быть организатор или сотрудник вашей организации, не занятый в семинаре. В случае отсутствия такого наблюдателя эту функцию берет на себя ведущий, который должен зафиксировать свои наблюдения сразу после завершения занятий. Специальный наблюдатель должен быть подготовлен к проведению наблюдения и должен уметь фиксировать увиденное. Наблюдателю удобнее работать, когда есть бланк наблюдения, кроме того это дает возможность сразу фиксировать увиденное. При отсутствии бланка все равно необходимо после мероприятия или семинара записывать свои мысли, наблюдения в свободной форме.
Например, в ходе семинара наблюдатель отмечает, что молодые инвалиды выступали на семинаре увереннее, чем на предыдущих; они сами предлагают новые способы проведения занятия.

Дополнительные способы сбора информации при оценке эффективности обучения.
Предлагаемые способы помогут ведущему занятий или команде тренеров провести оценку эффективности конкретного занятия или всего семинара в целом. Ведущий сможет определить реакцию участников и уровень приобретения ими знаний, определить эффективность учебного плана и способов проведения обучения; оценить степень вовлеченности участников. Этими способами могут воспользоваться и организаторы обучения для обсуждения организационных моментов, например удобства помещения, транспорта и пр. аспектов, которые важны для успеха семинара.
Групповая совместная оценка.
Ведущий разрабатывает специальное занятие для обсуждения и оценки учебной программы. Часть времени выделяется на проверку отдельных знаний. Часть времени отводится на то, чтобы участники могли обсудить самые ключевые моменты программы обучения или того, что, по их мнению, мешало ее успеху. Такая оценка может проводиться устно - например, в форме фокусированной (по заранее определенному списку вопросов) дискуссии, а может - письменно. Лучше, если количество вопросов будет не более 4-5 и в дискуссию вовлекается(будет вовлечена) практически вся группа.
Ниже приводятся краткие опросники, использовавшиеся на одном из наших семинаров для обсуждения результатов, полученных за предыдущие дни занятий.. Опросники сочетают в себе вопросы по оценке эффективности применяемых методов, позволяют понять, насколько участники усвоили тот или иной метод, а также содержат оценку участниками ведущего.

Опросник для фокусированной дискуссии по оценке семинара.

Этапы фокусированной дискуссии Примеры вопросов
Выявление фактов Что мы делали?
Какие были темы рассмотрены?
Какие методы мы использовали?
Выявление эмоций, ощущений, отношения Что вас особо задело, взволновало?
Когда, в какие моменты вы ощущали дискомфорт?
Проведение оценки, сбор информации, проведение дискуссии. Что было наиболее значимым?
Насколько результативно проходил семинар?
Что было важным для эмоционального настроя группы?
Выводы о практическом применении Что дал этот семинар для практики?
Какие занятия мы будем использовать в работе?

Практическое занятие после окончания обучения.
Способ применяется для определения степени приобретения навыков и новых знаний. Способ заключается в проведении практического занятия, в котором используются все навыки, приемы и знания, предложенные во время обучения, например, ролевая игра. Естественно это занятие должно быть специально разработано.
Например, семинар направлен на совершенствование навыков работы со СМИ, в этом случае в завершении занятий можно провести ролевую игру Пресс –конференция.

Ежедневная оценка эффективности обучения.

Поскольку проводится ежедневно, то эта оценка должна быть краткой. Способ используется для мониторинга заинтересованности и активности участников в ходе занятий, оценки работы ведущих. Может быть устной (краткий опрос мнений участников), а может быть письменной. В последнем случае желательно заготовить специальные бланки. Если Вы используете количественную оценку, удобно составить график изменения средней оценки день ото дня. Перспектива на семинарах использует упражнение Дерево или Небоскреб. Все очень просто. Участники оценивают свое состояние, свой уровень на данный момент и размещают свой рисунок-символ (это может быть крестик, человечек или иной символ) на соответствующей ветке, этаже и.т.п. Иногда мы совместно с участниками составляем плакат, на котором отмечаем, что было удачно, а что - не очень. Вот пример такой оценочной таблицы:

+ --
Очень подробно и понятно представлена тема…
Было много упражнений, много двигались
Никто из участников не спал
В зале было душно
Не очень удобно располагались столы для работы в малых группах
Остались вопросы по…

В заключении, мы хотим привести вопросы, которые ведущий может задать самому себе для оценки успешности обучающей программы, семинара, отдельного занятия.

Глава 6. Как научиться проводить оценку

Сложно, но можно. Для профессионального оценщика этот путь непрост и длителен. Появляются и свои оценщики в третьем секторе. Мы хотели бы сказать несколько слов о том как Перспектива готовит участников своих проектов - молодых инвалидов к проведению оценки. На каждом семинаре для участников нового проекта. "Перспектива" обязательно уделяет время для обучения участников некоторым элементам оценки проектов.
Совместно с Процесс- консалтинг были разработаны занятия, в ходе которых участники получают опыт сбора и анализа информации, опыт ведения мониторинга. Мы убедились, что начинать разговор об оценке с группой, не имеющей представления о процессе оценки, лучше с выполнения упражнения по оценке чего-либо привычного и понятного. Например, участники оценивают помещение для семинара или гостиничный номер, где они размещены. После того как участники получили практический опыт, можно рассматривать этапы оценки и обсуждать – как проводить оценку.

На семинарах для молодых активистов мы также проводим занятие, на котором рассматриваем составление Успешных историй. Успешные истории можно использовать как элемент оценки проекта. Обычно в Успешных историях отражаются те изменения, которые достигнуты в ходе проекта и влияют на улучшение ситуации или решение проблемы.
Для того чтобы Ваша история действительно воспринималась как успешная, как яркая иллюстрация успеха выполняемого Вами проекта, при составлении ее рекомендуем следовать нашим рекомендациям

Рекомендации:

Например: Но летом кафе преобразилось: в него стало возможно не только зайти, но и заехать. Помимо обычных ступенек в кафе теперь ведет цементный пандус с перилами, а это значит, что Сказка теперь доступна для новгородских инвалидов - детей и взрослых, для мам с малышами в колясках.

Например: Кафе Сказка - одно из первых частных предприятий города, которое оборудовано с учетом потребностей инвалидов. Это один из результатов кампании по изменению общественного мнения по отношению к инвалидам и созданию в Новгороде доступной среды. Эта кампания проводилась в Новгороде совместными усилиями организации Перспектива, Новгородской областной организации Всероссийского общества инвалидов и Всемирного Института по проблемам инвалидности (США).

Например: На открытии кафе были дети из обычных школ и дети из школы для инвалидов. И они вместе делали то, что любят все на свете дети на свете - играли, ели сладости и мороженое.

Глава 7. Что такое механизм оценки?

Из предыдущих разделов Вы узнали о разных видах оценки, о том, как проводится оценка. В данном разделе мы хотели бы остановиться на вопросах связанных с составлением раздела механизм оценки в проектах и заявках на получение финансирования.
При написании заявок и проектов для получения финансирования приходится отвечать на вопрос: Как Вы предполагаете оценивать свой проект? Какой механизм оценки будете использовать?
Часто авторы проектов испытывают затруднения при ответе на этот вопрос или называют не очень понятные критерии оценки. Например, в этом качестве предлагают использовать количество отзывов и добиться более 10 публикаций в СМИ. Это не очень соответствует механизму оценки.
Механизм оценки, который прописывается в заявке, предполагает скорее проведение самооценки или внутренней оценки вашего проекта. Он заключает в себе те же самые этапы, что и при проведении любой оценки:

Рекомендации:

Примеры механизмов оценки из проектов Перспективы приведены в Приложении.

Заключение

За последние годы Третий Сектор России сделал очень большой шаг в своем развитии. И оценка выполняемых общественными организациями проектов не является сейчас чем-то необычным. Несколько лет назад в среде некоммерческих организаций прошла программа обучения оценщиков. Ежегодно проходят конференции по оценке проектов некоммерческих организаций. Появляются пособия и литература по этому вопросу, однако, это, в основном, переводные материалы, либо материалы, подготовленные профессионалами из консалтинговых фирм и предназначенные для профессиональных оценщиков. В связи с этим, появление нашего Пособия можно рассматривать как новинку: впервые материал собран не специалистами, профессионально в течение многих лет занимающихся оценкой различных программ, а общественной организацией, которая в ходе своей деятельности выступала и как оцениваемая структура, и как сам оценщик. Это наш первый опыт по созданию пособия по оценке, мы старались включить в Пособие именно те сведения, которые важны для НКО, и главным образом, НКО инвалидов, которым предстоит пройти процедуру оценки.

Желаем успехов!

Приложения

Приложение №1

Отчет по оценке проекта

Создание безбарьерной среды - одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии

Аннотация проекта.
Проект Создание безбарьерной среды - одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии, далее Создание безбарьерной среды, осуществлялся Общественным Фондом строительства жилого комплекса инвалидов - колясочников и создания безбарьерной среды с 1 июля 2000 по 1 июля 2001г. Финансирование проекта осуществлялось ИОО – Фонд Сороса. Общественный Фонд создан по инициативе людей, имеющих инвалидность.
Основным местом проведения проекта стал г. Улан – Удэ, рейды милосердия проходили по территории сельских районов Бурятии.

Создание действенного механизма работы специализированного общественного фонда по постепенному превращению социальной инфраструктуры Бурятии в доступную для инвалидов и других маломобильных групп населения через налаживание эффективного взаимодействия с государственными органами, органами местного самоуправления, населением республики и самими реципиентами программы (инвалидами, пожилыми людьми).

Сотрудники Общественного Фонда, в том числе специалист архитектор-проектировщик.

А. Цели, задачи и методы оценки

РООИ Перспектива в 2000-2001гг. осуществляла проект Оценка и мониторинг проектов, получивших финансирование в рамках конкурса К независимой жизни ИОО - Фонд Сороса. В рамках этого проекта, сотрудниками Перспективы была проведена оценка проекта Общественного фонда Строительства жилого комплекса инвалидов-колясочников по созданию безбарьерной среды в республике Бурятия.

Поскольку Перспектива не обладала опытом проведения внешней оценки, проведение оценки проекта в Улан –Удэ потребовало консультирования с экспертами по оценке из компании Процесс – консалтинг.

Оценку данного проекта проводили Денис Роза (директор Перспективы) и Мария Перфильева (менеджер проектов Перспективы).
Оценка проекта проходила 17- 20 августа 2001 г., после завершения проекта.

Цель оценки проекта - понять, какой опыт продвижения идей независимой жизни был приобретен в процессе реализации данного проекта и насколько прошел успешно проект.

Задачи оценки проекта

Из материалов Модель оценки обучающих программ, разработанных Тренинг-Центром Голубка

Технология оценки

Сбор информации

- содержательный анализ документов и интервью, полученных в ходе проекта;
- количественный анализ (списки участников семинар, сведения из итогового отчета).

Методы оценки

Б. Вопросы, на которые надлежало ответить в ходе оценки:

Реальные результаты проекта и выполнение плана.

В какой мере деятельность в рамках проекта соответствует намеченному плану? Совпадают ли фактические результаты проекта с запланированными?

Если были какие-то существенные отклонения от плана, то в чем их причины?

Деятельность в рамках проекта, в основном, соответствовала намеченному плану. Некоторые отклонения от первоначального графика, связаны с объективными причинами и нехваткой опыта управления проектом, а именно:

Выделение средств на строительство пандусов владельцами помещения комитетом по архитектуре, строительству, транспорту и связи, комитетом по социальному развитию.

Что не выполнено

1. Не удалась подготовить проект республиканского и городского законов Об обеспечении беспрепятственного доступа инвалидов к объектам социальной инфраструктуры республики Бурятия (города Улан-Удэ). Думается, ввиду большого объема и чрезвычайной сложности работы.

Незапланированные результаты
1. Проведение групп взаимной поддержки. Проведено 5 ГВП. Ведущие групп – инвалиды с различными видами инвалидности.
2. Сотрудники фонда приняли активное участие в подготовке и организации Международной встречи инвалидов Байкал-2000, председатель фонда выступила с докладом Создание безбарьерной среды – одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии. Для молодых инвалидов, были организованы обучающие мастер-классы по философии независимой жизни, владению инвалидной коляской.
3. Проведение семинара для архитекторов - проектировщиков по запросу архитектурной мастерской.

В итоговом отчете по оцениваемому проекту указаны следующие результаты:

Проект и организация.
В какой мере проект соответствует стратегическим приоритетам организации? Каковы долгосрочные перспективы продолжения деятельности, выполняемой в рамках данного проекта? Что дал Проект сотрудникам организации с точки зрения профессионального развития (в том числе понимания независимого образа жизни)?

Процесс выполнения проекта

На вопрос: Какие были трудности в рамках Проекта (программный и административный аспекты)? участники опросов ответили:

Продвижение идей независимой жизни

Как повлиял проект на распространение философии независимого образа жизни инвалидов?

С. Источники информации

С кем беседовали оценщики:

Документы, которые были изучены консультантами в процессе мониторинга:

Фото и видеоматериалы по проекту

Приложение №2

Проект Проведение Летней школы для молодых инвалидов,

2001г. Заявка подавалась в ИОО - Фонд Сороса

Оценка проекта

Механизм оценки проекта включает в себя методы проведения оценки и критерии, по которым будет оцениваться проект и мероприятия проекта.

Критерии

- задачи проекта (выполнены или нет). Например, разработана и апробирована ли(?) программа обучения, подготовлены и проводят занятия 15 молодых инвалидов на "Летней школе" и т.д.
-Дополнительные критерии - качественные показатели, например участники "Летней школы" поверят в свои силы и возможность отстаивать самостоятельно свои права; станут более уверенными.

Методы
Основными методами оценки проекта будет анкетирование, опрос участников проекта – ведущих и участников "Летней школы". Будет разработана анкета для оценки результатов самой "Летней школы", что даст информацию для проведения подобных мероприятий в дальнейшем.

Критерии оценки семинара:
- участники получат новые знания и навыки, необходимые для отстаивания прав;

Опрос участников Летней Школы будет разработан и проведен среди 15% участников в начале "Летней школы", в конце и через 2 месяца после окончания работы школы для определения личностного роста участников.
Кроме того, будет проведен опрос ведущих Летней Школы – молодых инвалидов - активистов.

Проект "Улучшение взаимодействия организаций инвалидов г. Москвы с государственными структурами, 1998.

Оценка проекта

Оценка проекта будет проводиться исполнителями программы (сотрудниками РООИ Перспектива) во время всего проекта для определения успешности поставленных задач.

Планируется оценивать: ход проекта (текущие, или рабочие оценки), этапы проекта и степень воздействия занятий и семинаров на представление людей об инвалидах (промежуточная оценка), успешность реализации всего проекта (итоговая оценка).

Методы:
Основными методами оценки являются: анкетирование, дискуссии, общие наблюдения, интервью с участниками программы и представителями государственных структур, с которыми будет проведена работа.

Оценка начинается с предварительного анализа целевой аудитории: на начальном этапе реализации проекта проводится анкетирование школьников, с которыми будут проводиться занятия по пониманию инвалидности, и групповые дискуссии с представителями органов власти. В конце проекта будет проведен повторный анализ той же аудитории. Сопоставление полученных результатов даст возможность понять, достигнуты ли главные цели проекта - формирование общественного мнения, способствующего интеграции инвалидов в общество, совершенствование взаимодействия организаций инвалидов и государственных структур.

Промежуточная оценка
Имеет целью определение степени соответствия получаемых и запланированных результатов и корректировку программы. С этой целью будут проведены анкетирование участников проекта, групповые дискуссии, интервью. Кроме того, промежуточная оценка поможет оценить степень воздействия занятий и семинаров на представление целевых аудиторий - об инвалидах.

Предлагаемая система оценок использовалась РООИ Перспектива при реализации предыдущих проектов (проект по подготовке кадров ВОИ, школьный проект). Технология оценки была дополнительно разработана для оценки школьного проекта в г. Новгороде Великом и полностью себя оправдала.

В качестве критериев успешности предполагается использовать запланированные задачи проекта.

Проект Ломаем барьеры, 2001-2002гг., финансируется CAF - Россия

Оценка проекта

Измеримые индикаторы:

Методы:
Сведения о росте молодых активистов будут собираться путем проведения тестирования по методу до и после в начале, середине и конце проекта.
Отбор в начале проекта в результате процедуры кейс стади(?). В течение всего проекта будет проходить мониторинг группы молодых активистов, в ходе которого будет оцениваться их профессиональный и персональный рост. Мнения руководителей и коллег о росте молодых активистов будет выявляться в ходе опросов и интервью. Также информация о росте молодых активистов будет получена при анализе составленных ими историй успеха. Все эти методы дали хорошие результаты в предыдущих проектах.
Вышеперечисленные методы будут применены при работе с молодыми инвалидами в Челябинске и Ростове.
На семинарах все участники заполняют анкету по его оценке.
Будут взяты интервью у государственных служащих и специалистов. Цель - выяснить какое влияние на них, и в целом на общество имел данный проект.

Ожидаемые промежуточные результаты проекта.

Возможны следующие промежуточные результаты: