Социальная реабилитация
Пособие по оценке для организаций инвалидов
Введение
Общественные организации инвалидов действуют в России более 10 лет. Деятельность их сейчас довольно разнообразна, однако, до недавнего времени она традиционно строилась на проведении различных мероприятий - досуговых, спортивных и пр., средства на которые поступали нерегулярно и добывались с трудом. Иногда организации инвалидов обходились собственными средствами, отдельные мероприятия финансировались государственными структурами или спонсорами. Но на проектную работу это не было похоже, и оценка этих мероприятий не требовалась.
Понятия проект, проектная деятельность вошли в обиход организаций инвалидов несколько позднее, чем в деятельность других общественных организаций. Некоторые организации инвалидов стали участвовать в качестве российских партнеров в проектах и программах зарубежных организаций инвалидов, которые осуществлялись в России. Постепенно у них появилась возможность получить небольшие гранты для осуществления собственных проектов, однако, организаций, ведущих проектную деятельность, было крайне мало.
Стимулом для расширения проектной деятельности общественных организаций инвалидов стал первый конкурс проектов К независимой жизни, организованный Институтом Открытое общество в рамках программы Здоровье населения России в 1998г.
Первый раунд этого конкурса привлек около 150 проектов, способствующих внедрению идей независимого образа жизни инвалидов. Через два года, в третьем раунде конкурса участвовало уже 400 проектов. Большинство этих проектов было подано организациями инвалидов.
Еще одним толчком к работе по составлению заявок послужило развитие системы социального или муниципального заказа, в рамках которого организации инвалидов также стали представлять проекты и программы.
Приступив к работе по проектам, организации инвалидов столкнулись с новыми для себя понятиями - мониторинг проекта, критерии и механизм оценки. В любом проекте или заявке заявитель должен пояснить, как будет оцениваться деятельность попроекту. Для многих представителей общественных организаций до сих пор понятие механизм оценки – загадка. Кроме этого, когда речь идет об оценке своего проекта, многие заявители пребывают в затруднении - у них нет или не хватает опыта. Поэтому часто в заявках раздел оценка проекта составляется без четкого плана оценки или спланирован таким образом, что следовать этому плану невозможно.
Следующая проблема, с которой сталкиваются организации инвалидов, получившие грант на работу по проекту - это приход оценщиков. Оценщики обычно приходят из сторонних организаций - грантодающих фондов, из других организаций инвалидов, либо из специализированных консультационных компаний. Часто появление оценщиков воспринимается как вторжение, контроль и, как правило, вызывает в организации волнение.
Поэтому возникла идея подготовить пособие, которое поможет организациям инвалидов оценивать свою деятельность, свои проекты и мероприятия, а также подготовиться к приходу оценщиков. Мы готовы поделиться своим опытом в этой области.
Глава 1. Термины и понятия
В этой главе содержатся общие сведения, касающиеся оценки и мониторинга. Прежде всего, необходимо договориться о терминах и понятиях, которые приняты в среде профессиональных оценщиков и с которыми сталкиваются общественные организации.
Оценка - что это?
Понятие оценка к настоящему времени значительно расширилось благодаря тому, что за последнее десятилетие был накоплен опыт оценки социально ориентированных проектов. Эксперты в области оценки внесли в определение свое видение, в частности, предлагая учитывать цель оценки, потребности заказчика.
Мы предлагаем придерживаться следующих определений:
Мониторинг - это постоянное (систематическое) отслеживание хода работ (в рамках проекта, мероприятия, программы) для сравнения текущего состояния дел с планом.
Оценка - направлена на анализ результатов деятельности и/или произведенного эффекта и соотношения этих результатов с определенными критериями. В ходе оценки в числе прочих используются данные мониторинга.
Различия мониторинга и оценки
Мониторинг | Оценка |
---|---|
Проводится непрерывно Модель принимается в существующем виде без изменений Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для улучшения работы по проекту | Проводится на ключевых этапах реализации проекта Модель подвергается анализу с целью оптимизации/улучшения Анализируются причины достижения/не достижения запланированных результатов Полученная информация может использоваться для улучшения работы по данному проекту, и для уточнения планов на будущее |
Для чего проводить мониторинг и оценку и что для этого нужно?
Мониторинг, как систематический сбор информации, помогает вовремя обнаружить отклонения от намеченного плана и своевременно отреагировать на них, а также получить данные, которые можно использовать при оценке проекта.
В процессе мониторинга не проводится глубокого анализа ситуации. Самое главное – получить оперативную информацию о состоянии дел и, достаточно быстро скорректировать ситуацию, внести изменения или дополнения или даже отказаться от чего-либо.
Лучше, если система мониторинга изначально встроена в проект.
Для этого необходимо сделать следующее:
- Определить измеряемые показатели (их принято еще называть индикаторы), по которым можно отслеживать ход проекта.
Это может быть, например, количество семинаров или консультаций, которые планируется провести в течение всего проекта или количество выпусков бюллетеня который будет издаваться в рамках проекта.
Но стоит еще составить оперативные планы, в которых необходимо указать количественные показатели, достигнутые за определенный срок. Например, за неделю или месяц (примеры из практики Перспективы можно найти в разделе Что такое механизм оценки?).
- Установить источники получения информации. Это могут быть документы, отдельные лица или группы людей, партнерские организации, подразделения вашей организации и пр.
Например, информацию можно получать от сотрудников, ответственных за мероприятие, от ведущих семинаров, из письменных отчетов партнерских организаций.
- Выбрать методы и определить периодичность сбора информации.
В случае подготовки к мероприятию в качестве метода можно использовать опрос команды, которая его готовит, периодичность - ежедневно (в зависимости от общего времени подготовки мероприятия). В ходе проекта можно использовать для сбора информации отчеты, которые ежемесячно передают партнерские организации. Встречи членов команды также могут быть способом собрать информацию. В Перспективе, например, мы встречаемся (или стараемся это делать) раз в неделю. На этих встречах обсуждается то, что сделано по проекту и что предстоит сделать. Как ориентир используются предварительные планы (оперативные), а также рабочий план проекта. Как правило, на этих встречах присутствует менеджер. На таких встречах участники проекта рассказывают, что было сделано, и если не сделано, то почему сложилась такая ситуация.
- При проведении мониторинга имеет смысл назначить людей, ответственных за сбор информации и договориться с теми, кто эту информацию будет предоставлять. Надо спланировать, кто и как будет использовать данные мониторинга, каким образом они будут обрабатываться. Как уже было сказано, обычно этим занимаются менеджер или координатор, который отвечает за сбор информации и представляет ее на совещаниях.
Когда мониторинг проводится в регионах, обязательно надо предусмотреть некоторые расходы, связанные с его осуществлением, например, оплата телефонных переговоров, факсов, командировок.
Оценка проводится для того, чтобы понять эффективность каждого мероприятия и проекта в целом, определить, что есть что (плохое, хорошее) и как это влияет на проект. Это, как правило, нужно, например, для того, чтобы найти ответ на вопрос Почему не получилось? По итогам оценки делаются выводы и формулируются рекомендации (как правило, в форме отчета) для последующего принятия решения относительно данного мероприятия или проекта. Оценка подразумевает проведение довольно глубокого анализа всех данных, который позволяет из разрозненных фактов составить целостную картину. Проведение оценки занимает довольно много времени и имеет некоторые особенности, о которых мы поговорим в следующих главах и разделах.
Глава 2. Как проводится оценка?
В этой главе подробно рассматривается процесс проведения оценки - последовательность действий, составление плана оценки и пр.
При проведении оценки надо очень точно представлять, для кого (определение запроса) и для чего делается оценка? Проведение оценки (речь в данном случае идет только о внешней оценке) – это услуга. Оценка, как и другая оказанная услуга, будет качественной только в том случае, если в ней учтены потребности заказчика.
При проведении оценки желательно учитывать последовательность действий (этапов).
Постановка цели
Постановка цели соотносится с запросами заказчика, зависит и от того, к кому поступит информация. Например, к координатору проекта или менеджеру финансирующей стороны. Цель определяет, для чего проводится оценка и как будет использована полученная в результате оценки информация.
Часто бывает, что оценка может иметь несколько целей:
- Некоторые ожидают, что оценка ответит на вопросы о достигнутых успехах;
- Другие хотят узнать о результатах проекта;
- Некоторых интересует эффективность проекта по сравнению с затратами на него.
Существуют различные группы заинтересованных лиц, которые имеют законное право знать, какую "продукцию" производит проект или программа. К числу таких "акционеров" могут принадлежать:
- спонсоры программы;
- лица, занятые в оперативном управлении проектом;
- непосредственные "благополучатели" (клиенты) проекта;
- жители других регионов страны, которые, возможно, захотят повторить выполняемую по проекту работу, если проект оказался успешным.
II. Определение задания на проведение оценки.
Основной составляющей задания являются вопросы, на которые надлежит ответить в ходе оценки. Вопросы должны быть логически связаны с целью проведения оценки. Вопросы обычно бывают общими и их не должно быть слишком много. Например:
- Каковы фактические результаты проекта и как они соотносятся с целями проекта?
- Что можно считать основными достижениями проекта?
- Что из запланированного сделать не удалось и почему?
- Каковы перспективы продолжения работы по окончанию проекта?
Формулировка вопросов исходит из того, что нужно узнать в результате оценки.
- Составление плана оценки.
На этом этапе определяют методы и инструменты для сбора информации, а также источники информации и сроки. На этом же этапе составляется график проведения оценки.
Чаще всего при проведении оценки используют различные сочетания четырех методов:
- Наблюдение;
- Изучение документации;
- Анкетирование;
- Интервьюирование.
Для сбора нужной информации мало выбрать подходящие методы, нужно еще и подготовить соответствующие инструменты: составить вопросы для проведения интервью, определить, на что обращать внимание при наблюдении и как регистрировать результаты, разработать и апробировать анкету.
Один из методов, который часто использует Перспектива для оценки семинаров – анкетирование. Этот метод позволяет оперативно и легко фиксировать мнения участников.
Оценочная анкета может включать несколько разделов, которые помогают оценить реакцию участников на обучение. В анкету можно включить вопросы о содержании тренинга, о процессе и методах, об организации обучения.
Перспектива на протяжении ряда лет при оценке семинаров использует анкеты, которые составляются на основе задач семинара.
Например, одной из задач семинара может быть знакомство с философией независимого образа жизни инвалидов. Соответственно, мы просим оценить занятия, связанные с этой задачей. Для оценки мы предлагаем участникам использовать пятибалльную систему, где 1- плохо, а 5 баллов – отлично. Эта система хорошо всем знакома еще со школы и не вызывает затруднений. Также участникам предлагается дать комментарии по раскрытию темы. Таким образом, мы получаем количественную и содержательную оценку, которую потом используем при анализе семинара.
Негативная сторона этого метода заключается в том, что, участники семинара, заполняющие анкету, как правило, уделяют мало внимания комментариям. Таким образом, в основном, остается только статистическая информация. Поэтому мы рекомендуем оставить 10–15 минут до анкетирования для проведения устного опроса-дискуссии участников по эффективности семинара. Можно задать участникам простые вопросы: Что было на этом семинаре? Что понравилось? Что запомнилось? Что не понравилось? Какие были трудности и почему (если уместно задать такой вопрос)? Что было полезно для вашей работы? Такие дискуссии позволяют участникам вспомнить, что было на семинаре (особенно, если это был 3-5-дневный семинар) и облегчают работу по его оценке.
Мы еще раз вернемся к анкетированию в разделе Последовательность проведения оценки эффективности обучения.
Сбор информации
На этом этапе необходимо сосредоточиться на фиксации фактов. Не нужно интерпретировать данные (это будет на следующем этапе). На стадии сбора информации в первую очередь необходимо решить, кто будет вести оценку. Следует также определить необходимый объем данных, которые позволят затем сделать выводы. Также хорошо провести ревизию имеющейся информации, т.е. посмотреть, что вы уже знаете об оцениваемом проекте или мероприятии. Всю информацию следует включить в план оценки, указывая сроки ее получения.
Практический пример:
Приступая к оценке проекта Фонда безбарьерного строительства (Бурятия, Улан-Удэ), Перспектива уже имела информацию о том, что запланировано и делается по этому проекту. Мы уже были знакомы с проектом, читали промежуточный отчет, консультировали руководителя проекта по вопросам управления проектом, встречались с исполнителями проекта на семинарах, читали публикации о ходе проекта. Следовательно, при непосредственном проведении оценки не было необходимости тратить время на сбор этой информации. Кроме того, наличие такой предварительной информации упростило нам работу по составлению вопросов для оценки, определения круга людей, с которыми нам следовало поговорить.
Далее в пособии мы еще будем обращаться к процессу оценки данного проекта для иллюстрации некоторых положений пособия, и поэтому мы приводим здесь краткую информацию о проекте:
Название проекта - Создание безбарьерной среды – одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии. Финансирование осуществлялось Институтом Открытое Общество.
Основной целью проекта являлось создание действенного механизма работы специализированного общественного фонда по постепенному превращению социальной инфраструктуры Бурятии в доступную для инвалидов и других маломобильных групп населения через налаживание эффективного взаимодействия с государственными органами, органами местного самоуправления, населением республики и самим реципиентами программы (инвалиды, пожилые люди).
Запланированные действия по проекту:
- Создание консультативной службы;
- Проведение трех рейдов милосердия в сельские районы;
- Формирование группы волонтеров из числа молодых инвалидов;
- Проведение Акции открытия пандуса к поликлинике;
- Проведение семинаров для руководителей общественных организаций инвалидов республик, представителей СМИ; работников местной администрации и органов социальной защиты;
- Организация конкурса на лучшую статью (передачу) об инвалидах;
- Лоббирование принятия необходимых законов и нормативных актов по созданию безбарьерной среды в республике;
- Проведение показательного суда над нарушителями законодательства;
- Сбор средств на сооружение 16 пандусов на сурдоперевод новостей в эфире республиканского ТВ,
- Переселение на первый этаж и помощь в переоборудовании жилья инвалидам (от двух до шести человек);
- Выпуск буклета по безбарьерной среде.
Правила сбора информации
Существуют определенные правила сбора информации. В частности, нельзя оценивать информацию на этапе ее сбора, чтобы не создавать "фильтры восприятия". Кроме того, нежелательно допускать влияния на мнения ваших респондентов чьего-то авторитета (даже вашего собственного). Это может привести к искажениям информации.
При сборе информации могут быть использованы данные мониторинга, например, сведения о количестве семинаров, количестве клиентов и пр. Можно использовать сведения, полученные в ходе анкетирования, опроса, интервью. Респондентами (теми, кого опрашивают) в этом случае могут быть сотрудники проекта, получатели услуг, представители партнерских организаций, участники семинара или мероприятия, представители государственных или иных структур, т.е. те, кто вовлечен в орбиту проекта, на кого распространялись его деятельность.
Практический пример:
Проводя оценку проекта в Улан-Удэ, мы выбрали следующие источники информации по проекту:
- Руководитель проекта;
- Сотрудники проекта;
- Представители государственных структур, в частности представители управлений архитектуры города. (Это было необходимо, чтобы выяснить их роль при осуществлении проекта, что дал проект им, их впечатления от семинаров, в которых они участвовали).
- Представители партнерских организаций. Поскольку проект предполагал тесное взаимодействие с другими организациями инвалидов и совместные с ними мероприятия, нам было интересно узнать их отношение к проекту, а также об их конкретной работе по проекту, и что, в результате, проект дал их организации.
- Представители СМИ (участники семинаров и конкурса, победители конкурса);
- Администраторы зданий, оборудованных пандусами (с целью узнать, что им дал проект, что дала реализация проекта городу).
- Инвалиды, которым в ходе проекта была предоставлена возможность переселения на первый этаж.
- Участники акции открытия пандуса.
Детальность информации зависит от степени причастности респондента к проекту. Соответственно, количество вопросов, а также время работы с разными источниками - основными и второстепенными будут отличаться.
Практический пример:
В беседе с руководителем проекта в Улан-Удэ мы хотели получить подробные ответы на 14 вопросов. Поскольку именно руководитель проекта больше всех знает о причинах создания проекта, его развитии, осуществлении, результатах, трудностях, то есть руководитель – самый основной источник информации. Соответственно, работа с руководителем проекта заняла в общей сложности более восьми часов, по 3-4 часа на протяжении двух дней.
На встрече с представителем государственных структур, в данном случае это был Заместитель министра строительства, дорог и связи республики Бурятия, мы хотели прояснить общие вопросы, касающиеся эффективности проекта, поэтому были определены четыре ключевых вопроса. Мы руководствовались тем, что заместитель министра знал о проекте и поддерживал его на своем уровне, участвовал в некоторых мероприятиях проекта, но не владел детальной информацией о ходе проекта.
Ниже приводятся вопросы, которые сотрудники Перспективы использовали при сборе информации для оценки проекта в Улан -Удэ.
Вопросы для интервью с руководителем проекта:
- Скажите, пожалуйста, несколько слов о вашей организации. Как называется ваша должность в организации?
- Как появилась идея проекта? У кого она появилась? Какова история создания проекта? Как соотносится проект с предыдущей деятельностью организации?
- Как можно было бы коротко сформулировать сущность проекта?
- В проекте предусмотрена работа с несколькими целевыми группами. Какими именно группами? Почему было важно продвигать идеи независимой жизни именно среди этих целевых групп? Как они восприняли эти идеи?
- Как построена работа в проекте? Кто участвует? Кто что делает? Кто где находится?
- Как выполняется график работ по проекту? Если есть отклонения, то в чем их причина?
- Как Вы считаете, какие результаты достигнуты на сегодняшний день? Что из этих результатов является наиболее значимым, важным? Какие методы использовались для достижения этих результатов? Что еще, на Ваш взгляд, способствовало достижению данных результатов?
- Что из запланированного не выполнено? Почему? Какие были трудности?
- Расскажите о Вашем взаимодействии с государственными структурами в рамках проекта. В чем состоит заинтересованность государственных структур, что они получили от участия в проекте? Как вы представляли идеи независимой жизни государственным структурам? Какая была их реакция? Что получила ваша организация от взаимодействия с государственными структурами в ходе проекта?
- Какие общественные организации привлекались к осуществлению проекта? Какова была их роль?
- Как повлиял проект на имидж организации в городе?
- Что дал проект сотрудникам организации с точки зрения профессионального развития?
- Как Вы видите продолжение работ, начатых в рамках данного проекта?
- О чем еще мы Вас не спросили? Что бы Вы хотели добавить?
Вопросы для интервью с представителями государственных структур:
- Мы бы хотели начать с вопроса о том, что вы знаете о проекте? Была ли у вас роль в проекте? Какая? Как вы в нем участвовали?
- Проект осуществлялся в течение года. Сейчас он завершен. Что дал проект государственным структурам? Что изменилось?
- Вы как-то планируете продолжать работу, начатую в рамках проекта?
- Вы участвовали в семинарах проекта, верно? Каковы Ваши впечатления? Что запомнилось? Что показалось наиболее интересным?
- Может быть, Вы хотели бы еще что-то добавить?
Вопросы для интервью с сотрудниками проекта:
- В какой организации Вы работаете? Как Вы попали в проект?
- Как можно было бы коротко сформулировать сущность проекта?
- Как Вы считаете, какие результаты достигнуты на сегодняшний день? Что из этих результатов является наиболее значимым, важным?
- В чем заключалась Ваша работа?
- Потребовала ли работа в проекте дополнительных усилий с вашей стороны? Почему? Каких именно?
- Возникали ли у вас трудности в работе по проекту? Какие?
- Как Вы видите продолжение работ, начатых в рамках данного проекта?
- Хотели бы Вы что-то добавить?
Вопросы для участников семинаров/ рейдов/ акции:
- Вы участвовали в семинарах проекта/мероприятиях, верно? Каковы ваши впечатления? Что вам запомнилось? Что показалось наиболее интересным?
- Участвовали ли вы ранее в подобных мероприятиях?
- (для семинаров) Знакомы ли вы с философией независимой жизни инвалидов? Когда (где) Вы услышали об этом?
Вопросы для представителей СМИ:
- Скажите, пожалуйста, несколько слов о вашем издании и о тех проблемах, которые Вы освещаете.
- Часто ли освещаются вопросы в сфере инвалидности?
- Что вы знаете об организации Фонд строительства жилья для инвалидов?
- Знаете ли Вы о проекте? Как вы понимаете сущность проекта?
- Приходилось ли вам присутствовать/освещать мероприятия проекта? Какие именно? Что вам запомнилось? Что было интересно?
- Вы участвовали в семинарах проекта? Что было для вас новым? Что было полезного для вашей профессиональной деятельности?
- Какова была реакция читателей /слушателей на ваши репортажи, публикации о проекте?
Дополнительные источники информации.
Другими, не менее важными источниками информации могут служить документы, разработанные в ходе проекта: планы, отчеты, анкеты, списки участников, публикации в прессе.
В ходе оценки проекта в Улан-Удэ мы изучили следующую документацию:
- Буклет организации;
- График выполнения проекта;
- Публикации в СМИ;
- Проекты законодательных и нормативных документов, созданные в рамках данного проекта;
- Фото- и видеоматериалы;
- Списки участников семинаров;
- Анкеты участников семинаров.
Анализ информации
На данном этапе происходит основное: составление целостной картинки из кусочков фактов. На основании полученных данных делаются выводы и формулируются рекомендации. Выводы - это ответы на вопросы задания.
Практический пример:
При оценке влияния проекта Активизация молодых инвалидов (РООИ Перспектива, 1999-2000 гг.) на молодых инвалидов, мы собрали данные от разных групп молодых инвалидов и увидели, что:
- они стали более самостоятельными,
- им стали больше доверять родители,
- к ним обращаются за советами друзья и знакомые,
Анализ этих данных позволил сделать вывод, что модель активизации молодых инвалидов, предложенная проектом успешна для повышения их уверенности в себе и их социального роста.
Подготовка отчета
Форма и содержание отчета обычно определяется при согласовании задания. Отчет должен быть удобен для последующей работы. Как правило, в отчет включается:
- Аннотация проекта с описанием целей и задач, с перечислением участников проекта;
- Цели, задачи и методы оценки проекта;
- Описание технологии проведения оценки (как осуществлялся сбор информации, как были проанализированы собранные данные);
- Описание конкретных результатов выполнения проекта относительно поставленных задач;
- Что не было выполнено;
- Описание незапланированных результатов;
- В какой мере проект соответствует стратегическим приоритетам организации;
- Оценка перспективы дальнейшего продолжения деятельности в данном направлении;
- Что дало исполнение проекта представителям всех целевых групп, задействованных в проекте;
- Перечисление источников информации, использованной при оценке;
- Рекомендации.
Пункты отчета могут и меняться в зависимости от того, для кого предназначен сам отчет.
Кроме этого в отчете следует отразить успехи и трудности при достижении результатов проекта. Это помогает при составлении рекомендаций, особенно, если проект оценивается с целью его дальнейшего развития или тиражирования в другие регионы.
С отчетом об оценке, проведенной Перспективой в Улан-Удэ можно ознакомиться в разделе Приложения.
Глава 3. Виды оценки
В данной главе мы предлагаем вам ознакомиться с видами оценки и получить представление об особенностях проведения различных видов оценок проектов.
В зависимости от того, кто проводит оценку, различают внешнюю и внутреннюю оценку (самооценку). В первом случае оценку проводят независимые (внешние) специалисты, во втором – сами сотрудники организации, которая выполняет проект. Последовательность действий при проведении разных видов оценки практически сохраняется.
Рис. Виды оценки.
Иллюстрация взята из статьи А. Кузьмина Мониторинг и оценка социальных программ
Из материалов, подготовленных Management Systems International (Washington DC, USA) и Центром Поддержки НКО (Москва), любезно предоставленных авторами в открытую библиотеку Международной Сети Оценка Программ (http://ipen21.org)
Из материалов, подготовленных Management Systems International (Washington DC, USA) и Центром Поддержки НКО (Москва), любезно предоставленных авторами в открытую библиотеку Международной Сети Оценка Программ (http://ipen21.org)
Алексей Кузьмин. Мониторинг и оценка проектов.
Другой вариант классификации видов оценки – по цели. Различают формирующую представление или промежуточную оценку (она проводится в ходе проекта для того, чтобы при необходимости внести в проект изменения, установить наличие проблем, требующих решения). А также итоговую или обобщающую оценку (она проводится по завершении проекта для того, чтобы извлечь уроки на будущее). Оценки, проводимые на завершающей стадии проекта, не всегда являются последними оценками. Иногда проведение оценки целесообразно через год или два, поскольку на некоторые вопросы невозможноответить до завершения проекта. Такую оценку обычно называют оценкой после фактической реализации.
Мы остановимся на подробном рассмотрении двух видов оценки - внутренней и внешней.
Внутренняя оценка
Чаще всего у общественной организации инвалидов нет средств, чтобы оплатить услуги специалистов- оценщиков. Намного реальнее проводить мониторинг и оценку собственными силами. Такую оценку принято называть внутренней, и проводят ее сотрудники организации, не занятые в оцениваемом проекте или мероприятии. Эти сотрудники в курсе деятельности проекта, на их глазах он развивается, поэтому они уже обладают определенной информацией, и им не нужно тратить время на знакомство с проектом с нуля.
В свою очередь, те, кто работает в проекте, больше доверяют своим, чем внешним оценщикам. Правда, есть опасность, что сотрудники, проводящие внутреннюю оценку, не имеют достаточного опыта проведения оценки и мониторинга. Поэтому хорошо, если организация найдет возможность обучить своих сотрудников, используя для этого семинары для НКО. Еще одна возможность – обратиться в Центры поддержки НКО, в которых, как правило, есть опытные оценщики. Можно также повысить знания в этой области, опираясь на практический опыт других организаций - почитать пособия, проконсультироваться и т.п.
Ниже приведен пример внутренней оценки проекта, которую проводили сотрудники Перспективы в 1999 году. Это был интересный опыт, поскольку проведение оценки уникального пилотного проекта потребовало выработки соответствующей технологии оценки, для чего были проведены консультации с экспертами из Центра поддержки НКО. В результате полуторадневной работы с экспертами был определен инструментарий оценки, намечены источники информации и пр. технологические шаги оценки.
И последнее замечание перед рассмотрением примера: если у организации недостаточно средств для проведения полномасштабной внешней оценки проекта, то предварительные консультации с экспертами-оценщиками могут быть вполне доступны и усилят эффективность внутренней оценки. Мы советуем вам обратиться в местный ресурсный центр, или зайти на сайт Международной Сети Оценка Программ (ipen21.org). В случае проведения оценки, описываемом ниже, Перспектива обращалась за поддержкой и консультацией в Центр поддержки НКО.
Итак, наш опыт:
- Оцениваемый проект:
Активизация деятельности молодых инвалидов путем формирования позитивного общественного мнения.
- Кто проводил оценку
Оценка проекта проводилась сотрудниками организации Перспектива и сотрудниками проекта на местах.
Цели оценки проекта
- Определить эффективность воздействия проекта на активизацию деятельности молодых инвалидов - участников проекта.
- Оценить воспроизводимость проекта.
Задачи оценки проекта
- Оценка эффективности воздействия реализованных направлений проекта на основную целевую аудиторию - молодых инвалидов.
- Обобщение опыта реализации проекта.
- Выработка практических рекомендаций для других организаций молодых инвалидов по проведению кампании по формированию позитивного общественного мнения, созданию групп взаимной поддержки и отстаиванию своих прав и интересов.
- Сравнение результатов реального осуществления проекта с первоначальными планами.
- Вопросы, на которые надо было ответить в ходе оценки:
- Насколько проект способствовал росту, активизации молодых инвалидов?
- Насколько проект повысил значимость молодых инвалидов в организациях инвалидов-участников проект?
- Насколько удалось создать более позитивный образ человека с инвалидностью в обществе?
- Успешно ли выбрана модель привлечения новых молодых инвалидов?
- В каком объеме проект может быть воспроизведен в других городах, и что для этого необходимо?
Технология оценки.
- Проведение рабочих встреч с экспертами - консультантами из Центра поддержки НКО для определения методов оценки и планирования работы по оценке.
- Разработка и корректировка инструментария оценки.
- Сбор данных для оценки, в том числе:
- заявки на финансирование проектов,
- ежемесячных отчетов о деятельности участников и координаторов из регионов,
- отчетов сотрудников Перспективы о проведении семинаров в регионах,
- результатов обработки анкет участников проекта, заполненных ими во время семинаров Перспективы,
- результатов обработки анкет для ближайшего окружения молодых инвалидов - участников проекта,
- результатов обработки анкет для представителей СМИ и администраций городов проекта,
- результатов обработки анкет для руководителей и координаторов проекта в регионах,
- информационных бюллетеней, выпущенные участниками проекта на местах; публикаций в СМИ.
- Интервью
- Анализ собранных данных.
Составление итогового отчета.
Основные аспекты оценки проекта
- В связи с недостатком времени, необходимого для глубокого и обширного анализа всех аспектов проекта, решено было сосредоточиться на двух из них, но рассмотреть их как можно более разносторонне. Основной целевой аудиторией проекта являются молодые инвалиды, и, в целом, проект был направлен на их активизацию и более широкое вовлечение в жизнь общества, поэтому основными аспектами оценки были выбраны:
1) Эффективность воздействия проекта на активизацию молодых инвалидов.
- воздействие проекта на самооценку участников проекта,
- восприятие и оценка изменений, произошедших с участниками в течение проекта с их точки зрения (самооценка),
- восприятие и оценка изменений, произошедших с участниками проекта с точки зрения координаторов, руководителей проекта на местах, сотрудников Перспективы, ближайшего окружения (внешняя оценка).
2) Воспроизводимость проекта.
- степень эффективности отдельных направлений проекта,
- организационно-финансовая возможность дальнейшего развития проекта,
- привлечение других молодых инвалидов для реализации подобных проектов в тех же или других регионах.
Методы оценки.
- Были выбраны следующие методы оценки
- Просмотр и анализ документов:
- заявки на финансирование проекта;
- отчетов координаторов и участников проекта;
- отчетов сотрудников Перспективы о проведенных семинарах в регионах проекта;
- информационных бюллетеней из регионов;
- ответов участников проекта на вопросы анкет;
- историй успеха, написанные участниками проекта;
- публикации в СМИ.
- Индивидуальные интервью:
- c представителями партнерских организаций - руководителями и координаторами региональных организаций ВОИ;
- Анкетирование:
- молодых инвалидов - участников проекта;
- представителей СМИ;
- представителей администраций городов проекта;
- близкого окружения молодых инвалидов;
- руководителей региональных организаций ВОИ и координаторов проекта в регионах.
- Групповые интервью:
- с координаторами и руководителями региональных организаций ВОИ;
- с сотрудниками Перспективы;
- с молодыми инвалидами - участниками проекта.
Для анализа полученных данных использовались методы:
- содержательного анализа (источник информации: анкеты, наблюдения);
- количественного анализа (данные анкет, количество мероприятий);
Самооценка
Уже по названию можно определить, что такую оценку проводят сами участники проекта или мероприятия. Перспектива довольно часто проводит самооценку своих мероприятий. Самое сложное при самооценке - найти время, что бы ее провести, т.к. обычно много сил уходит на подготовку и проведение самого мероприятия и возникает естественное желание - передохнуть. Но, исходя из нашего опыта, самооценку лучше проводить непосредственно после завершения мероприятия. Ниже мы предлагаем ознакомиться с опытом Перспективы
по проведению самооценки мероприятия - акции.
В декабре 2000 года Перспектива на Пушкинской площади организовала и провела акцию Мы равны, целью которой было привлечь внимание жителей Москвы к недоступности города для инвалидов. В акции участвовали молодые активисты - консультанты проекта, молодые инвалиды из других НКО. Несколько молодых активистов в костюмах Деда Мороза собирали подписи на открытках в поддержку создания доступной среды в Москве. Затем участники акции прошли по Тверской улице до здания Мэрии и передали открытки с подписями Мэру города. После акции была проведена оценка мероприятия.
Оценку проводили два сотрудника Перспективы, которые участвовали в подготовке и проведении акции.
Практический пример:
- Прежде всего, мы определили цели оценки и составили план оценки акции, который приведен ниже.
Цель оценки - Выявить эффективность проведенной акции, те результаты, которые достигнуты в ходе акции, а также выявить положительные изменения в результате проведения акции.
Вопрос оценки: Что было предпринято для того, что бы акция прошла эффективно?
- Сбор информации:
Прежде всего, было определено, какая информация нам нужна для проведения оценки. Например, информация об освещении акции в прессе, о привлечении и участии других организаций и молодых инвалидов в акции, о реакции властей города на переданные обращения.
При этом мы хотели получить ответы на вопросы:
- Что удалось?
- Что вызвало трудности? Почему?
- Что и как можно было бы улучшить при проведении следующих акций?
Мы договорились, что судить об успешности акции мы будем по следующим признакам (индикаторам):
- Количество участвовавших молодых инвалидов; - Количество публикаций и название изданий; - Количество открыток в поддержку требований о доступной среде было передано в Мэрию; |
- Должно прийти более 50. - Как минимум 10 репортажей; - Должны раздать не менее 500 открыток. |
Мы определили, каким образом будет получена необходимая для оценки информация. Прежде всего, мы решили:
- Собрать все публикации по итогам акции и их проанализировать;
- Провести групповое интервью с молодыми активистами, участниками организации и проведения акции;
- Использовать собственные наблюдения за прохождением акции;
- Выяснить мнение сотрудников Перспективы об организации и прохождении акции.
- Далее были определены место и дата проведения группового интервью и приглашены участники. Мы провели дискуссию через два дня после акции. Это важно, так как, если собираться спустя более длительное время, то многие подробности могут забыться, и вы не соберете всех фактов и сведений.
- Затем мы определили вопросы для группового интервью и договорились по ходу фиксировать ответы на плакатах. Это нужно затем, чтобы не упустить деталей.
Вот что отвечали участники на вопросы:
- Что удалось?
- С какими трудностями столкнулись при привлечении сторонников/участников:
- Привлечение других организаций: в целом, это не особенно удалось.
Нас поддержали: Катаржина, Фонд родителей инвалидов по зрению, Преодоление, Гагаринская организация ВОИ. Кроме того, время от времени на встречи по подготовке к акции приходили представители других НКО. В целом удалось привлечь шесть организаций инвалидов, 25 человек с инвалидностью, из которых - 10 человек на колясках.
Причины, которые препятствовали привлечению других организаций в деятельность по подготовке акции:
- Наш офис находится далеко от центра;
- Люди не могут отвлекаться в свое рабочее время;
- Многие считают, что это бесполезно;
- Другие считают, что это вредно;
- Не хватило времени для работы с окружными и первичными организациями ВОИ и другими организациями инвалидов;
- В целом, всю работу по подготовке акции мы провели сами.
Участники: их было мало. Основной расчет был на молодых инвалидов - участников наших семинаров. Но в это время (Декада Инвалидов) было большое количество мероприятий, которые они предпочли нашей акции. Было достаточно холодно – декабрь месяц и некоторые не захотели в холод быть длительное время на улице.
При обсуждении хода акции иеё подготовки участники отметили:
Что удалось?
- акция привлекла СМИ, и пресса о событии была положительная
- Место было выбрано очень удачно: центр, большое количество людей, достаточно места для людей на колясках. Несколько выходов из метро, ступеньки и лестницы - очень показательно.
- Идея с Дедами Морозами сработала хорошо и привлекла прессу.
- Все, что было заявлено в пресс-релизе, состоялось: Дед Мороз, коляска, открытки.
- День недели для проведения акции был выбран удачно
- Несмотря на то, что марш участников акции от Пушкинской площади до Мэрии (по Тверской) не был санкционирован - все удалось.
- Были подготовлены лозунги и плакаты.
Что не удалось и что можно было бы улучшить?
- Идея предложить всем желающим попробовать ездить в коляске была хороша, но реализовать ее как задумано не удалось: коляску установили на заднем плане, рядом с ней не было специального человека, а на привязанном к ней плакате был написан другой лозунг, который не объяснял, зачем она находится здесь.
- Группа участников, которая давала интервью, должна была находиться ближе к улице.
- Поскольку у метро шумно, группе участников (без костюмов Дедов Морозов), которые раздавали листовки и собирали открытки на выходе, было достаточно трудно объяснять, что именно требовалось от прохожих. Стенда с пояснениями не было.
- Было холодно, а погреться в машине или Макдоналдсе (как планировалось) не было возможности.
- Все термосы с чаем надо было доверить кому-то одному.
В отношении взаимодействия с представителями СМИ в ходе акции:
- Журналистов было много, больше, чем ожидалось, поэтому не хватило пресс-пакетов для всех.
- В пресс-пакеты не были вложены открытка и листовка, которые журналисты могли бы использовать в своих материалах.
- Последний этап оценки - подготовка отчета. После проведения группового интервью и анализа публикаций был составлен небольшой отчет по итогам оценки акции. Это помогло лучше увидеть успехи, отметить промахи, которые нужно учесть при проведении следующих акций.
- И самое последнее, но, тем не менее, важное: с отчетом были ознакомлены все молодые активисты, которые занимались организацией акции.
В. Внешняя оценка
Вдруг раздается звонок, и вам говорят: Мы хотим приехать в вашу организацию и оценить ваш проект. Как правило, это представитель финансирующей организации или приглашенные консультанты – оценщики.
Под внешней оценкой подразумевается визит в вашу организацию специалистов по оценке. Как правило, это люди, не имеющие никакого отношения к вашей работе. Внешних оценщиков может пригласить руководитель. Это может быть организовано для более объективной оценки какого-либо вида деятельности организации. Внешние оценщики также могут быть приглашены фондом, финансирующим проект, для того чтобы выяснить, насколько успешно ведется проект, выяснить возможности его распространения и необходимости дальнейшего финансирования.
Наша организация за время деятельности (более пяти лет и более 20 проектов) прошла через 5 – 7 оценок. В основном, внешние оценщики направлялись фондами, финансирующими наши проекты. Опыт встречи с внешними оценщиками достаточно разнообразный, и нам хотелось бы им поделиться. Это поможет вам подготовиться к встрече с оценщиками.
Как Перспектива проходила внешнюю оценку
Как правило, мы знали о приходе в организацию внешних оценщиков заранее. Мы получали письменное сообщение или узнавали о визите в ходе телефонного разговора с представителями фонда или оценщиками. Обычно первые визиты оценщики наносили руководителю организации и менеджеру проекта. Оценщики приходили к нам, уже зная проект по заявкам и отчетам, ранее подготовленным и переданным в финансирующую организацию. В ходе встречи обговаривался процесс оценки данного проекта и процедура работы. Не всегда, но достаточно часто оценщики заранее просят подготовить материал по проекту, например, пособия, бюллетени, фильмы, если такие были отсняты, и пр. Оценщики договаривались лично с каждым из опрашиваемых сотрудников о дате и времени встречи, а также отдельно обговаривали, сколько времени займет беседа, либо предупреждали о коллективной встрече. Одной из просьб оценщиков обычно была просьба предоставить помещение для собеседования. Работа оценщиков в офисе Перспективы продолжалась не более двух дней, по 3-4 часа. Если после собеседований возникала необходимость дополнительно прояснить какие- либо моменты, то это уже делалось по телефону. По завершению оценки, оценщики ставили нас в известность о предварительных выводах и рекомендациях. Копия окончательного отчета передавался в Перспективу заказчиком внешней оценки.
Конечно, у сотрудников Перспективы, участвовавших в процессе оценки сложились свои впечатления о встречах с оценщиками:
Денис Роза, директор: Волнения не было. Может быть, это связано с тем, как себя вел оценщик. Было понятно, что ему искренне хочется понять до мелочей все, что было сделано.
У меня всегда вызывал интерес процесс оценки, так как это дает возможность посмотреть на работу по нашим проектам извне. Отвечая на вопросы, ты иногда обнаруживаешь или вспоминаешь какие-то неожиданные результаты. Таким образом, в ходе проведения оценки мне часто удавалось увидеть то, чего я раньше не замечала. На мой взгляд, было бы полезно чаще проходить через процедуру оценки, т.е. быть оцениваемыми. Это полезно для всех сотрудников. Кроме того, это очень полезно перед написанием отчета.
И, пожалуй, единственным минусом в процедуре оценки является то, что это отнимает у сотрудников – участников опроса много времени и отвлекает от их непосредственной работы.
Однако я бы хотела отметить, что не всегда сталкивалась с удачной формой проведения внешней оценки. Например, был случай, когда оценщик с целью выполнения порученной ему функции позвонил мне домой в воскресенье, в вечернее время. Безусловно, мне было очень трудно быстро переключиться с моих домашних дел на рабочие и отвечать на заданные им вопросы.
Наталья Присецкая: Я прошла через оценку двух проектов. В одном я была координатором команды молодых активистов, в другом - ассистентом менеджера. Страха перед процедурой оценки у меня не было. Скорее, было удивление, вызванное теми вопросами, которые мне задавали. Я не ожидала, что кроме цифр, сроков, планов и результатов оценщиков будут интересовать мои впечатления, эмоции. Мне задавали вопросы: Как вы видите дальнейшее развитие проекта? Как я пониманию задачи проекта? Как я строю работу с командой? Еще меня удивило, что оценщики так хорошо знают проект. Складывалось впечатление, что они очень подробно познакомились даже с отчетами наших региональных партнеров. Конечно, я чувствовала ответственность, когда со мной беседовали оценщики. Помогало то, что задавались очень точные вопросы. Оценка, которая проводилась в середине проекта, помогла мне лучше понять, что уже сделано, и на что надо обратить внимание на следующем этапе проекта. А оценка по завершению проекта, помогла осознать достигнутые результаты.
Валерий Школьников, ассистент менеджера проектов, которые проходили оценку в 1999, 2001 годах: Мой опыт участия в процедуре оценки проекта говорит о том, что бояться этого не следует. Если вы работали по проекту, то прекрасно представляете, что и как делалось. Ответы на вопросы оценщиков вас не затруднят.
По моему мнению, внешняя оценка – именно то, что надо для проекта и работы организации. Это такая остановка в море текучки, когда вместе со специалистами (оценщиками) ты оглядываешься на то, что было сделано – что успешно, на а что надо обратить особенное внимание в будущем.
Иван Сиднин, участник команды молодых активистов: По-моему, оценка нужна для того, чтобы можно было осмыслить сделанное и получить выводы о проделанной работе. Для этого больше всего подходит именно внешняя оценка.
Мария Перфильева, менеджер проектов: Мои положительные впечатления от работы с оценщиками сходны с мнением моих коллег. Но у меня есть и отрицательные впечатления, правда, связанные с прохождением внешней оценки в другой общественной организации, где я работала раньше. Пришедшие оценщики были настроены достаточно доброжелательно, однако беседе с руководителем и менеджером проекта уделили очень немного времени. Но гораздо дольше они общались с системным администратором организации, ассистентом проекта. В результате оценщики не получили ясной картины хода проекта.
Как готовиться к внешней оценке.
Рекомендации:
- В ваших интересах рассказать оценщику все, чтобы он (а) мог получить полную картину и понимание ситуации связанной с выполнением проекта. Поэтому важно не переживать и готовить своих сотрудников, чтобы они не волновались и были готовы рассказать об их участии в проекте как можно более полно.
- Перед приходом оценщика следует еще раз проанализировать ход проекта. Например, перед приходом к нам оценщика наша команда обычно садится очередной раз с планом реализации проекта и обсуждает, что удалось, а что не удалось сделать, чтобы вспомнить, что было сделано. Главное, не навязывать свое мнение, чтобы при встрече с оценщиком каждый говорил честно и открыто, старался действительно все вспомнить.
- После рассмотрения плана реализации, соберите все продукты проекта, в том числе успешные истории, отчеты, статьи, чтобы оценщик смог с ними познакомиться. Хорошо, когда с оценщиками заранее обговаривается перечень предоставляемых материалов.
- Заранее согласуйте с оценщиками участников проекта, с которыми они будут работать. Лучше заранее согласовать с оценщиками время и продолжительность проведения интервью. Это поможет сэкономить время и работать более плодотворно.
- Если есть возможность, выделите для разговора с оценщиками отдельное помещение, где никто и ничто не будет мешать.
- Встречайте оценщиков с улыбкой и доброжелательно. Хорошая атмосфера поможет работе.
- В случае возникновения конфликтной ситуации в ходе оценки следует обсудить данную ситуацию со сторонами оценки (оценщиками и заказчиками) и найти взаимоприемлемое решение.
Ваши права при проведении внешней оценки
- Прежде всего, вы имеете право знать, кто и для чего проводит оценку, кто является ее заказчиком. Вы просто обязаны попросить оценщика сообщить о возможных подходах к проведению оценки, а также о преимуществах и ограничениях этих подходов.
- Вы имеете право знать, какие методы работы будет использовать оценщик и расписание оценки (которое вы можете составить вместе с оценщиком).
- Вы можете требовать от оценщиков открытости всего процесса оценки, но при этом и соблюдения конфиденциальности.
- Ваше право настаивать на уважении оценщиками особенностей людей, участвующих в процедуре оценки. К таким особенностям относятся культура, религия, пол, ограничение физических возможностей, возраст, этническое происхождение.
- Вы имеете право получить результаты оценки, рекомендации оценщиков, которые обычно отражаются в отчете. Вы имеете право получить копию отчета.
Глава 4. Оценка эффективности обучения
В этой главе мы поговорим о том, для чего нужна оценка эффективности обучения, что именно подлежит оценке, какова последовательность ее проведения, какие существуют способы сбора и анализа информации.
Многие организации инвалидов проводят различные обучающие семинары. Важный этап - оценка их эффективности.
Проведение оценки эффективности обучения необходимо для того, чтобы:
- сделать выводы о правильности выбранного направления обучения и о соответствии учебного плана потребностям обучаемых;
- сделать выводы о том, какие цели обучения достигнуты и в какой степени, определить степень освоения навыков и новых знаний, выявить отношение к обучению и к преподавателям, оценить степень вовлеченности участников;
- определить воздействие обучения на работу участника и на изменения в его поведении на работе, а также выявить потребности для дальнейшего обучения, сделать выводы о том, в каком направлении следует его развивать.
Возможны следующие направления оценки:
- Обучающие программы: их соответствие потребностям в обучении, качество их реализации, степень интереса участников, к этим программам и т.д.
- Методы обучения: насколько эффективными были методы, в какой степени удалось вызвать активность участников, пробудить их интерес, достичь поставленных целей, качество раздаточных материалов.
Более подробная информация о проведении акции в книге Инвалиды: отстаивание прав и интересов, РООИ Перспектива, Москва, 2002.
По материалам Принципы оценки программ, принятие Международной сетью Оценка программ (International Program Evaluation Network / IPEN).
Из Сборника Материалы к учебному курсу Тренинг для тренеров, составленного компанией Процесс Консалтинг.
- материалов.
- Деятельность участников обучения: изменение уровня их знаний и навыков, изменение их убеждений, расширение спектра возможных результатов (продуктов) их работы, изменение качества этих результатов, формы и способы поведения, которые демонстрируют участники.
- Организация учебного семинара: качество проживания и питания, работа офиса, организация досуга, условия обучения.
- Источниками получения информации для проведения оценки могут выступать
- Сами участники учебной группы.
- Организатор обучения, ведущие занятий, эксперты по теме обучения.
- Руководитель организации, в которой проводится обучение.
Оценка эффективности обучения может различаться также и по времени проведения. Она может проводиться как во время самого обучения (наблюдение за деятельностью участников), так и сразу по его окончанию или через некоторое время (оценка изменений качества работы сотрудников).
Если проводится количественная оценка результатов обучения, ей должна предшествовать предварительный уровень знаний участников до начала обучения, который можно сравнить с достигнутыми результатами.
На одном из семинаров для подготовки ведущих занятий, который проводили тренеры компании Процесс консалтинг участники, с помощью тренера, составили таблицу, которая представляет классификацию способов оценки эффективности обучения.
Когда Источник Информации |
Во время | Сразу после | Через Некоторое время |
Заказчик (руководитель организации) | |||
Слушатели (участники) | |||
Тренер |
Последовательность проведения оценки эффективности обучения.
При оценке эффективности обучения процесс оценки включает такие же этапы, как и при оценке проектов. Позволим себе повторить суть этих этапов применительно к оценке эффективности обучения.
- Прежде всего, необходимо решить, для чего проводится оценка эффективности обучения. Какая цель (или цели) ставится, о чем необходимо узнать. Возможно, требуется получить какое-то представление о методах, которые используются во время работы, или же о том, какие знания и умения получили участники - способы оценки в этих случаях будут разными. От того, какие цели оценки поставлены, зависит характер информации, которая потребуется.
- Составление списка вопросов, ответы на которые желательно получить. Это пока еще не те вопросы, которые будут заданы во время опроса. Это список того, что конкретно требуется узнать.
- После этого необходимо установить критерии оценки. Если вы хотите оценить знания или навыки участников обучения, следует решить, что будет являться для вас свидетельством того, что участники знают или не знают чего-то, умеют или не умеют. К числу критериев относятся мнения, которые вы хотите узнать - мнения участников, мнение экспертов по содержанию, точка зрения руководителя организации, в которой работают члены Вашей учебной группы.
- Выбор методов. Разработка или выбор инструментов для сбора информации.
- Сбор информации - это следующий этап проведения оценки эффективности обучения. Существует множество способов сбора информации для оценки эффективности обучения, каждый из которых будет эффективным для той или иной цели. В следующем разделе мы более подробно представим некоторые конкретные методы сбора информации.
- Анализ и интерпретация информации. Анализ информации может быть качественным или количественным. Количественный анализ информации подразумевает ее статистическую обработку. Качественный - отражает характер оценок, их направленность. Применение того или иного способа анализа следует учитывать уже при выборе методов ее сбора
Например, при обработке ответов участников на вопрос "Заинтересовало ли Вас обучение по теме "Понимание инвалидности" (Занятия по теме понимания инвалидности) Вы можете проанализировать характер следующих высказываний респондентов: - Ерунда; - Очень важная и интересная тема; - Тема должна быть расширена; - Не понятно, для чего это нужно... и сделать следующие выводы: не все участники поняли, для чего изучается эта тема, некоторые считают ее неважной, некоторые очень заинтересовались... и т.д.
- В то же время Вы можете статистически обработать приведенные ответы: из 4-х ответов 2 положительных, 1 отрицательный, 1 неопределенный.
- Интерпретация информации - это Ваши выводы о том, что Вы узнали: какие задачи обучения решены, а какие - нет. Какие цели достигнуты, каковы должны быть перспективы развития обучения; насколько верно было выбрано направление обучения; в какой степени учебные планы соответствуют реальным потребностям в обучении; какие знания и навыки получили участники, как изменилось качество их работы в результате обучения.
- С определенной точки зрения этот завершающий шаг оценки эффективности обучения является началом следующего цикла. Какие цели могут быть поставлены на следующий семинар? Какими будут новые темы обучения? Как могут быть изменены методы и подходы к обучению?
- Следующий этап оценки эффективности обучения – подготовка отчета. Вы должны представить полученную информацию Заказчику - своему руководству или руководителю той организации, сотрудники которой прошли обучение. Ваш отчет должен содержать описание конкретных результатов и изменений, достигнутых в ходе обучения. Желательно сравнить их с результатами предварительного исследования, если Вы его проводили. Отчет может также содержать описание перспектив развития обучения.
Что должно входить в Ваш отчет:
- Основной замысел семинара, его специфика по сравнению с другими семинарами.
- Цели и задачи семинара.
- Программа обучения: основная направленность и содержание
- Насколько выполнена программа семинара, изменения в программе и их причины
- Трудности: причины их возникновения; что было предпринято для их преодоления; каков был результат.
- Результаты для участников: насколько успешно справились с темой; что они сочли наиболее важным, интересным.
- Дополнительные мероприятия семинара (встречи с экспертами, беседы, обмен опытом), их цели, содержание, формы, что получено в результате.
- Организационные аспекты: сложные моменты в планировании и координации деятельности и способы их преодоления. Такие как:работа офиса, насколько ею довольны тренеры, участники семинара, организаторы семинара.
- Выводы:
- Достижение целей обучения
- Реализация пунктов плана (программы)
- Выводы о целесообразности применяемых методов.
Глава 5. Сбор информации при проведении оценки, в том числе и при оценке эффективности обучения
Часть данных, используемых для оценки, будет основана на мнениях, чувствах, наблюдениях и интерпретациях участников проекта, ведущих занятий, участников семинаров и пр. Оптимальный подход заключается в том, чтобы тщательно продумать процесс оценки и использовать несколько разных способов получения требуемой информации. По мнению опытных оценщиков, исключительно важно, хотя порой и сложно, сохранять непредвзятость на всем этапе сбора информации.
Не менее важно при сборе информации для оценки уметь задавать вопросы. Существуют два типа вопросов: открытые и закрытые.
Открытый вопрос
На такой вопрос нельзя ответить "Да" или "Нет". Открытые вопросы помогают собрать более полную качественную информацию. Когда необходимо получить более подробные объяснения или уточнить что- либо, то задаются уточняющие вопросы. Уточняющие вопросы могут включать одно или несколько вопросительных слов: почему, где, как часто. Например, Что в ходе занятий заинтересовало Вас больше всего? Почему именно это?
Закрытый вопрос
Вопрос, на который можно ответить однозначно "Да" или "Нет". Такие вопросы преобладают в анкетах для количественных исследований. Например, Заинтересовали ли Вас методы планирования рабочего времени руководителя?
Способы сбора информации.
Тестирование
Как правило, тест представляет собой серию закрытых вопросов, связанных с содержательными аспектами проекта или семинара. Полученные таким образом данные можно использовать при количественном анализе. Иногда в тесте присутствуют открытые вопросы, например Как вы будете привлекать молодых инвалидов в группы взаимной поддержки?… и при этом дается несколько вариантов ответа.
Тестирование можно комбинировать/сочетать с другими источниками получения информации.
Предварительный - заключительный тест
Участникам проекта или семинара предлагается один и тот же письменный тест до начала проекта или обучения и после их окончания. При оценке эффективности обучения этот тест предоставляет достаточно объективную количественную оценку усвоения предмета. Он также помогает определить, какие предметные области требуют повторения или закрепления.
Последующее Письменное тестирование
Проводится через некоторое время (1-2 года) после завершения проекта при проведении оценки после фактической реализации проекта. Такое тестирование можно использовать при оценке эффективности обучения для того, чтобы определить практическую ценность проведенного обучения выявить потребности для дальнейшего обучения.
Опросы, анкетирование
Для сбора информации можно применять устные или письменные опросы
Очень важно при устных опросах соблюдать логическую последовательность, помнить о том с какой целью проводится опрос. Помогает проведению устных опросов наличие заранее подготовленного письменного перечня вопросов. Опрашивающий должен иметь некоторые навыки, помогающие установить коммуникацию, получить ответ, который можно использовать при оценке.
При проведении опросов могут использоваться различные формулировки вопросов, в частности многовариантные вопросы. Вопрос, сочетающий черты открытого и закрытого, в нем человеку предлагается выбрать один или несколько вариантов из большого их числа. Например, Какие темы Вас больше всего заинтересовали в ходе занятий (отметьте две наиболее интересные для Вас темы)
|
|
Оценочные анкеты:Если Вы используете такие анкеты, лучше объяснить тем, кто отвечает, что означает каждая из оценок. Например: Оцените, пожалуйста, насколько, по Вашему мнению, были решены задачи семинара. Обведите вашу оценку:
• | • | • | • | • |
Не решена | Почти не решена | Решена только отчасти | Решена в целом | Вполне решена |
- Обмен опытом самостоятельно проведенных занятий.
• | • | • | • | • |
- Освоение технологии разработки учебных программ.
• | • | • | • | • |
Информацию, полученную в результате применения оценочных анкет, можно довольно легко подвергнуть количественному анализу и статистической обработке. Довольно часто общественные организации используют данные анкеты для оценки семинара или мероприятия.
Иногда при опросах формулируют вопросы так, что они совмещают в себе черты многовариантного и оценочного вопросов. Опрашиваемые получают вопросы и наборы ответов к ним, из которых должны выбрать тот, который, по их мнению, больше подходит. Человек же, проводящий исследование, имеет специальный "ключ" к вопроснику, где указано цифровое выражение каждого из вариантов ответов.
Кейс
Это форма устного опроса с фиксацией, которая использовалась Перспективой при оценке влияния проекта на региональные команды молодых активистов.. Для проведения опроса были разработаны специальные бланки - анкеты. Выбранные в начале проекта участники региональной команды (2-3 человека из каждой команды) персонально опрашивались несколько раз в течение проекта, причем при каждом опросе были включены вопросы по-разному сформулированные, но отражающие общий контекст .Например, вопрос Какова ваша роль в проекте? при последующем опросе был сформулирован Чем Вы занимаетесь в проекте? Таким образом, участники опроса выступили своеобразными реперами, по которым можно было судить об изменениях роста молодого активиста
Опрос мнений
Применение данного способа помогает собрать нужную информацию при оценке проекта или программы обучения. Открытые вопросы, задаваемые непосредственно после завершения обучения, или периодически в ходе его, помогают выявить отношение к программе обучения или методам ведения. Данные, полученные в ходе такого опроса помогают понять как участники оценивают общий план обучения, адекватность программы по отношению к их потребностям, адекватность используемых методов ведения. Для оценки проекта подобный опрос можно проводить не только с основными участниками проекта, но и с получателями услуг проекта или партнерами. Полученные мнения помогут выявить проблемы, скорректировать действия проекта для их решения, сделать рекомендации по дальнейшему развитию проекта.
Наблюдение
Еще один инструмент сбора информации – наблюдение. Этот способ полезен для сбора информации о состоянии людей, которые участвуют в проекте. Наблюдение может проводиться в течение одного семинара, на разных семинарах в течение проекта или в течение всего проекта. При этом можно применять структурированное наблюдение, когда составляется список характеристик, которые будут отслеживаться и неструктурированное наблюдение, при котором наблюдатель основывается на том, что привлекло его внимание.
Например, при наблюдении за конкретными участниками проектов наблюдателя привлекло поведение молодого активиста, который брал на себя большую ответственность, уверенно говорил о том, чем он может помочь другим…
Однако, при явной простоте метода, наблюдение имеет существенный минус- наблюдение требует значительного времени
Прямое наблюдение в ходе обучения
Проводится непосредственно в ходе обучения. Наблюдение на семинарах лучше проводить специальному наблюдателю, не ведущему. Это может быть организатор или сотрудник вашей организации, не занятый в семинаре. В случае отсутствия такого наблюдателя эту функцию берет на себя ведущий, который должен зафиксировать свои наблюдения сразу после завершения занятий. Специальный наблюдатель должен быть подготовлен к проведению наблюдения и должен уметь фиксировать увиденное. Наблюдателю удобнее работать, когда есть бланк наблюдения, кроме того это дает возможность сразу фиксировать увиденное. При отсутствии бланка все равно необходимо после мероприятия или семинара записывать свои мысли, наблюдения в свободной форме.
Например, в ходе семинара наблюдатель отмечает, что молодые инвалиды выступали на семинаре увереннее, чем на предыдущих; они сами предлагают новые способы проведения занятия.
Дополнительные способы сбора информации при оценке эффективности обучения.
Предлагаемые способы помогут ведущему занятий или команде тренеров провести оценку эффективности конкретного занятия или всего семинара в целом. Ведущий сможет определить реакцию участников и уровень приобретения ими знаний, определить эффективность учебного плана и способов проведения обучения; оценить степень вовлеченности участников. Этими способами могут воспользоваться и организаторы обучения для обсуждения организационных моментов, например удобства помещения, транспорта и пр. аспектов, которые важны для успеха семинара.
Групповая совместная оценка.
Ведущий разрабатывает специальное занятие для обсуждения и оценки учебной программы. Часть времени выделяется на проверку отдельных знаний. Часть времени отводится на то, чтобы участники могли обсудить самые ключевые моменты программы обучения или того, что, по их мнению, мешало ее успеху. Такая оценка может проводиться устно - например, в форме фокусированной (по заранее определенному списку вопросов) дискуссии, а может - письменно. Лучше, если количество вопросов будет не более 4-5 и в дискуссию вовлекается(будет вовлечена) практически вся группа.
Ниже приводятся краткие опросники, использовавшиеся на одном из наших семинаров для обсуждения результатов, полученных за предыдущие дни занятий.. Опросники сочетают в себе вопросы по оценке эффективности применяемых методов, позволяют понять, насколько участники усвоили тот или иной метод, а также содержат оценку участниками ведущего.
Опросник для фокусированной дискуссии по оценке семинара.
Этапы фокусированной дискуссии | Примеры вопросов |
---|---|
Выявление фактов | Что мы делали? Какие были темы рассмотрены? Какие методы мы использовали? |
Выявление эмоций, ощущений, отношения | Что вас особо задело, взволновало? Когда, в какие моменты вы ощущали дискомфорт? |
Проведение оценки, сбор информации, проведение дискуссии. | Что было наиболее значимым? Насколько результативно проходил семинар? Что было важным для эмоционального настроя группы? |
Выводы о практическом применении | Что дал этот семинар для практики? Какие занятия мы будем использовать в работе? |
Практическое занятие после окончания обучения.
Способ применяется для определения степени приобретения навыков и новых знаний. Способ заключается в проведении практического занятия, в котором используются все навыки, приемы и знания, предложенные во время обучения, например, ролевая игра. Естественно это занятие должно быть специально разработано.
Например, семинар направлен на совершенствование навыков работы со СМИ, в этом случае в завершении занятий можно провести ролевую игру Пресс –конференция.
Ежедневная оценка эффективности обучения.
Поскольку проводится ежедневно, то эта оценка должна быть краткой. Способ используется для мониторинга заинтересованности и активности участников в ходе занятий, оценки работы ведущих. Может быть устной (краткий опрос мнений участников), а может быть письменной. В последнем случае желательно заготовить специальные бланки. Если Вы используете количественную оценку, удобно составить график изменения средней оценки день ото дня. Перспектива на семинарах использует упражнение Дерево или Небоскреб. Все очень просто. Участники оценивают свое состояние, свой уровень на данный момент и размещают свой рисунок-символ (это может быть крестик, человечек или иной символ) на соответствующей ветке, этаже и.т.п. Иногда мы совместно с участниками составляем плакат, на котором отмечаем, что было удачно, а что - не очень. Вот пример такой оценочной таблицы:
+ | -- |
Очень подробно и понятно представлена тема… Было много упражнений, много двигались Никто из участников не спал |
В зале было душно Не очень удобно располагались столы для работы в малых группах Остались вопросы по… |
В заключении, мы хотим привести вопросы, которые ведущий может задать самому себе для оценки успешности обучающей программы, семинара, отдельного занятия.
- Соответствовали цели и ход занятий общему курсу обучения?
- Выполнялось ли расписание? Насколько своевременно? Каков был общий порядок занятий?
- Были ли методы активными и использовались ли ресурсы (опыт) участников?
- Насколько хорошо были разработаны учебные занятия:
- ясные и понятные задания
- были ли включены упражнения на повторение материала?
- применялось ли соответствующее вовлечение участников в процесс обучения?
- были ли лекции-выступления ясными, четкими, полными?
- если использовались привлеченные эксперты, то насколько эффективным было их привлечение?
- были ли подготовлены и использованы должным образом наглядные пособия?
- Какой метод оценки обучения участниками использовался?
- Как участники оценили обучение?
- Какие новые знания, умения и убеждения приобрели или повторили участники?
Глава 6. Как научиться проводить оценку
Сложно, но можно. Для профессионального оценщика этот путь непрост и длителен. Появляются и свои оценщики в третьем секторе. Мы хотели бы сказать несколько слов о том как Перспектива готовит участников своих проектов - молодых инвалидов к проведению оценки. На каждом семинаре для участников нового проекта. "Перспектива" обязательно уделяет время для обучения участников некоторым элементам оценки проектов.
Совместно с Процесс- консалтинг были разработаны занятия, в ходе которых участники получают опыт сбора и анализа информации, опыт ведения мониторинга. Мы убедились, что начинать разговор об оценке с группой, не имеющей представления о процессе оценки, лучше с выполнения упражнения по оценке чего-либо привычного и понятного. Например, участники оценивают помещение для семинара или гостиничный номер, где они размещены. После того как участники получили практический опыт, можно рассматривать этапы оценки и обсуждать – как проводить оценку.
На семинарах для молодых активистов мы также проводим занятие, на котором рассматриваем составление Успешных историй. Успешные истории можно использовать как элемент оценки проекта. Обычно в Успешных историях отражаются те изменения, которые достигнуты в ходе проекта и влияют на улучшение ситуации или решение проблемы.
Для того чтобы Ваша история действительно воспринималась как успешная, как яркая иллюстрация успеха выполняемого Вами проекта, при составлении ее рекомендуем следовать нашим рекомендациям
Рекомендации:
- Название должно быть позитивным и коротким. Например: Сказка
- Опишите, что было раньше. Например: Еще полгода назад кафе Сказка было самым заурядным новгородским кафе, где продавали мороженое, а подростки могли играть у автоматов. (а подростки толпились у игровых автоматов)
- Покажите, что изменилось
Например: Но летом кафе преобразилось: в него стало возможно не только зайти, но и заехать. Помимо обычных ступенек в кафе теперь ведет цементный пандус с перилами, а это значит, что Сказка теперь доступна для новгородских инвалидов - детей и взрослых, для мам с малышами в колясках.
- Опишите, как добились этого успеха? Кто и как работал над тем, чтобы это состоялось?
Например: Кафе Сказка - одно из первых частных предприятий города, которое оборудовано с учетом потребностей инвалидов. Это один из результатов кампании по изменению общественного мнения по отношению к инвалидам и созданию в Новгороде доступной среды. Эта кампания проводилась в Новгороде совместными усилиями организации Перспектива, Новгородской областной организации Всероссийского общества инвалидов и Всемирного Института по проблемам инвалидности (США).
- Расскажите, были ли какие-то трудности при достижении этого успеха? Кто помогал, кто был союзником?
- Приведите в заключении несколько деталей или цитат, оживляющие текст.
Например: На открытии кафе были дети из обычных школ и дети из школы для инвалидов. И они вместе делали то, что любят все на свете дети на свете - играли, ели сладости и мороженое.
Глава 7. Что такое механизм оценки?
Из предыдущих разделов Вы узнали о разных видах оценки, о том, как проводится оценка. В данном разделе мы хотели бы остановиться на вопросах связанных с составлением раздела механизм оценки в проектах и заявках на получение финансирования.
При написании заявок и проектов для получения финансирования приходится отвечать на вопрос: Как Вы предполагаете оценивать свой проект? Какой механизм оценки будете использовать?
Часто авторы проектов испытывают затруднения при ответе на этот вопрос или называют не очень понятные критерии оценки. Например, в этом качестве предлагают использовать количество отзывов и добиться более 10 публикаций в СМИ. Это не очень соответствует механизму оценки.
Механизм оценки, который прописывается в заявке, предполагает скорее проведение самооценки или внутренней оценки вашего проекта. Он заключает в себе те же самые этапы, что и при проведении любой оценки:
- сформулировать цели оценки
- определить методы и критерии
- собрать и проанализировать данные
- сделать выводы
- составить отчет, который будет передан грантодателю
Рекомендации:
- главные ваши ориентиры при составлении механизма оценки, это те конкретные задачи, которые будут решаться в проекте.
- Очень полезно продумать и представить в заявке промежуточные результаты проекта. Результаты, которые ожидаются, например, в середине проекта, или по окончанию первого финансового транша. Это помогает в оценке проекта. Вы всегда сможете сравнить с ожидаемыми промежуточными результатами, реальные результаты, полученные в ходе проекта.
Примеры механизмов оценки из проектов Перспективы приведены в Приложении.
Заключение
За последние годы Третий Сектор России сделал очень большой шаг в своем развитии. И оценка выполняемых общественными организациями проектов не является сейчас чем-то необычным. Несколько лет назад в среде некоммерческих организаций прошла программа обучения оценщиков. Ежегодно проходят конференции по оценке проектов некоммерческих организаций. Появляются пособия и литература по этому вопросу, однако, это, в основном, переводные материалы, либо материалы, подготовленные профессионалами из консалтинговых фирм и предназначенные для профессиональных оценщиков. В связи с этим, появление нашего Пособия можно рассматривать как новинку: впервые материал собран не специалистами, профессионально в течение многих лет занимающихся оценкой различных программ, а общественной организацией, которая в ходе своей деятельности выступала и как оцениваемая структура, и как сам оценщик. Это наш первый опыт по созданию пособия по оценке, мы старались включить в Пособие именно те сведения, которые важны для НКО, и главным образом, НКО инвалидов, которым предстоит пройти процедуру оценки.
Желаем успехов!
Приложения
Приложение №1
Отчет по оценке проекта
Создание безбарьерной среды - одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии
Аннотация проекта.
Проект Создание безбарьерной среды - одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии, далее Создание безбарьерной среды, осуществлялся Общественным Фондом строительства жилого комплекса инвалидов - колясочников и создания безбарьерной среды с 1 июля 2000 по 1 июля 2001г. Финансирование проекта осуществлялось ИОО – Фонд Сороса. Общественный Фонд создан по инициативе людей, имеющих инвалидность.
Основным местом проведения проекта стал г. Улан – Удэ, рейды милосердия проходили по территории сельских районов Бурятии.
- Цель проекта:
Создание действенного механизма работы специализированного общественного фонда по постепенному превращению социальной инфраструктуры Бурятии в доступную для инвалидов и других маломобильных групп населения через налаживание эффективного взаимодействия с государственными органами, органами местного самоуправления, населением республики и самими реципиентами программы (инвалидами, пожилыми людьми).
- Задачи проекта:
- добиться принятия пакета законодательных актов, постановлений, распоряжений республиканского и городского уровня по вопросам доступности объектов социальной инфраструктуры;
- формировать общественное мнение с целью убедить в необходимости создания безбарьерной среды для обеспечения равных возможностей, улучшить отношение к слабозащищенным слоям населения, пропагандировать социальную модель подхода к инвалидности;
- вести ежедневную работу с инвалидами по внедрению философии независимой жизни инвалидов, создавать группы поддержки, участвовать в проведении массовых мероприятий для инвалидов;
- постоянно взаимодействовать с руководителями организаций различных форм собственности с целью поиска средств для целевого финансирования объектов доступной среды.
- Участники проекта:
Сотрудники Общественного Фонда, в том числе специалист архитектор-проектировщик.
А. Цели, задачи и методы оценки
РООИ Перспектива в 2000-2001гг. осуществляла проект Оценка и мониторинг проектов, получивших финансирование в рамках конкурса К независимой жизни ИОО - Фонд Сороса. В рамках этого проекта, сотрудниками Перспективы была проведена оценка проекта Общественного фонда Строительства жилого комплекса инвалидов-колясочников по созданию безбарьерной среды в республике Бурятия.
Поскольку Перспектива не обладала опытом проведения внешней оценки, проведение оценки проекта в Улан –Удэ потребовало консультирования с экспертами по оценке из компании Процесс – консалтинг.
Оценку данного проекта проводили Денис Роза (директор Перспективы) и Мария Перфильева (менеджер проектов Перспективы).
Оценка проекта проходила 17- 20 августа 2001 г., после завершения проекта.
Цель оценки проекта - понять, какой опыт продвижения идей независимой жизни был приобретен в процессе реализации данного проекта и насколько прошел успешно проект.
Задачи оценки проекта
- Сравнить реальные результаты проекта с первоначальными планами;
- Обобщить опыт реализации проекта;
- Оценить эффективность процесса выполнения проекта – методы, формы работы, которые использовались для достижения цели и выполнения задач проекта;
- Оценить влияние проекта на имидж организации и развитие партнерских связей.
Из материалов Модель оценки обучающих программ, разработанных Тренинг-Центром Голубка
Технология оценки
- Подготовка к оценке
- консультации с экспертом - оценщиком;
- определение механизма оценки (методы, критерии);
- составление вопросника для интервью;
- согласование с местным координатором процедуры оценки и определение круга респондентов;
- согласование с местным координатором графика проведения интервью и бесед.
Сбор информации
- выезд в регион;
- проведение интервью, опросов, встреч;
- осмотр элементов доступной среды, созданных в ходе проекта.
- Анализ собранных данных
- содержательный анализ документов и интервью, полученных в ходе проекта;
- количественный анализ (списки участников семинар, сведения из итогового отчета).
Методы оценки
- Персональные интервью.
- с руководителем и сотрудниками проекта;
- с представителями СМИ.
- Опрос по телефону участников семинаров.
- Наблюдения:
- неформальные беседы с представителями местных НКО;
- информационные встречи с Министром социального развития и Главой департамента связи, строительства и коммуникаций;
- беседы с сотрудниками проекта и добровольцами.
- Групповое интервью с представителями Союза архитекторов Бурятии.
- Просмотр и анализ документов.
Б. Вопросы, на которые надлежало ответить в ходе оценки:
Реальные результаты проекта и выполнение плана.
В какой мере деятельность в рамках проекта соответствует намеченному плану? Совпадают ли фактические результаты проекта с запланированными?
Если были какие-то существенные отклонения от плана, то в чем их причины?
Деятельность в рамках проекта, в основном, соответствовала намеченному плану. Некоторые отклонения от первоначального графика, связаны с объективными причинами и нехваткой опыта управления проектом, а именно:
Выделение средств на строительство пандусов владельцами помещения комитетом по архитектуре, строительству, транспорту и связи, комитетом по социальному развитию.
- Юрист - консультант проекта приступил к работе на 3 мес. позже намеченного срока, т.к. сложно было найти человека, обладающего нужным опытом и готовым работать по проекту.
- Задержки в строительстве пандуса. В зимний период строительство не велось.
- Отклонения в индивидуальных планах - графиках работ. Большую часть проекта у сотрудников не было индивидуальных планов работы. Их работа планировалась в соответствии со сроками крупных мероприятий. По словам руководителя проекта Э. Будаевой, только после семинара в Москве (апрель 2001) участники поняли, зачем нужны индивидуальные планы- графики.
Что не выполнено
1. Не удалась подготовить проект республиканского и городского законов Об обеспечении беспрепятственного доступа инвалидов к объектам социальной инфраструктуры республики Бурятия (города Улан-Удэ). Думается, ввиду большого объема и чрезвычайной сложности работы.
- Не был проведен показательный судебный процесс против владельцев, не желающих делать объекты, находящиеся в их собственности, доступными для инвалидов (даже в ходе ведущейся реконструкции объекта). Это связано с тем, что основания для подачи в суд есть, а меры ответственности не закреплены в нормативных документах.
- Не был проведен на должном уровне конкурс для журналистов, поскольку в смету заявки на грант не были заложены средства для вознаграждения победителей. Привлечь средства из других источников не удалось.
- В ходе проекта не удалось привлечь финансирование для сурдоперевода республиканских новостей, для сооружения говорящего светофора
Незапланированные результаты
1. Проведение групп взаимной поддержки. Проведено 5 ГВП. Ведущие групп – инвалиды с различными видами инвалидности.
2. Сотрудники фонда приняли активное участие в подготовке и организации Международной встречи инвалидов Байкал-2000, председатель фонда выступила с докладом Создание безбарьерной среды – одно из важнейших условий интеграции в общество инвалидов и других маломобильных групп населения Бурятии. Для молодых инвалидов, были организованы обучающие мастер-классы по философии независимой жизни, владению инвалидной коляской.
3. Проведение семинара для архитекторов - проектировщиков по запросу архитектурной мастерской.
- Результаты проекта
В итоговом отчете по оцениваемому проекту указаны следующие результаты:
- добиться принятия пакета законодательных актов, постановлений, распоряжений республиканского и городского уровня по вопросам доступности объектов социальной инфраструктуры;
- Принято распоряжение Администрации г. Улан-Удэ от 12.09.2000 г. №914 о включении представителя фонда в состав комиссии по строительству и реконструкции дорог в г. Улан-Удэ. Представители фонда включены в состав Градостроительного Совета и в состав комиссии по согласованию проектов и принятию в эксплуатацию объектов жилищно-гражданского назначения. (Письмо Управления архитектуры и градостроительства от 23.02.01 г. за № 111).
- Вышло распоряжение администрации г. Улан-Удэ от 16.05.2001 за № 593 о выделении средств на строительство пандусов к аптекам №№ 1,48.
- Получено письмо зам. министра образования РБ о финансировании в 2002 г. центра обучения инвалидов в ВСГТУ (Улан-Удэ).
- По запросу Общественного Фонда подготовлено письмо Минстроя РБ в адрес районных органов архитектуры РБ о неукоснительном требовании соблюдения доступности для инвалидов.
- По инициативе Общественного Фонда принято решение Городского комитета по социальным вопросам о начале финансирования социального такси в Улан-Удэ (выделено 20 тысяч рублей)
- формировать общественное мнение с целью убедить в необходимости создания безбарьерной среды для обеспечения равных возможностей, улучшить отношение к слабозащищенным слоям населения, пропагандировать социальную модель подхода к инвалидности
- Проведено четыре семинара: для руководителей общественных организаций инвалидов; средств массовой информации; работников органов социальной защиты и один семинар вне плана – для архитекторов Бурятии (по их просьбе). Общее количество участников тренингов - 110 человек.
- Формирование общественного мнения осуществлялось через средства массовой информации, через установление постоянных контактов с журналистами республиканских СМИ. Всего - публикаций.
- Было создано два документальных фильма на местном телевидении, организован перевод, озвучивание и показ британского фильма Разговоры, полученного в РООИ Перспектива.
- Проведена акция открытия пандуса к Октябрьскому народному суду, за 2 часа собрано 253 подписи горожан в поддержку создания безбарьерной среды.
- Проведено 3 рейда милосердия в сельские районы (Заиграево, Хоринск, Гусиноозерск) для пропагандистской работы с сельским населением и, особенно, с подрастающим поколением. В общей сложности информационной кампанией охвачено свыше 1 млн. человек.
- вести ежедневную работу с инвалидами по внедрению философии независимой жизни инвалидов, создавать группы поддержки, участвовать в проведении массовых мероприятий для инвалидов;
- Консультант по вопросам независимой жизни принял 120 человек, проживающих в городе Улан-Удэ. Из них 27 человек жили в квартирах, неприспособленных для них. В результате в 11 квартирах, были произведены работы по созданию безбарьерной среды.
- Было создано, пять групп взаимной поддержки.
- Проведен слет молодых инвалидов, на котором были организованы обучающие мастер-классы по философии независимой жизни., в том числе по отстаиванию прав на доступную среду.
- Добились выделения 10 колясок активного типа Катаржина для лидеров движения инвалидов Бурятии (коляски отданы им во временное пользование). Добились, чтобы Министерство соц. развития РБ заказало такие коляски на 2001 год.
- постоянно взаимодействовать с руководителями организаций различных форм собственности с целью поиска средств для целевого финансирования объектов доступной среды.
- Принято решение Государственной Думы РФ о выделении 4 млн. рублей за счет дополнительных доходов для продолжения строительства жилого комплекса колясочников в г. Улан-Удэ (декабрь 2000 г.).
- В программе первоочередных мер социальной защиты г. Улан-Удэ заложено выделение 50 тыс. рублей на создание внутренней безбарьерной среды. Первый этап работы осуществлен (обустроены жилища 11 инвалидам).
- В 2000-2001 гг. построены пандусы к объектам социальной инфраструктуры за счет организаций различных форм собственности, в том числе бюджетных, а также после наших писем и просьб, в результате воздействия информационной кампании, по инициативе самих архитекторов.
Проект и организация.
В какой мере проект соответствует стратегическим приоритетам организации? Каковы долгосрочные перспективы продолжения деятельности, выполняемой в рамках данного проекта? Что дал Проект сотрудникам организации с точки зрения профессионального развития (в том числе понимания независимого образа жизни)?
- Реализованный проект полностью соответствует направлению деятельности организации и философии независимой жизни, которой придерживаются сотрудники проекта. Укрепился имидж организации. Удалось сделать Фонд известным и узнаваемым. По словам респондентов - -все видят инвалидов (сотрудников Фонда) в городе, в гостинице (находится офис Фонда), в мэрии; - без сотрудников проекта не решаются вопросы, связанные с доступностью жилья и города: фонд вошел в координационный совет по социальным проблемам на уровне города и республики;
- При реализации проекта Фондом использовались методы, некоторые из которых организации инвалидов республики никогда не использовали. Это - акции, презентации, социальные рейды; собственно строительство пандусов, оборудование квартир для инвалидов; консультирование и экспертиза вводимых объектов в городе, с точки зрения доступности для инвалидов. Что так же укрепило позиции Фонда.
- Все респонденты из числа сотрудников Фонда отметили приобретение новых знаний и навыков в ходе проекта. Укрепились знания как в специальной /профессиональной сфере - архитектор – проектировщик, так и в сфере управления проектом. Сотрудники ранее не владевшие компьютером стали активными пользователями. Используя эл. почту и Интернет Фонд смог войти в информационное пространство сообщества организаций инвалидов, получать новую информацию через рассылку инва – инфо.
- Деятельность проекта широко освещалась в местной печатной прессе – более 26 публикаций; на теле- радио каналах - более 10 репортажей, отсняты и использовались в ходе проекта документальные фильмы о необходимости создания ББС. Все это так же положительно отразилось на отношении к Фонду.
Процесс выполнения проекта
На вопрос: Какие были трудности в рамках Проекта (программный и административный аспекты)? участники опросов ответили:
- Небольшой опыт по управлению грантами и работе по проекту, что особенно в начале проекта вызывало затруднения. В бюджет не включили расходы на транспорт для инвалидов - сотрудников проекта.
- Несмотря на работу с журналистами, в некоторых статьях появлялись неадекватные термины при описании проблем и достижений инвалидов (например, заголовок статьи Калеки на плотах, в которой журналисты дали репортаж о сплаве спортсменов инвалидов и неинвалидов на плотах по реке Селенге. Журналисты, написавшие этот репортаж были участниками семинара для СМИ по пониманию инвалидности).
- В ходе осуществления проекта, при проведении переговоров и встреч, строительстве пандусов, общении с инвалидами приходилось учитывать национальный менталитет бурят.
Продвижение идей независимой жизни
Как повлиял проект на распространение философии независимого образа жизни инвалидов?
- Проект повлиял положительно. С философией независимой жизни непосредственно ознакомилось на семинарах более 90 человек (архитекторы, молодые инвалиды, журналисты) более 400 человек получили консультативные услуги.
- Проект дал возможность более четко и полно понять идеи независимой самим сотрудникам Фонда; дал возможность развивать эти идеи в среде других НКО.
- Работа по проекту позволила продвинуться в создании механизма взаимодействия организаций инвалидов и власти в создании безбарьерной среды.
- Проект повысил понимание потребностей инвалидов в создании доступной среды
- Проект позволил укрепить партнерские связи с государственными структурами, органами власти, со СМИ.
С. Источники информации
С кем беседовали оценщики:
- Эржена Будаева, председатель Фонда, Руководитель Проекта
- Галина Горбатых, консультант по независимой жизни; сотрудник проекта
- Нина Горенава, консультант по доступной среде, архитектор – проектировщик, зам. Председателя Фонда, сотрудник проекта
- Министр Социальной защиты Бурятии
- Битуев Николай, Председатель комитета по архитектуре, строительству, транспорту и связи., Зам Мэра Улан -Удэ.
- Сергей Молчанов, НКО Пробуждение 21 век
- Владислав Насаков, газета Правда Бурятии
- Грудинин Анатолий, председатель Байкальского Благотворительного Фонда
- Сотрудники архитектурной мастерской (12-15 человек)
- Бурдинов Сергей, Эхо – Улан –Удэ
- Ефимов С.Г., Министр труда и социального развития Бурятии
Документы, которые были изучены консультантами в процессе мониторинга:
- Заявка - проект
- Буклет
- Публикации в прессе (более 10)
- Нормативные документы, созданные в рамках данного Проекта
Фото и видеоматериалы по проекту
- Списки участников семинаров
- Анкеты участников семинаров
Приложение №2
Проект Проведение Летней школы для молодых инвалидов,
2001г. Заявка подавалась в ИОО - Фонд Сороса
Оценка проекта
Механизм оценки проекта включает в себя методы проведения оценки и критерии, по которым будет оцениваться проект и мероприятия проекта.
Критерии
- задачи проекта (выполнены или нет). Например, разработана и апробирована ли(?) программа обучения, подготовлены и проводят занятия 15 молодых инвалидов на "Летней школе" и т.д.
-Дополнительные критерии - качественные показатели, например участники "Летней школы" поверят в свои силы и возможность отстаивать самостоятельно свои права; станут более уверенными.
Методы
Основными методами оценки проекта будет анкетирование, опрос участников проекта – ведущих и участников "Летней школы". Будет разработана анкета для оценки результатов самой "Летней школы", что даст информацию для проведения подобных мероприятий в дальнейшем.
Критерии оценки семинара:
- участники получат новые знания и навыки, необходимые для отстаивания прав;
- практический опыт организации и проведения общественной акции по отстаиванию прав;
- о новых способах отстаивания прав;
- узнают о философии независимой жизни;
- ознакомятся с опытом других организаций;
- обсудят способы привлечения добровольцев к проведению общественных акций;
- узнают и практически применят способы работы со СМИ.
Опрос участников Летней Школы будет разработан и проведен среди 15% участников в начале "Летней школы", в конце и через 2 месяца после окончания работы школы для определения личностного роста участников.
Кроме того, будет проведен опрос ведущих Летней Школы – молодых инвалидов - активистов.
Проект "Улучшение взаимодействия организаций инвалидов г. Москвы с государственными структурами, 1998.
Оценка проекта
Оценка проекта будет проводиться исполнителями программы (сотрудниками РООИ Перспектива) во время всего проекта для определения успешности поставленных задач.
Планируется оценивать: ход проекта (текущие, или рабочие оценки), этапы проекта и степень воздействия занятий и семинаров на представление людей об инвалидах (промежуточная оценка), успешность реализации всего проекта (итоговая оценка).
Методы:
Основными методами оценки являются: анкетирование, дискуссии, общие наблюдения, интервью с участниками программы и представителями государственных структур, с которыми будет проведена работа.
Оценка начинается с предварительного анализа целевой аудитории: на начальном этапе реализации проекта проводится анкетирование школьников, с которыми будут проводиться занятия по пониманию инвалидности, и групповые дискуссии с представителями органов власти. В конце проекта будет проведен повторный анализ той же аудитории. Сопоставление полученных результатов даст возможность понять, достигнуты ли главные цели проекта - формирование общественного мнения, способствующего интеграции инвалидов в общество, совершенствование взаимодействия организаций инвалидов и государственных структур.
Промежуточная оценка
Имеет целью определение степени соответствия получаемых и запланированных результатов и корректировку программы. С этой целью будут проведены анкетирование участников проекта, групповые дискуссии, интервью. Кроме того, промежуточная оценка поможет оценить степень воздействия занятий и семинаров на представление целевых аудиторий - об инвалидах.
Предлагаемая система оценок использовалась РООИ Перспектива при реализации предыдущих проектов (проект по подготовке кадров ВОИ, школьный проект). Технология оценки была дополнительно разработана для оценки школьного проекта в г. Новгороде Великом и полностью себя оправдала.
В качестве критериев успешности предполагается использовать запланированные задачи проекта.
Проект Ломаем барьеры, 2001-2002гг., финансируется CAF - Россия
Оценка проекта
Измеримые индикаторы:
- Персональный рост молодых инвалидов-активистов; они не будут чувствовать себя никому не нужными и запертыми в домах, они будут проводить больше времени в обществе, они станут более независимыми
- Профессиональный рост молодых инвалидов-активистов; молодые инвалиды получат новые знания и навыки, которые будут способствовать их профессиональному росту
- Команды молодых активистов проведут 750 человеко-часов групп взаимной поддержки и 1000 человеко-дней тренингов по пониманию инвалидности и отстаиванию прав.
- 2 микро проекта по изменению общественного мнения, будут реализованы в Челябинске и Ростове - на - Дону.
- 250 специалистов примут участие в тренингах, на которых они получат ясное представление о проблеме включение инвалидов в общество.
- Будет проведено не менее 11 тренинг\дней для подготовки молодых инвалидов-активистов из Ростова и Челябинска.
Методы:
Сведения о росте молодых активистов будут собираться путем проведения тестирования по методу до и после в начале, середине и конце проекта.
Отбор в начале проекта в результате процедуры кейс стади(?). В течение всего проекта будет проходить мониторинг группы молодых активистов, в ходе которого будет оцениваться их профессиональный и персональный рост. Мнения руководителей и коллег о росте молодых активистов будет выявляться в ходе опросов и интервью. Также информация о росте молодых активистов будет получена при анализе составленных ими историй успеха. Все эти методы дали хорошие результаты в предыдущих проектах.
Вышеперечисленные методы будут применены при работе с молодыми инвалидами в Челябинске и Ростове.
На семинарах все участники заполняют анкету по его оценке.
Будут взяты интервью у государственных служащих и специалистов. Цель - выяснить какое влияние на них, и в целом на общество имел данный проект.
Ожидаемые промежуточные результаты проекта.
Возможны следующие промежуточные результаты:
- 300 чел./часов участия в группах взаимоподдержки; (удалить участие)
- 400 тренинг\дней для молодых инвалидов по пониманию инвалидности и отстаиванию прав;
- Одна национальная (5 дней) конференция и один (1-2 дня) тренинг в регионах для МИ;
- Подготовка и распространение 1 бюллетеня;
- Один четырехдневный тренинг для молодых активистов - участников сети;
- 200 чел.\часов тренингов и 100 часов консультаций, которые проведут участники сети;
- 75 специалистов примут участие в тренингах, проводимых молодыми активистами.
- Начало некоторых изменений отношения в общества к инвалидам;