Оценивание

Оценивание обычно включает в себя сбор значимой информации о разных аспектах программы консультирования с целью распределения ресурсов и достижения максимальной эффективности программы (Gay, 1996; Wheeler amp; Loesch, 1981). Для оценивания характерно немедленное использование его результатов. Оно обеспечивает консультанту или администратору непосредственную обратную связь в ходе работы и указывает на необходимость добавления новых форм работы. Оно также дает возможность клиентам систематически положительно воздействовать на программу. Некоторые виды оценивания являются обязательными для всех программ консультирования независимо от того, где она проводится (Но-sie, 1994; Oetting, 1976). Некорректные методы оценивания
Хотя существует множество надежных моделей оценивания, есть методики, которые нередко применяются некорректно из-за недостаточной компетентности консультанта (Daniels, Mines amp; Gressard, 198i). Недостаточно продуманные методы оценивания, приводящие к ошибочным и ненадежным результатам, имеют следующие признаки (Burck amp; Peterson, 1975):
  • ограниченность выборки;
  • сравнение неэквивалентных групп;
  • направленность не на оценивание как таковое, а на рекламу и продвижение услуг;
  • попытка оценить программу без четко поставленных целей.
Этапы оценивания
Оценивание программы представляет собой последовательный пошаговый процесс систематического характера. Предложенная Бурком к Петерсоном (Burck amp; Peterson, 1975) процедура является достаточно обоснованной, чтобы ей следовать, хотя предлагаемые шаги могут различаться в разных вариантах оценивания.
Согласно этим авторам, первый шаг при составлении программы оценивания заключается в выявлении потребностей. Ответственные консультанты в первую очередь постараются выявить проблемы пли спорные вопросы в своих программах. Потребность - это <принятое среди членов определенной группы... понятие, которое отражает актуальный недостаток чего-либо, осознание (ощущение) того, что чего-то не хватает> (Collison, 1982, р. 115). Потребности, как считается, обусловлены рядом факторов, таких как групповая или индивидуальная философия, правительственная политика, доступные ресурсы, история и традиции, мнение экспертов. <Процедуры выявления потребностей включают четкую идентификацию задачи, определение метода взаимодействия и решение вопросов, связанных с измерениями> (Cook, 1989, р. 463).
Второй шаг связан с <определением целей и параметров деятельности>. При этом как ближайшие результаты применения программы (те, что сказываются немедленно), так и отдаленные описываются в терминах измеримых параметров деятельности. Обычно имеется <несколько параметров деятельности применительно к каждой из целей> (Burck amp; Peterson, 1975, p. 567).
Третий шаг в оценивании - это разработка программы. Если разработанные программы отвечают поставленным целям и условиям, действия, направленные на их решение, могут быть точно спланированы.
Четвертый шаг - пересмотр и совершенствование программы. Оценивается правильность применения специальных приемов и адекватность способов коммуникации.
Пятый, последний шаг - это <документирование и составление отчета о результатах применения программы> (Burck amp; Peterson, 1975, p. 567). Эта работа проводится, в первую очередь, путем представления выводов по оцениванию программы широкой публике. Такая информация необходима потенциальным клиентам для того, чтобы они могли осознанно делать свой выбор, а также нужна самим консультантам, работающим по этой программе, как вид обратной связи, способствующий совершенствованию их работы.
В процесс оценивания должны включаться все участники программы, с тем чтобы полученные результаты могли непосредственно повлиять на программу. Так, люди, которые вносят свой вклад в выявление потребностей, скорее помогут консультантам удовлетворить обнаруженные потребности и достичь целей программы, чем люди, которые не участвовали в выявлении потребностей. Выбор модели оценивания
Поскольку оценивание составляет значительную часть профессиональной деятельности консультантов, их подготовка в этом вопросе должна быть соответствующей (Wheeler amp; Loesch, 1981). Эта подготовка включает в себя резервирование времени для проведения оценивания. Не менее важным является знание всех возможных моделей оценивания. Хауз (House, 1978) предлагает целый ряд моделей оценивания и описывает критические параметры каждой из них (табл. 19.1). Это следующие модели: системный анализ, анализ выполнения целей деятельности, анализ принятия решений, свободная оценка, художественная критика, аккредитация, рецензирование и оценка взаимодействия,
Дэниэлс и его коллеги (Daniels et al., 1981) исследовали параметры, по которым оценивались модели, и предложили несколько практических методов сравнения различных моделей, что позволяет для каждого конкретного случая подобрать наиболее подходящую модель. Дэниэлс отмечает, что как внутренние, так и внешние ограничения <определяют зону эффективного применения каждой модели> (р. 580). Ими предложена структура, предназначенная для того, чтобы помочь консультантам выбрать подходящую модель для каждой ситуации (рис. 19.1).
Если вопросы сформулированы до оценивания (априорные вопросы), существует большая вероятность получить удовлетворительные ответы на эти вопросы, чем на вопросы, появившиеся после проведения оценивания (вопросы, поставленные постфактум). Следовательно, оценивающие должны с самого начала уяснить, что они собираются оценивать и как они собираются это делать (Davidson, 1986). Две модели объединяют оба этих аспекта: модель <системы планирования, программирования и составления бюджета> (the planning, programming, budgeting systems - PPBS) и модель <контекст - исходные данные - процесс -результат> (conte input-process-product - CIPP) (Humes, 1972; Stufflebeam et al, 1971).
В модели PPBS упор делается на программы планирования со специально подобранными целями, задачами и критериями оценивания. Ситуация, популяция и применяемые процедуры - вот основные составляющие данной модели. Хьюмз (Humes, 1972) отмечает, что информация, получаемая в рамках модели PPBS, является в большей степени параметрической (критериально-ориентированной, т. е. непосредственно относящейся к измеряемым величинам), а не нормативно-ориентированной (относящейся к сравнению с другими членами группы, как в случае применения стандартизованных тестов). Следовательно, если планирование и составление программы выполнены правильно, проводящий оценку консультант в состоянии показать, что эффективное консультирование является существенным фактором улучшения состояния клиента. Кроме того, когда принимается решение о бюджете, могут быть четко продемонстрированы эффективность консультирования и соотношение <эффективность - стоимость>; сила и слабость программы могут быть подтверждены документально. В этом случае администраторы служб консультирования находятся в лучшем положении, обосновывая запрос на дополнительное финансирование разработки и оказания услуг. Поэтому этот аспект анализа программ является жизненно важным.
Таблица 19.1
Сравнение основных моделей оценки

Тип модели

Основная аудитория

Результат

Принятые предположения

Методология

Типичные вопросы

Системный анализ

Экономисты, менеджеры

Эффективность программ

Цели, известные причины и следствия, количественные величины

PPDS, анализ расходов и прибыли

Достигнуты ли ожидаемые эффекты? Какие программы наиболее эффективны?

Анализ достижения целей деятельности

Менеджеры, психологи

Продуктивность, подотчетность

Предусмотренные параметры, количественные величины

Цели деятельности, тесты достижении

Достигают ли обучающиеся поставленных целей? Продуктивна ли работа преподавателя?

Оценка принятия решений

Администраторы

Эффективность, контроль качества

Общие задачи, критерии оценок

Обзоры, опросники, интервью, естественное разнообразие

Эффективна ли программа?
Какие разделы эффективны?

Открытая модель

Пoтребители

Предпочтения потребителей, Общественная полезность

Последствий, критерии оценок

Контроль отклонений, логический анализ

Перечислить вес эффекты программы

Художественная критика

Знатоки, потребители

Улучшенные стандарты

Критики, нормы критики

Критическое обозрение

Улучшит ли критика данную программу?

Аккредитация

Профессиональные эксперты, общественность

Профессиональное одобрение

Комиссия экспертов, процедуры и критерии оценок

Отчет комиссии, самоотчет

Как профессионалы оценивают программу?

Рецензирование

Жюри, общественность

Решения

Процедуры, суждения

Полуформальные процедуры

Доводы <за> и <против> программы

Взаимодействие

Практикующие врачи или юристы, а также представители других профессий, требующих непосредственной работы с клиентом

Понимание

Переговоры, деятельность

Изучение случаев, интервью, наблюдения.

Как программа воспринимается разными людьми

Рис. 19.1
Рис. 19.1
Источник: A meta-model for evaluating counseling programs, by M. H. Daniels, R. Mines amp; C. Gressard, 1981, Personnel and Guidance Journal, 59, 581.
Модель CIPP предлагает четыре типа оценивания. Первый - содержательное (context) оценивание - сравнение того, что задумывалось, с тем, что осуществлено , в программе. Второй тип - оценивание исходной (input) ситуации: собирается информация о том, какие ресурсы нужны и что доступно для осуществления программы. Эта часть оценивания демонстрирует соотношение <стоимость - эффективность> и указывает на необходимость дополнительных ресурсов. Третий тип - оценивание процесса (process) - направлен на выявление сильных и слабых сторон программы. При выявлении слабых мест, например, если запланированные возможности информационного обмена недостаточны, могут быть предприняты корректирующие меры. Четвертый тип оценивания концентрируется на конечном результате (product) всей программы. На этом этапе оценивающий выясняет, насколько эффективной оказалась программа в действительности. Может быть принято решение продолжить, повторить, расширить или ограничить программу. Независимо от применяемом модели, заключительная и проводится с использованием методов исследования.

Источник: Глэддинг С., «Психологическое консультирование.4-е изд. - СПб.: Питер. - 736с: ил. - (Серия )» 2003

А так же в разделе «Оценивание »