Модель оценки эффективности обучения дональда киркпатрика. Оценка обучения по модели киркпатрика Модель оценки эффективности обучения Д. Киркпатрика
2 364
Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.
Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.
Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.
Эмоциональная реакция
Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится - более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.
Здесь мы используем три инструмента.
Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.
Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике - нет. Их ожидания от курса вернулись частично.
Оценка удовлетворенности - это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.
Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст - нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.
Контент-анализ отзывов - показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.
Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод - упрощать контент.
Усвоение знаний
Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать - обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» - осознание через собственный опыт и анализ.
Здесь мы используем четыре инструмента.
Тест знаний «до-после» . Здесь всё просто: он показывает прогресс знаний по теме - или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.
Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.
Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает - поэтому к оценке относимся осторожно.
Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.
Связь повторного изучения материалов с результатами тестов - показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.
Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача - слишком сложная. Приходится продираться.
Связь времени на изучение материалов с результатами . Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно - изменить объем.
Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный - две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.
Поведенческие изменения
Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит - знания бесполезны, даже если человек их усвоил.
Здесь мы используем шесть инструментов.
Процент выполнения необязательных заданий . Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.
Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.
Периодичность посещения у людей, которые завершили и не завершили курс . Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.
Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше - как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.
Среднее время на блок у людей, которые завершили и не завершили курс - показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот - ускоряться.
Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока - люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.
Разделение слушателей на типы . Мы часто упоминаем типы слушателей, и это разделение - тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.
Например, в курсе много «заходящих» - это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.
Социальная активность людей, которые завершили и не завершили курс , показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.
Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.
Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.
Четырехуровневая модель оценки Киркпатрика
Пожалуй, самая известная модель оценки учебного процесса –
модель Дональда Киркпартика
Четырехуровневая модель оценки, которая впервые была представлена в серии статей в 1959 в the
Journal of American Society of Training Directors
(теперь известный как T+D Magazine). Данная серия была позднее скомпилирована и опубликована в виде статьи
Techniques for Evaluating Training Programs в книге под редакцией Киркпатрика Evaluating Training Programs в 1975 году.
Тем не менее, четыре уровня модели Киркпатрика стали популярными только после выхода его книги Evaluating Training Programs в 1994 году. В наше время эти четыре уровня стали краеуголным камнем индустрии обучения.
В то время как большинство специалистов рассматривают эти четыре критерия оценки процесса обучения как «уровни», сам «Киркпатрик никогда не использовал данный термин, обычно он называл их шагами (Craig, 1996). Добавлю, что он не называл это моделью, но использовал для обозначения слова такие как «техники для проведения оценки» “techniques for conducting the evaluation” (Craig, 1996, p294).
Данные четыре шага состоят из:
Концепция Киркпатрика весьма важна, поскольку это отличный инструмент для планирования, оценки, диагностики проблем, особенно если мы внесем в нее незначительные улучшения, показанные ниже.
Не только для тренинга
Некоторые специалисты ошибочно предполагают, что модель Киркпатрика может применяться для тренинга (здесь имеется ввиду процессы формального обучения: тренинги, семинары – прим. Э.Б.), но модель может бы использована в работе с другими учебными процессами. К примеру, профессия Human Resource Development (HRD) связана не только с развитием процессов формального обучения, таких как тренинг, но также других форма, таких как неформальное обучение, развитие, наставничестве и воспитание (Nadler, 1984). В руководстве, изданном одним из основателей Human Resource Development (HRD) Leonard Nadler (1984), используется четырехуровневая модель Киркпатрика, как главная модель оценки учебного процесса.
Сам Киркпатрик писал: «Эти цели (ссылаясь на свою статью) будут относиться к обучению в классе (in-house classroom programs). Многие процедуры и принципы применяются ко всем видам учебной активност, таким как анализ эффективности деятельности, участие во внешних программах, программированное обучение, чтение специально подобранной литературы» (Craig, 1996, p294).
Развитие четырехуровневой модели
В силу «возраста» модели, а также с появлением новых, современных технологий, модель Киркпатрика часто критикуется за то, что она слишком устарела и проста. Но тем не менее, и спустя пять десятилетий после ее презентации, не нашлось адекватной модели, способной заменить модель Киркпатрика. И я уверен, причина, почему замены моделей не происходит, в том, что Киркпатрик был в основном прав, но он допустил несколько небольших ошибок:
Мотивация, а не обратная связь (Motivation, Not Reaction)
Когда обучаемый двигается в потоке учебного процесса, как например e-learning курс, эпизод неформального обучения или получая помощь от наставника в выполнении своей рабочей деятельности, он должен принимать решение, на что в первую очередь обращать свое внимание. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка. В дополнение, исследование оценки Обратной связи обычно показывают, что это не валидный инструмент оценки успешности (см. последнюю часть статьи Критика)
Это отличается от слов Киркпатрика (1996), который писал, что Обратная связь – это то, насколько обучаемые оценивают отдельный учебный процесс. Тем не менее, чем меньшее значение имеет учебный материал для учащегося, тем больше усилий нужно приложить для разработки и презентации данного материала. Следовательно, если учебный материал не имеет отношения к потребностям самого обучаемого, тогда учебный материал должен «цеплять» обучаемого навороченным дизайном, юмором, играми и т.д… Это не означает, что дизайн, юмор или игры неважны; тем не менее, их использование в учебном процессе гораздо больше, чем просто делать процесс веселым, они помогают и продвигают учебный процесс. И если учебный материал построен на основе ясных целей и дизайна, тогда это помогает учащемуся преодолеть разрыв между существующей и требуемой деятельностями. Следовательно, они (дизайн, юмор, игры) должны мотивировать к обучению – если это не происходит, значит что то пошло наперекосяк в процессе планирования и создания учебного процесса! Если вы вдруг поймаете себя на мысли, что пытаетесь зацепить обучаемых с помощью всяких заманух (дизайн, юмор, игры), вам, видимо, стоит пересмотреть цели вашего учебного процесса.
Деятельность, а не поведение (Performance, Not Behavior)
Деятельность (performance) лучше поведения (behavior), поскольку деятельность имеет два аспекта: поведение является средством и следствием поведения являются результаты. И собственно эти результаты нас интересуют больше всего Gilbert noted (1998).
Обратите это в Лучшую Модель
Модель, где два наиболее важных пункта – результаты и поведение находятся в конце, является перевернутой с ног на голову, поскольку важность пунктов отпечатывается в голове людей в порядке их расположения. Таким образом мы разворачиваем модель в обратную сторону и добавляем вышесказанное и получаем:
Данная модель становится инструментом как планирования, так и оценки =диагностики проблем (Chyung, 2008):
Цели (планирование) | Уровень оценки |
| Каковы цели нашей компании для развития бизнеса? | Результаты Почувствован ли ожидаемый эффект? |
| Что наши обучаемые должны уметь выполнять, чтобы достичь этих целей? | Деятельность Были ли перенесены обучаемыми полученные навыки в работу? |
| Какие новые навыки, знания и ресурсы требуются обучаемым, чтобы они смоглы выполнять деятельность? | Обучение Осваивали ли обучаемые необходимые навыки и/или ресурсы? |
| Что обучаемым требуется для того, чтобы осознанно учиться и выполнять деятельность? | Мотивация Они мотивированы учиться и выполнять работу? |
Исправленная модель может теперь быть использована для планирования (левая колонка) и оценки (правая колонка). В дополнение, это может быть использовано для диагностики проблемных зон процесса обучения. К примеру, вы знаете, что работники получили необходимые навыки в процессе обучения, но не применяют их в процессе работы, тогда становятся очевидными следующие проблемные зоны (в данном примере это ячейка Деятельность или ячейка слева от нее):
Диаграмма ниже показывает, как приведенные процессы исправленной модели сочетаются друг с другом
Организация
1. Результаты
Суммирующая оценка
Деятельность
2. Рабочая среда
Формирующая оценка
Учебная среда
3. Обучение
Формирующая оценка
Люди
4. Мотивация
Формирующая оценка
Как показывает вышеприведенная диаграмма, Оценка Результатов наиболее интересна руководству бизнеса, в то время как остальные три уровня оценки (деятельность, обучение и мотивация) являются основными для проектировщика обучения в компании для планирования и оценки учебных процессов; и конечно Оценка Результатов также важна для него, поскольку является поставщиком целей развития бизнеса.
Уровень первый – Результаты
Результаты или влияние
Несмотря на то, что обычно наиболее труден и трудозатратен, чем другие три уровня, это дает информацию, которая имеет огромную ценность: она доказывает ценность процессов обучения и выполнения деятельности. Тем не менее, использование модели Цели/Планирование/Оценка должно упростить и облегчить процесс, и вы будете иметь ясную картину того, что вы стараетесь достичь. То есть. Когда вы что-то начинаете планировать, у вас больше возможностей понять, как оценивать это.
Мотивация, Обучение и Деятельность в большей степени вопрос «мягких» единиц измерения (так называемые нефинансовые метрики); тем не менее, лица, принимающие решения, которые утверждают учебные процессы, предпочитают результаты (возврат инвестиций или влияние). Jack Phillips (1996), который вероятно знает лучше других четырехуровневую модель Киркпатрика , пишет, что ценность информации становится значительно выше, если мы идем от мотивации к результатам.
Вышеприведенное не означает, что другие три уровня бесполезны, в самом деле, выгода от их использования заключается в локализации проблем в учебном процессе:
Замечу о разнице между «информацией» и «возвратом средств». Измерения Мотивации, Обучения и Деятельности дает вам информацию для улучшения и оценки учебного процесса, который в бОльшей степени принадлежит проектировщикам обучения в компании; в то время как измерение Результатов дает вам показатель возврата инвестиций в учебный процесс, который больше связан с руководителями бизнеса.
Измерение Результатов может быть выполнено в подходе сбалансированных показателей (balanced scorecard) (Kaplan, Norton, 2001), которые показывают влияние или возврат инвестиций с четырех позиций:
Уровень второй - Деятельность
Данная оценка включает в себя тестирование способностей обучаемого включать приобретенные в процессе обучения навыки в работу. Эта оценка может быть выполнена формально (тестирование) или неформально (наблюдение). Она определяется тем, как отвечают на вопрос: Используют ли работники вновь приобретенные навыки в процессе работы?
Очень важно измерять деятельность, поскольку базовая цель корпоративного обучения улучшать результаты через передачу работникам новых знаний и навыков с тем, чтобы затем они применяли их в работе. Измерение деятельности должно быть постольку, поскольку работники делают свою работу; в измерении должен принимать обычно тот специалист, кто тесно связан с обучаемым: супервайзер, тренированный наблюдатель или интервьюер.
Уровень третий – Обучение
Это показатель того, насколько глубоко обучаемые усваивают знания, развивают навыки и изменяют установки и отношение как результат участия в учебном процессе. Оценка обучения обычно требует пост тестирования с целью установить, какие навыки были усвоены обучаемыми в течение процесса, какими навыками обучаемые уже обладают.
Измерение выходов учебного процесса важно с точки зрения валидизации цели обучения. Измерение обучения обычно сфокусировано на следующих вопросах:
Ассессмент обучаемых создается с целью убедиться в способности обучаемого выполнять деятельность. Есть два аспекта этого процесса: собственно сбор информации и данных (тестирование обучаемых) и оценка данной информации (о чем эти данные сообщают?). Данный ассессмент не следует путать с оценкой обучения (evaluation ). Ассессмент показывает прогресс и индивидуальные достижения обучаемых, в то время как Оценка обучения (evaluation ) в целом об оценке программ обучения (Tovey, 1997, p88).
Уровень четвертый – Мотивация
Оценка на этом уровне измеряет показатель, как обучаемые воспринимают и реагируют на процессы обучения и деятельности. Этот уровень измеряется с помощью опросника установок (attitude questionnaires – мотивационных опросников), предлагаемого после многих учебных занятий. Обучаемые чаще всего прекрасно осознают, что им необходимо, чтобы выполнить задание. Если учебный процесс не удовлетворил их потребности, то нужно определиться: или это ошибка педагогического проектировщика (специалиста, конструирующего учебный процесс в компании), или обучаемые не оценили преимуществ процесса.
Когда обучаемый приступает к изучению учебного материала, неважно, что это: eLearning, mLearning, аудиторные занятия или обучение через социальные медиа, он должен принять решение, на что, в первую очередь, он обращает внимание в этом материале. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка.
Критика
Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).
Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников. И это не единичный случай: от исследования к исследованию результаты показывают очень низкую корреляцию между Обратной связью и тем, насколько хорошо работники выполняют деятельность после прохождения обучения (Boehle, 2006).
Гораздо важнее, чем измерение обратной связи, как мы установили, является подготовка обучаемых к учебному процессу через беседы с руководителем о необходимости участия в обучения с последующим их сопровождением с тем, чтобы убедиться в усвоении навыков, переданных в процессе обучения (Wick, et al. 2006), и это еще одна из причин, почему «Обратную связь» надо поменять на «Мотивацию».
Четырехуровневая модель Киркпатрика применяется только после окончания учебного процесса. В то время как цель оценки должна заключаться в сопровождении всего учебного процесса, начиная с начальной стадии – стадии, предваряющей учебный процесс.
На самом деле, эта критика не является точной. К примеру, The ASTD Training & Development Handbook (1996), изданная Robert Craig, включает главу Киркпатрика с простым названием «Оценка». В этой главе Киркпатрик обсуждает контрольные группы, а также методы «до и после» (такие как пре- и посттестирование). Он продолжает обсуждать, что четвертый уровень должен включать пост-тренинг оценку три или более месяца спустя после окончания учебного процесса с тем, чтобы проконтролировать, как обучаемые стали применять навыки, полученные в ходе обучения. Далее Киркпатрик замечает, что Оценка должна быть включена во все стадии учебного процесса не только в течение каждой сессии или модуля, но и после каждого предмета или темы.
Модель четырех уровней работает только для аудиторного обучения, но не для других форм обучения
Как было замечено в части «Не только для тренинга» (см. выше), Киркпатрик писал о возможности использования модели четырех уровней для других типов обучения и HR, которая помогает обеспечить обслуживание процессы и формального, и неформального обучения, и где модель Киркпатрика выступает одной из основных моделей оценки. И может быть, настоящей причиной того, что адвокаты неформального обучения не видят пользы от применения модели Киркпатрика в том, что четыре уровня «были изобретены не под них».
Четыре уровня оценки имеют малое отношение для других подразделений компании и направлений бизнеса
Одна из лучших книг по обучению и развитию The Six Disciplines of Breakthrough Learning , написанная Wick, Pollock, Jefferson, Flanagan (2006). Они, видимо, выдвигают самую обоснованную, критику, что я видел: «К сожалению, эта модель не имеет широкого распространения среди менеджеров бизнес направлений, кто непосредственно связан с результатами обучения. Поэтому, когда руководители департаментов обучения пишут или говорят в терминах уровней оценки модели Киркпатрика со своими коллегами в бизнесе, то это это вместо прояснения чаще запутывает обсуждение и требует дополнительных усилий для выстраивания понимания между бизнесом и функцией обучения».
И вполне возможно, что данная критика направлена по сути не против самой модели Киркпатрика , но против тех из нас, кто выстраивает коммуникации с бизнесом. Мы говорим бизнесу: первый уровень показывает, насколько счастливы обучаемые от обучения, на втором уровне они успешно прошли тест и т.д. по всей модели. Кроме того, согласно исследованиям, которые я видел, результаты обучения используются редко (как раз то, что ценится бизнесом больше всего). Все другие уровни оценки могут быть полезны только в процессе проектирования учебного процесса, поскольку они помогают нам понять, какой тип оценки применить в какой проблемной ситуации. Тем не менее, за этими рамками, эти уровни никому не интересны. Большая часть менеджмента интересует лишь влияние обучения и ответ на вопрос: те ресурсы, что мы потратили на обучение работников, дают вклад в развитие и процветание нашего бизнеса?
Тип термина: Definition
Термин: Модель Киркпатрика
Альтернативные термины: -
Короткое описание: Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения
Длинное описание:
Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения:
Реакция (эмоциональный уровень)
Усвоение (уровень знаний)
Поведение (уровень навыков)
Результат
Реакция (эмоциональный уровень) - эмоциональная оценка обучения участниками. С одной стороны, положительная реакция как таковая не имеет большого значения, поскольку “понравившийся тренинг” отнюдь не означает “эффективный тренинг”. Он может никоим образом не изменить участников. С другой стороны, не стоит недооценивать этот фактор: удовлетворенность тренингом - это заинтересованность, внимание и позитивный настрой участников, необходимые для успешного обучения.
Усвоение (уровень знаний) показывает,какие знания, навыки, техники и методы усвоены участниками тренинга. Приобретение новых знаний является важным, но недостаточным результатом тренинга. Чтобы получить знания, не обязательно проходить тренинг - достаточно прочитать книгу или посетить лекцию. К тому же, само по себе приобретение новых знаний, без умения и желания их применять, часто не влияет на эффективность работы человека. Более ценным результатом тренинга может оказаться получение участниками «осознаний», так называемых «инсайтов», когда участник тренинга получает какое-либо знание не от тренера, а в результате анализа опыта, полученного в ходе какого-либо упражнения.
Поведение (уровень навыков) - изменение поведения участника в рабочей ситуации, применение им полученных навыков в рабочих условиях. Изменение поведения показывает, что участники на практике применяют знания и навыки, полученные на тренинге. Это важнейший показатель эффективности, поскольку основная цель тренинга - улучшение бизнес-показателей путем совершенствования поведения участников. Ведь новые знания и умения бесполезны, если их не применять.
Результат - выявляются измеримые результаты (например, улучшение качества обслуживания, уменьшение нерациональных расходов и т. д.). В компаниях обычно имеются данные о ключевых, интегральных бизнес-показателях, таких, как объем продаж, прибыль, затраты. Понятно, что проведенный тренинг не является единственным фактором, который влияет на эти показатели, существует много других факторов, как внешних, так и внутренних. И точно измерить вклад тренинга, например, в увеличение объема продаж довольно сложно, особенно, если это был тренинг по лидерским навыкам или по навыкам самоорганизации. Затраты на исследования этого показателя могут многократно превышать стоимость самих тренингов, поэтому этот уровень оценки рекомендуется проводить только в случае проведения долгосрочных и дорогостоящих программ.
В 1959 г. Дональдом Киркпатриком была предложена модель оценки эффективности обучения, которая на сегодняшний день является классической. По мнению автора, данная оценка позволяет решить три основные задачи организации (рис. 2.1.6).
Рис. 2.1.6.
Данная модель строится на четырех уровнях оценки эффективности обучения персонала (рис. 2.1.7) :
- 1) реакции слушателей на программу обучения, которая проводится путем анкетирования или оценки листов реагирования;
- 2) знаний и опыта, полученных слушателем на программе обучения - определение степени усвоенности полученных знаний с помощью тестов, задач, симуляции;
- 3) поведения на рабочем месте - данный этап является одним из наиболее сложных в оценке, поскольку эффект от обучения может быть заметен не сразу. Однако проведение обследования работы сотрудников на рабочем месте, проверки планов действий, степени понимания целей и задач как всей организации, так и отдельного сотрудника, позволяет выявить успешность обучения;
- 4) влияния программы обучения на деятельность организации. Происходит путем определения ключевых факторов, которые выявляют эффективность обучения (повышение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров). При этом важно знать точные данные этих показателей до обучения, т.е. к результатам относятся лишь те изменения, которые произошли после обучения сотрудников.
Рис. 2.1.7.
Несмотря на то, что Д. Киркпатрик был против финансового измерения эффективности обучения, в 1991 г. Джек Филипс предложил пятый уровень оценки, который определяет результаты четвертого уровня в денежном эквиваленте. Его модель - возврат на инвестиции - позволяет оценить разницу между полученной от программы обучения прибылью и затратами на обучение и определяется по формуле 1
Поскольку для многих работодателей решающим фактором в определении программ обучения сотрудников являются стоимостные показатели, то именно оценка ROI пользуется спросом ввиду возможности оценить образовательную программу как бизнес-инструмент, а также оправдать все затраты на обучение.
Как уже говорилось, современные работодатели рассматривают затраты на обучение персонала в качестве капиталовложений в будущий рост конкурентоспособности предприятия. Однако, чтобы затраты полностью оправдывали себя, необходимо качественно оценить показатели эффективности системы обучения. Кроме того, можно проанализировать внутренние и внешние факторы, способствующие использованию технологии оценки в организации, а также вероятные риски, сопряженные с проведением оценки эффективности обучения. При этом каждая группа рисков подвергается ощутимому влиянию со стороны организации-работодателя.
Например, снизить риски, связанные с несоответствием целей обучения запросам компании, позволит процедура их согласования с перспективами развития компании, окружающей средой, оценкой потребности в обучении на начальном этапе утверждения договора об обучении.
Снизить риски, связанные с низким качеством обучения, помогут оценка программ обучения специалистами отдела по работе с персоналом, оценка соответствия данных программ необходимым для выработки компетенциям, стандартам обучения (рис. 2.1.8). Проверке также могут подлежать специалисты, проводящие обучение, путем изучения их сертификатов, опыта работы в других компаниях, результатов деятельности.
Риски низкой мотивации сотрудников в обучении могут быть решены путем разработки качественной системы мотивации и стимулирования, определяющей зависимость между уровнем квалификации сотрудника и его карьерным ростом, а также материальным поощрением.
Виханский О.С. Стратегическое управление: учебник. 2-е изд., перераб. и доп. М.: Гардарики, 2003. 296 с.
Рис. 2.1.8.
Для уменьшения вероятности ухода специалиста из компании после прохождения обучения может быть заключен договор об обязательном сотрудничестве на определенный период. Кроме того, в рамках системы мотивации сотрудники, успешно прошедшие обучение, могут быть направлены для реализации или координации крупных проектов внутри компании, управления филиалами компании или другими структурными подразделениями 1 . Анализ возможных рисков при обучении персонала организации и способы их минимизации представлены на рис. 2.1.9.
Успешность осуществления обучения персонала в организации зависит не только от проведенной оценки эффективности обучения, но и от качества реализации каждого из этапов в определенной последовательности.
- 1. Подготовительный этап - определение стратегических целей организации в работе с персоналом, уровня готовности организации к инвестированию в собственное развитие, формирование ожидаемых результатов от обучения и методов их использования.
- 2. Определение потребности в обучении предполагает оценку информации о сотрудниках (стаж работы, рабочий опыт, базовое образование, принимал ли работник ранее участие в программах обучения или повышения квалификации); анализ данных о прове-
Лксенова О.Л. Проблемы и приоритетные направления при создании корпоративной системы обучения персонала организации. URL: http://www. treko.ru/show_article_1009
денных аттестациях; оценка существующих проблем в работе персонала, причиной которых служит отсутствие достаточных знаний и навыков; сбор заявок на обучение от руководителей подразделений, а также сбор предложений по обучению от сотрудников путем анкетирования; работа с кадровым резервом; планирование карьеры.
- 3. Обучение руководителей и сотрудников исходя из поставленных целей обучения, планируемых результатов в рамках стратегии развития компании.
- 4. Оценка эффективности обучения.
- 5. Анализ полученных результатов, корректировка учебных программ.
Рис. 2.1.9.
В условиях конкуренции на рынке труда стало очевидным, что проверка эффективности обучения лишь посредством субъективного оценивания изменения поведения сотрудника на рабочем месте не является достаточной и достоверной.
На наш взгляд, данная методика является несовершенной и поэтому требует доработки. Подходя к процессу обучения и его оценке как к формальной процедуре, работодатели забывают о том, что вкладывают в это немалые средства, хотя могли бы получать реальный положительный эффект от роста компетентности своих сотрудников.
Важным этапом в системе оценки должна стать оценка практических навыков (см. п. 4-5), а точнее - способность и возможность сотрудника применять полученные теоретические знания на практике. В организации должны быть созданы условия для реализации этих способностей, т.е. система обучения персонала должна строиться не по формальным признакам, а исходя из реальных потребностей развития тех или иных компетенций сотрудников, требуемых компании на данном этапе работы.
Методика оценки обучения персонала на основе интеграции оценки по модели Киркпатрика
На основе модели Киркпатрика представляем процедуру оценки эффективности обучения и разработанную нами методику оценки обучения.
Реализация процедуры оценки обучения включает в себя шесть основных этапов (рис. 2.1.10).
- 1. Оценка реакции слушателей или оценка удовлетворенности процессом обучения чаще всего проводится путем анализа листов реагирования или простого анкетирования, главными целями которого является определение уровня полезности тренинга, удовлетворенности от процесса обучения, работы тренера.
- 2. Оценка знаний и навыков подразумевает оценку степени достижения поставленных перед обучением целей. Главными инструментами на данном этапе выступают профессиональное тестирование, которое проводится и до обучения, а также экзамены в устной или письменной форме.
- 3. Оценка поведения на рабочем месте , является одним из наиболее сложных этапов, поскольку подразумевает оценку изменения поведения участников обучения на рабочем месте. Работа оценщика может заключаться в собеседовании в стиле коучинга, позволяющем определить понимание сотрудником своих трудовых целей и вклада в общее дело, а также в оценке общего социальнопсихологического климата коллектива.
- 4. Проверка владения полученных навыков путем обучения других сотрудников, проведение презентации для руководителей по вопросам учебной сессии, помощь в адаптации и обучении новых сотрудников, проведение презентаций с коллегами из других подразделений.
- 5. Поскольку владение знаниями не всегда сопряжено с возможностью их практического применения, то важным этапом оценки является оценка практических навыков. Она должна определять, насколько сотрудник готов к выполнению новых задач по результатам обучения. Вариантами проверки могут быть: создание плана мероприятий по совершенствованию какого-либо направления деятельности компании, создание типового документа, положения, стандарта работы, разработка и реализация проекта, направление в другие филиалы и подразделения для обмена опытом и др.
- 6. Оценка влияния программы обучения определяет, насколько изменились бизнес-показатели компании. Наиболее сложным является определение ключевых показателей, которые подвергаются влиянию со стороны проведенного обучения. Если речь идет о финансовых данных, таких как объем продаж, прибыль, затраты, то вклад тренинга измерить довольно сложно, поскольку проведенный тренинг не является единственным фактором, влияющим на эти показатели. То есть оценке подлежат производственные показатели (улучшение качества, увеличение производительности труда персонала, рост продаж, уменьшение количества несчастных случаев и производственных травм, снижение времени обслуживания клиентов, уменьшение производственных затрат и др.).
В условиях кризиса важным является также постсопровождение программы обучения, поскольку в динамично изменяющихся условиях возможность использования навыков, полученных в процессе работы образовательных программ, в практической деятельности может быть утеряна. В такой ситуации оптимально проведение доверительной беседы с сотрудником, объяснение причин сложившейся ситуации, совместная разработка альтернативных методов практического применения знаний (стажировка, управление проектом, получение опыта в других филиалах или разработка системы наставничества). Это позволит избежать демотивации сотрудников, падения уровня вовлеченности в трудовую деятельность, а также уровня лояльности по отношению к руководству и пониманию стратегии развития организации .
Рис. 2.1.10.
Таким образом, реализация всех этапов позволит провести качественную оценку эффективности обучения персонала организации. Однако нельзя забывать, что оценка - не самоцель, а лишь средство поиска недочетов в работе всей системы, зон совершенствования и развития или технология, доказывающая полезность обучения с экономической точки зрения.
Поскольку обучение персонала является довольно затратной процедурой, работодатели стали ответственно подходить как к выбору методик обучения, так и к формированию системы обучения в целом. Важным ее элементом стала оценка эффективности системы обучения персонала, которая позволяет соотнести затратность обучения с его эффективностью.
Использование усовершенствованной модели оценки эффективности обучения позволяет обосновать значимость обучения в общей системе работы с персоналом, определить рациональность использования тех или иных методов обучения, а также выявить недочеты на разных этапах проведения обучения и скорректировать программы для дальнейшей успешной работы компании.
- Удовидненко Р.С., Киреева В.С. Сравнительный анализ моделей оценки эффективности обучения персонала // Современные проблемы науки и образования. 2014. № 6.
- Турчинов Л.И. Кадровая политика и управление персоналом: проблемы теории и практики // Коммуникология. 2014. Т. 7. № 5. С. 103-117.
Четырёхшаговая модель Киркпатрика
по оценке результатов обучения
Позволяет оценить результаты обучения персонала, используя четыре шага и задавая соответствующие вопросы:
- Первый шаг модели Д Киркпатрика: Как участники реагируют на обучающее событие? Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками?
- Второй шаг модели Дональда Киркпатрика: Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия? Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения?
- Третий шаг модели Киркпатрика: Как участники применяют на рабочем месте то, что они узнали во время обучения? Изменили ли участники свое поведение на рабочем месте после обучения?
- Четвёртый шаг модели Д Киркпатрика: В какой степени по итогам обучения достигнуты намеченные результаты? Оказывают ли изменения в поведении участников положительное влияние на организацию?
Задавая вопросы, можно понять, какого качества обучение компания получила от провайдеров. Самым эффективным будет считаться обучение четвёртого шага.
При этом необходимо понимать, что в случае если ответы на вопросы будут оцифрованы, то это касается 2, 3, 4 шага. В таком случае идеальным обучением будет считаться обучение 4 шага, имеющее экономические характеристики эффективности предприятия.
Эффективная позволяет проводить объективную оценку обучения персонала с определением основных неточностей и проблем.
