培训评估的若干问题思考

天涯禅师

       常诚 曾经发过两个帖子：Phillips的“五级六指标”模型运用、培训效果评估中需要注意的地方之一。看完后，觉得很不错。（点击可直接进入查看该贴）

      最近我和公司几个咨询顾问在探讨培训评估的问题。讨论完之后，大家都Kirkpatrick的四层次理论、Phillips的五级六指标虽然肯定了其对于培训评估方面的作用，但对其也有不少的质疑。我简单的归类了一下。主要体现在下面几个方面。

      挑战一：Kirkpatrick的四层次理论、Phillips的五级六指标不能监测出企业所真正需要的培训。

Kirkpatrick的四层次理论、Phillips的五级六指标尽管能解决培训评估中的若干问题，但不能解决培训评估的根本问题。

      举例：在反应层面的评估中，评估的是学员对整个培训的反应，得出的结论必定是学员自身的感受。例如，某公司一直重视技术的培训，忽略了对管理控制和计划方面的培训，但员工觉得技术培训提升了自身的技术，在反应评估阶段必定是认为培训各方面很不错。但培训方向的缺失员工自身却无法意识到。

      挑战二：ROI如何剔除非培训因素所带来的收益，以及ROI市场对标的问题。

        Kirkpatrick的四层次理论、Phillips的五级六指标不能解决培训的根本目的，培训的最终检验必定是员工的绩效。绩效是监测培训效果的最有说服力的标准。然投资回报率尽管是一个数字比例，表面上很量化，但实际上主观的因素仍然很大。比如投资回报不是简单一个企业总收益就能反应的，投资的回报要剔除许多与培训无关的收益，比如机器的更新所带来的收益，市场的变化所带来的收益……等等，这些收益如何做到精确化是一个问题。另外就是大致算出一个稍微比较靠谱的ROI，与市场对比的标准如何确定，什么样的ROI才算是合格，什么样的ROI才算是优秀，什么样的ROI才算不合格。

      挑战三：在培训的改进方面，无法量化某一因素对培训结果的影响程度。

      实证研究更多的讲究数据的信度、效度以及相关性，便于做有针对性的改进。而Kirkpatrick的四层次理论、Phillips的五级六指标只是一套评估的工具，它没有解释影响培训效果评估各因素之间的相关性。

      比如学员对培训讲师不满意，是否改善了学员的满意度，培训的效果就一定好呢？具体好多少呢？学员的满意度与培训结果之间存在何种相关性，其显著性高吗？

      如果我是企业老板肯定会问：培训满意度每提高10%，培训的投资回报率能提高多少？因为经营者都关注每一个策略实施后，所带来的利益。

        Kirkpatrick的四层次理论、Phillips的五级六指标不能解释和回答这个问题。

      这就面临一个问题，评定培训结果的标准和依据是什么？如果是ROI，那么影响ROI的驱动因素是哪些？它们跟ROI有什么相关性，其信度和效度如何保证？

      问题： 就以上提出的几点挑战，大家能谈谈个人的想法吗？

一叶碧云

偶先占个沙发再说：）

yaoming3

培训的最终检验必定是员工的绩效。我不同意该观点。比如对员工工作态度的培训，我们教的是如何帮助他在工作组保持良好的心态，但对于员工工作态度的绩效评定，主动权掌握在其上级主管手中，员工与其学习高尚的道德不如学习如何逢迎拍马更实际。

天涯禅师

yaoming3 发表于 2011-10-13 09:44
1 s$ e4 F( f+ N0 [* g培训的最终检验必定是员工的绩效。我不同意该观点。比如对员工工作态度的培训，我们教的是如何帮助他在工作 ...

感谢拍砖，呵呵，还是对我得观点持保留态度。对于工作态度的培训，企业首先期望的是员工端正工作态度，这是表面的期望，更深层次的期望是工作态度转变后，给企业所带来的收益。而这种收益也就是员工的绩效。最终培训还是靠员工的绩效来检验。但态度转化为绩效如何衡量的问题是个难题。
! }! u1 R: Y5 c( X' ^6 M* q所以不少企业在评定态度培训的效果的时候，习惯用态度的变化来衡量。比如培训前，员工工作态度一般，培训结束后，工作态度积极。
9 d8 J! i8 M: L2 B另外你说态度的评估，是逢迎上级。我不太认可，态度这个指标可以进行定性分级，甚至可以举出一些行为示例来，这样能尽量减少主观因素。还有一种解决办法就是360评估，或者180度评估，都能使态度评估减少主观因素。

乐桃儿

5 a" p8 v& `' u; ]
汗。。我来编辑啦。有挑战，谈谈假设性的想法，哇哈哈哈
' C$ ~2 F4 R' [7 Q' P  S' p————————————————————
挑战一：Kirkpatrick的四层次理论、Phillips的五级六指标不能监测出企业所真正需要的培训。

培训的问题现在也是我一直在研究的东西，培训的宗旨是围绕3个重点“知识；技能；态度”，企业跟随市场行业变化而变化，我觉得应该没有办法一锤定音就能在前期归纳出企业真正的培训需要，以唯一的不变就是变的策略方针，如果让培训呈现的状态比较灵活，会不会好一些？如果能够剖析企业运营现象和预估发展方向，分析组织结构的状态，针对型的进行培训策略变化，培训战术实施，会不会要实效一些呢？

挑战二：ROI如何剔除非培训因素所带来的收益，以及ROI市场对标的问题。

曾经我有个天马行空的想法就是能不能通过有效数据得出每个员工与公司的ROI，哇哈哈当时当场遭到数人鄙视。对于经营成本上的ROI可以换算，但是针对人力这块的层层环节导致数据遗漏以及工程的庞大很让人退避三舍。从企业的总成本里去挖掘由大到小由面到线再到点的逐一去核算这个应该可以实现吧，其实有些数据可能对不起观众，表面看到可能是亏损，不过这就要根据市场的变化进行深度上的比较了，如果这部分能够提升企业未来发展的竞争核心力，相比之下应该是产出了吧。

挑战三：在培训的改进方面，无法量化某一因素对培训结果的影响程度。

现有的培训很多都来自“教科书”都是有先辈提出来的观点，然后都尝试着进行，唯一不同的就是在这本教科书上有企业做的好，有企业做的不好。如果能超越教科书的框架局限，对自身企业的需求上面量体裁衣，阶段性的来评估结果呢会不会要好点点噢？

____________________________________

评定培训结果的标准和依据是什么？

个人觉得培训结果的标准应该是根据“花钱要区分"投资"行为或"消费"行为”来衡量吧，这就会延伸到第2个问题，如果是ROI，那么影响ROI的驱动因素是哪些？

单纯的ROI就是鸡生蛋还是蛋生鸡的问题，但是如果运用“客户价值”来解释的话，有这样的说法：企业20%左右的“常客”为公司带来超过50%的营业额和80%的毛利。而这些老客户的“不忠”，会导致公司收入及效益的大幅滑坡。因而，老板应时刻回答一个问题：我是否给了客户忠诚于我的理由？培养老客户的忠诚比赢得新客户更容易。招募新客户就是消费行为，培养老客户就是投资行为。

它们跟ROI有什么相关性，其信度和效度如何保证

我还是觉得任何行为都会产生价值或附加值，企业应该吧员工当做客户来对待，应该就不会那么纠结了。引用商业模式的几点来总结就是：

谁付你钱—客户;

给客户啥好处—价值;

如何让客户掏钱—营销;

你如何将价值送达客户—渠道

你有多少种赚钱方式—产品线;

你需要花费才能赚到钱—成本结构

植入到培训对于企业的几个问题考虑，要是依据经济上面来转化的话，“新的自己=钱+原来的自己。数学等式换算一下，钱=新的自己-原来的自己”是不是会好些呢？

常诚

这个问题，我现在有空看见，给你提供一本书：《Handbook of Training Evaluation Measurement Methods》。这本书是1983年出版，到现在，有第三版出来了。对你的这些问题，都有详尽的解释。
" T+ @# R% v8 k* M3 `或者，你可以看看《The Value of Learning》。这本书也是在上面那本书的基础之上，形成的！目前这个方法论，被全球超过3000组织所用。

乐桃儿

常诚 发表于 2011-10-20 17:57
: ?" U" ?3 a( B+ K这个问题，我现在有空看见，给你提供一本书：《Handbook of Training Evaluation Measurement Methods》。 ...

9 ]8 l# P! M+ M' u$ v0 @# [全英文的书么？

碧池生春草

会有多少人真实的回答调查问卷？

榆杨

碧池生春草 发表于 2011-10-24 13:47
5 H2 Z: a9 i1 c! H3 g会有多少人真实的回答调查问卷？

诚恳的态度是对调查者信任的前提，也决定了回答的真实性

榆杨

yaoming3 发表于 2011-10-13 09:44
培训的最终检验必定是员工的绩效。我不同意该观点。比如对员工工作态度的培训，我们教的是如何帮助他在工作 ...

' c; M! N2 l* r1 n& `绩效的评定需要多长时间？