求教：因子分析与主成分分析作为降维方法的运用

maureenlmh

Dear Kenneth：
: D$ I$ X& K8 D: |; P6 L  a我论文的研究问题是：哪些主要因素影响了地方人大预算监督的强度？
' }, N9 _# j$ ?" f由于我所研究的问题，在我们的学科中并没有现成的量表（国外有类似的研究，但由于制度的差异极大，国外用以测量立法机关预算监督强度的指标如果直接用于测量中国地方人大，则结果几乎不具有差异性；而国内本领域未有此类定量研究），所以我构建了一个评估指标用以测量地方人大预算监督的强度（一共有58个指标）。对于研究的主要因素，我根据现有的文献和理论，构建了一个“行动者的自主性-行动空间”解释框架，其中自主性包括了行动者的角色认知、阻力认知、法律赋权、组织能力和领导者态度五个变量，行动空间包括党委支持、政府合作、公众预算监督需求、政府内部预算控制和审计监督五个变量。这10个解释变量中，法律赋权是通过对各研究样本的预算监督法规进行内容分析，量化取值得到；审计监督是通过相关统计年鉴获得其2005-2008连续四年的审计机构在职人员数和每年获奖审计项目数进行测量。其他8个变量均是通过相关的问题题项，与Y的58个指标一块，在同一份问卷中，面向全国80个省市（有立法权的）的地方人大进行了问卷调查。这些通过问卷调查所获得的指标，大部分是采用likert五点量阶设计选项。（具体的问卷请参见附件）
& n$ o" H8 ~  R3 }4 S0 t+ K我的问题是：
1.对于Y，我采用的是各指标平均值的方式，是否合适？
# K+ n+ j, G, ]7 q6 b% P( V9 P2.对于8个通过问卷获得数据的解释变量，我是用SPSS中的因子分析来进行的。但这里就涉及到我最大的困惑。
例如，对于政府合作这一变量，我在设计之初，就考虑到在预算监督领域，来自于政府的合作会包括有两个方面：一是政府领导人的合作；二是财政部门的合作。所以，我在操作化时，就分别设计了不同的题项了解这两个方面的合作程度。在数据处理和分析时，我将这两个方面共计17个题项进行了因子分析（用了主成分方法，正交旋转），得到2个公因子，各题项的负荷情况，也与设计理念相吻合，我将两个因子分别命名为“政府领导合作因子”和“财政部门合作因子”。因此，我用了SPSS软件因子分析得到的这两个因子值，并用如下公式得到了一个综合因子值，即F综=（F1*第一个因子解释的方差比重+F2*第二个因子解释的方差比重）/两个因子解释的总方差比重。
; Z/ @9 k0 y$ H9 v* N: M! s在最后的多元回归分析中，我将该综合因子值作为“政府合作”的取值进行回归。
! f  H8 B. V% J* d1 ~我这样做是否可行？
2 S) B+ l( {& z% Q3 H6 p另外，对于公众预算监督需求这一变量，我设计了8个题项，同样用SPSS进行降维分析时，我选了“主成分方法”，得到一个主成分，解释了63%的方差。每个题项的载荷都超过.60。因此，我用了这个主成分分析得到的值，然后用如下公式计算：C=F（SPSS所生成的未旋转的值）* 方差贡献的平方根
& V$ ]( ?( i2 m  h' o6 x然后，我将这一计算得到的值作为公众预算监督需求的取值，同样运用于回归分析。
这样做是否正确？
5 |  q3 I: g0 N( A1 U+ O% o7 Q我将前一种叫做“因子分析”，后一种叫“主成分分析”（CPA），是否有误？
- B; `% r: W! w! u4 H其实，我的主要的目的只是要获得各个变量的取值，即是将由若干个题项所共同测量的一个变量，通过因子分析和主成分分析这两种降维方法，得到相应的取值和排名。
不知道学生是否有将求教的问题讲清楚？
5 b7 ?9 _* C7 ]: ~2 X) H# M期盼着老师能够抽空帮我指点迷津！
感激不尽！
2 t9 K: y/ r: T: k

Kenneth

回复 1楼 maureenlmh 的帖子
1. 如果y指标全是测量“同一个”构念，平均是可以的。不过也要做一下CFA以确定结构。
2. 为什么不把两个因子看成是两个构念（变量），由回归分析（也就是数据）来决定比重？这总比用主观的用“因子解释的方差比重”好吧。
+ Z* x. ?9 P+ B$ C. b/ @) W" V7 _3. 关于“公众预算监督需求”，不如就在SPSS中要求程式计算“因子数”（factor score）给你就好了，不用这么复杂了。
4 i! ~$ X' x" q9 R6 R3 ]8 J4. “主成分分析”是“因子分析”中抽取因子的其中一个方法，不用这样划分了。
5. 但是注意不要把每一个构念分别作因子分析。要把所有的同一个源头的数据一块做因子分析，这样的因子分析才有意思的。
1 h+ S( [' L1 {1 a4 ^希望对你有帮助吧。

" G3 U! m1 q+ B   

rwxld

kenny，您好！看了你对maureenlmh的解释，我有两个疑问。
1、如果y指标全是测量“同一个”构念，平均是可以的。不过也要做一下CFA以确定结构
如果CFA显示Y是两个因子的结构时怎么处理呢？是不是也要用两个因子构造一个复合变量（composite index）再进行后续分析呢？
3 D7 d3 G9 m  E0 N2 O! b5 r  q) u2、为什么不把两个因子看成是两个构念（变量），由回归分析（也就是数据）来决定比重？这总比用主观的用“因子解释的方差比重”好吧。
; e& x' n. U9 W9 T  H, A* _; a    您的意思是在由F1和F2构成F综时，F综=F1*回归系数+F2*回归系数 ？
  p4 T8 K$ r# U! g4 G8 r    如果是的话，回归系数是谁和谁回归的系数呢？
对不起，又问了你这么多问题，我最近在做一篇论文，以前不懂得实证分析，这是我看了你的博客后写的第一篇有实证分析的论文。由于找不到现成量表，我自己编题目测量解释变量X，数据分析显示X有2个维度（因子），记得你曾经说过如果在某个概念的层面上分析，就不应该以其维度去证实，我同意你的观点，所以想用两个维度构造一个新的变量，但不知如何做。我上网没有查找到如何构造复合变量的相关资料，又找不到人问，只好又麻烦你了。

Kenneth

回复 3楼 rwxld 的帖子
" \( U$ S( _6 p% @1 j! U' Wrwxld,
1. “如果CFA显示Y是两个因子的结构时怎么处理呢？”
那代表你的项目根本不是在量同一个構念，如何能把它们平均呢？不要讲平均，就算是加权平均（你所谓的复合变量）也是不可以的。
/ |' ?7 C2 M9 H2. 要么是：
2 P/ _, a  H+ E; x! K$ b+ d5 F& ]* ty = a0 + a1F    (F 是用任何形式的主观地把F1与F2加权，变成一个F)
要么是：
y = b0 + b1 F1 + b2 F2
3 C- Q9 b1 H4 Q# z9 _$ V( G我的意思是后者。
' h( z, d0 u1 ?+ N: a* N* |4 I; }$ ]
9 ?% ?, Q* d. z, F4 Q; N   

rwxld

kenny好，没想到你这么快就回复我了。对于你的答案，我还有一点点疑问，也可能是我没有把问题说清楚。
假设我有一个因变量Y和一个自变量X，我设计了8个item测量Y，10个item测量X。收集到数据之后发现测量Y的8个项目落在了两个因子上，前4个item是一个因子FY1，后4个item是一个因子FY2；测量X的10个item也落在了两个因子上，前5个是FX1，后5个是FX2。
1、我可不可以理解成Y有两个维度，X也有两个维度？还是测量Y的8个item只能落在一个因子上，测量X的10个item也只能在一个因子上，否则就是测量设计有问题？
1 s+ M, ~. V* X/ \2、如果可以理解成Y和X各自有两个维度，我是否应该用FX1和FX2构造一个新的变量去代表X，同样用FY1和FY2构造一个新变量去代表Y，然后做回归：Y=a0+a1X
3、你说“F 是用任何形式的主观地把F1与F2加权，变成一个F”，我是看到maureenlmh 朋友提到的新变量产生方法“F综=（F1*第一个因子解释的方差比重+F2*第二个因子解释的方差比重）/两个因子解释的总方差比重”很复杂，查了资料也找不到构造新的变量的方法及其依据，所以一直期待你对maureenlmh 朋友这个帖子的回答。根据你的说法，这个转换方法是主观的。所以我想我们可能有一点误会，因为maureenlmh 朋友问的是如何将两个因子F1和F2变成F，你的回答是不用变，用F1和F2作为两个自变量去做回归就可以了。而我却把你的回答理解成了先用一个回归产生F1和F2的权数然后构成F。
4 F9 |9 L6 r; {! ^" F% }8 Y4 a这回理解对吗？
) i+ k5 c! X& y( y* ~4、记得你以前在一个帖子里说过“当有因变量Ｙ，自变量Ｘ１，Ｘ２，Ｘ３，Ｘ　４等等，如果自变量Ｘ１，Ｘ２，Ｘ３和Ｘ４之间互相相关系数差不多，并且这些自变量分别和Ｙ的相关系数也差不多，那么这些自变量分别和Ｙ都相关，却在回归时有一部分不显著，此时可以将这些自变量变成一个复合变量，再做回归”，那么这个复合变量是怎么产生的？是不是也像上面说的一样，用任何形式的主观地把Ｘ1，Ｘ2，Ｘ３和Ｘ４加权，变成一个新的Ｘ，再做Ｙ对Ｘ的回归？还是说不是纯粹主观，而是有一定的转换依据？

jkliang

rwxld，看完您的問題我的想法是，首先您在定義變數X和Y的時候，根據所引用的理論或觀點，這兩個變數X和Y是否就是個多維構念呢？變數的維度應該也是由理論或觀點出發，而不能僅用數據來判斷，至少我的想法是如此，除非您的研究真是無任何的理論觀點，非得由數據才能確定不可，不過我記得Kenny與黃熾森老師的一篇文章，有關大陸企業的議題，到最後reviewr也建議他們引用一個理論，所以是否想想有適當的理論嗎？進一步再想維度的問題。如果這個確立後，就可依照Kenny之前文章提到的多維度構念的3種類型，進行後續的研究處理，供您與大家參考討論。

rwxld

谢谢jkliang，我想理解了你和ｋｅｎｎｙ的意思是一样的，就是说必须理论上是多维的，数据也是多维的，才可以。否则，理论是一个单维构念，数据却是２个因子，那么就是设计有问题了。也就是理论和数据都吻合才可以。
4 l3 t) O" U1 w2 c那么我还有一个疑问，就是我有Ｘ１，Ｘ２，Ｘ３三个自变量，如果这三个自变量之间相关，并且都和因变量Ｙ相关，如果对Ｘ１，Ｘ２，Ｘ３进行ＥＦＡ，发现ＫＭＯ等检验表明适合因子分析，有一个因子Ｆ１提取出来，我可不可以用Ｆ１代替Ｘ１，Ｘ２，Ｘ３做回归：Ｙ＝ａ０＋ａ１Ｆ，也就是说，上述情况下，ＥＦＡ的作用仅仅是ｄａｔａ　ｒｅｄｕｃｔｉｏｎ，而不是去探索数据结构呢？

Kenneth

回复 5楼 rwxld 的帖子
: o9 |+ l- r4 |# P5 J5 g7 m; B4 Y& Frwxld,
9 c2 |* \* Z) e. E9 v1. 谢谢 jkliang 回答了你的问题了。
& G/ v; N1 h! h8 z, K2. 把维度建构成一个“二阶构念”是可以的，你可以考虑用我们AMR（Law, Wong & Mobley, A taxonomy of Multidimensional Constructs）中讲的latent model或aggregate model或profile model。但是问题还是你的假设到底是在构念层面的，还是在维度层面的？你的理论到底容许你假设到什么层面？
3. 对的。
4. 如果理论容许，符合假设的话，你可以考虑 canonical correlation 或是 principal component analysis.
( u/ }0 S/ j4 D; H# C5. 接着第4点，也顺便回答你的jkliang的问题。因子分析当然可以作为一个variable reduction的工具。你问我可以可以，答案是肯定可以的。这就等于问在回归分析中，能否随便放进一些变量，以增加模型的R-平方。理由是回归不竟是一个预测y变量的方差的工具嘛。我的答案是肯定可以的。问题是什么呢？问题是到底你想做什么？你的目的完全是预测y，自然可以随便放一些自变量，看看哪一个有用。但是，你的目的如果是理论验证的话，就绝对不可以这样了。同样的，因子分析是一个减少变量的统计工具，但是在CFA（甚至有时在EFA）中，它的主要工作是验证因子结构。如果是这样的话，你就不可以随便的把不同的项目、维度合起来了。
2 f- ]$ X" u/ S7 Y我举最后一个例子。自然「工资满足感」和「主管满足感」都是「工作满足感」，我们可不可以把前两者加起来，作为后者的估计呢？是可以的。问题是你的假设到底是：「主管满足感影响Y」还是「工作满足感影响Y」？
5 f2 J8 I5 _5 g5 S7 V: @- k' r
   

rwxld

    再次感谢kenny和JKliang的回答。
" j( T, t) t4 K! A* J
$ K2 h; X% x, x+ B! G5 I$ E' M+ B3 f    我的理论是符合主成分回归（principle component analysis）的，也就是我的X1，X2，X3和X4在理论上是可以合起来的。我是把这4个变量放在一起提取了一个因子F，然后用factor score作为F的取值做的回归。但是看到1楼maureenlmh用的那么复杂的方法我对自己的做法有了怀疑，所以来问。

    其实我想maureenlmh朋友可能和我的问题一样，就是在理论假设合适的情况下，如何将多个应该合并的变量转变成一个变量？我直接用的factor score, 他用的加权的办法，我没有看懂他的方法，也不知道我的方法是否太简单了。

$ z( ^1 t1 T0 a    语言有时候真的是苍白的，要把一个自己想问的问题很精确地表达出来真的很难。真的很感谢kenny，很多时候因为我们没有表达清楚，你都是边猜边解答。
1 F5 i  s. R) P; b3 @* _

maureenlmh

看了kenny的回答之后，我自己就一直在努力去理解和吸收，在自己还不能确定是否准确理解了kenny的意思之前，也不敢跟帖讨论。非常感谢rwxld契而不舍地继续求教，让我也能够在你来我往的讨论中，一点点地领会。
9 D+ g1 U$ v0 D" ^% k) v其实，我的研究问题，既考虑了在Y这一构念层面上与若干X的关系，也考虑了Y所包括的三个维度与这若干个X的关系（后面这一考虑，或者在我们的学科中，是指的更进一步地理解X影响Y的作用机制，即X对Y有影响，并且，对构成Y的各维度也有不同的影响）。所以，我在设计Y的测量项目时，也是从三个维度出发，分别设计了各个维度的若干个item，然后进行问卷调查的。数据回来后，我用了SPSS进行因子分析，由于item数量太多（58个），并且由于最致命的是样本量的限制（因为我研究的是组织机构），所以若用因子分析提取3个因子的话，只能解释较小的方差变异量。抛开这些不讲，如果我坚持自己的理论，得到了3个因子值，现在的问题就在于，我如果是在维度的层面上进行回归分析，则可以直接用SPSS生成的factor score；但如果我要在构念的层面上进行回归分析，该如何操作呢？（BTW，我最初只是考虑如何将问卷所得到的各item的值形成Y的取值）