请教Kenneth有关验证信效度抽样的问题

Xanadu-uiwltkyr

尊敬的Kenneth，您好！
! d( a; Z7 m/ ~. R+ y; @    我正在做一个验证某国外压力量表的研究，想验证该量表在中国职业群体中的信效度，为了提高量表的适用性，我倾向于选择更多的职业群体为样本，有一段时间之前也请教过您，您给我的答复是如果在一个群体中做的话可能方差会较小，那就死定了，我理解您的答复应该也是多跨几个群体。
    所以我就在医院、学校、旅游业（酒店等接待单位，以酒店为主）、银行、物流公司、制造业公司发放了问卷，共回收有效问卷490份（男性203人（41.43%），女性287人（58.57%）；医生、护士及医院辅助科室工作人员共144人（29.39%），高职院校教师和辅导员共47人（9.59%），银行柜面服务人员34人（6.94%），旅游企业从业人员共132人（26.94%），物流公司从业人员共57人（11.63%），制造业公司从业人员共76人（15.51%）；被试最小年龄17岁，最大年龄59岁，平均年龄为32.53岁（SD=8.36）；平均工龄为90.63个月（SD=106.50）。）
    然后，收到的外审专家的退修意见是：量表的验证非常注重适用人群，认为我的做法并没有增加量表的广泛适用性，认为调查对象的职业比较杂，认为关键是即使多选几种职业，也不能代表所有职业。  还说，如果样本量大、每个亚群体的样本量达到足够的数量，抽样方法比较合理，有足够的代表性也许能部分达到我的目的。看到这儿，我好像觉得，是不是我在每个亚群体中补充样本量，大概也不能令他觉得合理？因为我主要是通过关系找到单位的领导发放问卷的（您知道，事实上这大概是回收大量问卷最有效的方法了，毕竟这不是在学校找学生做，很多单位根本不可能找到员工让人家来做问卷，只能得到零星的一些问卷，我也试过这种方法），而这种方法被该专家质疑为抽样方法不合理，是方便抽样。其次，我也不知道每个亚群体人数的最小样本量应该是多少，该专家指出对于这点并不清楚，并要补充说明确定样本量的依据，证明目前的样本量对于信效度验证有把握。
      尊敬的Kenneth，我还真不知道做这样的研究确定样本量的依据是什么，有些书上写的不知道怎样在实践中应用。还有，不知道我是否应该和该审稿专家商量一下，再补充样本量，只是我也不知道要补充多少才合适。您能给些建议我吗？非常感谢您！祝您一切顺利！此致
+ S" c. f9 r/ b7 y) t* o敬礼！
    哦，另外，还想请教您一个问题，使用国外学者的量表需要征得人家的授权同意，可是如果联系不上这位学者，那该怎么办？是否研究就只能中断？
- ^1 y- |9 }+ o. P4 Q      再次感谢您！
, t5 Q7 Q  B# [1 O3 w0 `% X4 b

Kenneth

Xanadu-uiwltkyr,我猜有两个可能。

第一个可能是他是统计的专家，与我们做实战研究的人要求不同。
& K; u3 D& @1 b
如果要验证你的压力量表的有效性，自然是在不同的人群中，都试试这量表是否有效。不然，如果在医生中有效，你如何知道在老师中都有效？所以，用单一样本有好处（结论清晰，不会有其他的可能影响），但是不同样本也可以保证量表的多用性。我看不见有什么问题。

至于方便取样，这是管理研究的特征。能够找绝对适合的样本自然好，可是大部分情形，我们都是用方便取样的。只要这个“方便”的取样不会明显的造成什么偏差就好了。
- c5 _; g' N( h2 S$ D+ J) x5 E
' M  l, M. Q! j8 n# r至于所谓“证明目前的样本量对于信效度验证有把握”，这明显是搞统计的人才会想的问题。我猜他的意思是对应不同的 effect size 和 统计项，我们都可以计算出要表现这个 effect size 所需要的样本数。比如当相关系数是0.9时，可能样本数是150 就足够找到显著的相关系数。但是如果总体的相关是0.0001的话，你的样本数可能就要超过1000 才可能可以找到显著的结果。越小的effect size，需要的样本数就越大。但是，这是针对过小的样本数，就算总体的effect size (比如相关系数)是不等如零，你也没有能力（statistical power）去把这个不是0的effect size表现出来而已。因为样本数太小，你总会发现结果是不显著的。

第二个可能性是，这个所谓外审专家，可能根本不知道自己在说什么，只是以为身为评委，就要尽量找理由去批判你的研究。可能是我才疏学浅。我倒看不见压力量表有什么所谓适合的亚群体。这个评价唯一可能合理的情形，就是叫你去找一些特别有压力的行业。可是没有行业是不会有什么压力的。所以我完全同意你说。我不知道什么叫做“适合”的亚群体。

. J. {& a- O- S4 _; c+ M) i) ^0 p再者，如果你的结果是统计上显著的话，其实也没有statistical power的问题。所以我也不知道他讲的是什么意思。
7 a4 q' L# o/ u0 j& x, D. a. ~. I
. q3 [8 r# I- Z' A讲了这么多，具体意见是：
1.        随便找一个理由，比如找出几个压力可能是比较大的行业，或者是你的研究问题比较合用的行业，称他们为“适合”的亚群体。稍微加大样本。我个人不觉得有这必要。但是如果你要满足评委的话，你没有选择。
2.        看看 Cohen and Cohen 的 statistical power 一书。尝试计算你得到的相关系数（也就是评委说的效度），如果要一个你说假定的power的话，所需要的样本数。这一点完全是为了满足评委的需要。我个人对是否要如此做很怀疑。

9 ]" e. U- M+ \+ m2 E& y& D
最后，我的理解是，如果量表是在open domain，比如项目已经打印在文章中，你就可以随意引用，只是一定要说明出处就好了。
5 d2 |/ ~, i3 c. |0 x  M) Y4 D; K

Xanadu-uiwltkyr

尊敬的Kenneth，真的不知道怎样感谢您详细的答复！只能再一次全身心诚挚地祝福您和您全家！
9 {8 X/ z* x7 b4 N4 X4 d感谢您，我又学到了很多东西，非常感谢！
9 c# |' e+ C- ^7 v& G& N另外，虽然我实在找不到第一作者的消息，但是辗转找到了第二作者，她已同意我使用量表。还有，其实按照您说的，他们的量表确实是在文章中打印出条目的，我是可以随意引用的，嘿嘿，又让我长见识了，非常感谢您！

Kenneth

其实以我的理解。当一个人把文章投到杂志上后，版权就自然归于杂志所有（他们接受文章时你要签字的）。作为读者，你订了杂志，看到的它的内容，就应该引用。如果有法律诉讼，要告你的话，也不会是作者，应该是杂志了。:-)

Xanadu-uiwltkyr

哦，恍然大悟，太有道理了！嘿嘿，非常感谢Kenneth！