请教Kenneth有关验证信效度抽样的问题

Xanadu-uiwltkyr

尊敬的Kenneth，您好！
    我正在做一个验证某国外压力量表的研究，想验证该量表在中国职业群体中的信效度，为了提高量表的适用性，我倾向于选择更多的职业群体为样本，有一段时间之前也请教过您，您给我的答复是如果在一个群体中做的话可能方差会较小，那就死定了，我理解您的答复应该也是多跨几个群体。
    所以我就在医院、学校、旅游业（酒店等接待单位，以酒店为主）、银行、物流公司、制造业公司发放了问卷，共回收有效问卷490份（男性203人（41.43%），女性287人（58.57%）；医生、护士及医院辅助科室工作人员共144人（29.39%），高职院校教师和辅导员共47人（9.59%），银行柜面服务人员34人（6.94%），旅游企业从业人员共132人（26.94%），物流公司从业人员共57人（11.63%），制造业公司从业人员共76人（15.51%）；被试最小年龄17岁，最大年龄59岁，平均年龄为32.53岁（SD=8.36）；平均工龄为90.63个月（SD=106.50）。）
    然后，收到的外审专家的退修意见是：量表的验证非常注重适用人群，认为我的做法并没有增加量表的广泛适用性，认为调查对象的职业比较杂，认为关键是即使多选几种职业，也不能代表所有职业。  还说，如果样本量大、每个亚群体的样本量达到足够的数量，抽样方法比较合理，有足够的代表性也许能部分达到我的目的。看到这儿，我好像觉得，是不是我在每个亚群体中补充样本量，大概也不能令他觉得合理？因为我主要是通过关系找到单位的领导发放问卷的（您知道，事实上这大概是回收大量问卷最有效的方法了，毕竟这不是在学校找学生做，很多单位根本不可能找到员工让人家来做问卷，只能得到零星的一些问卷，我也试过这种方法），而这种方法被该专家质疑为抽样方法不合理，是方便抽样。其次，我也不知道每个亚群体人数的最小样本量应该是多少，该专家指出对于这点并不清楚，并要补充说明确定样本量的依据，证明目前的样本量对于信效度验证有把握。
      尊敬的Kenneth，我还真不知道做这样的研究确定样本量的依据是什么，有些书上写的不知道怎样在实践中应用。还有，不知道我是否应该和该审稿专家商量一下，再补充样本量，只是我也不知道要补充多少才合适。您能给些建议我吗？非常感谢您！祝您一切顺利！此致
* E( d( V  r+ s: I6 [  C) ^. p敬礼！
; p; b, W1 i% Z# q    哦，另外，还想请教您一个问题，使用国外学者的量表需要征得人家的授权同意，可是如果联系不上这位学者，那该怎么办？是否研究就只能中断？
      再次感谢您！


& [4 o3 |! y- a, W% u8 j
1 L$ y# a, S. |' ?

Kenneth

9 i( }5 ?4 s! `0 ~' x6 L1 Z0 cXanadu-uiwltkyr,我猜有两个可能。

; e9 `( t% Q: [/ B6 T# x) m第一个可能是他是统计的专家，与我们做实战研究的人要求不同。

9 t1 }, l' l. G: R( c  j% c如果要验证你的压力量表的有效性，自然是在不同的人群中，都试试这量表是否有效。不然，如果在医生中有效，你如何知道在老师中都有效？所以，用单一样本有好处（结论清晰，不会有其他的可能影响），但是不同样本也可以保证量表的多用性。我看不见有什么问题。

至于方便取样，这是管理研究的特征。能够找绝对适合的样本自然好，可是大部分情形，我们都是用方便取样的。只要这个“方便”的取样不会明显的造成什么偏差就好了。

2 }' G4 x$ _; y5 Q2 _2 A' V至于所谓“证明目前的样本量对于信效度验证有把握”，这明显是搞统计的人才会想的问题。我猜他的意思是对应不同的 effect size 和 统计项，我们都可以计算出要表现这个 effect size 所需要的样本数。比如当相关系数是0.9时，可能样本数是150 就足够找到显著的相关系数。但是如果总体的相关是0.0001的话，你的样本数可能就要超过1000 才可能可以找到显著的结果。越小的effect size，需要的样本数就越大。但是，这是针对过小的样本数，就算总体的effect size (比如相关系数)是不等如零，你也没有能力（statistical power）去把这个不是0的effect size表现出来而已。因为样本数太小，你总会发现结果是不显著的。
. Y# k& F7 A% C! H+ K5 w- j
第二个可能性是，这个所谓外审专家，可能根本不知道自己在说什么，只是以为身为评委，就要尽量找理由去批判你的研究。可能是我才疏学浅。我倒看不见压力量表有什么所谓适合的亚群体。这个评价唯一可能合理的情形，就是叫你去找一些特别有压力的行业。可是没有行业是不会有什么压力的。所以我完全同意你说。我不知道什么叫做“适合”的亚群体。

- V2 B+ L) v0 v' J7 T/ k再者，如果你的结果是统计上显著的话，其实也没有statistical power的问题。所以我也不知道他讲的是什么意思。

讲了这么多，具体意见是：
1.        随便找一个理由，比如找出几个压力可能是比较大的行业，或者是你的研究问题比较合用的行业，称他们为“适合”的亚群体。稍微加大样本。我个人不觉得有这必要。但是如果你要满足评委的话，你没有选择。
2.        看看 Cohen and Cohen 的 statistical power 一书。尝试计算你得到的相关系数（也就是评委说的效度），如果要一个你说假定的power的话，所需要的样本数。这一点完全是为了满足评委的需要。我个人对是否要如此做很怀疑。


- `, f7 ]; N  p5 g6 ^: G最后，我的理解是，如果量表是在open domain，比如项目已经打印在文章中，你就可以随意引用，只是一定要说明出处就好了。

Xanadu-uiwltkyr

尊敬的Kenneth，真的不知道怎样感谢您详细的答复！只能再一次全身心诚挚地祝福您和您全家！
感谢您，我又学到了很多东西，非常感谢！
另外，虽然我实在找不到第一作者的消息，但是辗转找到了第二作者，她已同意我使用量表。还有，其实按照您说的，他们的量表确实是在文章中打印出条目的，我是可以随意引用的，嘿嘿，又让我长见识了，非常感谢您！

Kenneth

其实以我的理解。当一个人把文章投到杂志上后，版权就自然归于杂志所有（他们接受文章时你要签字的）。作为读者，你订了杂志，看到的它的内容，就应该引用。如果有法律诉讼，要告你的话，也不会是作者，应该是杂志了。:-)

Xanadu-uiwltkyr

哦，恍然大悟，太有道理了！嘿嘿，非常感谢Kenneth！