多重比较问题
当研究者同时进行多个假设检验时，即使每个单独的检验都使用相同的显著性水平（例如，0.05），总的犯错概率也会增加。这种现象被称为多重比较问题。如果研究者多次检验某个假设，那么至少出现一次错误拒绝的概率会随着检验次数的增加而增加。例如，如果进行20个独立检验，每个检验的显著性水平为0.05，那么至少犯一个错误的概率将远远大于0.05。
控制家族型错误率的方法
为了控制FWER，研究者可以使用多种方法。这些方法通常通过调整每个单独检验的显著性水平，或者使用其他统计方法来纠正多重比较问题。以下是一些常用的方法：
- Bonferroni校正：这是最简单的方法，通过将所需的显著性水平（例如，0.05）除以检验的次数来调整每个单独检验的显著性水平。例如，如果进行10个检验，则新的显著性水平为0.05 / 10 = 0.005。Bonferroni校正非常保守，可能会降低检验的统计功效。
- Sidak校正：Sidak校正比Bonferroni校正稍微不那么保守。它通过计算1-(1-α)^(1/m)来调整显著性水平，其中α是所需的显著性水平，m是检验的次数。
- Holm-Bonferroni方法：这是一种逐步的、更具功效的方法。首先，对所有检验进行排序，根据p值从小到大。然后，根据p值的顺序调整显著性水平，如果p值小于调整后的显著性水平，则拒绝原假设。
- 其他方法：还有许多其他方法，如Hochberg方法、Dunnett方法等，它们适用于不同类型的数据和研究设计。
选择合适的方法
选择合适的控制FWER的方法取决于具体的研究情境，包括：
- 检验次数：检验的次数越多，需要越保守的方法来控制FWER。
- 假设检验的独立性：如果假设检验是独立的，则Bonferroni校正等方法可能更合适。如果检验之间存在依赖关系，则需要考虑其他方法。
- 所需的统计功效：过度保守的方法会降低统计功效，导致无法检测到真实效应。研究者需要在控制FWER和保持统计功效之间取得平衡。
结论
家族型错误率是统计学中一个重要的概念，特别是在涉及多重假设检验的研究中。理解并控制FWER可以确保研究结果的可靠性，避免得出错误的结论。研究者应根据具体的研究情境选择合适的控制FWER的方法，以平衡错误控制和统计功效。