統計における検定方法は状況と目的に応じて適切に選ぶ。従属変数の尺度から統計量が決まる。例えば従属変数が名義尺度であればt検定は利用できない。それに対して従属変数が量的変数であればさまざまな検定が可能となる。
独立変数については対応を確認する。従属変数が量的尺度であり独立変数に対応があればペアのt検定が利用できる。これは２つのサンプル間の差について検定を行う。それに対して、サンプルに対応がなければサンプルの平均について検定を行う。これを２標本対応なしのt検定と呼ぶ。
t検定の前提条件は２つある。
- 正規分布であること
- 等分散であること
いづれかの条件を満たさない場合にはt検定は利用できないので検出力が弱い検定方法を利用する。t検定に代用される検定方法としては以下がある。
- U検定(マン・ホイットニー）
- ウェルチ
- コクランコックス
F検定は２つ以上のサンプル間に差異があるかを分析する。F検定が有意であることは複数のサンプル間の統計量がいづれかで等しくないことを意味する。しかしF検定ではどのサンプル間に差異があるかはわからない。より詳細に分析するにはF検定実施後有意であれば、多重比較検定（テューキー）を実施する。
検定方法にみそをつけるのは簡単である。その一例をリストで示しておく。
- 被験者に偏りがある
- 評価する対象物に偏りがある
- 技術的問題により正確性に問題がある
- 内面的特性と測定する指標の関連に問題がある。
- 一つの指標だけでは変化をカバーできない
- 関連性が弱い
- 交互作用がある
- 要因の比較条件が少なすぎる、自分が求めている結果が出るような水準でのみテストをしている
- アンケートにおける質問に利用される話題が恣意的であり特定の結論を導くプライミング効果をもつ
- ワインと魚の相性を考えると、特定の銘柄や種類はグループを代表しているのか。
- 人は権威付き情報のあるなしで考えが変わる。
- 剰余変数が特定される
- 独立していない
- サンプルサイズは適切か。
