仮説検定とは、観測された差や変化が「偶然のばらつき」で起きた可能性が高いのかを、統計的に判断する手法です。検定では「差はない」といった帰無仮説と、「差がある」といった対立仮説を置いて検証します。限られたサンプルから母集団の傾向を推測するため、確率にもとづく判断になるでしょう。
仮説検定は、あらかじめ有意水準（5%など）を決め、検定統計量やp値を計算して結論を出す流れです。p値が有意水準より小さい場合は、帰無仮説を棄却できると判断します。帰無仮説を棄却できない場合でも「差がないと証明できた」という意味ではなく、サンプルからは差があると言い切れない状態だと整理するのが一般的です。
具体例として、ABテストでA案とB案のコンバージョン率に差があるかを検定し、改善の判断材料にします。比率の比較ではカイ二乗検定や二項検定、平均の比較ではt検定など、データの性質に応じた手法を選びます。運用では、偶然に見える差を本物と誤判定する第1種の誤りと、本物の差を見逃す第2種の誤りのバランスも重要です。差の大きさ（効果量）や検出力、複数指標を同時に試す場合の多重比較まで含めて設計すると、意思決定で迷いにくくなります。
