ノンパラメトリック検定は、データが特定の分布にしたがうことを必要としないこともあり、データ解析に広く使われてきた。検定の理屈も比較的簡明であり、わかりやすい。だが、実際の使用の上では、不適切な使い方や不明確な点も少ないように思われる。そういった問題を検出力（第2種の誤り）と有意確率が正しく求められているか（第1種の誤り）という視点から考える。たとえば、以下の問題である。
・ノンパラメトリック検定では、データの値そのものではなくデータを大きい順から並べたときに何番目かという順位を使うことが多い。順位の使用によりデータの持つ情報はロスしているように見え、データの値そのものを使う方法の方が検出力が高そうに見えるかもしれない。では、ノンパラメトリック検定は、それと対応する、特定の分布を仮定する検定よりも鈍感なのだろうか。
・ノンパラメトリック検定が特定の分布を仮定しない（英語ではdistribution-freeと表現されることも多い）とはどういう意味だろうか。「分布のことは気にしなくもいい」あるいは「分布がどうなっていても使える」という意味ではない。代表的なノンパラメトリック検定の１つであるMann-WhitneyのU検定（すなわちWilcoxon順位和検定）は、帰無仮説として比較する２つのデータが同じ分布からのものであることを想定しており、分散が異なる場合さえ本来の適用範囲ではない。分散が異なる場合のために提案されたFligner-Policelloの検定やBrunner-Munzelの検定があるが、これらを使えば、「分布のことは気にしなくもいい」のだろうか。