Wissenschaftler behaupten oft, dass Entdeckungen auf Ergebnissen beruhen, die angeblich „statistisch signifikant“ sind. Dies wird weithin – sogar von Wissenschaftlern – so verstanden, dass der von ihnen gefundene Effekt real ist; zum Beispiel, dass die Senkung der Sterblichkeitsrate durch ein neues Medikament nicht nur ein Zufall ist. Tatsächlich bedeutet dies lediglich, dass die Wahrscheinlichkeit, durch Zufall einen so großen Effekt zu erzielen, weniger als 1 zu 20 beträgt.
Statistiker haben wiederholt davor gewarnt, dass dies nicht dasselbe ist wie die Wahrscheinlichkeit, dass der Effekt wirklich ein Zufall war. Um das herauszufinden, bedarf es einer Plausibilitätsbeurteilung des Ergebnisses, was selten der Fall ist. Daher ist die statistische Signifikanz trotz ihrer weit verbreiteten Verwendung ein unzuverlässiges Maß dafür, ob eine Wirkung echt ist.