چرا اکثر یافته های پژوهشی منتشر شده نادرست هستند؟

نگرانی فزاینده ای وجود دارد که اکثر یافته های تحقیقاتی منتشر شده فعلی نادرست هستند. احتمال صحت ادعای تحقیق ممکن است به قدرت مطالعه و سوگیری، تعداد مطالعات دیگر در مورد همان سوال، و مهمتر از همه، نسبت صحت به عدم روابط بین روابط بررسی شده در هر زمینه علمی بستگی داشته باشد. در این چارچوب، زمانی که مطالعات انجام شده در یک زمینه کوچکتر باشند، یافته های پژوهشی کمتر صادق است. هنگامی که اندازه افکت کوچکتر است. زمانی که تعداد بیشتر و کمتر پیش انتخابی از روابط آزمایش شده وجود دارد. جایی که انعطاف پذیری بیشتری در طرح ها، تعاریف، نتایج و حالت های تحلیلی وجود دارد. هنگامی که منافع و تعصبات مالی و سایر موارد بیشتر وجود دارد. و هنگامی که تیم های بیشتری در یک زمینه علمی در تعقیب اهمیت آماری شرکت می کنند. شبیه سازی ها نشان می دهند که برای اکثر طرح ها و تنظیمات مطالعه، احتمال نادرست بودن ادعای پژوهشی بیشتر از درستی است. علاوه بر این، برای بسیاری از زمینه های علمی کنونی، یافته های تحقیقاتی ادعا شده اغلب ممکن است معیارهای دقیقی برای تعصب غالب باشند. در این مقاله، من پیامدهای این مشکلات را برای انجام و تفسیر تحقیق مورد بحث قرار می دهم.

نقل قول: Ioannidis JPA (2005) چرا اکثر یافته های پژوهشی منتشر شده نادرست هستند. PLoS Med 2(8): e124. https://doi. org/10. 1371/joual. pmed. 0020124

تاریخ انتشار: 30 اوت 2005

حق چاپ: © 2005 John P. A. Ioannidis. این یک مقاله با دسترسی آزاد است که تحت شرایط Creative Commons Attribution License توزیع شده است، که اجازه استفاده، توزیع، و بازتولید نامحدود را در هر رسانه ای می دهد، مشروط بر اینکه اثر اصلی به درستی ذکر شده باشد.

منافع رقیب: نویسنده اعلام کرده است که منافع رقیب وجود ندارد.

مخفف: PPV، ارزش اخباری مثبت

یافته های پژوهشی منتشر شده گاهی با شواهد بعدی، با سردرگمی و ناامیدی رد می شوند. رد و مناقشه در طیف وسیعی از طرح های تحقیقاتی، از آزمایشات بالینی و مطالعات اپیدمیولوژیک سنتی [1-3] تا مدرن ترین تحقیقات مولکولی [4،5] دیده می شود. نگرانی فزاینده ای وجود دارد که در تحقیقات مدرن، یافته های نادرست ممکن است اکثریت یا حتی اکثریت قریب به اتفاق ادعاهای تحقیقاتی منتشر شده باشد [6-8]. با این حال، این نباید تعجب آور باشد. می توان ثابت کرد که اکثر یافته های پژوهشی ادعا شده نادرست هستند. در اینجا به بررسی عوامل کلیدی موثر بر این مشکل و برخی پیامدهای آن می پردازم.

مدل سازی چارچوب برای یافته های مثبت کاذب

چندین روش شناسان خاطرنشان کرده اند که [9-11] که میزان بالای عدم تکثیر (عدم تأیید) اکتشافات تحقیقاتی نتیجه ای از استراتژی مناسب و در عین حال بی اساس برای ادعای یافته های تحقیقاتی قطعی است که صرفاً بر اساس یک مطالعه واحد ارزیابی شده استبا توجه به اهمیت آماری رسمی ، به طور معمول برای یک p-Value کمتر از 0. 05. تحقیقات به طور مناسب توسط P-Values ارائه نشده و خلاصه شده است ، اما متأسفانه این مفهوم گسترده وجود دارد که مقالات تحقیقاتی پزشکی فقط بر اساس مقادیر p تفسیر می شوند. یافته های تحقیق در اینجا به عنوان هر رابطه ای که به اهمیت آماری رسمی می رسد ، به عنوان مثال ، مداخلات مؤثر ، پیش بینی کننده های آموزنده ، عوامل خطر یا انجمن ها تعریف شده است. تحقیقات "منفی" نیز بسیار مفید است."منفی" در واقع یک نادرست است ، و تفسیر نادرست گسترده است. با این حال ، در اینجا ما روابطی را که محققان ادعا می کنند وجود خواهیم داشت ، به جای یافته های تهی ، هدف قرار خواهیم داد.

می توان ثابت کرد که بیشتر یافته های تحقیقاتی ادعا شده نادرست است

As has been shown previously, the probability that a research finding is indeed true depends on the prior probability of it being true (before doing the study), the statistical power of the study, and the level of statistical significance [10,11]. Consider a 2 × 2 table in which research findings are compared against the gold standard of true relationships in a scientific field. In a research field both true and false hypotheses can be made about the presence of relationships. Let R be the ratio of the number of “true relationships” to “no relationships” among those tested in the field. R is characteristic of the field and can vary a lot depending on whether the field targets highly likely relationships or searches for only one or a few true relationships among thousands and millions of hypotheses that may be postulated. Let us also consider, for computational simplicity, circumscribed fields where either there is only one true relationship (among many that can be hypothesized) or the power is similar to find any of the several existing true relationships. The pre-study probability of a relationship being true is R /( R + 1). The probability of a study finding a true relationship reflects the power 1 - β (one minus the Type II error rate). The probability of claiming a relationship when none truly exists reflects the Type I error rate, α. Assuming that c relationships are being probed in the field, the expected values of the 2 × 2 table are given in Table 1. After a research finding has been claimed based on achieving formal statistical significance, the post-study probability that it is true is the positive predictive value, PPV. The PPV is also the complementary probability of what Wacholder et al. have called the false positive report probability [10]. According to the 2 × 2 table, one gets PPV = (1 - β) R /( R - βR + α). A research finding is thus more likely true than false if (1 - β) R> α. Since usually the vast majority of investigators depend on a = 0.05, this means that a research finding is more likely true than false if (1 - β) R>0. 05

اسلاید پاورپوینت تصویر بزرگتر بی پروا تصویر اصلی جدول 1. یافته های تحقیق و روابط واقعی

آنچه کمتر مورد استقبال قرار می گیرد این است که تعصب و میزان آزمایش مکرر مستقل توسط تیم های مختلف محققان در سراسر جهان ممکن است این تصویر را بیشتر تحریف کند و ممکن است منجر به احتمالات کوچکتر از یافته های تحقیق شود که در واقع صحیح است. ما سعی خواهیم کرد این دو عامل را در زمینه جداول 2 × 2 مشابه مدل کنیم.

جانبداری

اول ، اجازه دهید تعصب را به عنوان ترکیبی از طراحی های مختلف ، داده ها ، تجزیه و تحلیل ها و عوامل ارائه که تمایل به تولید یافته های تحقیق در هنگام تولید ندارند ، تعریف کنیم. بگذارید شما نسبت به تجزیه و تحلیل های آزمایشی باشد که "یافته های تحقیق" نبوده است ، اما با این وجود به دلیل تعصب ارائه و گزارش شده است. تعصب نباید با تنوع شانس اشتباه گرفته شود که باعث می شود برخی از یافته ها به طور اتفاقی نادرست باشند ، حتی اگر طراحی مطالعه ، داده ها ، تجزیه و تحلیل و ارائه کامل باشد. تعصب می تواند مستلزم دستکاری در تجزیه و تحلیل یا گزارش یافته ها باشد. گزارش انتخابی یا تحریف شده یک شکل معمولی از چنین تعصب است. ممکن است فرض کنیم که U به اینکه رابطه واقعی وجود داشته باشد یا نه بستگی ندارد. این یک فرض غیر منطقی نیست ، زیرا به طور معمول غیرممکن است که بدانیم روابط در واقع صحیح است. در حضور تعصب (جدول 2) ، فرد PPV = ([1 - β] R + U β R)/(R + α - β R + U - U α + U β R) و PPV با افزایش کاهش می یابد. U ، مگر اینکه 1 - β ≤ α ، یعنی 1 - β ≤ 0. 05 برای بیشتر موقعیت ها. بنابراین ، با افزایش تعصب ، احتمال اینکه یک تحقیق تحقیق به طور قابل توجهی کاهش یابد. این برای سطوح مختلف قدرت و برای شانس های مختلف قبل از مطالعه در شکل 1 نشان داده شده است. برعکس ، یافته های تحقیق واقعی گاهی اوقات به دلیل تعصب معکوس ممکن است فسخ شود. به عنوان مثال ، با خطاهای اندازه گیری زیاد ، روابط در سر و صدا از بین می رود [12] ، یا محققان از داده ها به طور ناکارآمد استفاده می کنند یا از نظر آماری از نظر آماری متوجه نمی شوند ، یا ممکن است درگیری منافع وجود داشته باشد که تمایل به "دفن" یافته های مهم داشته باشد [13]. هیچ مدرک تجربی در مقیاس بزرگ خوب در مورد اینکه چگونه ممکن است چنین تعصب معکوس در زمینه های تحقیقاتی متنوع رخ دهد ، وجود ندارد. با این حال ، احتمالاً عادلانه است که بگوییم تعصب معکوس به اندازه متداول نیست. علاوه بر این ، خطاهای اندازه گیری و استفاده ناکارآمد از داده ها احتمالاً به مشکلات کمتری تبدیل می شوند ، زیرا خطای اندازه گیری با پیشرفت های تکنولوژیکی در دوره مولکولی کاهش یافته است و محققان نسبت به داده های خود به طور فزاینده ای پیچیده می شوند. صرف نظر از این ، تعصب معکوس ممکن است به همان روش تعصب بالا مدل سازی شود. همچنین تعصب معکوس نباید با تنوع شانس که ممکن است منجر به از دست دادن یک رابطه واقعی به دلیل شانس شود ، اشتباه گرفته شود.

اسلاید پاورپوینت تصویر بزرگتر بی پروا تصویر اصلی

شکل 1. PPV (احتمال اینکه یک تحقیق درست باشد) به عنوان تابعی از شانس های قبل از مطالعه برای سطوح مختلف تعصب ، U

پانل ها با قدرت 0. 20 ، 0. 50 و 0. 80 مطابقت دارند.

اسلاید پاورپوینت تصویر بزرگتر بی پروا تصویر اصلی جدول 2. یافته های تحقیق و روابط واقعی در حضور تعصب

آزمایش توسط چندین تیم مستقل

چندین تیم مستقل ممکن است به همان مجموعه سؤالات تحقیق بپردازند. از آنجا که تلاش های تحقیقاتی جهانی می شود ، عملاً این قاعده است که چندین تیم تحقیقاتی ، اغلب ده ها نفر از آنها ، ممکن است همان سؤالات یا مشابه را بررسی کنند. متأسفانه ، در برخی زمینه ها ، ذهنیت غالب تاکنون تمرکز خود را بر روی اکتشافات جدا شده توسط تیم های مجرد و تفسیر آزمایش های تحقیقاتی در انزوا انجام داده است. تعداد فزاینده ای از سؤالات حداقل یک مطالعه را شامل می شود که یک تحقیق را پیدا می کند و این توجه یک جانبه را به خود جلب می کند. این احتمال که حداقل یک مطالعه ، در بین چندین مورد بر روی همان سؤال انجام شود ، ادعا می کند که یک تحقیق آماری قابل توجه قابل تخمین است. برای مطالعات مستقل از قدرت برابر ، جدول 2 × 2 در جدول 3 نشان داده شده است: PPV = R (1 - β N)/(R + 1 - [1 - α] N - R β N) (در نظر گرفتن تعصب)بشربا افزایش تعداد مطالعات مستقل ، PPV تمایل به کاهش دارد ، مگر اینکه 1 - βمنبرای i = 1 تا n ، اما استنتاج ها مشابه هستند.

اسلاید پاورپوینت تصویر بزرگتر بی پروا تصویر اصلی

شکل 2

پانل ها با قدرت 0. 20 ، 0. 50 و 0. 80 مطابقت دارند.

اسلاید پاورپوینت تصویر بزرگتر بی پروا تصویر اصلی جدول 3. یافته های تحقیق و روابط واقعی در حضور چندین مطالعه

گروه

یک مثال عملی در کادر 1 نشان داده شده است. بر اساس ملاحظات فوق ، ممکن است چندین نتیجه جالب در مورد احتمال اینکه یک تحقیق در واقع درست باشد ، استنباط کند.

کادر 1. یک مثال: علم با شانس پیش از مطالعه کم

بگذارید فرض کنیم که تیمی از محققان یک مطالعه کلی ژنوم را انجام می دهند تا آزمایش کنند که آیا هر یک از 100000 پلی مورفیسم ژن با حساسیت به اسکیزوفرنی همراه است یا خیر. براساس آنچه ما در مورد میزان وراثت پذیری این بیماری می دانیم ، منطقی است که انتظار داشته باشیم که احتمالاً حدود ده پلی مورفیسم ژن در بین آنهایی که آزمایش شده اند واقعاً با اسکیزوفرنی همراه باشند ، با نسبت های نسبتاً مشابهی در حدود 1. 3 برای ده یا بنابراین به همین ترتیب و بایک قدرت نسبتاً مشابه برای شناسایی هر یک از آنها. سپس r = 10 /100،000 = 10-4 ، و احتمال قبل از مطالعه برای هر پلی مورفیسم همراه با اسکیزوفرنی نیز R /(R + 1) = 10 −4 است. همچنین تصور می کنیم که این مطالعه 60 ٪ قدرت برای یافتن ارتباط با نسبت شانس 1. 3 در α = 0. 05 دارد. سپس می توان تخمین زد که اگر یک ارتباط آماری معنی دار با P-Value که به سختی از آستانه 0. 05 عبور می کند ، پیدا شود ، احتمال پس از مطالعه که این درست است در مقایسه با احتمال قبل از مطالعه حدود 12 برابر افزایش می یابد ، اما هنوز هم است. فقط 12 × 10 - 4.

حال بگذارید تصور کنیم که محققان از طراحی ، تجزیه و تحلیل و گزارش خود دستکاری می کنند تا روابط بیشتری از آستانه p = 0. 05 عبور کنند ، حتی اگر این امر با یک کاملاً رعایت شده به طراحی و تجزیه و تحلیل و با گزارش جامع کامل ازنتایج ، کاملاً مطابق برنامه مطالعه اصلی. چنین دستکاری ها می توانند ، به عنوان مثال ، با درج سرنوشت ساز یا محرومیت از بیماران یا کنترل های خاص ، تجزیه و تحلیل زیر گروه های تعقیبی ، بررسی تضادهای ژنتیکی که در ابتدا مشخص نشده بودند ، تغییر در بیماری یا تعاریف کنترل و ترکیب های مختلف انتخابی یا تحریف شده انجام شود. گزارش نتایج. بسته های "داده کاوی" در دسترس تجاری در واقع به توانایی آنها در عملکرد آماری معنی دار از طریق لایروبی داده ها افتخار می کنند. در حضور تعصب با U = 0. 10 ، احتمال پس از مطالعه مبنی بر درست بودن یک تحقیق درست است. علاوه بر این ، حتی در صورت عدم وجود هرگونه تعصب ، هنگامی که ده تیم تحقیقاتی مستقل آزمایش های مشابهی را در سراسر جهان انجام می دهند ، اگر یکی از آنها یک ارتباط رسمی از نظر آماری پیدا کند ، احتمال اینکه یافتن تحقیق صحیح باشد ، فقط 1. 5 × 10 است ، به سختیهرگونه بیشتر از احتمال ما قبل از هر یک از این تحقیقات گسترده انجام شده است!

نتیجه 1: هرچه مطالعات انجام شده در یک زمینه علمی کوچکتر باشد ، احتمالاً یافته های تحقیق نیز صادق است. اندازه نمونه کوچک به معنای قدرت کوچکتر است و برای کلیه عملکردهای فوق ، PPV برای یک تحقیق واقعی با کاهش قدرت به سمت 1 - β = 0. 05 کاهش می یابد. بنابراین ، سایر عوامل برابر هستند ، یافته های تحقیق در زمینه های علمی که انجام می دهند ، مانند آزمایشات کنترل شده تصادفی در قلب و عروق (چندین هزار موضوع به طور تصادفی) [14] نسبت به زمینه های علمی با مطالعات کوچک ، مانند اکثر تحقیقات ، صادق است. پیش بینی کننده های مولکولی (اندازه نمونه 100 برابر کوچکتر) [15].

نتیجه 2: هرچه اندازه اثر در یک زمینه علمی کوچکتر باشد ، یافته های تحقیق کمتر احتمال دارد. قدرت همچنین مربوط به اندازه اثر است. بنابراین یافته های تحقیق در زمینه های علمی با اثرات بزرگ ، مانند تأثیر استعمال دخانیات بر سرطان یا بیماری های قلبی عروقی (خطرات نسبی 3-20) نسبت به زمینه های علمی که اثرات فرض شده اندک هستند ، مانند عوامل خطر ژنتیکی برای چند ژنتیکی برای چند ژنتیکی صادق است. بیماری ها (خطرات نسبی 1. 1-1. 5) [7]. اپیدمیولوژی مدرن به طور فزاینده ای موظف است اندازه اثر کوچکتر را هدف قرار دهد [16]. در نتیجه ، انتظار می رود که نسبت یافته های تحقیق واقعی کاهش یابد. در همان خط تفکر ، اگر اندازه اثر واقعی در یک زمینه علمی بسیار ناچیز باشد ، احتمالاً این زمینه تحت ادعاهای مثبت کاذب تقریباً همه جا قرار می گیرد. به عنوان مثال ، اگر اکثریت تعیین کننده های ژنتیکی یا تغذیه ای واقعی از بیماری های پیچیده خطرات نسبی را کمتر از 1. 05 به همراه داشته باشند ، اپیدمیولوژی ژنتیکی یا تغذیه ای تا حد زیادی تلاش های اتوپیایی خواهد بود.

نتیجه گیری 3: هرچه تعداد بیشتر و انتخاب روابط آزمایش شده در یک زمینه علمی کمتر باشد ، احتمالاً یافته های تحقیق نیز صادق است. همانطور که در بالا نشان داده شده است ، احتمال پس از مطالعه که یک یافته صحیح است (PPV) بستگی زیادی به شانس قبل از مطالعه (R) دارد. بنابراین ، یافته های تحقیق در طرح های تأییدی ، مانند کارآزمایی های کنترل شده تصادفی فاز III یا متاآنالیزهای آن ، نسبت به آزمایشات تولید کننده فرضیه صادق است. با توجه به ثروت اطلاعات مونتاژ شده و آزمایش شده ، مانند ریزگردها و سایر تحقیقات کشف با توان بالا [4،8،17] ، زمینه ها بسیار آموزنده و خلاق در نظر گرفته می شوند.

نتیجه گیری 4: انعطاف پذیری در طرح ها ، تعاریف ، نتایج و حالت های تحلیلی در یک زمینه علمی بیشتر ، احتمالاً یافته های تحقیق کمتر احتمال دارد. انعطاف پذیری پتانسیل تبدیل نتایج "منفی" را به نتایج "مثبت" ، یعنی تعصب ، u افزایش می دهد. برای چندین طرح تحقیقاتی ، به عنوان مثال ، کارآزمایی های کنترل شده تصادفی [18-20] یا متاآنالیز [21،22] ، تلاش هایی برای استاندارد سازی رفتار و گزارش آنها صورت گرفته است. پیروی از استانداردهای مشترک احتمالاً باعث افزایش نسبت یافته های واقعی می شود. همین مورد در مورد نتایج نیز صدق می کند. یافته های واقعی ممکن است متداول تر باشد که نتایج به جای اینکه نتایج چند وجهی ابداع شود (به عنوان مثال ، مقیاس برای نتایج اسکیزوفرنی) [23]. به طور مشابه ، زمینه هایی که از روشهای تحلیلی کلیشه ای که معمولاً مورد توافق و کلیشه استفاده می کنند استفاده می کنند (به عنوان مثال ، توطئه های Kaplan-Meier و آزمون ورود به سیستم) [24] ممکن است نسبت بیشتری از یافته های واقعی را نسبت به زمینه هایی که در آن روش های تحلیلی هنوز تحت آزمایش هستند (به عنوان مثال ، هوش مصنوعی اطلاعات مصنوعی داشته باشند (به عنوان مثال ، اطلاعات واقعیروشها) و فقط نتایج "بهترین" گزارش شده است. صرف نظر از این ، حتی در سخت ترین طرح های تحقیقاتی ، به نظر می رسد تعصب یک مشکل اساسی است. به عنوان مثال ، شواهد محکمی وجود دارد که نشان می دهد گزارش نتیجه انتخابی ، با دستکاری در نتایج و تجزیه و تحلیل های گزارش شده ، یک مشکل شایع حتی برای مسیرهای تصادفی است [25]. به سادگی از بین بردن انتشار انتخابی ، این مشکل را از بین نمی برد.

نتیجه گیری 5: هرچه علایق و تعصبات مالی و سایر موارد در یک زمینه علمی بیشتر باشد ، احتمالاً یافته های تحقیق نیز صادق است. درگیری منافع و تعصب ممکن است تعصب را افزایش دهد ، تو. درگیری های علاقه در تحقیقات زیست پزشکی بسیار متداول است [26] ، و به طور معمول آنها به طور ناکافی و پراکنده گزارش می شوند [26،27]. پیش داوری ممکن است لزوماً ریشه های مالی نداشته باشد. دانشمندان در یک زمینه معین ممکن است صرفاً به دلیل اعتقاد به یک نظریه علمی یا تعهد به یافته های خودشان ، صرفاً تعصب داشته باشند. بسیاری از مطالعات مستقل به ظاهر مستقل ، ممکن است به هیچ دلیل دیگری انجام شود جز این که پزشکان و محققان صلاحیت ارتقاء یا تصدی را ارائه دهند. چنین درگیری های غیر مالی نیز ممکن است منجر به نتایج و تفسیرهای گزارش شده تحریف شده شود. محققان معتبر ممکن است از طریق فرآیند بررسی همسالان سرکوب ظاهر و انتشار یافته هایی که یافته های آنها را رد می کنند ، سرکوب کنند ، بنابراین زمینه خود را محکوم می کنند تا جزم کاذب را ادامه دهند. شواهد تجربی در مورد نظر متخصص نشان می دهد که بسیار غیرقابل اعتماد است [28].

نتیجه گیری 6: حوزه علمی داغتر (با تیم های علمی بیشتر درگیر) ، احتمالاً یافته های تحقیق نیز صادق است. این نتیجه گیری به ظاهر پارادوکسیکال به دنبال دارد زیرا ، همانطور که گفته شد ، PPV یافته های جدا شده هنگامی کاهش می یابد که بسیاری از تیم های محقق در همان زمینه شرکت کنند. این ممکن است توضیح دهد که چرا ما گاهی اوقات با ناامیدی شدید در زمینه هایی که توجه گسترده ای را به خود جلب می کنند ، هیجان بزرگی را مشاهده می کنیم. با استفاده از بسیاری از تیم ها در همان زمینه و با تولید داده های تجربی گسترده ، زمان بندی از ذات در ضرب و شتم رقابت است. بنابراین ، هر تیم ممکن است در مورد دنبال کردن و انتشار چشمگیر ترین نتایج "مثبت" خود در اولویت قرار بگیرد. نتایج "منفی" ممکن است فقط در صورتی که برخی از تیم های دیگر در همین سؤال "مثبت" پیدا کرده اند ، برای انتشار جذاب شود. در این حالت ، رد ادعای مطرح شده در برخی از مجله های معتبر ممکن است جذاب باشد. اصطلاح پدیده پروتئوس برای توصیف این پدیده ادعاهای تحقیقاتی شدید به سرعت متناوب و تکذیب های بسیار مخالف ابداع شده است [29]. شواهد تجربی نشان می دهد که این توالی از مخالفان شدید در ژنتیک مولکولی بسیار شایع است [29].

این نتیجه گیری ها هر عامل را به طور جداگانه در نظر می گیرند ، اما این عوامل اغلب بر یکدیگر تأثیر می گذارند. به عنوان مثال ، محققانی که در زمینه هایی کار می کنند که اندازه اثر واقعی به نظر می رسد کوچک است ، ممکن است بیشتر از محققانی که در زمینه هایی کار می کنند ، مطالعات بزرگی انجام دهند که اندازه های واقعی اثر واقعی به نظر می رسد. یا پیش داوری ممکن است در یک زمینه علمی داغ غالب شود و بیشتر ارزش پیش بینی یافته های تحقیق خود را تضعیف کند. ذینفعان بسیار پیش داوری حتی ممکن است مانعی ایجاد کنند که تلاش های خود را برای به دست آوردن و انتشار نتایج مخالف انجام دهد. در مقابل ، این واقعیت که یک زمینه داغ است یا دارای منافع سرمایه گذاری شدیدی است ، ممکن است گاهی اوقات مطالعات بزرگتر و استانداردهای تحقیق را بهبود بخشد و ارزش پیش بینی یافته های تحقیق خود را افزایش دهد. یا آزمایش گسترده کشف گرا ممکن است منجر به عملکرد بزرگی از روابط قابل توجهی شود که محققان به اندازه کافی برای گزارش و جستجو بیشتر داشته باشند و در نتیجه از لایروبی و دستکاری داده خودداری کنند.

بیشتر یافته های تحقیق برای اکثر طرح های تحقیقاتی و برای بیشتر زمینه ها نادرست است

در چارچوب شرح داده شده ، یک PPV بیش از 50 ٪ به دست آوردن آن بسیار دشوار است. جدول 4 نتایج شبیه سازی ها را با استفاده از فرمول های توسعه یافته برای تأثیر قدرت ، نسبت روابط صحیح به غیر واقعی و تعصب برای انواع مختلفی از موقعیت هایی که ممکن است مشخصه طرح ها و تنظیمات خاص مطالعه باشد ، ارائه می دهد. یافته ای از یک کارآزمایی کنترل شده تصادفی به اندازه کافی و به اندازه کافی با استفاده از 50 ٪ پیش از مطالعه که مداخله مؤثر است ، در نهایت در حدود 85 ٪ از زمان صادق است. عملکرد نسبتاً مشابهی از متاآنالیز تأیید کننده آزمایشات تصادفی با کیفیت خوب انتظار می رود: احتمالاً تعصب بالقوه افزایش می یابد ، اما قدرت و شانس قبل از آزمون در مقایسه با یک کارآزمایی تصادفی واحد بیشتر است. برعکس ، یک یافته متاآنالیز از مطالعات بی نتیجه که در آن از جمع برای "تصحیح" قدرت کم مطالعات استفاده می شود ، احتمالاً اگر R ≤ 1: 3 باشد ، نادرست است. یافته های تحقیقاتی از آزمایشات بالینی تحت قدرت ، فاز اولیه در حدود یک در چهار بار صادق است ، یا حتی در صورت وجود تعصب نیز کمتر است. مطالعات اپیدمیولوژیک از یک ماهیت اکتشافی حتی بدتر از آن عمل می کند ، به ویژه هنگامی که تحت نظارت قدرت ، اما حتی مطالعات اپیدمیولوژیک با قدرت ممکن است تنها در پنج شانس واقعی باشد ، اگر R = 1:10 باشد. سرانجام ، در تحقیقات کشف گرا با آزمایش گسترده ، که در آن روابط آزمایش شده بیش از 1000 برابر واقعی است (به عنوان مثال ، 30،000 ژن آزمایش شده ، که از این تعداد 30 ممکن است مقصر واقعی باشد) [30،31] ، PPV برای هر رابطه ادعا شده بسیار کم است، حتی با استاندارد سازی قابل توجهی از روش های آزمایشگاهی و آماری ، نتایج و گزارش آن برای به حداقل رساندن تعصب.