Evaluation of binary diagnostic tests accuracy for medical researches
Yıl: 2021 Cilt: 46 Sayı: 2 Sayfa Aralığı: 103 - 113 Metin Dili: İngilizce DOI: 10.1515/tjb-2020-0337 İndeks Tarihi: 21-02-2022
Evaluation of binary diagnostic tests accuracy for medical researches
Öz: Objectives: The aim of this study is to introduce the features of diagnostic tests. In addition, it will be demonstrated which performance measures can be used for diagnostic tests with binary results, the properties of these measures and how to interpret them. Materials and Methods: The evaluation of the diagnostic test performance measures may differ depending on whether the test result is numerical or binary. When the diagnostic test result is continuous numerical data, ROC analysis is often utilized. The performance of a diagnostic test with binary results are usually evaluated using the measures of sensitivity and specificity. However, there are some important measures other than these two measures for binary test results. These measures are predictive values, overall accuracy, diagnostic odds ratio, Youden index, and likelihood ratios. Results: A hypothetical data has been produced based on the studies conducted on the performance of rapid tests (Specific IgM/IgG) according to the RT-PCR test for Covid 19 in the literature. An example of a diagnostic test (Specific IgM/IgG) with a binary result is given and all measurements and their confidence interval are obtained for this data. The performance of rapid test was examined and interpreted. Conclusion: It is important to design and evaluate the performance of diagnostic/screening tests for health care. In this review, some basic definitions, performance measures that can be used only in evaluating the diagnostic tests with binary results and their confidence intervals are mentioned. Having many different measures provides different interpretations in the evaluation of test performance. Accurately predicting the performance of a diagnostic test depends on many factors. These factors can be study design, criteria of participant selection, sample size calculation, test methods etc. There are guidelines that ensure that all information regarding the conditions under which the study was conducted is in report, in terms of such factors. Therefore, these guidelines are recommended for use of the checklist by many publishers.
Anahtar Kelime: Tıbbi araştırmalar için iki sonuçlu tanı testlerinin doğruluğunun değerlendirilmesi
Öz: Amaç: Bu çalışmada amaç, tanı testlerinin özelliklerini tanıtmak. Buna ek olarak, İki sonuçlu tanı testleri için hangi performans ölçülerinin kullanabileceği, bu ölçülerin özelikleri ve nasıl yorumlanacağı gösterilecektir. Gereç ve Yöntem: Tanı testi sonucunun sayısal veya iki sonuçlu olmasına göre test performans ölçülerinin değerlendirilmesi farklılık gösterebilir. Tanı testi sonucu sürekli sayısal olduğunda sıklıkla ROC analizinden yararlanılır. İki sonuçlu bir tanı testinin performansı genellikle duyarlılık ve seçicilik ölçüleri ile değerlendirilir. Ancak, iki durumlu testler için bu iki ölçü dışında başka bazı önemli ölçüler de vardır. Bu ölçüler; kestirim değerleri, genel doğruluk oranı, tanı odds oranı, youden indeksi, olabilirlik oranlarıdır. Bulgular: Literatürde bulunan Covid 19 hastalığı için RT-PCR testine göre hızlı testin (Specific IgM/IgG) performansı üzerine yapılan çalışmalar temel alınarak hipotetik bir veri üretilmiştir. İki durumlu bir tanı testine (Specific IgM/IgG) örnek verilmiş ve bu veri için tüm ölçüler ve onların güven aralıkları elde edilmiştir. Hızlı testin performansı incelenmiş ve yorumlanmıştır. Sonuç: Sağlık hizmetleri için tanı ve tarama testlerinin performanslarının tasarlanması ve değerlendirilmesi önemlidir. Bu derlemede, bazı basit tanımlar, sadece iki sonuçlu tanı testlerinin değerlendirilmesinde kullanılan performans ölçüleri ve bunlara ait güven aralıklarından söz edilmiştir. Birçok farklı ölçü olması performansın değerlendirilmesinde farklı yorumlamalar sağlar. Bir tanı testinin performansının doğru olarak kestirilmesi birçok faktöre bağlıdır. Bu faktörler, çalışma tasarımı, katılımcıların seçim kriterleri, örneklem büyüklüğü hesaplaması, test yöntemleri vb. olabilir. Böyle faktörler açısından, çalışmanın yapıldığı koşullara ilişkin tüm bilginin çalışma raporunda olmasını sağlayan kılavuzlar bulunmaktadır. Bu nedenle, birçok yayınevi tarafından bu kontrol listelerinin kullanılması için bu kılavuzlar önerilmektedir.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Derleme Erişim Türü: Erişime Açık
- 1. Zhou XH, Obuchowski NA, McClish DK. Statistical methods in diagnostic medicine. New York: John Wiley & Sons; 2002: 15–40 pp.
- 2. Karaağaoğlu E, Karakaya J, Kılıçkap M. Tanı testlerinin değerlendirilmesinde istatistiksel yöntemler. Ankara: Detay Yayıncılık; 2016:1–57 pp.
- 3. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982; 143:29–36.
- 4. Mandrekar JN. Receiver operating characteristic curve in diagnostic test assessment. J Thorac Oncol 2010;5:1315–6.
- 5. Hoffmann T, Bennett S, Del Mar C. Evidence-based practice across the health professions. Australia: Elsevier; 2017:20–30 p.
- 6. Knottnerus JA, Weel C, Muris J. Evidence base of clinical diagnosis evaluation of diagnostic procedures. BMJ 2002;324:477–80.
- 7. Parikh R, Mathai A, Parikh S, Sekhar GC, Thomas R. Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol 2008;56:45–50.
- 8. Detrano R, Janosi A, Lyons KP, Marcondes G, Abbassi N, Froelicher VF. Factors affecting sensitivity and specificity of a diagnostic test: the exercise thallium scintigram. Am J Med 1988; 84:699–710.
- 9. Ransohoff DF, Feinstein AR. Problems of spectrum and bias in evaluating the efficacy of diagnostic tests. N Engl J Med 1978;299: 926–30.
- 10. Whiting P, Rutjes AW, Reitsma JB, Glas AS, Bossuyt PM, Kleijnen J. Sources of variation and bias in studies of diagnostic accuracy: a systematic review. Ann Intern Med 2004;140:189–202.
- 11. Karakaya J, Aksoy DY, Harmanci A, Karaaagaoglu E, Gurlek A. Predictive ability of fasting plasma glucose for a diabetic 2-h postload glucose value in oral glucose tolerance test: spectrum effect. J Diabetes Complicat 2007;21:300–5.
- 12. Altman DG, Bland JM. Diagnostic tests 2: predictive values. BMJ 1994;309:102.
- 13. Florkowski CM. Sensitivity, specificity, receiver-operating characteristic (ROC) curves and likelihood ratios: communicating the performance of diagnostic tests. Clin Biochem Rev 2008;29(1 Suppl):83–7.
- 14. Deeks JJ, Altman DG. Diagnostic tests 4: likelihood ratios. BMJ 2004;329:168–9.
- 15. Fagan TJ. Nomogram for Bayes’s theorem. N Engl J Med 1975;293: 257.
- 16. Gardner MJ, Altman DG. Confidence intervals rather than P values: estimation rather than hypothesis testing. Br Med J 1986; 292:746–50.
- 17. Bland M, Altman D. Statistics notes. The odds ratio. Br Med J 2000;320:1468.
- 18. MedCalc Statistical Software. Free statistical calculator. Available from: https://www.medcalc.org/calc/diagnostic_test. php [Accessed 04 Jul 2020].
- 19. Stats V. Clinical calculator 1. Available from: https://vassarstats. net/clin1.html [Accessed 04 Jul 2020].
- 20. Buderer NM. Statistical methodology: incorporating the prevalance of disease into the sample size calculation for sensitivity and specificity. Acad Emerg Med 1996;3:895–900.
- 21. Karimollah H-T. Sample size estimation in diagnostic test studies of biomedical informatics. J Biomed Inf 2014;48:193–204.
- 22. Obuchowski NA. Sample size calculations in studies of test accuracy. Stat Methods Med Res 1998;7:371–92. .
- 23. Carter LJ, Garner LV, Smoot JW, Li Y, Zhou Q, Saveson CJ, et al. Assay techniques and test development for COVID-19 diagnosis. ACS Cent Sci 2020;6:591–605.
- 24. Hoffman T, Nissen K, Krambrich J, Rönnberg B, Akaberi D, Esmaeilzadeh M, et al. Evaluation of a COVID-19 IgM and IgG rapid test; an efficient tool for assessment of past exposure to SARS-CoV-2. Infect Ecol Epidemiol 2020;10:1754538.
- 25. Bastos ML, Tavaziva G, Abidi SK, Campbell JR, Haraoui LP, Johnston JC, et al. Diagnostic accuracy of serological tests for covid-19: systematic review and meta-analysis. BMJ 2020;370:m2516.
- 26. Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwig L, et al. STARD 2015: an updated list of essential items for reporting diagnostic accuracy studies. BMJ 2015;351:h5527.
| APA | Karakaya J (2021). Evaluation of binary diagnostic tests accuracy for medical researches. , 103 - 113. 10.1515/tjb-2020-0337 |
| Chicago | Karakaya Jale Evaluation of binary diagnostic tests accuracy for medical researches. (2021): 103 - 113. 10.1515/tjb-2020-0337 |
| MLA | Karakaya Jale Evaluation of binary diagnostic tests accuracy for medical researches. , 2021, ss.103 - 113. 10.1515/tjb-2020-0337 |
| AMA | Karakaya J Evaluation of binary diagnostic tests accuracy for medical researches. . 2021; 103 - 113. 10.1515/tjb-2020-0337 |
| Vancouver | Karakaya J Evaluation of binary diagnostic tests accuracy for medical researches. . 2021; 103 - 113. 10.1515/tjb-2020-0337 |
| IEEE | Karakaya J "Evaluation of binary diagnostic tests accuracy for medical researches." , ss.103 - 113, 2021. 10.1515/tjb-2020-0337 |
| ISNAD | Karakaya, Jale. "Evaluation of binary diagnostic tests accuracy for medical researches". (2021), 103-113. https://doi.org/10.1515/tjb-2020-0337 |
| APA | Karakaya J (2021). Evaluation of binary diagnostic tests accuracy for medical researches. Türk Biyokimya Dergisi, 46(2), 103 - 113. 10.1515/tjb-2020-0337 |
| Chicago | Karakaya Jale Evaluation of binary diagnostic tests accuracy for medical researches. Türk Biyokimya Dergisi 46, no.2 (2021): 103 - 113. 10.1515/tjb-2020-0337 |
| MLA | Karakaya Jale Evaluation of binary diagnostic tests accuracy for medical researches. Türk Biyokimya Dergisi, vol.46, no.2, 2021, ss.103 - 113. 10.1515/tjb-2020-0337 |
| AMA | Karakaya J Evaluation of binary diagnostic tests accuracy for medical researches. Türk Biyokimya Dergisi. 2021; 46(2): 103 - 113. 10.1515/tjb-2020-0337 |
| Vancouver | Karakaya J Evaluation of binary diagnostic tests accuracy for medical researches. Türk Biyokimya Dergisi. 2021; 46(2): 103 - 113. 10.1515/tjb-2020-0337 |
| IEEE | Karakaya J "Evaluation of binary diagnostic tests accuracy for medical researches." Türk Biyokimya Dergisi, 46, ss.103 - 113, 2021. 10.1515/tjb-2020-0337 |
| ISNAD | Karakaya, Jale. "Evaluation of binary diagnostic tests accuracy for medical researches". Türk Biyokimya Dergisi 46/2 (2021), 103-113. https://doi.org/10.1515/tjb-2020-0337 |
