Bilimsel Raporların Değerlendirilmesi
Özet
Bölüm kapsamında ele alınan temel kavramlardan biri olan geçerlik, araştırmanın ölçmek istediği olguyu ne ölçüde doğru yansıttığı ile ilişkilendirilmiş; güvenirlik ise elde edilen sonuçların tutarlılığı ve tekrarlanabilirliği bağlamında açıklanmıştır. İç geçerlik ve dış geçerlik kavramları üzerinden araştırma sonuçlarının doğruluğu ve genellenebilirliği tartışılmış, özellikle deneysel ve tarama araştırmalarında bu kavramların nasıl farklılaştığı ortaya konulmuştur. Ayrıca nitel araştırmalarda geçerlik ve güvenirlik yerine kullanılan inandırıcılık, aktarılabilirlik, tutarlılık ve teyit edilebilirlik ölçütleri açıklanarak farklı araştırma paradigmalarına uygun değerlendirme yaklaşımlarına dikkat çekilmiştir.
Bu bölümde bilimsel raporların değerlendirilmesi süreci kuramsal ve uygulamalı boyutlarıyla ele alınmıştır. Bilimsel raporların yalnızca araştırma sonuçlarını sunan belgeler olmadığı, aynı zamanda bilimsel bilginin doğruluğunu, güvenirliğini ve niteliğini yansıtan temel araçlar olduğu vurgulanmıştır. Bu nedenle bilimsel raporların sistematik ölçütler doğrultusunda değerlendirilmesinin, bilimin öz denetim mekanizmasının önemli bir parçasını oluşturduğu ifade edilmiştir.
Bölüm kapsamında öncelikle bilimsel raporların niteliği, değerlendirilme gereksinimi ve temel değerlendirme ölçütleri açıklanmıştır. Ardından geçerlik ve güvenirlik kavramları ele alınmış; nicel araştırmalarda geçerlik ve güvenirlik kanıtlarının, nitel araştırmalarda ise inandırıcılık, aktarılabilirlik, tutarlılık ve teyit edilebilirlik ölçütlerinin önemi üzerinde durulmuştur.
Bilimsel çalışmaların kalite güvencesini sağlayan hakem ve uzman değerlendirme süreçleri incelenmiş; hakemlik türleri, değerlendirme aşamaları, etik ilkeler ve yapay zekâ destekli değerlendirme uygulamaları açıklanmıştır. Ayrıca değerlendirme sürecinde kullanılan ölçütler, rubrikler ve raporlama standartları tanıtılarak sistematik değerlendirme yaklaşımlarının önemi vurgulanmıştır.
Son olarak değerlendirme sonuçlarının raporlaştırılması, yapıcı geri bildirim verme ilkeleri ve etkili değerlendirme raporlarının özellikleri ele alınmıştır. Değerlendirme sürecinin yalnızca karar vermeye yönelik bir uygulama olmadığı, aynı zamanda araştırmacıların akademik gelişimini destekleyen eğitsel bir işlev taşıdığı belirtilmiştir.
Genel olarak bu bölüm, bilimsel raporların değerlendirilmesine ilişkin temel kavramları, ölçütleri ve uygulama ilkelerini bütüncül bir çerçevede sunarak araştırmacılar, lisansüstü öğrenciler ve değerlendiriciler için rehber niteliğinde bir kaynak oluşturmayı amaçlamaktadır.
Anahtar Kelimeler: Bilimsel rapor, bilimsel rapor değerlendirme, hakem değerlendirmesi, geçerlik, güvenirlik, araştırma etiği, raporlama standartları
Konu Alanı: Sosyal Bilimler -> Eğitim -> Eğitim ve Eğitim Araştırmaları
American Psychological Association (APA). (2020). Publication manual of the American Psychological Association (7th ed.). APA.
Booth, W. C., Colomb, G. G., & Williams, J. M. (2016). The craft of research (4th ed.). University of Chicago Press.
Brookhart, S. M. (2018). How to create and use rubrics for formative assessment and grading. ASCD.
Büyüköztürk, Ş., Kılıç-Çakmak, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2020). Bilimsel araştırma yöntemleri. Pegem Akademi.
Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Houghton Mifflin.
CASP. (2024). Critical Appraisal Skills Programme (CASP) Checklists. https://casp-uk.net
Committee on Publication Ethics (COPE). (2019). Ethical guidelines for peer reviewers. COPE.
Committee on Publication Ethics (COPE). (2023). AI tools and peer review: Guidance for editors, reviewers and authors. COPE.
Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Houghton Mifflin.
Creswell, J. W., & Creswell, J. D. (2018). Research design: Qualitative, quantitative, and mixed methods approaches (5th ed.). Sage.
Creswell, J. W., & Poth, C. N. (2018). Qualitative inquiry and research design: Choosing among five approaches (4th ed.). Sage.
Day, R. A., & Gastel, B. (2012). How to write and publish a scientific paper (7th ed.). Cambridge University Press.
DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). Sage.
Fitzpatrick, J. L., Sanders, J. R., & Worthen, B. R. (2011). Program evaluation: Alternative approaches and practical guidelines (4th ed.). Pearson.
Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education (8th ed.). McGraw-Hill.
Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2022). Multivariate data analysis (9th ed.). Cengage Learning.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Heaven, D. (2018). AI peer reviewers unleashed to ease publishing grind. Nature, 563, 609-610. https://doi.org/10.1038/d41586-018-07245-9
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.
Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Sage.
Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382-385.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741-749.
Miles, M. B., Huberman, A. M., & Saldaña, J. (2020). Qualitative data analysis: A methods sourcebook (4th ed.). Sage.
National Academies of Sciences, Engineering, and Medicine (NASEM). (2017). Fostering integrity in research. The National Academies Press.
Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., ... & Yarkoni, T. (2015). Promoting an open research culture. Science, 348(6242), 1422-1425.
Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., ... & Vazire, S. (2022). Replicability, robustness, and reproducibility in psychological science. Annual Review of Psychology, 73, 719–748.
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/ 10.1126/science.aac471
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., ... & Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71.
Punch, K. F. (2014). Introduction to social research: Quantitative and qualitative approaches (3rd ed.). Sage.
Resnik, D. B. (2018). The ethics of research with human subjects. Springer.
Schulz, K. F., Altman, D. G., & Moher, D. (2010). CONSORT 2010 statement: Updated guidelines for reporting parallel group randomized trials. BMJ, 340, c332.
Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagné, & M. Scriven (Eds.), Perspectives of curriculum evaluation (pp. 39-83). Rand McNally.
Stufflebeam, D. L., & Shinkfield, A. J. (2007). Evaluation theory, models, and applications. Jossey-Bass.
Tennant, J. P., & Ross-Hellauer, T. (2020). The limitations to our understanding of peer review. Research Integrity and Peer Review, 5(6). https://doi.org/10.1186/s41073-020-00092-1
Tong, A., Sainsbury, P., & Craig, J. (2007). Consolidated criteria for reporting qualitative research (COREQ): A 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care, 19(6), 349-357.
von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P. (2007). The strengthening the reporting of observational studies in epidemiology (STROBE) statement. PLoS Medicine, 4(10), e296.
Ware, M. (2008). Peer review: Benefits, perceptions and alternatives. Publishing Research Consortium.