Sistematik derleme nasıl yapılır?
İlk sistematik derlemesini yapan bir araştırmacı için adım adım yöntem: protokol, arama, eleme, yanlılık riski ve sentez kararı.
Sistematik derleme nedir?
Sistematik derleme, belirli bir soruya cevap vermek için literatürün önceden tanımlanmış ve yazılı bir yönteme göre taranması, seçilmesi ve değerlendirilmesidir. Arama sorgusu, dahil etme ölçütleri ve veri çıkarma biçimi tarama başlamadan sabitlenir; böylece seçim, araştırmacının o an dikkatini çeken çalışmalara göre değil, önceden ilan edilmiş kurala göre yapılır.
Sistematik olan taramanın kendisi değil, kararların sırasıdır: serbest taramada araştırmacı okudukça ölçütünü değiştirebilir, sistematik derlemede ölçüt yazılıdır ve değişirse değişiklik rapora girer.
Alanyazın taramasının yazarın hafızasına değil yapılandırılmış bir yönteme dayanması gerektiği çok önce savunuldu (Webster ve Watson, 2002). Sistematik derleme bu fikrin en katı biçimidir: yöntem, başka bir ekibin aynı adımları izleyip aynı çalışma kümesine ulaşabileceği ayrıntıda yazılır.
Bir derlemeyi sistematik kılan şeyler şunlardır:
- Cevaplanacak soru, tarama başlamadan tek cümleyle yazılır.
- Arama sorgusu, çalıştırıldığı veri tabanı ve tarihle birlikte olduğu gibi raporlanır.
- Dahil etme ve dışlama ölçütleri önceden ilan edilir ve her elemede aynı biçimde uygulanır.
- Seçim kararları en az iki kişi tarafından bağımsız verilir.
- Hangi aşamada kaç kaydın elendiği sayıyla kaydedilir.
- Dahil edilen çalışmaların yanlılık riski tek tek değerlendirilir.
Sistematik derleme ile geleneksel derleme arasındaki fark ne?
Geleneksel derleme, yazarın alan bilgisine dayanarak seçtiği çalışmaları anlatır ve hangi kaynakların neden dışarıda kaldığı çoğu zaman yazılı değildir; sistematik derlemede ise bu adımlar önceden tanımlanır ve raporlanır. Fark konu değil yöntemdir: birinde seçim yazarın takdirine, diğerinde ilan edilmiş bir kurala bağlıdır.
Derlemeleri birbirinden ayıran şey odak, amaç, bakış açısı, kapsam, düzenleme ve hedef kitledir (Cooper, 1988); bu sınıflama her derlemenin bir kapsam iddiası taşıdığını gösterir. Geleneksel derlemenin kapsamı temsili olmakla yetinir; sistematik derleme, ilan ettiği ölçütler içinde eksiksiz olma iddiasındadır.
Aradaki fark bir üstünlük sırası değildir; geleneksel derleme yeni bir alanı tanıtmak, kavram tartışması açmak ya da bir tarihçe çıkarmak için uygun olabilir. Ama bir soruya kanıt toplandığı iddia ediliyorsa, seçim kuralının okuyucuya açık olması gerekir.
| Ayrım | Geleneksel derleme | Sistematik derleme |
|---|---|---|
| Soru | Yazı ilerledikçe biçimlenir | Tarama başlamadan sabitlenir |
| Arama | Çoğunlukla anlatılmaz | Sorgu, veri tabanı ve tarih raporlanır |
| Seçim | Yazarın takdiri | Önceden ilan edilmiş ölçütler |
| Değerlendirici | Genellikle tek kişi | En az iki bağımsız kişi |
| Elenen kayıtlar | Görünmez | Sayı ve gerekçeyle kaydedilir |
| Yeniden üretim | Pratikte mümkün değil | Adımlar tekrarlanabilir |
PRISMA nedir ve ne işe yarar?
PRISMA, sistematik derlemelerin nasıl raporlanacağını tarif eden bir kılavuzdur (Page ve ark., 2021). İki parçadan oluşur: yazarın hangi bilgiyi rapora koyması gerektiğini sıralayan kontrol listesi ve çalışmaların hangi aşamada kaç tane elendiğini gösteren akış diyagramı. Raporlamayı düzenler, kaliteyi ölçmez: her maddenin işaretlenmiş olması derlemenin iyi yapıldığını değil, eksiksiz anlatıldığını gösterir.
Kontrol listesi raporda bulunması gereken bilgi kalemlerini sıralar: başlık, özet, arama sorgusunun tam metni, eleme süreci, yanlılık değerlendirmesi, sonuçların sunumu ve protokolden sapmalar.
Akış diyagramı bir sayı hikayesidir: veri tabanlarından kaç kaydın geldiği, kaçının silindiği ya da elendiği ve kaç tam metne ulaşılıp geriye kaç çalışmanın kaldığı tek şemada görülür. Diyagram doldurulamıyorsa süreç kaydedilmemiş demektir.
Sık yapılan hata, PRISMA kontrol listesini bir kalite ölçeği gibi kullanmaktır. Zayıf bir arama stratejisiyle yürütülmüş bir derleme, o stratejiyi dürüstçe raporladığı sürece listeyi tam işaretleyebilir; kalite değerlendirmesi ayrı bir iştir ve dahil edilen çalışmaların yanlılık riskiyle yürür.
Ayrım tersine de geçerlidir: iyi yürütülmüş ama eksik raporlanmış bir derleme okuyucu için doğrulanamaz. Yeniden üretilebilirliğin şartı sonucun değil, sonuca götüren adımların paylaşılmasıdır (Peng, 2011).
Bir protokol neden önceden yazılır?
Protokol, çalışma başlamadan önce soruyu, arama stratejisini, dahil etme ölçütlerini ve analiz planını yazıya döker; sonuçlar görüldükten sonra ölçüt değiştirmek, istenen yönde çıkan çalışmaları içeride tutmayı kolaylaştırır. Protokolün önceden yazılıp tarihli kayda geçmesi bu riski azaltır ve aynı işi iki kez yapan ekipleri görünür kılar.
Bir protokol en az şunları içerir:
- Cevaplanacak soru ve sorunun bileşenleri
- Dahil etme ve dışlama ölçütleri
- Aranacak veri tabanları ve sorgu dizesinin taslağı
- Tarih aralığı, dil ve yayın türü kısıtları
- Kaç değerlendiricinin çalışacağı ve anlaşmazlığın nasıl çözüleceği
- Hangi verilerin çıkarılacağı ve nasıl sentezleneceği
- Yanlılık riskinin hangi araçla değerlendirileceği
Protokolün çalışma başlamadan tarihli bir kayda geçirilmesine ön kayıt denir; bu, sonuçlar görüldükten sonra yapılan değişiklikleri gizlenemez hale getirir çünkü kayıtlı metin ile yayımlanan metin karşılaştırılabilir. Sistematik derlemeler için bu kaydı tutan halka açık kütükler bulunuyor.
Protokolden sapmak yasak değildir, gizlemek yasaktır: beklenmedik bir çalışma türüyle karşılaşıp ölçütü daralttıysanız bunu gerekçesiyle raporlarsınız. PRISMA 2020 zaten protokolün nerede kayıtlı olduğunu ve varsa değişiklikleri soruyor (Page ve ark., 2021).
Arama stratejisi nasıl kurulur?
Arama stratejisi, sorunun kavramlarını arama terimlerine çevirmekle başlar: her kavram için eş anlamlı ve alan başlıkları VEYA ile, kavramlar arası bağ VE ile kurulur. Sonra veri tabanları, tarih aralığı ve dil kısıtı seçilir; kullanılan sorgu, tarihiyle birlikte olduğu gibi yayımlanır.
Sorgu dizesi
Sorunun her kavramı ayrı bir blok olur; blok içinde o kavramın eş anlamlıları, yazım varyantları ve veri tabanının alan başlıkları (subject headings) VEYA ile, bloklar birbirine VE ile bağlanır. Kesme ve yakınlık işleçleri veri tabanına göre değiştiği için aynı sorgu her yerde birebir çalışmaz; her veri tabanı için uyarlanan sürüm ayrı yazılır ve raporlanır.
Sorgunun yayımlanması nezaket değil, yöntemin kendisidir. Sorgu dizesi olmadan derleme yeniden üretilemez; bulunan kayıt sayısı verilse bile o sayının nasıl elde edildiği bilinmez (Peng, 2011).
Veri tabanı seçimi
Tek veri tabanı yetmez; kapsam alandan alana değişir ve hiçbir dizin bütün dergileri içermez. Konuya göre birden çok genel dizin ve alanın kendi veri tabanı birlikte taranır, seçimin gerekçesiyle birlikte yazılır. Dahil edilen çalışmaların kaynakçaları da elle taranır.
Tarih aralığı ve dil kısıtı
Tarih aralığı gerekçeli olmalıdır: bir yöntemin ilk yayımlandığı yıl ya da bir düzenlemenin yürürlüğe girdiği tarih iyi bir başlangıçtır, yuvarlak bir yıl seçmek değildir. Dil kısıtı da bir dışlama ölçütüdür; konulacaksa gerekçesi ve sonuç üzerindeki olası etkisi yazılır.
Gri literatür
Gri literatür (grey literature), ticari yayıncılık dışında kalan tezler, raporlar, bildiriler ve kurum belgeleridir. Dahil edilmesi tartışmalıdır: dizinlenmediği için taranması zordur ve hakem denetiminden geçmemiş olabilir. Buna karşılık yalnız yayımlanmış çalışmaya bakmak, olumlu sonuçların yayımlanma şansının daha yüksek olmasından doğan eğilimi rapora taşır (Higgins ve ark., Cochrane Handbook); karar ne olursa olsun protokolde yazılıdır.
Dahil etme ve dışlama kararları nasıl kaydedilir?
Her kayıt en az iki değerlendirici tarafından bağımsız taranır: önce başlık ve özet, sonra tam metin. Anlaşmazlık tartışmayla ya da üçüncü bir değerlendiriciyle çözülür. Adımlar aşağıda listelidir.
- Kayıtlar veri tabanlarından toplanır ve yinelenenler silinir. Bulunan kayıt sayısı ile silinen sayı ayrı ayrı yazılır.
- Başlık ve özet taraması yapılır. İki değerlendirici bağımsız çalışır ve birbirinin kararını görmez.
- Kalan kayıtların tam metnine ulaşılır. Ulaşılamayan kayıtlar ayrı bir sayı olarak raporlanır.
- Tam metinler ölçütlere göre okunur. Elenen her çalışma için tek bir dışlama gerekçesi yazılır.
- Anlaşmazlıklar tartışmayla, çözülmezse üçüncü bir değerlendiricinin kararıyla kapatılır.
- Bütün sayılar akış diyagramına aktarılır. Aşamalar arasındaki toplamlar birbirini tutmak zorundadır.
İki bağımsız değerlendiricinin amacı iş bölümü değil hata yakalamadır; tek kişi tarayınca hem dikkat kaymaları hem beklentiye uygun seçim görünmez kalır. Değerlendiriciler arasındaki uyumun raporlanması, ölçütlerin ne kadar net yazıldığını da gösterir (Higgins ve ark., Cochrane Handbook).
Kararların gerekçesiyle saklandığı bir defter, derlemeyi denetlenebilir kılar. Çıkarılan verinin ve karar kaydının makine okunur biçimde paylaşılması, aynı veriyle çalışmak isteyen başka ekiplerin işini de mümkün kılar (Wilkinson ve ark., 2016).
Karşılaştırma
bekliyor
Kanıt
koşu bitmedi
Yanlılık riski nasıl değerlendirilir?
Yanlılık riski, bir çalışmanın tasarımı ve yürütülüşü yüzünden sonucun gerçek etkiden sistematik olarak sapıp sapmadığını sorar. Değerlendirme çalışma bazında ve alan alan yapılır (Higgins ve ark., Cochrane Handbook); sonuç tek bir puan değil, gerekçeli bir yargıdır.
Yanlılık riski ile raporlama kalitesi farklı şeylerdir: bir çalışma düzgün yazılmış olabilir ama körleme yapılmadığı için etki tahmini şişmiş olabilir. Tersine, eksik raporlayan bir çalışmanın riski belirsiz kalır ve belirsizlik düşük risk demek değildir.
Randomize çalışmalar için hazırlanan Cochrane aracı riski alan alan sorgular: rastgeleleştirme süreci, müdahaleden sapmalar, eksik sonuç verisi, sonucun ölçülme biçimi ve raporlanan sonucun seçimi; her alan için hem yargı hem dayanağı yazılır. Randomize olmayan tasarımlarda asıl tehdit karıştırıcı değişkenler olduğu için ayrı araçlar kullanılır, hangisinin kullanılacağı protokolde belirtilir.
Değerlendirme burada da iki kişi tarafından bağımsız yapılır ve sonuçlar çalışma bazında sunulur. Yüksek riskli çalışmaların dışarıda bırakıldığı bir duyarlılık analizi, genel sonucun bu çalışmalara ne kadar bağlı olduğunu gösterir.
Meta-analiz her zaman yapılır mı?
Hayır: meta-analiz, çalışmaların soruları, katılımcıları, müdahaleleri ve ölçüm biçimleri birleştirmeye elverecek kadar benzer olduğunda anlamlıdır. Heterojenlik bu eşiği aşarsa tek bir ortak etki büyüklüğü yanıltıcı olur. Bu durumda bulgular nitel sentezle anlatılır ve derleme yine sistematik kalır.
Heterojenlik üç yerden gelir: katılımcıların, müdahalelerin ve sonuç ölçütlerinin farklı olmasından; tasarımların ve yanlılık riskinin farklı olmasından; etki tahminlerinin şansla açıklanamayacak kadar dağılmasından (Higgins ve ark., Cochrane Handbook).
Birleştirme kararı istatistikten önce gelir: çalışmalar aynı soruyu sormuyorsa ortalamalarının bir anlamı olmaz, düşük bir dağılım ölçütü bunu düzeltmez. Karar önce içerikle verilir, sonra sayıyla sınanır.
Meta-analiz yapılamıyorsa nitel sentez yazılır: çalışmalar yapılandırılmış bir tabloda sunulur, bulguların yönü ve büyüklüğü karşılaştırılır, çelişen sonuçların olası sebepleri tartışılır. Nitel sentez, sistematik derlemenin zayıf sürümü değildir; protokol, arama ve eleme disiplini burada da aynen geçerlidir. Meta-analiz yapıldığında ise sonuç tek bir sayıya indirgenmez, güven aralığı ve duyarlılık analizleriyle birlikte raporlanır.
Bu adımlar hangi araçla yürütülür?
Sistematik derlemenin adımları elle de yürütülebilir; yazılı bir protokol, referans yöneticisi ve düzgün tutulmuş bir hesap tablosu yeterlidir. Süreci tek yerde toplayan araçların katkısı, dahil etme kararlarını gerekçesiyle kaydetmesi, sayıları akış diyagramına kendiliğinden taşıması ve arama sorgusunu yöntemin bir parçası olarak saklamasıdır.
Lacuna bu iş için kurulmuş bir platform: bir alanın literatürünü okuyup kümeler arasında kalan boşluğu işaretliyor, dahil etme ve dışlama kararlarını gerekçesiyle karar defterine yazıyor ve analiz kapandığında yöntemi donduruyor, aynı korpus aynı sonucu veriyor.
İlgili rehberler
Kaynaklar
- Cooper, H. M. (1988). Organizing knowledge syntheses: a taxonomy of literature reviews. Knowledge in Society, 1(1), 104-126.
- Higgins, J. P. T. ve ark. (Ed.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
- Page, M. J. ve ark. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Webster, J. ve Watson, R. T. (2002). Analyzing the past to prepare for the future: writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.
- Wilkinson, M. D. ve ark. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Bir alanı baştan sona taramanız mı gerekiyor?
Literatürü okuyan, kararları gerekçesiyle kaydeden ve yöntemi mühürleyen bir iş akışı için Lacuna sayfasına bakın ya da bize yazın.










