Tıp araştırmalarının kalitesini değerlendirme konusunda dünyadaki en ünlü uzmanlardan biri olarak anılan Prof. Dr. İoannidis’in makalesini Sağlık Dergisi’ne yorumlayan Türk Cerrahi Derneği Başkanı Prof. Dr. Cem Terzi, “İoannidis bize en çok atıf alan klinik çalışmaların en az 1/3'ünün gösterdiği sonuçların, aynı kalitede hatta daha kaliteli sonraki çalışmalarla teyit edilmediğini gösterdi!” dedi.
“Prof. Dr. İoannidis, kariyerini tıbbi literatürü yanlı, çarpık, uygunsuz ve yetersiz araştırmalardan arındırmaya adamış önemli bir bilim adamıdır. Ioannidis "meta-researcher" olarak tanımlanmakta ve tıp araştırmalarının kalitesini değerlendirme konusunda dünyadaki en ünlü uzmanlardan biri olarak anılmaktadır” diyen Türk Cerrahi Derneği Başkanı Prof. Dr. Cem Terzi, yapılan bilimsel araştırmalarla ilgili olarak Ioannidis'in 2005 yılında PLoS Medicine'de yayımlandıktan sonra en çok indirilen makale ünvanını taşıyan "Why Most Published Research Findings Are False" yani "Yayımlanmış araştırma sonuçlarının çoğu yanlıştır." Makalesinin vardığı sonucu Sağlık Dergisi’ne yorumladı.
“Hekimlerin Günlük Tıbbi Uygulamaları İçin Dayanak Oluşturan Güncel Araştırma Sonuçlarının Büyük Bir Kısmı Aslında Hatalı Sonuçlar”
Prof. Dr. Terzi, makale ile ilgili şunları söyledi: “Çalışmaları ile hekimlerin günlük tıbbi uygulamaları için dayanak oluşturan güncel araştırma sonuçlarının büyük bir kısmının aslında hatalı sonuçlar olduğunu göstermiştir. İoannidis’in fikirleri bilim dünyasında büyük bir ilgi ve saygı uyandırmıştır. Yaşayan en etkileyici bilim insanlarından biri olduğu öne sürülmüştür.
“Yayınlardaki Yanlılık Bazen Çok Açıktır, Bazense Keşfedilmesi Çok Güçtür”
İoannidis, mevcut araştırma ve yayın sisteminin kronik biçimde yanlış bilgi ürettiğine ve bu bilginin kamuoyuna kabul ettirildiğine inanmaktadır. İoannidis'e göre bilimsel araştırma çok karmaşık bir süreçtir ve araştırmacılar çoğu kez verileri yanlış yorumlamakta ya da yanlılığa yol açmaktadırlar. Bu sorun bazen bilinçsizce ya da kaçınılmaz olarak, bazen de kişisel çıkarlar yüzünden oluşmaktadır. Yayınlardaki yanlılık bazen çok açıktır, bazense keşfedilmesi çok güçtür. Araştırmacılar çalışmaları istedikleri sonuçları almak üzere gerçekleştirmektedir. Bilimsel sürecin nesnel olduğu öngörüsü pek çok örnek için doğru değildir. Bu sürecin her bir aşamasında sonuçları çarpıtmak mümkündür ve araştırmacılar bu yollara sıklıkla başvurmaktadır.
“Bilimdeki Çarpıtma İzole Örneklerden İbaret Değil”
İoannidis, çalışmaları ile bilimdeki çarpıtmanın izole örneklerden ibaret olmadığını göstermiştir. Bir ilacın ya da tıbbi müdahalenin etkin olduğunu gösteren bazı araştırmalardan sonra yapılan benzer çalışmalar tam tersi sonuçlanabilmekte ya da en azından orijinal çalışmanın iddia ettiği kadar güçlü sonuçlara ulaşamayabilmektedirler. Bu tür birbiri ile çelişen çalışma sonuçları klinik pratikte karmaşıklığa yol açmaktadır. Bu durumu açıklamaya çalışan pek çok çalışma yapılmıştır. Örnek sayısı küçük olan çalışmaların daha sonra büyük çalışmalarla farklı sonuçlara ulaşıldığı iyi bilinen bir konudur Bunun gibi, bazı epidemiyolojik çalışmalar ve randomize çalışmalar arasında da çelişkiler olduğu gösterilmiştir.
Çok Sayıda Atıf Alan, Etki Gücü Yüksek Çalışmalar İçin de Benzer Bir Durum Olabilir mi?
İoannidis ise çok kritik bir sorunun yanıtını arayarak tam bu noktada devreye girmiştir: Çok sayıda atıf alan, etki gücü yüksek çalışmalar için de benzer bir durum olabilir mi?
İoannidis, geçmiş on beş yılda yayımlanmış kırk dokuz en saygın (en iyi dergilerde basılmış ve en çok atıf almış) araştırmayı inceledi. Bu araştırmalar tıp dünyasında köşe taşı makaleler olmuştu. Sonuçları tüm dünyada uygulanan popüler tedavilere yol açmıştı. Örneğin, menopozdaki kadınlara hormon replasman tedavisinin verilmesi, E vitamini ile kalp krizi riskinin azaltılması, düşük doz aspirin ile kalp krizlerinin ve inmelerin önlenmesi.
“Kabul Görmüş Çalışmaların En Az 1/3'ünün Güvenilir Olmadığını Gösterdi”
İoannidis kırk dokuz makaleden kırk beşinin etkin tedaviler öneren çalışmalar olduğunu saptadı. Bu çalışmalardan otuz dördünün öne sürdüğü iddialar daha sonradan başka çalışmalar ile yeniden test edilmişti. Yeni çalışmaların sonuçlarına göre, 14 (A) indeks çalışmanın iddiaları ya yanlış ya da ciddi biçimde abartılı bulundu. Ioannidis, bize sonuçları kabul görmüş çalışmaların en az 1/3'ünün güvenilir olmadığını gösterdi.
“1990-2003 Yılları Arasında Yayımlanan Binden Fazla Atıf Alan Toplam Yüz On Beş Makale Saptandı”
İoannidis'in bu çalışmasında 1990-2003 yılları arasında üç saygın dergide NEJM, JAMA, Lancet ya da impakt faktör değeri yediden yüksek diğer saygın dergilerde National Cancer Institute, Gastroenterolgy, Annals of International Medicine, Circulation gibi yayımlanan ve binden fazla atıf alan tüm klinik araştırmaları incelendi. Bu kriterlere uyan her bir çalışma (indeks çalışmalar) saptandıktan sonra o çalışma ile aynı soruyu konu alan başka klinik çalışmalar olup olmadığı tarandı. Bulunan çalışmalardan örneklem büyüklüğü aynı ya da daha fazla olan çalışmalar ve çalışma tasarımı/yöntemi daha iyi olan çalışmalar değerlendirmeye alındı. Adı geçen dergilerde 1990-2003 yılları arasında yayımlanan binden fazla atıf alan toplam yüz on beş makale saptandı (91'i NEJM, JAMA ve Lancet'te basılmıştı). Bunlardan kırk dokuzu bu çalışmanın amacında tanımlanan klinik çalışmalardı.
“En Çok Okunan ve Tıp Camiasını En Çok Etkileyen İndeks Klinik Araştırma Sonuçlarının Çelişkili ya da Abartılı Olması Ender Bir Durum Değildir”
Kırk dokuz çalışmanın kırk yedisi NEJM, JAMA ve Lancet'te yayımlanmıştı. Kırk üçü randomize çalışma, dördü prospektif kohort ve ikisi olgu serisiydi.
Kırk dokuz çok atıf almış indeks klinik çalışmadan kırk beşi bir tedavinin etkili olduğunu öne süren çalışmalardı. Bunlardan yedisinin sonuçları ile daha sonra aynı konuda yapılmış çalışmaların sonuçları tezat idi. Yedisindeki sonuçlar sonraki çalışmalardan daha güçlü etkinlik bildirmişti. Yirmisi sonraki çalışmalarla teyit edilmişti. On birinin ise sonradan benzeri bir çalışma yapılmamıştı. Sonuç: “en çok okunan ve tıp camiasını en çok etkileyen indeks klinik araştırma sonuçlarının çelişkili ya da abartılı olması ender bir durum değildir".
“Çok Sayıda Atıf Alan Klinik Çalışmaların Sonuçları Daha Sonra Yayımlanan Çalışmaların Sonuçları İle Tezattık Göstermiştir”
Son on beş yılda basılmış olan en çok atıf alan ve bir tedavinin etkili olduğunu gösteren klinik çalışmaların sonuçları daha sonra yayımlanan çalışmaların sonuçları ile tezattık göstermiştir. Ancak sonraki çalışmalarda benzer güçte etki bulmamıştır. Bu durum randomize çalışmalar için de geçerlidir.
Bu saptamalar, sonraki çalışmaların ilk indeks çalışmadan daha doğru olduğu anlamına gelmemelidir. Sonraki çalışmaların daha büyük ya da kontrol grubunun daha iyi olması bunların tamamen doğru, öncekinin tamamen yanlış olduğunu göstermez. Farklı sonuçlar için hastalık spektrumunun farklı olması gibi alternatif açıklamalar olabilir. Buna rağmen bu farklılıkların klinik uygulamalarda ciddi bir belirsizliğe yol açtığı yadsınamaz.
“Sonradan Tersi Gösterilmiş Pek Çok Çalışmanın Atıf Almaya Devam Ettiği Görülmektedir”
Aynı soruya yanıt arayan farklı çalışmalar tipik olarak birbirinin sonuçlarını tekrarlamaz. Bu farklılığın kendisi başlı başına ilginçtir, zira verilerin dikkatlice incelenmesi ve inandıklarımızın gözden geçirilmesi için eşsiz bir fırsat yaratırlar. Zaten sonradan tersi gösterilmiş pek çok çalışmanın atıf almaya devam ettiği görülmektedir.
“Özellikle Erken Dönem Sonuçların Yayımlandığı Klinik Çalışmalar Hakkında Hemen Karar Verilmemelidir”
Tıbbi literatürde pek çok klinik sorunun yanıtı küçük ya da randomize olmayan çalışmalar ile verilmiş durumdadır. Küçük çalışmaların ve meta-analizlerin sonuçları daha sonra yapılan büyük çalışmalar ile tersine çevrilebilir. Burada ayrıntılarına giremediğim, ancak Ioannidis'in altını çizdiği ve gösterdiği diğer bir durum da güçlü pozitif sonuçların zaman içinde etkinliğini yitirebildiğidir. Bazı çalışmalar bir tedaviyi etkin olarak bulmuş olabilir, ancak daha uzun izlemlerde tedavinin etkin olmadığı ya da ilk çalışmada gösterildiği kadar etkili olmadığı saptanabilmektedir. Bu nedenle özellikle erken dönem sonuçların yayımlandığı klinik çalışmalar hakkında hemen karar verilmemelidir. Etkin olduğu gösterilmiş bir ilaç ya da uygulamanın bu etkisinin zaman içinde devam edip etmediği, genelleştirilip genelleştirilemeyeceği, uygulanabilirliği konularında ihtiyatlı olunmalıdır.”
“Prof. Dr. İoannidis, kariyerini tıbbi literatürü yanlı, çarpık, uygunsuz ve yetersiz araştırmalardan arındırmaya adamış önemli bir bilim adamıdır. Ioannidis "meta-researcher" olarak tanımlanmakta ve tıp araştırmalarının kalitesini değerlendirme konusunda dünyadaki en ünlü uzmanlardan biri olarak anılmaktadır” diyen Türk Cerrahi Derneği Başkanı Prof. Dr. Cem Terzi, yapılan bilimsel araştırmalarla ilgili olarak Ioannidis'in 2005 yılında PLoS Medicine'de yayımlandıktan sonra en çok indirilen makale ünvanını taşıyan "Why Most Published Research Findings Are False" yani "Yayımlanmış araştırma sonuçlarının çoğu yanlıştır." Makalesinin vardığı sonucu Sağlık Dergisi’ne yorumladı.
“Hekimlerin Günlük Tıbbi Uygulamaları İçin Dayanak Oluşturan Güncel Araştırma Sonuçlarının Büyük Bir Kısmı Aslında Hatalı Sonuçlar”
Prof. Dr. Terzi, makale ile ilgili şunları söyledi: “Çalışmaları ile hekimlerin günlük tıbbi uygulamaları için dayanak oluşturan güncel araştırma sonuçlarının büyük bir kısmının aslında hatalı sonuçlar olduğunu göstermiştir. İoannidis’in fikirleri bilim dünyasında büyük bir ilgi ve saygı uyandırmıştır. Yaşayan en etkileyici bilim insanlarından biri olduğu öne sürülmüştür.
“Yayınlardaki Yanlılık Bazen Çok Açıktır, Bazense Keşfedilmesi Çok Güçtür”
İoannidis, mevcut araştırma ve yayın sisteminin kronik biçimde yanlış bilgi ürettiğine ve bu bilginin kamuoyuna kabul ettirildiğine inanmaktadır. İoannidis'e göre bilimsel araştırma çok karmaşık bir süreçtir ve araştırmacılar çoğu kez verileri yanlış yorumlamakta ya da yanlılığa yol açmaktadırlar. Bu sorun bazen bilinçsizce ya da kaçınılmaz olarak, bazen de kişisel çıkarlar yüzünden oluşmaktadır. Yayınlardaki yanlılık bazen çok açıktır, bazense keşfedilmesi çok güçtür. Araştırmacılar çalışmaları istedikleri sonuçları almak üzere gerçekleştirmektedir. Bilimsel sürecin nesnel olduğu öngörüsü pek çok örnek için doğru değildir. Bu sürecin her bir aşamasında sonuçları çarpıtmak mümkündür ve araştırmacılar bu yollara sıklıkla başvurmaktadır.
“Bilimdeki Çarpıtma İzole Örneklerden İbaret Değil”
İoannidis, çalışmaları ile bilimdeki çarpıtmanın izole örneklerden ibaret olmadığını göstermiştir. Bir ilacın ya da tıbbi müdahalenin etkin olduğunu gösteren bazı araştırmalardan sonra yapılan benzer çalışmalar tam tersi sonuçlanabilmekte ya da en azından orijinal çalışmanın iddia ettiği kadar güçlü sonuçlara ulaşamayabilmektedirler. Bu tür birbiri ile çelişen çalışma sonuçları klinik pratikte karmaşıklığa yol açmaktadır. Bu durumu açıklamaya çalışan pek çok çalışma yapılmıştır. Örnek sayısı küçük olan çalışmaların daha sonra büyük çalışmalarla farklı sonuçlara ulaşıldığı iyi bilinen bir konudur Bunun gibi, bazı epidemiyolojik çalışmalar ve randomize çalışmalar arasında da çelişkiler olduğu gösterilmiştir.
Çok Sayıda Atıf Alan, Etki Gücü Yüksek Çalışmalar İçin de Benzer Bir Durum Olabilir mi?
İoannidis ise çok kritik bir sorunun yanıtını arayarak tam bu noktada devreye girmiştir: Çok sayıda atıf alan, etki gücü yüksek çalışmalar için de benzer bir durum olabilir mi?
İoannidis, geçmiş on beş yılda yayımlanmış kırk dokuz en saygın (en iyi dergilerde basılmış ve en çok atıf almış) araştırmayı inceledi. Bu araştırmalar tıp dünyasında köşe taşı makaleler olmuştu. Sonuçları tüm dünyada uygulanan popüler tedavilere yol açmıştı. Örneğin, menopozdaki kadınlara hormon replasman tedavisinin verilmesi, E vitamini ile kalp krizi riskinin azaltılması, düşük doz aspirin ile kalp krizlerinin ve inmelerin önlenmesi.
“Kabul Görmüş Çalışmaların En Az 1/3'ünün Güvenilir Olmadığını Gösterdi”
İoannidis kırk dokuz makaleden kırk beşinin etkin tedaviler öneren çalışmalar olduğunu saptadı. Bu çalışmalardan otuz dördünün öne sürdüğü iddialar daha sonradan başka çalışmalar ile yeniden test edilmişti. Yeni çalışmaların sonuçlarına göre, 14 (A) indeks çalışmanın iddiaları ya yanlış ya da ciddi biçimde abartılı bulundu. Ioannidis, bize sonuçları kabul görmüş çalışmaların en az 1/3'ünün güvenilir olmadığını gösterdi.
“1990-2003 Yılları Arasında Yayımlanan Binden Fazla Atıf Alan Toplam Yüz On Beş Makale Saptandı”
İoannidis'in bu çalışmasında 1990-2003 yılları arasında üç saygın dergide NEJM, JAMA, Lancet ya da impakt faktör değeri yediden yüksek diğer saygın dergilerde National Cancer Institute, Gastroenterolgy, Annals of International Medicine, Circulation gibi yayımlanan ve binden fazla atıf alan tüm klinik araştırmaları incelendi. Bu kriterlere uyan her bir çalışma (indeks çalışmalar) saptandıktan sonra o çalışma ile aynı soruyu konu alan başka klinik çalışmalar olup olmadığı tarandı. Bulunan çalışmalardan örneklem büyüklüğü aynı ya da daha fazla olan çalışmalar ve çalışma tasarımı/yöntemi daha iyi olan çalışmalar değerlendirmeye alındı. Adı geçen dergilerde 1990-2003 yılları arasında yayımlanan binden fazla atıf alan toplam yüz on beş makale saptandı (91'i NEJM, JAMA ve Lancet'te basılmıştı). Bunlardan kırk dokuzu bu çalışmanın amacında tanımlanan klinik çalışmalardı.
“En Çok Okunan ve Tıp Camiasını En Çok Etkileyen İndeks Klinik Araştırma Sonuçlarının Çelişkili ya da Abartılı Olması Ender Bir Durum Değildir”
Kırk dokuz çalışmanın kırk yedisi NEJM, JAMA ve Lancet'te yayımlanmıştı. Kırk üçü randomize çalışma, dördü prospektif kohort ve ikisi olgu serisiydi.
Kırk dokuz çok atıf almış indeks klinik çalışmadan kırk beşi bir tedavinin etkili olduğunu öne süren çalışmalardı. Bunlardan yedisinin sonuçları ile daha sonra aynı konuda yapılmış çalışmaların sonuçları tezat idi. Yedisindeki sonuçlar sonraki çalışmalardan daha güçlü etkinlik bildirmişti. Yirmisi sonraki çalışmalarla teyit edilmişti. On birinin ise sonradan benzeri bir çalışma yapılmamıştı. Sonuç: “en çok okunan ve tıp camiasını en çok etkileyen indeks klinik araştırma sonuçlarının çelişkili ya da abartılı olması ender bir durum değildir".
“Çok Sayıda Atıf Alan Klinik Çalışmaların Sonuçları Daha Sonra Yayımlanan Çalışmaların Sonuçları İle Tezattık Göstermiştir”
Son on beş yılda basılmış olan en çok atıf alan ve bir tedavinin etkili olduğunu gösteren klinik çalışmaların sonuçları daha sonra yayımlanan çalışmaların sonuçları ile tezattık göstermiştir. Ancak sonraki çalışmalarda benzer güçte etki bulmamıştır. Bu durum randomize çalışmalar için de geçerlidir.
Bu saptamalar, sonraki çalışmaların ilk indeks çalışmadan daha doğru olduğu anlamına gelmemelidir. Sonraki çalışmaların daha büyük ya da kontrol grubunun daha iyi olması bunların tamamen doğru, öncekinin tamamen yanlış olduğunu göstermez. Farklı sonuçlar için hastalık spektrumunun farklı olması gibi alternatif açıklamalar olabilir. Buna rağmen bu farklılıkların klinik uygulamalarda ciddi bir belirsizliğe yol açtığı yadsınamaz.
“Sonradan Tersi Gösterilmiş Pek Çok Çalışmanın Atıf Almaya Devam Ettiği Görülmektedir”
Aynı soruya yanıt arayan farklı çalışmalar tipik olarak birbirinin sonuçlarını tekrarlamaz. Bu farklılığın kendisi başlı başına ilginçtir, zira verilerin dikkatlice incelenmesi ve inandıklarımızın gözden geçirilmesi için eşsiz bir fırsat yaratırlar. Zaten sonradan tersi gösterilmiş pek çok çalışmanın atıf almaya devam ettiği görülmektedir.
“Özellikle Erken Dönem Sonuçların Yayımlandığı Klinik Çalışmalar Hakkında Hemen Karar Verilmemelidir”
Tıbbi literatürde pek çok klinik sorunun yanıtı küçük ya da randomize olmayan çalışmalar ile verilmiş durumdadır. Küçük çalışmaların ve meta-analizlerin sonuçları daha sonra yapılan büyük çalışmalar ile tersine çevrilebilir. Burada ayrıntılarına giremediğim, ancak Ioannidis'in altını çizdiği ve gösterdiği diğer bir durum da güçlü pozitif sonuçların zaman içinde etkinliğini yitirebildiğidir. Bazı çalışmalar bir tedaviyi etkin olarak bulmuş olabilir, ancak daha uzun izlemlerde tedavinin etkin olmadığı ya da ilk çalışmada gösterildiği kadar etkili olmadığı saptanabilmektedir. Bu nedenle özellikle erken dönem sonuçların yayımlandığı klinik çalışmalar hakkında hemen karar verilmemelidir. Etkin olduğu gösterilmiş bir ilaç ya da uygulamanın bu etkisinin zaman içinde devam edip etmediği, genelleştirilip genelleştirilemeyeceği, uygulanabilirliği konularında ihtiyatlı olunmalıdır.”
Yorumlar