Zudem verspürt man heute mehr als je zuvor das Bedürfnis, dieses Paradigma neu zu definieren, oder sogar zu verändern, wie Tom Jefferson in einem sehr interessanten Editorial in BMJ Evidence-Based Medicine erläutert.
Besonders in den letzten zehn Jahren, haben sich umfassende Beweise angesammelt, die das Axiom der absoluten Glaubwürdigkeit von Publikationen, die in wissenschaftlichen Fachzeitschriften erscheinen, in Frage stellen.
Das erste Problem, dem man gegenübersteht, ist das der „reinen Menge“. Für jede Seite des Artikels in einer Zeitschrift kann es bis zu 8000 Seiten mit Daten über ein und dieselbe klinische Studie geben (was Jefferson „Kompressionsfaktor“ nennt).
Das zweite Problem ist der Bias. Die mehr oder weniger radikale Auswahl von Daten und Informationen ist unausweichlich, aber wenn Informationen über die Kriterien dieser Auswahl fehlen, schleicht sich ein Bias ein, der so unergründlich wie unvermeidlich ist und zuweilen die klinischen Studienberichte und folglich die systematischen Reviews verzerrt.
Diese Verzerrung belegen besonders Studien, die Artikeln in Fachzeitschriften andere Informationsquellen gegenüberstellen. Inzwischen kommen vor allem klinische Studienberichte (CSR), die bis vor wenigen Jahren nicht zugänglich waren, von Seiten der Regulierungsbehörden oder aus Quellen der Industrie scheinbar unaufhaltsam ans Licht.
Angeführt wurde diese Veränderung vom Nordic Cochrane Center’s, mit Unterstützung des Ombudsmanns der Europäischen Union, der schließlich auch die EMA dazu gebracht hat, ihre Zugangspolitik zu verändern.
Aus dieser Erweiterung der Datengrundlage gehen ausreichend Elemente hervor, um stratifizierte und andere Analysen durchzuführen, die oft zu patientenrelevanten Ergebnissen führen (zum Beispiel in Hinsicht darauf, wie hervorgerufene Schäden aufgefasst und analysiert werden).
Was ist die Lösung in Bezug auf die anfängliche Fragestellung? Die Artikel in den Fachzeitschriften zu ignorieren?, fragt sich Jefferson.
Vom Blickwinkel eines Cochrane-Revisors (wie Jefferson) aus gesehen, geht mit der Unmöglichkeit, die Quellen der Bias festzustellen, die ständige Gefahr einher, dass die Reviews die „Probleme“ der Ausgangsartikel reproduzieren (Garbage In Garbage Out). Darüber hinaus muss bedacht werden, dass die „Probleme“ fast immer neutral sind, während die Artikel es dagegen häufig nicht sind, im Gegenteil, sie können sogar Elemente einer unsichtbaren Marketingstrategie sein. Jefferson sieht die einzige mögliche Lösung darin, dass man aufhört, Übersichtsarbeiten durchzuführen, die ausschließlich auf Artikeln beruhen, und dagegen auf Quellen zurückgreift, die alternative Erklärungen und Schlussfolgerungen erlauben, ausgehend von einem fast vollständigen Datensatz.
Wie sollte also an diesem Punkt das Paradigma „E“ neu definiert werden? Jefferson nennt das Beispiel einer Cochrane-Indexierung von prospektiven Vergleichsstudien über die Papillomavirus-Impfung. Sie hat drei Monate in Anspruch genommen, angefangen bei der Korrespondenz mit den Regulierungsbehörden, bis zu Studien, die durch Cross-referencing aus unterschiedlichen Quellen ermittelt wurden: Industrie, Register und weiter behördliche Dokumente.
Diese Vorgehensweise ist natürlich nicht ganz so einfach wie die Suche nach Publikationen in elektronischen Datenbanken. Aber genau darum geht es, laut Jefferson. Sie ist gerade deswegen schwieriger und komplexer, weil sie dem sehr nah kommt, was tatsächlich in den Studien und bei ihrer Durchführung geschieht.
Die Indexierung verlangt, zumindest bis jetzt, eine intensivere Nutzung von Ressourcen, als die Suche in elektronischen Datenbanken. Aber beide Vorgehensweisen können zusammen ausgeführt werden und sollten vielleicht kombiniert werden. Auf diese Weise, schließt Jefferson, wären sie imstande, uns eine akzeptable Vorstellung davon zu vermitteln, was fehlt und wo die Grenzen der Übersichtsarbeiten liegen.