Sportmedizin
EDITORIAL

Qualitätskontrolle durch Peer Review

Quality Control by Peer Review

Für die Qualitätskontrolle des wissenschaftlichen Arbeitens ist das System der Begutachtung durch Peers sowohl für die kompetitive Vergabe von Forschungsgeldern wie auch für die Publikation von Forschungsergebnissen von entscheidender Bedeutung. Peer lässt sich übersetzten mit Gleichrangiger oder Ebenbürtiger. Dieser Begriff impliziert, dass die Begutachtung von Forschungsanträgen oder zur Publikation eingereichten Manuskripten von Kollegen vorgenommen wird, die über vergleichbare Sachkompetenz und Stellung verfügen wie der Antragsteller bzw. der Autor. Dies impliziert, dass die Begutachtung eine ernst zu nehmende Aufgabe ist, die mit der nötigen Sachkompetenz, Sorgfalt und Ehrlichkeit erfolgen sollte. Da der Personenkreis, der für diese Aufgaben in Frage kommt in der Regel bereits mit vielen Aufgaben betraut ist, wird diese wichtige Aufgabe zur Qualitätssicherung als oft lästig empfunden, besonderes wenn man von einem weniger renommierten Journal angefragt wird. Die Erfahrungen, welche die Redaktion der DZSM macht, sprechen dafür, dass versucht wird, dieser Aufgabe aus dem Weg zu gehen: Seit Juli 2009 wurden 121 Gutachter angefragt, von denen 81 entweder überhaupt nicht reagierten oder trotz Zusage keine Gutachten erstellten.
Für die Qualitätssicherung ist aber eine kompetente Begutachtung entscheidend. Wer außer den Experten, die im gleichen Bereich arbeiten, sollte die Methoden und das Studiendesign überprüfen, die Qualität der Daten beurteilen und dem Editor – und damit auch dem Leser – bestätigen können, dass die Schlussfolgerungen der Publikation valide sind? Im Eigenverlag herausgegebene Publikationen, nicht begutachtete Artikel in Büchern und Supplementen oder Abschlussberichte von Forschungsprojekten, wie sie vom BISP jedes Jahr publiziert werden, sind kein zuverlässiger Leistungsnachweis. Dasselbe gilt für Abstracts, auch wenn sie durch einen Reviewprozess ausgewählt wurden, weil es unmöglich ist, in einem Abstract die Details auf die es für die Beurteilung der Qualität einer Studie ankommt, darzustellen. Entsprechend wird an medizinischen Fakultäten für die Beurteilung einer Habilitationsleistung im Wesentlichen auf Originalarbeiten, die in Journalen mit Peer Review publiziert wurden, abgestellt. Dasselbe sollte auch geschehen, wenn Vorleistungen im Rahmen von Forschungsanträgen beurteilt werden.
Das Peer Review System hat aber auch potentielle Schwächen. So ist es auch in führenden Journalen, die auf die Hilfe exzellent qualifizierter Reviewer zählen können, nicht in der Lage Betrug mit Sicherheit auszuschließen, wie kürzlich der Fall von Woo-Suk Hwang in der Zeitschrift Science (1) belegt. Ferner kann es vorkommen, dass unsorgfältig begutachtet wird, dass die mangelnde Kompetenz nicht eingeräumt wird oder dass eine ungerechtfertige Ablehnung empfohlen wird in der Absicht, die Publikation zu verhindern, weil man eine eigene ähnliche Arbeit als Erster publizieren möchte (2). Bei Forschungsanträgen besteht die Möglichkeit, der Ablehnung, weil man Ideen übernehmen möchte. Es wurde auch gezeigt, dass Beziehungen eine Rolle spielen können und dass unbekannte Gruppen es schwerer haben, ein Abstract für einen Kongress akzeptiert zu kriegen, wenn nicht anonymisiert begutachtet wird (3). Leider ist es kaum möglich, die Anonymität der Autoren von Originalarbeiten zu wahren, weil in der Regel in der Publikation eigene Vorarbeiten erwähnt werden, welche eine Identifizierung der Autoren erlaubt.
Ein Ansatz unfaire Begutachtung zu vermeiden, ist die weit verbreitete Gepflogenheit mehrere Reviewer zu involvieren und zwischen ihnen und dem Entscheid des Editors volle Transparenz zu gewähren. Die Transparenz erhöht nicht nur die Hemmschwelle für unfaire oder unsorgfältige Begutachtung. Es ist auch sehr interessant und lehrreich lesen zu können, wie andere Experten urteilen. Ich würde mir wünschen, dass diese Praxis auch Einzug hält ins Begutachtungsverfahren von Forschungsanträgen, was leider bei den meisten Institutionen, die Forschungsgelder verteilen, nicht der Fall ist. Transparente Begutachtung zwischen Reviewern und Editor genügt offensichtlich nicht immer, um die gewünschte Fairness zu erreichen. Es wurde deshalb schon vorgeschlagen, dass die Gutachter nicht anonym bleiben und dass Gutachten zusammen mit den Publikationen veröffentlich werden oder dass Erstere online zugänglich gemacht werden und dass die Gutachter ihre Kritik mittels Referenzen belegen sollen. Ein solches Vorgehen wäre zu begrüßen, würde aber nicht nur die Objektivität, sondern auch den Aufwand für die Erstellung von Gutachten wesentlich erhöhen und damit die Bereitschaft zur Begutachtung drastisch reduzieren, insbesondere für Journale mit geringerer Verbreitung und Bedeutung.
Trotz der geschilderten Schwächen funktioniert das Peer Review System in der Regel recht gut, insbesondere dann, wenn der Editor Missbräuche und Fehlleistungen erkennt und korrigierend eingreifen kann. Da auch berechtigte Kritik oft schwer zu akzeptiert ist, neigt der Autor in der Regel dazu, in einer ersten Reaktion das System und die Gutachter in Zweifel zu ziehen, was aber in den meisten Fällen nicht angebracht ist, wie jeweils eine zweite Betrachtung mit größerer Distanz ergibt. Insgesamt hat das System auch bei der DZSM gut funktioniert, wenn man von dem enormen Aufwand für die Gewinnung von Reviewern absieht. Der Einsatz des Editors und seines Teams hat sich gelohnt. Die DZSM ist in den letzten 4 Jahren im Ranking der Journale des Bereiches Sport Science um 18 Plätze aufgestiegen und belegt nun mit einen Impact Faktor von 0,827 den 45. Platz unter 71 Journalen und ist damit das Beste unter den Gereihten, nicht englischsprachige Journal in diesem Bereich (4).
Es ist für mich unbestritten, dass eine Fachgesellschaft mit 10000 Mitgliedern ein eigene Zeitschrift haben muss. Da die überwiegende Mehrzahl der Mitglieder der DGSP praktisch tätig ist, müßen im wissenschaftlichen Teil der DZSM die Übersichtsartikel, welche den „state of the art“ der evidenz-basierten Medizin festhalten, im Vordergrund stehen. Die Qualität solcher Reviews kann nur durch kompetente, kritische und objektive Reviewer, die ihre Aufgabe Ernst nehmen garantiert werden. Eine kürzlich publizierte Analyse (5) aller 490 kontrollierten Studien, die in den Jahren 1950-2010 in der DZSM und ihren Vorläufern erschienen sind, zeigt, dass diese mehrheitlich in der Zeit zwischen 1983 und 1998 publiziert wurden. Der abnehmende Trend der letzten Jahre ist möglicherweise darauf zurückzuführen, dass Wissenschaftler heutzutage Originalarbeiten präferentiell in englischer Sprache publizieren, weil Ihre Arbeit sonst international nicht zur Kenntnis genommen wird. An vielen medizinischen Fakultäten wird heutzutage gefordert, das Habilitationsleistungen Originalarbeiten umfassen, welche mehrheitlich in Journalen publiziert wurden, die bezüglich des Impactfactors im oberen Drittel des Faches gelistet sind. Es stellt sich deshalb die Frage, ob man in der DZSM nicht dazu übergehen könnte, den Autoren anzubieten, Originalarbeiten in englischer Sprache zu publizieren. Mit einer solchen Maßnahme würde die DZSM international mehr zur Kenntnis genommen, für den wissenschaftlichen Nachwuchs attraktiver und im Ranking der sportmedizinischen Zeitschriften voraussichtlich weiter nach oben klettern.
Abschließend bedanke ich mich im Namen des gesamten Wissenschaftsrates der DGSP bei allen Autoren und Reviewern der letzten Jahre sowie beim Editor und seinem Team, die alle zum bisherigen Erfolg der DZSM beigetragen haben. Der Wissenschaftsrat hofft, dass sich der Aufstieg durch die Aufnahme in die Medline fortsetzen wird und dass der Editor dabei durch die Mitglieder des Wissenschaftskollegiums, aus dem sich die meisten Reviewer rekrutieren, in Zukunft tatkräftiger unterstützt wird.

LITERATUR

  1. Kennedy D Editorial retraction. Science 311 (2006) 335.
  2. Triggle Cr, Triggle Dj What is the future of peer review? Why is there fraud in science? Is plagiarism out of control? Why do scientists do bad things? Is it all a case of: “All that is necessary for the triumph of evil is that good men do nothing?” Vasc Health Risk Manag 3 (2007) 39-53.
  3. Ross Js, Gross Cp, Desai Mm, Hong Y, Grant Ao, Daniels Sr, Hachinski Vc, Gibbons Rj, Gardner Tj, Krumholz Hm Effect of blinded peer review on abstract acceptance. JAMA 295 (2006) 1675-1680.
  4. Steinacker Jm 60 Jahre Deutsche Zeitschrift für Sportmedizin. Dtsch Z Sportmed 60 (2009) 370.
  5. Koch Ec, Blümle A, Antes G Randomisierte und kontrollierte klinische Studien in der Deutschen Zeitschrift für Sportmedizin zwischen 1950 und 2004. Dtsch Z Sportmed 58 (2007) 154-159.