Früher war alles anders. Da dominierten (zumindest in meiner retrospektiven Wahrnehmung) die Universalgenies die Wissenschaft, also so Leute wie Leonardo Da Vinci, Galileo Galilei, Issac Newton usw. Man könnte noch weiter zurück gehen, z.B. zu den griechischen Philosophen, aber das soll hier jetzt keine Aufarbeitung der Wissenschaftsgeschichte werden. Um eine solche in seriöser Form zu präsentieren, müsste ich nämlich wirklich lange und ausführlich recherchieren – deswegen lasse ich das lieber. Abgesehen davon ist über das Leben der großen Denker der Antike nicht besonders viel bekannt. Vergleichsweise gut dokumentiert sind dann erst die Biographien der Wissenschaftler ab der Renaissance, also der eingangs erwähnten Herren und deren zeitgenössische Kollegen. Ruhm und Glorie ebenjener hallen und wirken bis heute ungebrochen nach. Egal, nochmal, es geht nicht um Wissenschaftsgeschichte, dafür bin ich auch sicherlich nicht kompetent. Worauf ich eigentlich hinaus will, ist, dass die damaligen Wissenschaftler mehrheitlich (oder vielleicht sogar ausnahmslos, so genau weiß ich auch das nicht) Gönner hatten, die ihnen ihr Wirken in der Wissenschaft und das lange Nachdenken über Probleme erst ermöglichten. Sie musste also nicht darum kämpfen, irgendwie Geld aufzutreiben, um ihre Forschungen vorantreiben zu können, sondern waren so etwas wie das Anliegen oder vielleicht sogar das Hobby von Kaisern, Königen und anderen Adeligen. So stelle ich mir das zumindest in meiner Naivität vor. Es gab aber damals vermutlich auch Wissenschaftler, die ein gänzlich anderes Leben geführt haben – ich kann mir gut vorstellen, dass manche als asketische Mönche gelebt haben und dass wieder andere einem „normalen“ Beruf nachgegangen sind und dann am Abend, quasi im Hobbykeller, ihre Entdeckungen und Beobachtungen gemacht haben, kann gut sein.
Jedenfalls ist bereits damals, als sich das 17. Jahrhundert seinem Ende genähert hat, eine Art Begutachtungsprozess im Zuge von Publikationstätigkeiten entstanden. Angeblich hat sich nämlich ein gewisser Henry Oldenburg, einer der Herausgeber der Philosophical Transactions – einem in London beheimateten wissenschaftlichen Journal, das es tatsächlich schon vor mehr als 350 Jahren gegeben hat (und das damit die älteste englischsprachige Fachzeitschrift ist) – entschlossen, die Bewertung von zur Publikation eingereichten Schriften Kollegen zu überlassen, die seiner Meinung nach kompetenter dafür waren. Das war damals sicherlich kein geordneter Prozess und hat sich auch nicht unmittelbar als gängige Praxis etabliert, aber vielfach wird diese Begebenheit als der Ursprung davon bezeichnet, was man heute Peer Review nennt.
Peer Review ist ein Vorgang, dem man in der Wissenschaft kaum entgehen kann. Wie funktioniert das in der Praxis? Nehmen wir als Beispiel die Veröffentlichung einer Forschungsarbeit in einer wissenschaftlichen Fachzeitschrift. Also, am Anfang steht hier einmal ein Manuskript, in dem ein Experiment, ein Modell, was auch immer beschrieben wird. Dieses Manuskript wird an ein Journal geschickt, welches die Autoren für passend erachten. Dort erfolgt zunächst mal ein Formalcheck – wurden alle Vorgaben hinsichtlich der Länge, der Formatierung, der Strukturierung usw. eingehalten? Wenn das passt, wandert das Manuskript weiter zu einem Editor – üblicherweise gibt es einen Editor-in-Chief plus einige oder sogar viele Co- bzw. Associate Editors (je nachdem, wieviele Einreichungen zu bewältigen sind). Im besten Fall, und wenn es das Zeitbudget des nun zuständigen Editors zulässt, wird das Manuskript nun mal grob überflogen. Es kann durchaus sein, dass es bereits jetzt rausfliegt, vielleicht weil es einfach schlecht ist, weil offenkundige Mängel bestehen oder weil es zu den aktuellen Schwerpunkten des Journals nicht passt. Wenn diese Hürde genommen wird, ist die Aufgabe des Editors – und übrigens, kleiner Einschub: sorry, dass viele Begriffe nicht ordentlich gegendert sind…das hat nichts mit meiner Ignoranz diesem Thema gegenüber zu tun, sondern einfach damit, dass das Verfassen eines solchen Textes dann sehr viel mühsamer wäre, weil ich dann ewig überlegen würde, wie was korrekt und trotzdem elegant geschrieben werden kann – dass Reviewer eingeladen werden. Normalerweise sollten es schon mindestens zwei, besser drei sein. Deren Aufgabe ist nun, innerhalb von üblicherweise vier bis fünf Wochen (manchmal ist der veranschlagte Zeitraum auch kürzer), das Manuskript auf Herz und Nieren zu prüfen – in den meisten Fällen unter dem Deckmantel der Anonymität. Am Ende davon steht dann ein Gutachten, in dem auf die Stärken, aber vor allem auf die Schwächen der Arbeit eingegangen wird und auf Basis dessen entscheidet dann der Editor, ob das Manuskript zur Publikation angenommen oder abgelehnt wird oder ob es überarbeitet werden darf bzw. muss. In letzterem Fall dürfen bzw. müssen die Autoren schriftlich Stellung beziehen bezüglich der Kritikpunkte und das Manuskript entsprechend überarbeiten. Dann folgt eine Wiedereinreichung und eine nächste Begutachtungsrunde und manchmal wiederholt sich dieser Vorgang mehrfach – bis vom Editor ein endgültiges Urteil getroffen wird (weil das Manuskript dann letztlich gut genug geworden ist oder weil man offenkundig auf keinen grünen Zweig gekommen ist und auch nicht kommen wird). In der Praxis gibt es Manuskripte, die quasi sofort angenommen werden – das ist allerdings sehr selten. Viel öfter kommt es vor, dass der ganze Prozess sich in ein ewiges Hin und Her auswächst, welches sich über (viele) Monate zieht. Es kommt auch leider gar nicht so selten vor, dass man ein paar Journale abklappern muss, um überhaupt in den Begutachtungsprozess zu kommen. Allerdings, und das ist ein Lichtblick im Publikationswesen, gibt es mittlerweile Journale wie Sand am Meer und wenn die Arbeit, die man veröffentlichen möchte, gut genug ist, wird man früher oder später die entsprechende Bühne dafür finden. Realistischerweise muss man aber leider feststellen, dass es inmitten der fast schon unüberschaubaren Vielfalt auch Journale gibt, die wirklich (so gut wie) alles drucken, weil das mehr oder weniger deren Geschäftsmodell ist, aber das ist ein anderes Thema.
Peer Reviewing endet aber nicht bei Journalen. Ganz und gar nicht. Bis auf wenige Ausnahmen verlassen sich nämlich auch die meisten (nationalen sowie internationalen) Forschungsförderungeinrichtungen auf die Dienste von Gutachtern, mit dem hehren Ziel, die vorhandenen Forschungsgelder an die besten Köpfe bzw. die Projekte mit den besten Ideen zu vergeben. Zumindest rede ich mir das ein. Das ist prinzipiell auch verständlich und gut, weil Forschungsgelder knapp sind und deren Vergabe gut überlegt sein muss. Darüber hinaus werden (nicht immer, aber) manchmal auch für die Besetzung von akademischen Positionen Gutachter hinzugezogen. In diesen beiden Fällen sind kritische oder negative Gutachten allerdings wesentlich folgenschwerer als beim Publizieren. Wie zuvor schon erwähnt, gibt es in so gut wie allen Fachbereichen viele (gute) Journale, die in Frage kommen und die, wenn notwendig, sequenziell durchprobiert werden können (bis es dann irgendwann mal doch klappt). Bei Stellenbewerbungen und Projekteinreichungen ist das üblicherweise nicht so – hier gibt es für einen Topf oft nur exakt einen passenden Deckel. Manchmal besteht bei Projekteinreichungen die Möglichkeit, einen sogenannten Rejoinder zu schreiben, in dem man Stellung beziehen kann zu den Kritikpunkten in den Gutachten, bevor die jeweilige Kommission dann entscheidet. Das ist aber eher die Ausnahme. Nur ein einziger grantiger oder – nennen wir das Kind beim Namen – tendenziöser Gutachter kann also schnell mal zum Sargnagel für Projekte, vielleicht sogar akademische Karrieren werden.
Ist das System des Peer Reviewings jetzt gut oder schlecht? Der Antwort auf diese Frage möchte ich das folgende Zitat vorausschicken: „Democracy is the worst form of government – except for all the others that have been tried“. Dieser Spruch wird ja gerne Winston Churchill zugeschrieben, allerdings gibt es auch Stimmen, die meinen, dass er das anders gesagt hätte bzw. dass er in einer Rede lediglich ebenjenes Zitat wiedergegeben hätte. Wer auch immer der Urheber dieser Aussage ist, die Bedeutung ist jedenfalls klar: Demokratie ist pfui, weil sie relativ einfach ausgenutzt und missbraucht werden kann, aber sie ist viel weniger pfui als alle anderen Regierungsformen (weil die Vorteile von Freiheit, Mitbestimmungsrecht und Rechtsstaatlichkeit überwiegen). Ähnlich denke ich über das gegenseitige Begutachten in der Welt der Forschung. Der Grund des Übels? Es menschelt eben. Auch in einer perfekten Welt gäbe es viele Unzufriedene, die sich benachteiligt fühlen, weil ihre Arbeiten wieder und wieder abgelehnt werden oder weil sie es auch beim hundertsten Anlauf nicht geschafft haben, am Förderkuchen mitzunaschen. Nichtsdestotrotz ließen sich – in einer perfekten Welt, wohlgemerkt – sämtliche Ablehnungen und Bewilligungen rational begründen und man könnte aus diesen negativen Erlebnissen zumindest seine Lehren ziehen. Wir leben aber in keiner perfekten Welt und analog zur Demokratie, die trotz (oder vielleicht auch wegen) aller Freiheiten und Chancen Korruption und Missbrauch Tür und Tor öffnet, werden leider auch die Instrumente des Peer Review-Systems gar nicht so selten missbraucht. Einerseits werden gerne die eigenen Interessen gefördert. Das beginnt damit, dass Gutachter von Manuskripten gerne mal vehement verlangen, dass diese und jene (und vielleicht auch, ganz zufällig, ihre eigenen) Arbeiten zitiert werden müssen, damit ein Manuskript bewilligt werden kann. Das klingt jetzt vielleicht ein wenig merkwürdig. Allerdings hat das Werben für die eigenen Arbeiten nichts mit Eitelkeit zu tun, sondern durchaus strategische Relevanz (die Gründe dafür erkläre ich mal in einem anderen Eintrag). Letztlich liegt es im Ermessen des jeweiligen Editors, dieses Verhalten von Gutachtern zu tolerieren oder eben nicht. Andererseits werden meinem Empfinden nach Gutachten durchaus auch dafür eingesetzt, die Karrieren von Andersdenkenden zu verhindern oder zumindest zu bremsen. Und das ist meiner Meinung nach sowohl aus ethischer als auch inhaltlicher Sicht höchst bedenklich. Besonders schwerwiegend ist dieser Machtmissbrauch (und nichts anderes ist das) im Zuge der Begutachtung von Projekteinreichungen. Wenn diese erfolgreich sind, können sie akademische Karrieren den Weg ebnen. Die wichtigsten Förderschienen sind deswegen extrem umkämpft – oftmals sind deutlich weniger als 10% der Einreichungen erfolgreich. Das heißt aber auch, dass in diesen Fällen nur ein einziger kritischer Kommentar der Gutachter reichen kann, um ein Projekt zu verhindern. Letztlich stehen hier Meinungen gegen Meinungen. So gut wie jeder Forscher, der schon eine Weile im Geschäft ist, wird von Fällen berichten können, dass Projektanträge aufgrund von an den Haaren herbeigezogenen Argumenten abgelehnt wurden – oder manchmal auch einfach nur so, ganz ohne Begründung (was besonders frustrierend ist). Der Umstand, dass Gutachtertätigkeiten in den meisten Fällen anonym stattfinden, d.h. die begutachteten Forscher erfahren nie, wer für die jeweilige Ablehnung verantwortlich war, kommt verschärfend hinzu.
Nichtsdestotrotz fällt mir eigentlich keine allgemein anwendbare, bessere Alternative zum Peer Review ein. Manche Förderstellen verzichten darauf und vergeben Projekte nach lediglich interner Beratung. Diese Vorgehensweise hat für spezielle Förderschienen sicherlich seine Berechtigung, aber es ist offenkundig, dass bei dieser Vergabestrategie die speziell in Österreich so weit verbreitet scheinende Freunderlwirtschaft ein heißes Thema sein kann. Letztlich liegt es in der Verantwortung jeder einzelnen Gutachterin und jedes einzelnen Gutachters, die ihr bzw. ihm übertragene Rolle nach den eigentlich geltenden moralischen, ethischen und wissenschaftlichen Grundsätzen auszufüllen.
Die Vergangenheit und Gegenwart wäre nun abgehandelt, aber was ist mit der Zukunft des Peer Reviews, vor allem hinsichtlich der Behebung der angesprochenen Probleme? Schwierig. Manche Journale versuchen, die strategischen und machtpolitischen Überlegungen von Gutachtern im Keim zu ersticken, indem die Namen der Gutachter auf der ersten Seite von letztlich publizierten Artikeln angeführt werden. Das ist meiner Meinung nach eine durchaus überlegenswerte Strategie, löst das Problem aber nicht für die große Zahl der Manuskripte, die abgelehnt werden. Und ehrlich gesagt denke ich, dass diese Demaskierung der Gutachter schon auch ein wenig als Hemmschuh empfunden werden kann. Man stelle sich vor, dass Person X eine Arbeit von Person Y begutachten soll und am Ende dieses Vorgangs wird der Name von Person X veröffentlicht. Person X ist am Anfang der Karriere und hat noch viel vor, möchte kurz-, mittel- und langfristig Forschungsgelder akquirieren und ausgiebig publizieren. Person Y hingegen ist etabliert und einer der Big Player im Forschungsfeld. Kann man es Person X jetzt tatsächlich zumuten, gegebenenfalls lästig zu sein und die Veröffentlichung des Artikels durch kritische Fragen möglicherweise deutlich zu verzögern? Weil die Wahrscheinlichkeit ist durchaus groß, dass bei der nächsten Vergabe von Forschungsgeldern die Rollen vertauscht sind und Person Y über das Schicksal von Person X entscheidet. Und wer will schon ins offene Messer laufen? Konsequent zu Ende gedacht würde das bedeuten, dass ein nicht-anonymes Begutachtungswesen nur dann funktionieren kann, wenn sehr viele Journale und Förderstellen mitziehen, punktuell bringt das nicht so viel. Eine andere Strategie wäre eine sogenannte doppelt blinde Begutachtung – d.h. die Gutachter wissen nicht, wessen Arbeit oder wessen Antrag sie begutachten. Das kann funktionieren, kann aber auch scheitern. Wenn es z.B. darum geht, zu beurteilen, ob die Autoren einen (zu) ähnlichen Artikel in der Vergangenheit bereits veröffentlicht haben, wäre es halt schon wichtig, die Namen der Autoren zu kennen.
Alles nicht so einfach also. Ich könnte jetzt noch einige Anekdoten und selbst erlebte Skurrilitäten, die im Zusammenhang mit dem Thema dieses Eintrags stehen, zum Besten geben. Um diesen Text nicht endlos werden zu lassen, spare ich mir das aber. Schließlich wollte ich die relevanten Mechanismen erklären und nicht unbedingt mein persönliches Worst-of im Zusammenhang mit dem Peer Reviewing darlegen. Ich hoffe, ich konnte ein wenig Licht ins Begutachtungsdunkel bringen.