Niemand weiß, wie viele kluge revolutionäre Ideen im Peer-Review-Verfahren der Journale ausgesiebt werden und nie das Licht der wissenschaftlichen Öffentlichkeit erblicken. Es liegt in der Natur der Sache, dass man darüber nur spekulieren kann. Wenn über Fälle berichtet wird, in denen es nach langem Kampf doch gelungen ist, ein neues Modell oder ein überraschendes Konzept in einer Zeitschrift zu platzieren wird klar, dass der Wissenschaftsprozess strukturelle Probleme hat, die es Forschern mit neuen Ideen schwer machen, sich Gehör zu verschaffen.

Emma Marris hat für nature jetzt einen solchen Fall recherchiert (Ragamuffin Earth. nature 460, 23.07.2009, Seite 450-453). Sie berichtet von Ariel Lugo, einem Ökologen aus Puerto Rico, der 1979 auf eine überraschende Artenvielfalt in Ökosystemen aufmerksam wurde, die durch den Menschen beeinflusst und später wieder sich selbst überlassen wurden. Die vorherrschende Meinung der Ökologen war es zu jener Zeit, dass solche Ökosysteme gegenüber natürlichen Ökosystemen eine wesentlich geringere Biodiversität aufweisen müssten. In natürlichen Ökosystemen, so die zentrale Annahme der Ökologen, hat die jahrtausendelang wirkende Evolution dazu geführt, dass nahezu jede ökologische Nische gefüllt ist und dass die verfügbare Energie auf effizienteste Weise umgewandelt wird. Im Gegensatz zu diesem Paradigma fand Lugo, dass bestimmte Plantagen, die sich selbst überlassen werden, nach einer gewissen Zeit hinsichtlich Biomasse, Artenvielfalt und Nährstoff-Effizienz besser dastehen als natürlich gewachsene Ökosysteme.

Reviewer arbeiten oft nach dem Prinzip, dass nicht sein kann was nicht sein darf.

Anfang der 1980er Jahre versuchte er, seine Ergebnisse zu veröffentlichen. Aber es dauerte rund zehn Jahre bis er seinen Artikel durch den Peer-Review-Prozess gebracht hatte (A. Lugo: Ecol. Monogr. 62, pp 2-41, 1992). Es dauerte noch rund 15 Jahre, bis 2006, dass ein Grundsatzartikel von 17 Wissenschaftlern unter dem Titel „Novel Ecosystems. Theoretical and management aspects of the new ecological world order” (Hobbs R.J. et al. Global Ecol. Biogeogr. 15, pp 1-7, 2006) veröffentlicht werden konnte. Und immer noch war die Ablehnung der Idee von den „Neuen Ökosystemen” unter den Forschern groß, wie zitierte Kommentare von Reviewern zeigen.

Man fragt sich zunächst, wie so etwas in einem Wissenschaftsbetrieb, in dem doch nur rationale Argumente und überprüfbare empirische Fakten zählen, möglich ist. Offenbar haben die Reviewer Lugos Arbeit eher nach dem Prinzip „dass nicht sein kann was nicht sein darf” beurteilt. Das ist ganz menschlich, lieb gewordene Überzeugungen gibt keiner gerne auf. Und man darf natürlich nicht vergessen, dass die Ökologie weit vom Ideal der interessenfreien Forschung entfernt ist. Wie auch die Klimatologie ist sie eng mit politischen Entscheidungsprozessen verwoben, Ökologen geben Empfehlungen zur Renaturierung von ehemals industriell oder landwirtschaftlich genutzten Flächen, setzen Normen für guten Natur- und Umweltschutz. Da fällt das Eingestehen von Irrtümern und wissenschaftlichen Sackgassen schwer.

Aber 25 Jahre sind für den Umgang mit der Natur, die durch Industrie und intensive Landwirtschaft seit rund 150 Jahren geschädigt wird, eine lange Zeit. Wenn weltweit die knappen Mittel für die Erhaltung der Artenvielfalt über ein viertel Jahrhundert ineffizient eingesetzt werden weil Wissenschaftler nicht in der Lage sind, vorurteilsfrei über neue Erkenntnisse nachzudenken und ehrlich Irrtümer aus der Vergangenheit einzugestehen, dann müssen sie sich kritische Fragen gefallen lassen.

Zu diesen Fragen gehört die nach der Qualität und Effektivität des Peer-Review-Systems. Da inzwischen die Online-Publikation neuer Erkenntnisse auf schnellerem und kostengünstigerem Wege als über die die klassischen Zeitschriften möglich ist, müssen Wissenschaftler und wissenschaftliche Institutionen offensiv und zügig nach neuen Wegen der Qualitätssicherung suchen, damit solche Geschichten wie die von Ariel Lugo in Zukunft nicht mehr möglich sind.

Kommentare (30)

  1. #1 Ronny
    August 4, 2009

    Ich bin nicht dieser Meinung des Autors. Primär könnte man natürlich über eine Möglichkeiten der Bewertung diskutieren, jedoch sehe ich noch immer die beste Lösung in einem peer review von vielen Teilnehmern.
    Dadurch kommt es vielleicht auch in Zukunft vor, dass einige interessante und korrekte Arbeiten unter den Tisch fallen, jedoch besteht bei einer Lockerung dieser Regeln die Möglichkeit, dass unseriöse Arbeiten eine Plattform zur Verbreitung finden. An den DIskussionen hier in diesem Blog sieht man, dass diese Gefahr nicht unterschätzt werden darf.

    So fordern im Artikel eine Alternative, wie lauten ihre Ideen dazu ?
    Einzelpersonen ? == schlecht, da subjektiv
    Lobbies ? == noch schlechter, dann gilt nur ‘Wieviel kann man verdienen’
    Politik ? == siehe Lobbies
    Universitäten ? == siehe Politik

    Eine halbwegs unabhängige Meinung kann IMO nur eine breite Masse haben, die aber von der Sache halbwegs eine Ahnung hat. Quasi der Status Quo.

  2. #2 Christian W
    August 4, 2009

    Gibt es irgendeine Möglichkeit, diese Geschichten im WWW nachzuvollziehen?

    Beim Lesen dieses Eintrags bekommt man den Eindruck, Jörg Friedrich stellt sich peer review in etwa so vor, dass wissenschaftliche Arbeiten entweder aus Gefälligkeit oder Sympathie für die darin vertretenen Thesen durchgewunken, oder ansonsten aus Antipathie und fachlicher, inhaltlicher Voreingenommenheit nach allen Regeln der Kunst (und auch ohne Regeln) behindert werden. Das ist aber nicht das Wesen des peer review, dabei geht es gar nicht in erster Linie um den Inhalt, um die fachlichen Thesen und die verwendeten Daten selbst. Beim peer review wird die Form kontrolliert, nicht der Inhalt. Reviewer sind keine Türsteher, die nach eigenem Ermessen wissenschaftliche Arbeiten ‘reinlassen oder nicht, sondern eher so etwas wie Eintrittskartenabreißer, die nur darauf achten, dass das Ticket in Ordnung und nicht gefälscht ist – ansonsten aber absolut niemanden diskrimieren.

    Entsprechend werden auch die überwiegende Mehrheit wissenschaftlicher Arbeiten, die das peer review nicht überstehen, aufgrund eklatanter formaler Mängel wie miserable Datenbasis, falsche Auswertung der Daten, unmögliche Schlüsse aus Daten und Annahmen, usw. abgelehnt und nicht weil ihre Thesen nicht gefallen. Das wäre meine erste Vermutung bezüglich

    Es dauerte rund zehn Jahre bis er seinen Artikel durch den Peer-Review-Prozess gebracht hatte

    Sogar die gewählte Formulierung “durch den Prozess bringen” suggeriert wiederholte Iterationen von _Einreichen – wegen (formaler) Mängel ablehnen – Mängel abstellen – neu Einreichen_ und nicht etwa wiederholtes Einreichen derselben Arbeit oder einmaliges Einreichen und dann jahrelangen Streit darum.
    Aber ohne Originalquellen und die ominösen “zitierte[n] Kommentare von Reviewern” bleiben das natürlich nur begründbare Vermutungen, nicht mehr.

    Es bleibt zu sagen, ein System des peer review, welches nur ordentlich wissenschaftlich fundierte Arbeiten durchlässt und dabei womöglich hier und da neue Entdeckungen bremst, ist mir deutlich lieber als jedes andere Verfahren, dass auch schlampig ausgeführte Arbeiten durchwinkt, selbst wenn es neue Erkenntnisse noch so zügig an die Oberfläche kommen lässt. Denn diese neuen Erkenntnisse hätten dann nicht dieselbe Belastbarkeit wie heute, man hätte keinerlei Maßstab für die Validität derselben wie “peer reviewed”, was ja am Ende nichts Anderes heißt als “entspricht den methodischen Anforderungen an wissenschaftliche Arbeiten”.
    Peer review ist eben keine Verifizierung des Inhalts, lediglich eine Validierung der Form.

    Wenn Sie nun behaupten möchten, dass Reviewer formale Mängel böswillig vorschieben, sobald ihnen eine These nicht passt, ist das natürlich Ihre Sache.

  3. #3 Arnd
    August 4, 2009

    Ich glaube schon dass Peer Review an sich ein gutes System ist. Aber vielleicht kann man es noch verbessern?

  4. #4 Geoman
    August 4, 2009

    @Arnd

    Zur zweifellos erforderlichen Reform des Peer-Review-Verfahrens habe ich vor einiger Zeit auf meiner Website in Anlehnung an andere Kritiker folgenden Vorschlag veröffentlicht:

    “Im derzeitigen Zustand prüft das Verfahren nicht die Qualität eines eingereichten Beitrages, sondern nur seine Konformität. Die Reform sollte »a) in der Beauftragung professioneller namentlich bekannter Gutachter u. b) in der Veröffentlichung oder Einsehbarkeit aller Gutachten über abgelehnte oder zugelassene Beiträge bestehen«. Die Beauftragung professioneller Gutachter soll dafür Sorge tragen, dass Professoren zukünftig wieder mehr Zeit zum Forschen haben, statt ihre Arbeitskraft in die Erstellung ellenlanger Gutachten zu verschwenden. Die Transparenz soll bewirken, dass wieder der sachliche Nährwert eines Beitrages und nicht seine Konformität zum qualitätsbildenden Merkmal wird. Zudem soll die Reform verhindern, dass das Peer-Review-Verfahren von den Gutachtern zum Schaden des wissenschaftlichen Fortschritts dazu genutzt wird, eigene Pfründe zu sichern oder die eigene Einflusssphäre zu erweitern. Wohl jeder innovative Autor kann ein ›schmerzlich Lied‹ davon singen, dass das derzeitige Verfahren dem Missbrauch und der Stagnation geradezu Vorschub leistet. “

  5. #5 Ronny
    August 4, 2009

    Zitat Geoman: Die Transparenz soll bewirken, dass wieder der sachliche Nährwert eines Beitrages und nicht seine Konformität zum qualitätsbildenden Merkmal wird.
    Genau darin sehe ich das Problem. Welche Instanz definiert ‘sachlicher Nährwert’. Dieser muss doch immer in Bezug zum derzeitigen Wissensstand bestehen. Vor allem wie sieht die Qualitätssiicherung in Bezug auf die professionellen Gutachter aus ? Vielleicht sind die auch gekauft ? Eine breite Masse muss ich überzeugen, die ist schwer zu kaufen.

  6. #6 Jörg Friedrich
    August 4, 2009

    @Ronny: Ich denke, die Kostenreduktion durch Online-Veröffentlichung und durch die Produktivitätssteigerungen bei kleinen Verlagen werden immer mehr ermöglichen, dass Universitäten und Institutionen in Eigenregie diejenigen Arbeiten veröffentlichen und in Datenbanken verfügbar machen, bei denen die unmittelbaren Kollegen und Diskussionspartner der Meinung sind, dass die Ergebnisse seriös und spannend ist. Dieser Prozess ist ja schon auf dem Weg und ich denke, das alte System kämft hier eigentlich nur noch einen Todeskampf.

    Ich glaube also, die Lösung besteht in Online-Publikationen von Universitäten, Instituten und Kongressen, die dann entsprechend in Datenbanken weltweit verfügbar gemacht werden. Die Qualitätssicherung erfolgt durch die publizierenden Einrichtungen.

    @Christian W.: Zum Problem Peer Review habe ich hier nur ein weiteres kleines Beispiel geliefert, auf ScienceBlogs war das schon des öfteren Thema, z.B. beim 3vo10 oder am Rande der Besprechung des Smolin-Buchs über die String-Theorie bei Florian Freistetter. Dort heißt es:

    Man bräuchte also wieder mehr “Seher”. Mittlerweile ist der Forschungsbetrieb, mit Peer-Review, Förderanträgen, befristeten Verträgen, etc aber völlig auf die “Handwerker” ausgerichtet; ein “Seher” hätte es enorm schwierig, hier Fuß zu fassen.

    Dass es für Sie so schwer ist, diese Geschichten Online nachzuvollziehen, hat entfernt übrigens auch mit dem beschriebenen Problemkreis zu tun, denn dass Sie außerhalb der Universitäts- und Institutsnetze so schwer an den Inhalt wissenschaftlicher Zeitschriften herankommen, ist ebenso Teil eines anachronistischen Publikationssystems wie der Peer Review. Aber ich habe den Artikel von Hobbs et al. online gefunden, in dem es wörtlich heißt

    Indeed, comments from reviewers of the draft manuscript
    indicated a lack of willingness to accept such ecosystems as a legitimate target for ecological thought or management action. For instance, one reviewer commented that the examples are ecological disasters, where biodiversity has been decimated and
    ecosystem functions are in tatters, and that ‘it is hard to make lemonade out of these lemons’.

    @Geoman: “Im derzeitigen Zustand prüft das Verfahren nicht die Qualität eines eingereichten Beitrages, sondern nur seine Konformität.” Wobei Konformität eben nicht die Erfüllung formalen Richtlinien sondern die Übereinstimmung mit den Mainstream-Paradigmen bedeutet.

  7. #7 Florian Freistetter
    August 4, 2009

    Ich glaube also, die Lösung besteht in Online-Publikationen von Universitäten, Instituten und Kongressen, die dann entsprechend in Datenbanken weltweit verfügbar gemacht werden. Die Qualitätssicherung erfolgt durch die publizierenden Einrichtungen.

    Und wie soll das in der Praxis funktionieren? Ich und meine drei Kollegen aus der Himmelsmechanik-Arbeitsgruppe schreiben einen Artikel und wollen ihn veröffentlichen. Wer beurteilt, ob der Artikel gut ist oder nicht? An der Uni gibts sonst niemand, der Ahnung von Himmelsmechanik hat… Entweder der Artikel wird also von Leuten beurteilt, die keine Ahnung vom Thema haben. Oder man bittet andere Fachleute um ihre Meinung. Und nichts anderes ist Peer-Review. Dieses System existiert ja nicht aus Spaß an der Freude. Sondern weil es anders nicht funktioniert.

    Wer wissenschaftliche Arbeiten ohne peer-review veröffentlichen will, kann das ja schon lange bei arXiv und ähnlichen Diensten tun.

  8. #8 Marcus Anhäuser
    August 4, 2009

    Problem ihres Artikels: Klassischer Fall von “Einzelfall der verallgemeinert wird”. Ist ärgerlich, wenn es passiert, aber das perfekte System gibt es nicht.

  9. #9 Jörg Friedrich
    August 4, 2009

    @Florian Freistetter: “Wer wissenschaftliche Arbeiten ohne peer-review veröffentlichen will, kann das ja schon lange bei arXiv und ähnlichen Diensten tun.” Eben, das sind die richtigen Ansätze. Ich denke, die Vernetzung dieser Möglichkeiten wird ausgebaut werden. Priorisierungsmechanismen auf der Basis von Zugriffszahlen und Verlinkungen werden die Vorherrschaft der Redaktionen und Reviewer ersetzen. Und Sie und Ihre Kollegen werden sicher Gelegenheit haben, Ihre Ergebnisse auf Tagungen vorzustellen, deren Publikation durch die Ausrichter ebenfalls eine Qualitätskontrolle sein kann. Ich sehe das als einen Prozess, der gerade erst begonnen hat.

    @Marcus Anhäuser: Schon in meinem ersten ScienceBlogs-Artikel “Wann ist Wissenschaft?” bin ich auf das Problem eingegangen, damals hatte Thilo Kuessner um konkrete Beispiele gebeten, über die man dann diskutieren kann. Nun, dieser Fall ist so ein Beispiel. Natürlich versuche ich, in diesem Beispiel ein allgemeines Problem zu rekonstruieren, das übrigens nicht nur ich sehe. Neben den im letzten Kommentar genannten weiteren Hinweisen möchte ich nochmal (wie schon anlässlich von “Wann ist Wissenschaft?”) Joachim Nettelbeck aus der FAZ vom 30.04.2009 zitieren:

    Peer Review, die Beurteilung durch Vertreter des Fachs, die nicht seinem unmittelbaren Umfeld zuzurechnen sind, ist tendenziell risikoscheu. In die Beurteilung durch anerkannte Wissenschaftler fließen nicht nur wissenschaftliche Kriterien ein, sondern – meist verdeckt – auch soziale. Die Altvorderen schaffen so Standards, denen der Novize gerecht werden muss. Er soll zwar ein gewisses Maß an Originalität zeigen, vor allem aber die derzeitigen disziplinären Methoden und die herrschende Lehre würdigen. Ein wirklich origineller Kopf hat es damit schwer.

  10. #10 Florian Freistetter
    August 4, 2009

    @Jörg Friedrich; Was kritisieren sie eigentlich nun genau? Das Artikel vor der Veröffentlichung beurteilt werden? Oder die Art und Weise wie diese Beurteilung abläuft?

    Wenn sie eine Beurteilung generell abschaffen wollen, dann brauchen wir nicht weiterzudiskutieren. Wenn sie tatsächlich einen der Grundpfeiler der wissenschaftlichen Methode einreißen wollen, dann ist brauchts dafür schon mehr Gründe als eine Arbeit, die nicht sofort veröffentlicht wurde.

    Wenn sie die Art und Weise des Peer-Reviews ändern wollen, ist das eine andere Geschichte. Hier gibt es sicher Möglichkeiten zur Änderung/Verbesserung.

    Ich denke, die Vernetzung dieser Möglichkeiten wird ausgebaut werden. Priorisierungsmechanismen auf der Basis von Zugriffszahlen und Verlinkungen werden die Vorherrschaft der Redaktionen und Reviewer ersetzen.

    Das ist allerdings (mMn) keine vernünftige Verbesserung. Man kann doch die Qualität einer wissenschaftlichen Arbeit nicht nach Klickzahlen bestimmen! Das führt doch dann erst dazu, dass neue, kontroverse Artikel von weniger bekannten Wissenschaftldr komplett ignoriert werden. Und die Wissenschaftler, die die größte Lobby haben, schreiben dann automatisch die besten Artikel… Und was hindert Kreationisten/Einsteinleugner/etc ihre Arbeiten von ihren Anhänger in die höchste Qualitätsstufe hochklicken zu lassen?

    Und Sie und Ihre Kollegen werden sicher Gelegenheit haben, Ihre Ergebnisse auf Tagungen vorzustellen, deren Publikation durch die Ausrichter ebenfalls eine Qualitätskontrolle sein kann.

    Ähmm – ja – was soll da jetzt die Innovation sein? Tagungsberichte werden seit ein paar hundert Jahren veröffentlicht. Und sie können sicher nicht die einzige Form wissenschaftlicher Veröffentlichung sein. Heutzutage dienen Tagungen (leider) auch oft als Geldquelle für Unis und Institute. D.h. sie sind daran interessiert, soviele Leute wie möglich anzulocken, die dann auch Tagungsgebühren bezahlen und dafür dann auch veröffentlichen dürfen. Egal was. Es gibt schon genug bekannte Fälle, wo Leute irgendwelche Zufallstexte erstellt haben und damit bei Tagungen sofort akzeptiert wurden. In den Naturwissenschaften gelten sind Veröffentlichungen, die in nicht reviewten Tagungsbänden erschienen sind auch zu recht “weniger wert” als ordentliche Journal-Artikel.

    Wie gesagt – an einer vernünfigen Begutachtung wissenschaftler Arbeiten kommt man nicht vorbei, wenn man nicht die Wissenschaft selbst ad absurdum führen will…

  11. #11 Christian W
    August 4, 2009

    Wie gesagt – an einer vernünfigen Begutachtung wissenschaftler Arbeiten kommt man nicht vorbei, wenn man nicht die Wissenschaft selbst ad absurdum führen will…

    Nach rund 4 Monaten “Arte-Fakten” und bemerkenswerten Aufrufen des Autors – etwa dem, Grundlagenforschung nur gezielt durchführen zu lassen oder dem, die Forschung dann einzustellen, wenn sie schwierig wird – und natürlich dem mehrfach zur Schau gestellten eklatanten Unverständnis der wissenschaftlichen Methode und ihrer Begriffe würde ich eine solche Intention beim Autor nicht von vornherein ausschließen. Ich kenne mich da aber auch nicht so aus, ich verstehe ja fast nie, was hier geschrieben wird.

  12. #12 Jörg Friedrich
    August 4, 2009

    @Florian Freistetter: Ich werde das System nicht ändern. Ich denke aber, es ändert sich zur Zeit einfach, weil die Zeit reif ist. Man kann das aufzuhalten versuchen oder versuchen mitzugestalten, wenn man betroffen ist. Ich schreibe nur darüber.

    Natürlich ist Qualitätskontrolle notwendig, das ist gar keine Frage. Es gab schon immer verschiedene Mechanismen einer Qualitätskontrolle. Wenn man von starken externen Partnern (Verlage, Journale) abhängt, muss man autoritäre Systeme akzeptieren, wenn diese Dominanz schwindet, entwickeln sich libertäre Systeme.

    Sie müssen die Qualität und den Einfluss, den ein Artikel auf Ihre Arbeit hat, übrigens nicht nach Klickzahlen bestimmen, wenn Sie ihn in einem Online-Medium abrufen. Aber das wissen Sie sicherlich bereits aus Ihrer täglichen Arbeit. Wichtig ist, dass er verfügbar ist, was Sie damit machen, können Sie entscheiden. So wird jeder Wissenschaftler zum Reviewer.

    Und das kann auch zu einer Neubewertung von Online-Publikationen von Tagungs-Vorträgen fühen. Auch da ist ja viel in Bewegung, nicht umsonst wird eifrig darüber diskutiert, wie z.B. mit bloggenden Wissenschaftlern auf Tagungen umgegangen werden soll.

    In dem ganzen Thema steckt eine unglaubliche Dynamik, und die Qualität wird ganz sicher nicht darunter leiden. Profitieren werden innovative Wissenschaftler, die die Zeichen der Zeit erkennen.

  13. #13 Florian Freistetter
    August 4, 2009

    @Jörg Friedrich: Ich weiß schon, das nicht sie persönlich das System ändern.

    Wenn man von starken externen Partnern (Verlage, Journale) abhängt, muss man autoritäre Systeme akzeptieren, wenn diese Dominanz schwindet, entwickeln sich libertäre Systeme.

    Wo genau ist peer-review authoritär? Und wo genau sind die – nicht näher genannten – Alternativen libertär? Ich meine, demokratischer als peer-review geht ja kaum mehr. Jeder muss sich dem Verfahren unterziehen – der Nobelpreisträger genauso wie der Diplomand. Und ebenfalls jeder kann begutachter werden. Es zählt hier allein die fachliche Eignung. Da beurteilt nicht nur der arrivierte Professor die Arbeit eines Doktorranden. Da kann auch schon mal der Doktorrand den Professor beurteilen (ich spreche aus eigener Erfahrung). Wo ist hier was authoritär? (es heisst ja nicht umsonst PEER-review).

    Sie müssen die Qualität und den Einfluss, den ein Artikel auf Ihre Arbeit hat, übrigens nicht nach Klickzahlen bestimmen, wenn Sie ihn in einem Online-Medium abrufen.

    Das mit den Klickzahlen haben ja auch sie vorgeschlagen und nicht ich. Und darüber, wie man Onlineveröffentlichungen am besten beurteilt, diskutiert (u.a. die Blog-Welt) man schon lange heftig und erfolglos. Wenn sie da eine Idee haben, wird die sicher gerne gehört.

    “Wichtig ist, dass er verfügbar ist, was Sie damit machen, können Sie entscheiden. So wird jeder Wissenschaftler zum Reviewer.”

    Statt peer-review soll also nur noch die (Online)-Publikation erfolgen. Und dann wirds entweder gelesen und bemerkt oder auch nicht? Ist das ihr Vorschlag? (Wenn sie einen haben, können sie den ja mal konkret aufschreiben, sonst wird die Diskussion wieder so wirr).

    Inwiefern soll das die aktuelle Situation verbessern? Nochmal: Peer Review findet ja nicht statt, weil es alle so lustig finden. Sondern weil es nötig ist. Eine Datenbank, in der jeder veröffentlich kann, was er will, gibt es schon. Sie nennt sich “Internet”.

    “In dem ganzen Thema steckt eine unglaubliche Dynamik, und die Qualität wird ganz sicher nicht darunter leiden. Profitieren werden innovative Wissenschaftler, die die Zeichen der Zeit erkennen.”

    Das klingt eher nach nem wahlkämpfenden Politiker… Wie wärs mal mit konkreten Vorschlägen, WIE das anachronistische peer-review verbessert werden soll?

  14. #14 Jörg Friedrich
    August 4, 2009

    @Florian Freistetter: Ich weiß ja nicht genau, was daran demokratisch ist, wenn ein Herausgeber sich ein paar reviewer sucht die entscheiden, ob ein Artikel publikationswürdig ist oder in den Müll kommt. Dann ist die Bischofs-Ernennung durch den Papst auch demokratisch.

    Die Alternativen sind doch bereits bekannt und ich denke, Sie kennen die Konzepte (Stichwort Oper Peer Review, Dynamic Peer Review) auch. Da werden meine Vorschläge wirklich nicht mehr gebraucht. Was da gebraucht wird, ist Interesse, Engagement und Kreativität bei den Wissenschaftlern für solche Projekte, das wird der Wissenschaft gut tun. Gerade bei bloggenden Wissenschaftlern würde ich für solche neuen Ideen eher Begeisterung erwarten.

  15. #15 Florian Freistetter
    August 4, 2009

    @Jörg Friedrich

    Ich weiß ja nicht genau, was daran demokratisch ist, wenn ein Herausgeber sich ein paar reviewer sucht die entscheiden, ob ein Artikel publikationswürdig ist oder in den Müll kommt.

    Ok, wenn sie peer review so sehen wollen, dann müssen sie wohl ihre Konsequenzen ziehen.

    Ich war bis jetzt jedenfalls oft am peer-review prozess beteiligt (an beiden Enden) und kann feststellen, dass es zwar ein paar Macken gibt – das System aber generell einigermaßen gut funktioniert. Klar, die Sache dauert oft zu lange – aber das würde sich auch ändern lassen, ohne alles über den Haufen zu schmeißen.

    Open/Dynamic Peer-Review sind deswegen auch nicht schlecht. Aber solche Konzepte gibt es ja schon und sie haben sich – aus den verschiedensten Gründen – nicht durchgesetzt. Da sie so heftig gegen den Peer-Review angeschrieben habe, dachte ich, sie hätten vielleicht noch ein paar besondere Ideen. Aber wenns nur Open/Dynamic PR ist, dann ist das ein alter Hut. Damit sich das durchsetzt, brauchts ein paar völlig neue Ansätze und ein Änderung der kompletten Forschungspolitik weltweit…

  16. #16 Jörg
    August 4, 2009

    Ich weiß ja nicht genau, was daran demokratisch ist, wenn ein Herausgeber sich ein paar reviewer sucht die entscheiden, ob ein Artikel publikationswürdig ist oder in den Müll kommt.

    Der Herausgeber sucht gar nichts, der Editor sucht. Der Editor ist genauso ein Forscher wie der Autor und die Reviewer, vielleicht ein wenig fortgeschrittener in der Laufbahn. Außerdem ist er Autor und Reviewer in der Regel namentlich bekannt.

  17. #17 Fischer
    August 4, 2009

    Ich mag mich ja täuschen, aber meiner Meinung nach werden hier in diesem Artikel einfach zwei unterschiedliche Dinge durcheinandergebracht.

    Der beschriebene Effekt, dass bestimmte Artikel und Thesen nur sehr schwer zu publizieren sind, hat m.E. weniger mit dem Peer Review selbst zu tun als vielmehr mit dem Auswahlprozess durch die Journals. Es sind vor allem die Zeitschriften, die thematisch filtern – ganz einfach weil die sich ja auch überlegen müssen, wie sie den Impact Factor hoch halten. Und da haben weniger Mainstream-konforme Forschungen sicherlich einen Malus, der die Publikation ganz erheblich erschweren kann.

    Mag sein, dass Reviewer unkonventionelle Paper besonders streng beäugen (was auch, verdammt noch mal, der Sinn der Sache ist), aber ich bezweifle, dass der Effekt relevant ist, verglichen mit dem Auswahlbias durch die Zeitschriften selbst.

  18. #18 Florian Freistetter
    August 4, 2009

    @Fischer: Das klingt vernünftig.

    Man kann ja PR ruhig kritisieren – da gibts genug Kritikpunkte. Aber wenn man meint, das ohne PR oder bei anderem PR unkonventionelle Theorien schneller im Mainstream ankommen, dann macht man ziemlich sicher einen Fehler. Wenn eine Außenseitertheorie richtig ist und die Fakten auf ihrer Seite hat, dann setzt sie sich früher oder später durch. Die Art und Weise der Publikation spielt da keine Rolle. Ariel Lugo wird ja nicht 10 Jahre lang geschwiegen und auf die Publikation seiner Thesen gewartet haben. Ich vermute mal stark, dass er in der Zeit mit seinen Kollegen bei Gesprächen und Konferenzen über das Thema gesprochen hat. Dem PR hier die Schuld zu geben, dass es so lang gedauert hat, bis seine Theorie akzeptiert wurde, ist etwas naiv (und unsinnig).

  19. #19 Alexander
    August 5, 2009

    Ich komm mal wieder ein wenig spät in die Diskussion, hab aber auch noch ein paar Punkte auf die ich eingehen möchte:
    Wissenschaft ist langsam, es dauert sehr lange bis sich neue Erkenntnisse durchsetzen? Ja, und das ist nicht schlecht so. Wissenschaftler sind skeptisch gegenüber Neuem. Bis sich eine andere Interpretation durchsetzt, vergehen Monate und Jahre. Super! Wie schlimm wäre es, wenn alle jeder neuen Idee nachrennen würden, die sich dann oft sehr schnell als falsch herausstellt? Besonders in einem Fall wie dem oben beschriebenen gilt auch in der Wissenschaft “extraordinary claims require extraordinary evidence”.
    Peer Review siebt Paper aus, die nicht in die aktuelle Sicht passen Grundsätzlich ist Peer Review nur dazu da, ein Paper vor der Veröffentlichung auf grundlegende Dinge wie methodische Fehler abzusuchen. Dass es von manchen PIs auch missbraucht wird, macht nicht das PR als solches kaputt.
    Peer Review sollte öffentlicher stattfinden Ein PR mit den Namen der Gutachter ist tatsächlich eine sehr schlechte Idee. Wenn man ein Paper eines Kollegen aus triftigen Gründen ablehnt, kann der sich trotzdem so darüber ärgern, dass er später im umgekehrten Fall aus “Rache” ein eigenes Paper ablehnt. Deshalb wird auch bei Journals wie PLoS so wenig an den Papern online diskutiert. Öffentliches PR findet bei manchen Journals trotzdem schon längere Zeit statt! Beispiel Biology Direct.

    Es ist übrigens witzig, dass Nature diese Geschichte gerade dann ausgräbt, wenn bei der Konkurrenz von Science ein Artikel veröffentlicht wird, der zum gegenteiligen Schluss kommt: Wiederherstellung von Ökosystemen nachdem der Mensch wieder weg ist schneidet schlechter ab, als das Ökosystem von Anfang an unberührt zu lassen. Bei dem Artikel von Benayas et al. handelt es sich übrigens um eine Meta-Analyse, die fast 90 Paper zu dem Thema einbezogen hat. Solchen Daten traue ich als Fachfremder viel eher.

  20. #20 Jörg Friedrich
    August 6, 2009

    Davon zu sprechen, dass sich “Open / Dynamic Peer Review” – Verfahren nicht durchgesetzt haben halte ich für ein verfrühtes Urteil. Interessant ist aber, nach den Gründen zu fragen, warum diese Instrumente nicht schneller vorankommen. nature teilte nach seinem Probelauf 2006 mit, dass die Autoren zwar bereit waren, sich dem Open Peer Review zu unterziehen, dass aber nicht genug Wissenschaftler bereit waren, die Rolle der Reviewer zu übernehmen. Hier muss man – und wird man – ansetzen.

    Ich komme auf das Zitat von Florian Freistetter aus der Besprechung des Smolin-Buches zurück. Man kann daraus ableiten, dass das Peer Review System in der heutigen Form sicherlich gut für die Handwerker ist, aber ungeeignet für die Seher. Gleichzeitig kann man schlussfolgern, dass wir vielleicht eine Überzahl an Handwerkern unter den Wissenschaftlern haben – sodass die Akzeptanz des Peer Review Systems natürlich unter den Wissenschaftlern groß ist.

    Gleichzeitig zeigen aber die lauter werdenden kritischen Stimmen von FAZ über nature bis Smolin dass die Mängel im System vielleicht doch gravierender sind als hier von einigen Kommentatoren dargestellt.

    Ich selbst bin ein recht konservativer Mensch und wenn der Eindruck entstanden ist, ich wollte alles erst mal einreißen und dann der Anarchie des Internet überlassen, dann möchte ich dem ganz deutlich entgegentreten. Ich halte die Veränderung des wissenschaftlichen Publikationsprozesses für einen kontinuierlichen Prozess, der, wie viele hier ja auch geschrieben haben, längst begonnen hat. Aber Bewusstsein für die systematischen Fehler des hergebrachten Systems ist sicher eine Vorraussetzung für Veränderung.

  21. #21 Ulrich Berger
    August 6, 2009

    Man darf bei dieser Debatte drei zentrale Punkte nicht vergessen:

    1) Das Erstellen eines referee reports durch einen peer reviewer ist ein privat zur Verfügung gestelltes öffentliches Gut. Dass sich überhaupt Gutachter finden, liegt zum Teil an intrinsischer Motivation und zum Teil an Reputationsgewinn. Letzterer passiert dann, wenn man vom Associate Editor als referee ausgesucht und darum gebeten wird und akzeptiert. Fällt diese persönliche Interaktion weg, dann ist ein großer Teil der Motivation dahin und niemand will mehr referee sein. Deshalb war Open Peer Review auch eine Totgeburt.

    2) Es wird hier so getan als ob es nur geniale nicht-mainstream und banale mainstream papers gäbe und die reviewer erstere abschießen und zweitere durchwinken. Aus eigener Erfahrung kann ich sagen, dass locker zwei Drittel der papers, die man zum Begutachten bekommt, mainstream UND Schrott sind. Die gilt es auszusieben; und dass der peer review das schafft, ist ein sine qua non des ganzen Betriebs. Mit anderen Worten: wir brauchen einen Test mit einer kleinen falsch-positiv-Rate, was leider unweigerlich eine hohe falsch-negativ-Rate bedeutet. Aber besser so als andersrum.

    3) Wir haben in Wahrheit keine Ahnung, wie hoch die Dunkelziffer ist, d.h. wieviele geniale papers nie publiziert werden. Denn auch jene innovativen papers, die es erst im vierten Anlauf oder nach 10 Jahren schaffen, haben es am Ende eben doch geschafft. (Andererseits: Ob eine Idee, die nie öffentlich wird, “genial” sein kann, ist vermutlich ein philosophisches Problem.)

    Fazit: Alle bisher vorgeschlagenen Alternativen zum peer review System sind unbrauchbar. Es ist ein schlechtes und das bestmögliche System. so ähnlich wie die Demokratie.

  22. #22 Geoman
    August 6, 2009

    @ Ulrich Berger

    Wenn Sie hier schon hier ein Fazit ziehen, dann sollten sie zumindest vorher alle hier bereits eingebrachten Reformvorschläge, wie z. B. den von mir diskutieren:

    https://www.scienceblogs.de/arte-fakten/2009/08/anachronismus-peer-review.php#comment50885

    Und ihr Vergleich zur Demokratie ist insoweit erhellend als die Debatte um peer review nicht auf die Beibehaltung des bestehenden, sondern auf ein pluralistisches System hinaus laufen wird oder sollte.

  23. #23 Ulrich Berger
    August 6, 2009

    @ Geoman:
    Sorry, diese Vorschläge fallen für mich unter mein Fazit “unbrauchbar”.

    Beauftragung professioneller namentlich bekannter Gutachter

    Es gibt sehr gute Gründe, warum Gutachter anonym sind. Die erscheinen mir so offensichtlich, dass ich gar nicht näher darauf eingehen möchte.

    “Professionelle” Gutachter, um die Professoren zu entlasten? Das heißt, für jedes Spezialgebiet mit zwei Dutzend aktiven Forschern stellen Sie einen nicht-anonymen Profigutachter bereit, der selbst nicht aktiv forscht? Was qualifiziert den? Wer bezahlt den? Wer sorgt für seinen Personenschutz?

  24. #24 Geoman
    August 7, 2009

    @Ulrich Berger

    Bund und Länder investieren bekanntlich jedes Jahr zig Milliarden Euro in die Forschung. Da werden sicherlich ein paar Dutzend Millionen Euro für ein besseres Qualitätsmanagement (das ja in den öffentlichen Verwaltungen seit Jahren ein ganz großes Thema ist) abgezwackt werden können, gerade wenn damit der Forschung gedient und die Verwendung der Mittel effektiviert werden kann.

    Über Details müsste diskutiert werden. Ich befürchte allerdings, dass in bestimmten Kreisen – unabhängig von der Umsetzbarkeit – überhaupt kein Interesse an einem professionellen Qualitätsmanagement besteht.

    Für den Schutz und die Rehablitierung innovativer Autoren, die von dem derzeitigen akademischen Klüngel-Peer-Review-System ausgebremst oder ins abseits manövriert werden, sorgt (und interessiert sich) im Übrigen auch niemand.

  25. #25 S.S.T.
    August 7, 2009

    @ Geoman

    Qualitätsmanagement (QM), das übrigens nicht nur in Verwaltungseinrichtungen ein großes Thema ist, ist ein wunderschönes Schlagwort. Ich schätze mal, dass Viele, die sich nicht selbst mit einer Einführung eines QM-Systems beschäftigt haben, darunter sehr viele verschiedene Dinge verstehen und regelmäßig übersehen, dass QM nur am Rande mit Ergebnis-Qualität zu tun hat.

  26. #26 Max Feierabend
    August 9, 2009

    Gibt es auf den ScienceBlogs nichts Vergleichbares zum peer review? Oder anders gefragt, können Hinz und Kunz ScienceBlogger werden?

    Beste Grüße aus Berlin
    Max Feierabend

  27. #27 Geoman
    August 10, 2009

    @Max Feierabend

    Statt peer review gibts’s hier offenbar einen Ritterschlag:

    https://blog.gwup.net/2008/07/02/ritterschlag-kritisch-gedacht-scienceblog/

  28. #28 Jörg Friedrich
    August 10, 2009

    Aber Herr Feierabend, wir haben doch dank so engagierter qualitätssichernder Kommentatoren wie Ihnen hier bei ScienceBlogs so eine Art Open Peer Review!

  29. #29 Thilo
    August 10, 2009

    Ich glaube also, die Lösung besteht in Online-Publikationen von Universitäten, Instituten und Kongressen, die dann entsprechend in Datenbanken weltweit verfügbar gemacht werden. Die Qualitätssicherung erfolgt durch die publizierenden Einrichtungen.

    So etwas kann wirklich nur jemand vorschlagen, der nie an einer deutschen Universität gearbeitet hat. Mal abgesehen davon, daß, wie Florian schon geschrieben hat, es an einer Universität in der Regel nur sehr wenige (oder nur einen) Experten für ein Gebiet gibt, ist der Vorschlag auch praktisch völlig undurchführbar und es würde zu Mord und Totschlag an den Fakultäten führen, wenn sich die Kollegen gegenseitig begutachten müßten. Letztlich würden dann persönliche Konstellationen und Abhängigkeiten, gegenseitige Gefälligkeiten (oder gegenseitige Abneigung) und allerlei ‘politische’ Fragen bzgl. Macht und Einfluß am Fachbereich darüber entscheiden, welche Arbeiten publiziert werden und welche nicht.
    Der Punkt beim Peer Review ist ja gerade, daß der Referee anonym bleibt und deshalb unabhängig seine Meinung sagen kann (und der Herausgeber, der letztlich die Entscheidung fällt, kann sich immer darauf berufen, daß ihm der Report des anonymen Referees keine andere Wahl gelassen habe). Sicherlich werden Namen und Reputation trotzdem immer eine Rolle spielen, aber bei weitem nicht in dem Ausmaß, wie das bei Entscheidungen innerhalb eines Instituts oder Uni-Fachbereichs der Fall wäre.

  30. #30 Jörg Friedrich
    August 10, 2009

    @Thilo: Stimmt, berechtigte Kritik. Ihr Kommentar und auch die anderen sind interessante Anregungen um über das Thema mit Bezug auf den realen Wissenschaftsbetrieb weiter nachzudenken.