defend your paper.jpg

Spät, aber noch vor Heilig Abend kommt er, der Artikel über Felisa Wolfe-Simon und ihr Arsen-Paper in Science. Die Veröffentlichung selbst ist schon überall auseinander genommen worden, hier daher Hintergründe dazu, wie und wieso dieses Paper so geschrieben und veröffentlicht werden konnte, und die Frage, was es für Autoren wissenschaftlicher Veröffentlichungen überhaupt bringt, wenn ein Paper öffentlich diskutiert wird.

Ich möchte nicht, dass mir etwas ähnliches wie Felisa Wolfe-Simon passiert. Zur Erinnerung: Wolfe-Simon ist Erstautorin eines Science-Papers über ein ungewöhnliches Bakterium. Die präsentierten Ergebnisse legten für die Autoren den Schluss nahe, dass diese Bakterien Arsen an Stelle von Phosphor verwendet – zum Beispiel in der DNA.

Nach einer euophorischen Pressekonferenz, organisiert von der NASA (der Geldgeber von Wolfe-Simon) mit Referenz zu außerirdischem Leben, wurde ziemlich schnell klar, dass die Schlussfolgerungen aus den präsentierten Ergebnissen im Science Paper auf wackeligen Beinen stehen. Nicht alle notwendigen Kontrollexperimente waren durchgeführt worden um die in der Veröffentlichung aufgestellten Behauptungen zu belegen.

Wer die ganze Geschichte noch einmal nachlesen möchte: Hier ist der original Science Artikel, hier ist eine erste Einschätzung vom Fischblog nach der Publikation, hier ist der Blogpost von Rosie Redflied, einer Mikrobiologin, der vielen als der Auslöser der harschen Kritik am Paper gilt. Hier mehr fachkundige Kritk. Hier die Antwort von Wolfe-Simon (.pdf) auf die manigfach geäuserten Einwände, hier die Einschätzung der Antwort und weitere Kritk von Redfield. Hier eine entschuldigende Email von Redfield: Im Ton vergriffen in der Sache Recht. Hier ein aktuelles Interview in Science mit Wolfe-Simon, in dem die Autorin Stellung zur Kritik und Medienhype der letzen Wochen nimmt.

Klar ist: Es ist kein gewöhnliches Paper um das es geht und es ist keine gewöhnliche Reaktion der Medien, eingeschlossen Blogs, auf diese Veröffentlichung.Hier ein Versuch die Prozesse der letzten Wochen nachzuvollziehen und zu erklären.

Die Autoren

Kein Paper ist vollkommen und es gibt immer weitere Experimente, die gemacht werden können um Ergebnisse zu belegen und zu bestätigen. In so fern führen Anmerkungen von Kritikern, dass keine Versuche gemacht wurden, um beispielsweise den Mechanismus des vermeintlichen Arsen-Einbaus aufzuklären auch ins leere. Die angemahnten Experimente werden zurecht von Wolfe-Simon mit dem Verweis auf mögliche Folgeprojekte gekonntert.

Die relevante Kritik an ihrer Arbeit zielt auf fehlende Kontrollexperimente, essentiell um die Kernaussage des Papers zu belegen. Diese Kontrollen sind nur unzureichend durchgeführt worden – obwohl die Autoren sich der technischen Möglichkeiten durchaus bewusst waren, wie Wolfe-Simon im Interview zugibt:

We’re aware of all these other techniques you mentioned. In fact, I have done a cesium chloride gradient experiment, and it showed what my gel showed: something unusual that we couldn’t quite explain.

Es ist ein klares Versäumnis der Autoren, zweideutige Ergebnisse nicht weiter zu untersuchen. Weiter ist es nicht aufrichtig ihre unklaren Ergebnisse aus diesen Versuchen nicht in der Veröffentlichung zu zeigen. Besonders mutige Autoren oder Autoren unter starkem Zeitdruck reichen manchmal unvollständige Manuskripte ein, um Kritikpunkte der Reviewer antizipieren zu können und schon während das Manuskript begutachtet wird an diesen bewusst belassenen Schwachstellen weiter zu arbeiten. Hier ist man hingegen geneigt zu vermuten, dass der Wunsch nach außergewöhnlichen Resultaten Vater der unzureichenden Analyse war und die notwendigen Untersuchungen unterlassen wurden, um nicht selbst enttäuscht zu werden. So funktioniert Wissenschaft nicht und diese Vorgehensweise wird zurecht kritisiert.

Die Reviewer

Die Rolle der Gutachter und des zuständigen Redakteurs kam beim bisherigen Echo zum Arsen-Artikel zu kurz. Der peer-review Prozess hat hier versagt. Die in kritischen Blogs aufgezeigten technischen Mängel und die fehlenden Kontrollexperimente hätten den Gutachtern auffallen müssen und normalerweise werden solche Versäumnisse auch entdeckt. Wieso also in diesem Fall nicht? Der zuständige Redakteur trägt die Verantwortung für die Auswahl geeigneter Reviewer. Wahrscheinlich war in diesem Fall die Übereinstimmung zwischen dem wissenschaftlichen Schwerpunkt des Manuskripts und den Fachgebieten der Gutachtern nicht ausreichend gegeben. Möglicherweise hatte ein passender Gutachter einfach einen schlechten Tag, hat den Text nur unaufmerksam gelesen und unter Zeitdruck die Kommentare eingereicht. Wir werden es nie wissen, Science publiziert weder die Namen von Gutachtern und Editoren noch die eingereichten Beurteilungen.

Die Öffentlichkeitsarbeit

Um mit einem Manuskript bei Science oder Nature überhaupt eine Chance zu haben, muss es über das eigene Fachgebiet hinaus Relevanz haben. Das steht so auch direkt in den Richtlinien für Autoren. Häufig ist die breite Relevanz einer Studie jedoch nicht offensichtlich und direkt durch die Rohdaten gegeben. Es ist ein kreativer Prozess und ein wichtiger Teil der Anfertigung des Manuskripts, die eigenen Daten so zu interpretieren und in den richtigen Kontext zu rücken, dass sie für eine breite Leserschaft relevant sein könnten. Wer selbst wissenschaftlich publiziert weiss das auch und versteht die Interpretation der Autoren cum grano salis zu nehmen.

Wolfe-Simon et al. haben – da wichtige Kontrollexperimente fehlen – ihre Ergebnisse klar überinterpretiert. Sie schreiben in der Zusamenfassung ihres Papers

Our data show evidence for arsenate in macromolecules that normally contain phosphate, most notably nucleic acids and proteins. Exchange of one of the major bio-elements may have profound evolutionary and geochemical significance.

Aber erst in der Ankündigung der Pressekonferenz der NASA wurde daraus:

…to discuss an astrobiology finding that will impact the search for evidence of extraterrestrial life.

Wolfe-Simon selbst sagt im aktuellen Interview mit Science, dass Ihr Paper gehyped wurde. Sie vergisst aber, dass sie selbst zu diesem Hype betrug. Zum einen durch die überzogenen Interpretationen im Paper, weiter durch überzogene Formulierungen in der Öffentlichkeit, beispielsweise in der NASA Pressemitteilung folgender Satz:

If something here on Earth can do something so unexpected, what else can life do that we haven’t seen yet?

und drittens in der Art und Weise, wie sie jetzt mit der weitreichenden Kritik umgeht.

Erwartet wird eine adäquate Antwort im Netz auf die vielen Blogartikel und Kommentare, sowie das selbskritische Eingeständnis der eigenen Fehler und Versäumnisse. Stattdessen diskreditiert Iron Lisa Blogs als valides Medium der Diskussion wissenschaftlicher Veröffentlichungen, indem sie darauf beharrt nur formal an Science gerichtete Kommentare zu beantworten. Sie reagiert auf keine der öffentlich an sie gerichteten Fragen – sei es von Bloggern oder Journalisten renommierter Zeitungen und Magazine. Außerdem kontert sie im Exklusivinterview mit Science die Kritik an der Vollständigkeit ihrer Analyse mit der zwar richtigen aber unpassenden Feststellung, dass ihre Arbeit Auslöser und Anregung für weitere Forschung sein sollte.

Die fachlich fundierte Kritik an ihrer Interpretation der Ergebnisse – unabhängig vom gewählten Medium – scheint Wolfe-Simon nicht anerkennen zu wollen und das führt dazu, dass unter dem Strich der Eindruck bleibt, sie sei keine gute Wissenschaftlerin. Ihr fehle es an Bescheidenheit, wissenschaftlicher Aufrichtigkeit, und der Fähigkeit mit Kritik adäquat umzugehen.

Ein Paper in Science kann einen Wendepunkt in der eigenen wissenschaftlichen Karriere bedeuten und es ist nachvollziehbar, dass Wolfe-Simon ihre Publikation mit Zähnen und Klauen verteidigt. Möglicherweise schadet aber der Verteidigunsstil und Tatsache, dass diese Diskussion in breiter Öffentlichkeit geführt wird der Reputation der Autorin mehr, als ihr das Science Paper nützt?

Weitere Fragen, die nicht zu klären aber doch zu diskutieren ist: Wäre die mit offensichtlichen Mängeln behaftete Arbeit ohne die reißerische Presseerklärung der NASA überhaupt in der Öffentlichkeit wahrgenommen worden? Was hat ein Autor überhaupt davon, wenn das eigene Paper öffentlich diskutiert wird?

Erst im Frühjahr werden die bei Science eingereichten Kommentare der Kritiker zur Publikation von Wolfe-Simon begutachtet sein. Dann wird entschieden, ob die Autoren ein Erratum publizieren, ihre Schlussfolgerungen durch weitere experimentelle Ergebnisse untermauern können, oder das Paper gar zurück ziehen müssen. Vergessen wird die Geschichte aber mit Sicherheit nicht – auch Dank der außergewöhnlichen Berichterstattung in Blogs und klassischen Medien.

Fröhliche Weihnachten!

Foto modifiziert nach satanoid auf flickr – CC: 2.0 BY

Kommentare (7)

  1. #1 Joe Dramiga
    24. Dezember 2010

    Eine schöne Zusammenfassung der ganzen Debatte.

    Du sagst:” Die Rolle der Gutachter und des zuständigen Redakteurs kam beim bisherigen Echo zum Arsen-Artikel zu kurz.”

    Allerdings!

  2. #2 Dr. Weihnachtswebbaer
    24. Dezember 2010

    Kann man das vielleicht für den kleinen alten dummen Weihnachtswebbaeren in etwa wie folgt zusammenfassen: Wahrscheinlichkeit sehr hoch, dass Arbeit wertlos
    ?

    Weihnachtsgrüße!
    Dr. Wwb

  3. #3 WeiterGen
    24. Dezember 2010

    Webbär,
    ich weiss nicht, ob die Ergebnisse stimmen, es fehlen ja geeignete Kontrollexperimente.
    Ich glaube im diesem Artikel, der auch oben verlinkt ist, wird in einem Statement auf Carl Sagans bekannten Satz verwiesen: “extraordinary claims require extraordinary evidence. Zu behaupten, dieses Bakterium würde tatsächlich Arsenat statt Phosphat in DNA und Protein verbauen, ist auf jeden Fall ein “extraordinary claim“. Die Belege sind es nicht.

  4. #4 Alexander
    26. Dezember 2010

    Ich glaube, dass man die Schuld weniger bei den Reviewern und sehr viel mehr beim zuständigen Redakteur und der Zeitschrift suchen sollte. Zumindest die molekularbiologischen Methoden, die in dem Paper beschrieben werden, kann ich gut bewerten. Nach dem Fällen von DNA das Präzipitat nicht mit Alkohol zu waschen, würde ich nicht mal einem Studenten im Praktikum durchgehen lassen, so elementar ist dieser Schritt. Wie man ein Science-Paper publizieren kann ohne Waschschritt ist mir schleierhaft. Dafür gibt es meiner Meinung nach zwei Gründe, die allerdings beide auf den Reviewer zurückzuführen sind:
    Entweder keiner der Reviewer hatte auch nur simpelste Kenntnis von Molekularbiologie. Das bedeutet, der Redakteur hat falsche Reviewer ausgewählt.
    Oder, schlimmer, mindestens einer der Reviewer hat sich beschwert, hat bessere Experimente gefordert. Und der Redakteur hat sich über die Empfehlung hinweggesetzt, weil die Veröffentlichung eines prestigeträchtigen Papers wichtiger für Science ist als korrekt durchgeführte Experimente.

    Ich finde auch die Reaktion der Autoren auf Kritik aus dem Web sehr überraschend. Anderen Autoren mit einer “normalen” Publikation sei diese Haltung vielleicht verziehen, aber wenn ich voller Freude die Medien in einer großen Pressekonferenz nutze, um mein Paper bekannter zu machen, dann muss ich auch danach auf die Medien eingehen, dann wenn es mal unangenehm wird. Vor der Pressekonferenz war die Blogosphäre erwünscht, sie hat ja jedes von der NASA hingeworfene Informationsbröckchen dankbar gefressen und wiedergekäut. Also: jubeln darf man über ein Paper online, aber sich nicht beschweren? Lachhaft.

  5. #5 WeiterGen
    26. Dezember 2010

    Alexander,
    Im dem oben verlinkten Frage/Antwort Dokument (.pdf) kontert Wolfe-Simon so:

    Question:
    Some people have questioned whether the DNA was sufficiently cleaned by your technique using gel electrophoresis, to separate it from other molecules. Do you feel this is a valid concern?

    Answer:
    Our DNA extraction and purification protocol begins with washed cells, pelleted from media. These are then subjected to a standard DNA extraction protocol, which included multiple phenol chloroform steps to remove impurities, including any unincorporated arsenate (As). After this, the DNA was electrophoresed, further separating the DNA from impurities. Any residual As from the media would have been removed by washing the cells prior to extraction and by partitioning into the aqueous phase during the 3 phenol:chloroform steps in the extraction. If As was incorporated into a lipid or protein it would have partitioned into the phenol, phenol:chloroform, or chloroform fractions. Additionally, DNA extracted in this manner on other samples was also successfully used in further analyses, including PCR, that require highly purified DNA.

  6. #6 Alexander
    27. Dezember 2010

    Die gute Frau kann so viele Phenol/Chloroform-Schritte machen wie sie will (Standard ist 1-2), das ändert nichts daran dass die wässrige Phase neben Nukleinsäuren noch weitere Stoffe enthält. Anschließend an die Extraktionsschritte hat sie eine Salzfällung der DNA gemacht. Und genau da ist es eben Standard (das Wort das sie so gern betont), das Pellet mindestens einmal mit 70% Ethanol zu waschen. Eben weil an der gefällten DNA noch jede Menge Zeug aus der wässrigen Phase hängen kann.
    PCR braucht übrigens auch keine hochreine DNA, das ist totaler Quatsch. Es gibt bestimmte Stoffe, die die Reaktion hemmen, aber man kann problemlos die DNA aus sehr unreinen Proben amplifizieren.