Wie lügt forscht man mit Statistik? Auch tote Fische haben Gefühle.

Im “Journal of Serendipitous and Unexpected Results” ist die Arbeit “Neural Correlates of Interspecies Perspective Taking in the Post-Mortem Atlantic Salmon: An Argument For Proper Multiple Comparisons Correction” von Craig Bennett, Abigail Baird, Michael Miller and George Wolford erschienen (siehe auch “Großhirn-Voodoo” auf Spiegel-Online und “Ein Fisch schaut in die Röhre” in der SZ).

Es geht um bildgebende Hirnforschung, speziell um die Hirntätigkeit des portmortalen atlantischen Lachses, und um Statistik.

Nun bin ich weder Statistiker noch kann ich beurteilen, ob in der bildgebenden Hirnforschung wirklich so gearbeitet wird, wie es der Artikel nahelegt. Aber das Experiment ist einfach zu schön, als daß man es hier nicht erwähnen könnte.

Zunächst zur Methodik:

One mature Atlantic Salmon (Salmo salar) participated in the fMRI study. The salmon measured approximately 18 inches long, weighed 3.8 lbs, and was not alive at the time of scanning. It is not known if the salmon was male or female, but given the post-mortem state of the subject this was not thought to be a critical variable.
[…]
The task administered to the salmon involved completing an open-ended mentalizing task. The salmon was shown a series of photographs depicting human individuals in social situations with a specified emotional valence, either socially inclusive or socially exclusive.
The salmon was asked to determine which emotion the individual in the photo must have been experiencing.
The photo stimuli were presented in a block design, with each block consisting of four photos presented individually for 2.5 seconds each (10 seconds total) followed by 12 seconds of rest. A total of 12 blocks of photo presentation were completed with 48 photos presented during the run. Photos were presented with the experiment-scripting program Psyscope (Cohen et al.,1993) and advanced by a TTL voltage trigger from the scanner. Total scan time for the task was 5.8 minutes, with 140 acquired image volumes.
[…]
Voxelwise statistics on the salmon data were calculated through an ordinary least-squares estimation of the general linear model. Predictors of the hemodynamic response were modeled by a boxcar convolved with a canonical hemodynamic response function. A temporal high pass filter with a cutoff period of 128 seconds was included to account for low frequency drift in the functional imaging data. No autocorrelation correction was
applied.

Die hier ausgelassenen Details über verwendete Technik und Programme kann man im Original nachlesen, ebenso wie die quantitativen Ergebnisse der Untersuchung. Jedenfalls wurden in einem Cluster in einem Hohlraum des Lachshirnes mehrere aktive Voxel beobachtet:

i-1b77c1d99c20878b6b7b9f2d366670e5-lachshirn.png

Either we have stumbled onto a rather amazing discovery in terms of post-mortem ichthyological cognition, or there is something a bit off with regard to our uncorrected statistical approach.

beginnt der Diskussionsteil und diskutiert dann mögliche Lösungen des “multiple comparisons problem in functional imaging”.

There have been several in-depth articles regarding the multiple testing problem in neuroimaging, but a sizable fraction of published research still report results using uncorrected statistics.

The control of false positives is not a matter of difficulty, as all major analysis packages for fMRI include some form of multiple comparisons correction. Rather it seems to be the case that investigators do not want to jeopardize their results through a reduction in statistical power. While we must guard against the elimination of legitimate results through Type II error, the alternative of continuing forward with uncorrected statistics cannot be an option.

Kommentare (15)

  1. #1 Hein
    4. Mai 2011

    Es gab kürzich noch eine weitere Studie, die belegen konnte, dass die Auswertung von fMRI Daten etwas zu lachs gehandhabt wird.
    Voodoo Correlations in Social Neuroscience (Vul et al. 2009). Beide Studien zusammen haben dazu geführt, dass Ergebnisse von Bildgebenden Verfahren etwas vorsichtiger interpretiert werden.

  2. #2 Roland
    4. Mai 2011

    An den aktiven Stellen haben sich die Yrr eingenistet, ist doch klar.

  3. #3 Chris
    4. Mai 2011

    Hallo,
    danke fürs vorstellen, wäre sonst wohl an mir vorbei gegangen. :-/
    Den letzten Satz sollte man eigentlich einrahmen und überall aufhängen wo Statistik gebraucht wird…

    dass Ergebnisse von Bildgebenden Verfahren etwas vorsichtiger interpretiert werden.

    Fast schon zu spät, es gibt schon eine ganze (nicht witzige) Pseudomedizin die auf Ringartefakten basiert…

  4. #4 Dagda
    4. Mai 2011

    Naja
    sooo schlampig wir in fMRI-Studien nicht gearbeitet; Insbesondere das Multiple Comparison Problem, um das es hiier ja geht wird eigentlich immer berücksichtigt .
    Nebenbei ist dieses Fisch MRI Ding nicht eigentlich ein alter Hut? Ich meine mich an die Diskussion darüber schon erinner zu können? (Ich glaub dabei ging es um ein Poster auf einer Konferenz nicht um ein Paper, aber alles drehte sich um den selben Fisch.)

  5. #5 lekrul
    4. Mai 2011

    das ist ja zum lach(s)en …

  6. #6 Markus A. Dahlem
    4. Mai 2011

    Das Hirn ist bunt.

    Ich habe neulich in meinem Blog den Beitrag “Fleckologie oder das Fehlen der Bunt-Hirn-Schranke” geschrieben.

    https://www.brainlogs.de/blogs/blog/graue-substanz/2011-04-09/bunt-hirn-schranke

    Der Begriff “Fleckologie” stammt von Henning Scheich, ein führender deutscher Gehirnforscher, der diese Lehre der Interpretation von fMRI-Bilder immer klar mit der Warnung verbunden hat, dass wir ohne theoretische Konzepte solche bunten Bilder nicht oder leicht fehlinterpretierenl können.

  7. #7 KommentarAbo
    4. Mai 2011

  8. #8 miesepeter3
    5. Mai 2011

    Das Bundestatistikamt hat verlauten lassen, dass 52,46329933 % aller Statistiken eine zu große Genauigkeit vortäuschen.

  9. #9 armstrong
    5. Mai 2011

    das problem ist hier nicht die statistik, und auch nicht das multiple comparison problem (durch die ueblichen methoden, fuer multiple comparisons zu “korrigieren”, wird das problem der voodoo-korrelationen sogar noch *schlimmer*).
    das problem ist, dass zu viele leute, die wunders was fuer schicke geraete benutzen, sich nicht fuer 5 pfennige darueber im klaren sind, wie erkenntnis zustande kommen kann. der trick ist hier: ich nehme das rauschen in den zufaelligen signalen im toten fisch, waehle davon einige zufaellige hohe abweichungen aus (aber nur die, die dann auftreten, wenn dieses oder jedes bild gezeigt wird), und berichte dann am ende nur diese abweichungen. und dass dann eben genau hohe werte auftreten, wenn ein bild gezeigt wurde, ist ebenso trivial wie laecherlich. dieses paper verdeutlicht und denunziert diesen fehler sehr anschaulich. aber die meisten leute in der community sind einfach zu dumm, um zu merken, dass “forschung mit einem lachs” auch was darueber sagen kann, was fuer einen stuss sie fabrizieren und dreist als “wissenschaft” verkaufen.

  10. #10 Till
    5. Mai 2011

    Trickreich.

    Wären die Autoren nicht auf die Idee mit dem Lachs gekommen, hätte dieses Paper niemand beachtet.
    Methodenkritik durch Satire, den Ansatz sollte man sich merken.

  11. #11 Bjoern
    5. Mai 2011

    @Dagda: Diese Ergebnisse wurden tatsächlich schon 2009 auf einer Konferenz präsentiert (“Organization for Human Brain Mapping 2009 Annual Meeting”). So steht’s zumindest in der Bibliographie des Buches, das ich gerade lese… (“Delusions of gender” von Cordelia Fine).

    Witzig – erst vor einigen Tagen hatte ich in dem Buch das erste Mal was von diesen Ergebnissen gehört – und kurz darauf wird das dann veröffentlicht, und ich lese es gleich nochmal im Blog hier!

  12. #12 threepoints...
    8. Mai 2011

    Aktivität in den Organen …postmortem…?

    Wie lange schlägt ein Fischherz noch, wenn man den Fisch fangfrisch ausnimmt?

    Wahrscheinlich auch in Abhängigkeit mit der Gerinnung von Blut und dem Absterben vom Gewebe…

  13. #13 Thilo
    22. September 2012

    Mit etwas Verspatung wurde die Arbeit gestern mit dem Ig-Nobelpreis fur Neurowissenschaften 2012 ausgezeichnet: https://www.improbable.com/ig/winners/

  14. #14 rolak
    22. September 2012

    SciAm beschreibt ganz kurz alle Preisträger. Zum dead parrot, oops, salmon wird gesagt:

    This study has all the personality of a dead fish. In a good way.