« vorheriger Beitrag  · nächster Beitrag »

10.12.08 · 19:46 Uhr

Neue Evidenz für Homöopathie? Wer lesen kann, ist klar im Vorteil!

Kategorie: Medizin  ·  Kommentare: 15

Nun ist es also passiert. In der renommierten Medizinzeitschrift The Lancet ist vor wenigen Wochen eine Studie erschienen, die neue Evidenz für die Wirkung der Homöopathie liefert!

Wirklich? Nein, natürlich nicht. Aber was will uns dann die Schlagzeile dieser Pressemeldung suggerieren, die Mitte November in die Welt gesetzt wurde?

The Lancet - Neue Evidenz für die Wirkung der Homöopathie

Urheber der irreführenden Pressemeldung war der Betriebswirt und PR-Beauftragte in Sachen Homöopathie Claus Fritzsche, laut Eigenangaben Spezialist für die "Vermarktung von erklärungsbedürftigen Produkten an Geschäftskunden". Hier geht es also offensichtlich um PR und Stimmungsmache, nicht um Wahrheit oder wenigstens wissenschaftliche Redlichkeit. Was aber steckt nun dahinter? Ein klein wenig Licht ins Dunkel bringt die Zusammenfassung von Fritzsches Pressemeldung, die behauptet:

Zwei neue Studien widerlegen die von der medizinischen Fachzeitschrift THE LANCET 2005 aufgestellte These, Homöopathie beruhe allein auf Placeboeffekten.

Aha. Wir kommen der Sache näher. Es geht also wieder einmal darum, die als "Shang-Studie" oder "Egger-Studie" bekannte Publikation zu diskreditieren, also jene vielzitierte und in Homöopathenkreisen verhasste Metaanalyse der Homöopathie, die eine Arbeitsgruppe rund um Shang und Egger 2005 im Lancet publizierte. Dazu passt auch der Titel des Blogpostings, das uns Fritzsche parallel zu seiner Pressemeldung servierte:

The Lancet & Homöopathie: 2 Studien weisen auf grobe Fehler der Meta-Analyse von Shang et al. 2005 hin

Ist wenigstens diese Kurzversion richtig? Wie sich herausstellt: Nein. Sie ist ebenso irreführend wie der Titel der Pressemeldung.

Worum geht es genau? Dazu ein kurzer Rückblick:

Die Egger-Metaanalyse hatte 110 homöopathische Studien mit ebensovielen konventionellen Studien zu denselben Indikationen verglichen und folgendes gefunden:

21 homoeopathy trials (19%) and nine (8%) conventional-medicine trials were of higher quality. In both groups, smaller trials and those of lower quality showed more beneficial treatment effects than larger and higher-quality trials. When the analysis was restricted to large trials of higher quality, the odds ratio was 0.88 (95% CI 0.65-1.19) for homoeopathy (eight trials) and 0.58 (0.39-0.85) for conventional medicine (six trials).

Da das Konfidenzintervall (CI) für das odds ratio (OR) der großen und qualitativ hochwertigen Homöopathiestudien von 0,65 bis 1,19 reicht, also den Wert 1,00 einschließt, kann die Nullhypothese ("Homöopathie hat keine über Placebo hinausgehende Wirkung") auf dem 5%-Niveau nicht abgelehnt werden. Mit anderen Worten:

This finding is compatible with the notion that the clinical effects of homoeopathy are placebo effects.

In der erweiterten scientific community erzeugte die Veröffentlichung dieser Studie etwa den Nachhall eines umfallenden Sacks Reis in China. Medizinische Statistiker hatte also gezeigt, dass geschütteltes Wasser so gut wirkt wie Wasser - so what?

Bei den Homöopathen dagegen herrschte Weinen und Wehklagen. Acht Jahre lang hatten Sie stets triumphierend die Metaanalyse von Linde et al (1997) zitiert, die zum Schluss gekommen war, die Placebohypothese könne die Daten nicht erklären. Und deren Schlussfolgerung Klaus Linde selbst später mehrfach relativiert hatte - was Homöopathen geflissentlich zu ignorieren pflegten und pflegen, ebenso wie sämtliche anderen systematischen reviews, die zu einem für die Homöopathie ungünstigen Resultat gekommen waren.

Nachdem die Phase des Wehklagens vorbei war, schritten die Homöopathen zum Gegenangriff. Zwei besonders gewitzte homöopathische Ärzte, A. L. B. Rutten und C. F. Stolper, wussten schon Anfang 2006 zu berichten, "'Proof' against homeopathy in fact supports homeopathy". Diese Botschaft ihres Leserbriefs durch handfeste Daten zu untermauern, beschäftigte sie anscheinend die nächsten zwei Jahre. Das Ergebnis erschien vor wenigen Wochen in der Zeitschrift Homeopathy und trägt jetzt den weniger reißerischen Titel "The 2005 meta-analysis of homeopathy: the importance of postpublication data".

Aber wie das so ist mit Homeopathy und ähnlichen Homöopathie-Zeitschriften: Kaum jemand nimmt sie ernst, außer Homöopathen natürlich. Der Grund dafür ist unschwer zu erraten. Es handelt sich zwar um Fachzeitschriften, aber nicht um wissenschaftliche Zeitschriften. Ihre Aufgabe ist es, die Frohbotschaft der Homöopathie zu verkünden, und ihr peer-review Verfahren sorgt dafür, dass auch junk-science das Licht der Druckerpresse erblicken darf, die in einem halbwegs anständigen Journal nur müde belächelt würde. In den Worten von Chris Lee von Ars Technica:

Homeopathy is not science. The journal has a negative scientific value because it does not distribute scientific knowledge, but rather disseminates wishful thinking about reality. It is the very essence of anti-science.

Ein wichtiger Kritikpunkt an der Egger-Studie in der Arbeit von Rutten und Stolper war folgender:

Cut-off values for larger trials were inexplicably different for homeopathy (n=98) and conventional medicine (n=146). This suggests post-hoc hypothesizing.

Rutten und Stolper grübeln also darüber nach, warum die Mindestteilnehmerzahl, die die Egger-Studie für "larger trials" verlangt hatte, bei Homöopathie und bei konventioneller Medizin unterschiedlich groß war. Sie halten das für "unerklärlich" und folgern daraus, dass Eggers Team post-hoc, also erst im Nachhinein, diese Schranken festgelegt hatten, um das gewünschte Homöopathie-feindliche Ergebnis zu erhalten. Ein wahrhaft schwerwiegender Vorwurf, den man nicht leichtfertig machen sollte, wenn man dafür nicht gute Gründe hat.

Nun, wer lesen kann, ist klar im Vorteil. Shang et al hatten klar und transparent festgelegt, dass Studien mit einem Standardfehler (SE) im untersten Quartil als "groß" definiert werden:

Da homöopathische und konventionelle Studien natürlich unterschiedliche und vorab nicht bekannte Größen haben, ist dies die einzige sinnvolle Möglichkeit, im Vorhinein eine Grenze festzulegen, ohne die Studien bereits analysiert zu haben. Das heißt, die unterschiedlichen Grenzen für große Studien resultieren daraus, dass Shang et al eben keine post-hoc Kriterien einführen wollten - genau das, was Rutten und Stolper ihnen fälschlicherweise unterstellen. Womit wieder einmal gezeigt wäre, was wie gesagt bereits bekannt ist: dass in Homeopathy und ähnlichen Zeitschriften so etwas wie ein ernstzunehmendes peer-review System schlicht nicht existiert.

Das weiß im Grunde natürlich auch Dr. Rutten, und deswegen tat er sich mit Rainer Lüdtke, Diplom-Statistiker bei der Veronica-Carstens-Stiftung, zusammen und produzierte eine Zweitverwertung seiner Re-Analyse der Egger-Studie. Diese erschien in einer seriösen Zeitschrift, dem Journal of Clinical Epidemiology, und trägt den Titel The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials. So weit, so wenig überraschend. Schließlich war genau das der Punkt, den Shang et al aufgezeigt hatten: Alle 110 Studien zusammen, ohne Qualitätsgewichtung, scheinen eine klare Wirksamkeit der Homöopathie zu zeigen. Streicht man die methodisch schlechten Studien, so zeigt das OR der 21 verbleibenden hochqualitativen Studien einen kleineren, aber immer noch statistisch signifikanten Effekt für die Homöopathie. Betrachtet man nur mehr die verlässlicheren - weil "großen" - Studien (entsprechend dem vorab festgelegten Kriterium eines Standardfehlers im untersten Quartil), so verschwindet dieser Effekt ebenfalls. Je "besser" die betrachtete Menge der Studien also ist, desto schwächer die spezifische Wirkung der Homöopathie. Extrapoliert man das gedanklich zu sehr großen und methodisch exzellenten Studien, so landet man bei einem OR von 1 und damit einer Wirkung von null.

Was also zeigen Lüdtke und Rutten wirklich? Nun, das ist interessant: Obwohl sich Lüdtke und Rutten natürlich bemühen, ihre Daten so zu interpretieren, als hätte die Egger-Studie irgendwelche Fehler gemacht, zeigen diese Daten nichts davon. Das Verblüffende ist: Ignoriert man die einseitige Interpretation von Lüdtke und Rutten und fokussiert man auf das, was ihre nackten Daten zeigen, so sieht man eine eindrucksvolle Bestätigung der Egger-Studie.

Ein Beispiel: Homöopathen hatten lange spekuliert, dass Egger et al ihre Parameter möglicherweise erst im Nachhinein so festgelegt hatten, dass die am Ende eingeschlossenen großen und methodisch guten Homöopathiestudien keine Signifikanz aufweisen. Die Daten von Lüdtke-Rutten zeigen, dass dies nicht der Fall ist. Wie aus der Beschreibung der folgenden Abbildung aus ihrem Papier hervorgeht, kann man zu den acht großen Studien bis zu fünf kleinere mit einschließen, bevor der small study bias zuschlägt und das OR signifikant wird.

Es wird noch deutlicher: Verwendet man eine alternative statistische Methode (Metaregression), so verschwindet jegliche Signifikanz in den 21 hochqualitativen Studien:
Wie steht es mit der Untergruppenanalyse, die Lüdtke-Rutten vorgenommen hatten? Bei Analysen von ex post ausgewählten Untergruppen besteht stets die Gefahr, durch multiples Testen falsch positive Befunde zu erhalten oder infolge von (bewusster oder unbewusster) Voreingenommenheit selektiv zu analysieren. Trotz dieser Gefahren finden Lüdtke-Rutten nur in einer einzigen Untergruppe von hochqualitativen Studien ein signifikantes Resultat - bei "molekularen Verdünnungen", also bei Tiefpotenzen, die noch Wirkstoffe enthalten. Hochpotenzen? Fehlanzeige. Klassische Homöopathie? Fehlanzeige.
Hier die Schlussfolgerungen in den Worten der Autoren:

Our results do neither prove that homeopathic medicines are superior to placebo nor do they prove the opposite. This, of course, was never our intention, this article was only about how the overall results--and the conclusions drawn from them--change depending on which subset of homeopathic trials is analyzed. As heterogeneity between trials makes the results of a meta-analysis less reliable, it occurs that Shang's conclusions are not so definite as they have been reported and discussed.

Mit anderen Worten: Die Resultate der Egger-Studie sind "weniger definitiv" als sie "berichtet und diskutiert wurden". Was für eine dramatische Erkenntnis! Das Geraunze bezieht sich recht eindeutig auf das begleitende Editorial, in dem der Lancet 2005 etwas pathetisch vom "Ende der Homöopathie" sprach. Dass dieses nicht kommen würde, war allen Beobachtern aber in Wahrheit auch vorher schon klar.

Fazit: Die Lüdtke-Rutten Studie ist eine Randnotiz, deren Daten die Erkenntnisse der Egger-Studie weitgehend stützen. Sie ist alles andere als ein Aufreger.

Wie kommt es dann, dass Claus Fritzsche in seinem Blog Purzelbäume schlägt vor Aufregung? Sehen Sie sich das hier nur einmal an:

Sollten sich erste Gerüchte bestätigen, dass die Forschergruppe um Prof. Dr. med. Matthias Egger, Aijing Shang und Kollegen die Ergebnisse nicht kommentieren will (d. h. Rutten, Stolper und Lüdtke ihrerseits keine Fehler nachweist), so hätten die neuen Publikationen die Qualität eines wissenschaftlichen Erdbebens der Stärke 9. Frei nach Charles Francis Richter: Zerstörung (einer von The Lancet konstruierten Legende) in Bereichen von tausenden Kilometern.

Etwas unaufgeregter betrachtet der Wissenschaftsjournalist Francis Segdemore die Sachlage:

Egger would be a fool to comment on such patent nonsense spun by a PR agency.

Nocheinmal O-Ton Fritzsche:

Die negativen - für die Placebo-These ausschlaggebenden - Ergebnisse von Shang et al. 2005 werden laut Rutten und Lüdtke primär durch eine einzige selektierte Studie beeinflusst.

Und hier die Worte von Lüdtke-Rutten:

Shang's negative results were mainly influenced by one single trial on preventing muscle soreness in N=400 long-distance runners.

Bemerken Sie den subtilen Unterschied? Wo Lüdtke-Rutten von einer "einzelnen Studie" sprechen, ortet Fritzsche eine "selektierte Studie". Dabei klingt der Vorwurf der Datenselektion mit, also wissenschaftliches Fehlverhalten. Anhaltspunkte dafür? Keine. In den PR-Agenturen sitzen die Schmutzkübel eben locker.

Falls Sie jetzt mutmaßen, dies sei lediglich eine böswillige Interpretation meinerseits, weil die "selektierte" Studie ja schließlich eine der nach den Kriterien von Shang et al ausgewählten (= "selektierten") acht großen und hochqualitativen Studien sei, dann passen Sie auf, wie es bei Fritzsche weiter geht:

Das heißt nichts anderes, als dass das von The Lancet 2005 proklamierte »Ende der Homöopathie« auf einem Selektionsbias und einer durch eine einzige (!) Studie verursachten Verzerrung basiert. Was für ein Kracher!

Ja, da kracht es allerdings ganz gewaltig - in mindestens einem Hirn...

Und hier schließlich die Daten:

Wie deutlich zu sehen ist, erreicht man mit Metaanalyse nicht einmal annähernd einen p-Wert von 0,05, wenn man eine einzelne Studie aus den acht ausschließt. Mit dem Verfahren der Metaregression kommt man den 5% zumindest nahe, wenn man die Vickers-Studie zum Muskelkater ignoriert. Und? Eine Metaanalyse hat schließlich die Aufgabe, existierende Studien zu bewerten und zusammenfassend zu beurteilen. Dass die Existenz einer hochqualitativen und großen negativen Studie wie der von Vickers für jene, die sich sehnlichst ein positives Resultat gewünscht hätten, ein Ärgernis darstellt, ist nicht weiter überraschend. Das Argument "wenn es die Vickers-Studie nicht gäbe, dann wäre das Resultat der Metaanalyse beinahe positiv", ist allerdings etwas dürftig. Wie Bob Park es vielleicht formuliert hätte:

If things were different, things would not be the way things are.

Am Ende muss ich Herrn Fritzsche aber doch noch verteidigen: Das Unkraut ist nicht zur Gänze auf seinem Mist gewachsen. Vielmehr hat es den Anschein, als habe er die Studien, um die es geht, gar nicht gelesen. Oder nicht verstanden. Offenbar hat er nämlich seine Informationen schlicht aus jener verzerrenden Pressemeldung des Elsevier-Verlags (zu dem The Lancet, Homeopathy und das Journal of Clinical Epidemiology gehören) abgeschrieben, die den schlichten und ebenso falschen Titel New evidence for Homeopathy trägt. Diese Pressemeldung, die für einen Fachverlag eher peinlich ist, beginnt mit den Worten

Two new studies conclude that a review which claimed that homeopathy is just a placebo, published in The Lancet, was seriously flawed.

Wie wir inzwischen wissen, ist das Unsinn - von "seriously flawed" kann überhaupt keine Rede sein. Aber man sollte bedenken, dass der Elsevier-Verlag keine wissenschaftliche Einrichtung ist, sondern ein für überteuerte Fachzeitschriften berüchtigtes kommerzielles Unternehmen, das hin und wieder auch ohne Rücksicht auf wissenschaftliche Integrität für die eigenen Produkte die Trommel rührt.

Das mediale Getöse in und aus Homöopathenkreisen entpuppt sich am Ende also wieder einmal als weitgehend inszenierter PR-Gag.

Aber überrascht das eigentlich noch jemanden?


Andere Stimmen:
Francis Sedgemore: "New evidence for homeopathy"?
Science-Based Medicine (David Gorski): Fun with homeopaths and meta-analyses of homeopathy trials
NeuroLogica Blog (Steven Novella): Homeopathy Still Sucks
Hawk/Handsaw (Paul Wilson): Shang study remains firmly in the water - More meta-analysis delight - I know I said life was too short... - Science by press release (epic fail) - Homeopathy paper published (hier)

[Nachtrag, 12.12.2008:]
Um auf klare faktische Fehler hinzuweisen, habe ich gestern im H.-Blog von Claus Fritzsche und in einem englischsprachigen Blog jeweils einen kurzen Kommentar hinterlassen. Beide Kommentare wurden von den Blogbetreibern gelöscht. Soviel zur in Homöopathieblogs herrschenden Diskussionskultur...
Die von mir gemachten kritischen Anmerkungen über den Verlag Elsevier hat Fritzsche - allerdings ungewollt - bestätigt. Fällt Ihnen bei diesem Ausschnitt aus seinem Posting etwas auf?  ;-)

 

Autor: Ulrich Berger· 15 Kommentare· Permalink· Trackback-URL

Tags: Claus Fritzsche· Elsevier· Homeopathy· Homöopathie· Journal of Clinical Epidemiology· Lüdtke· Metaanalysen· PR· Rutten· Stolper