Über die Reproduzierbarkeit von Studien und Methoden zur Qualitätskontrolle
Ulrich Dirnagl Schlaganfall-Forscher, Charité Berlin 
|
Die präklinische Biomedizin hat ein Qualitätsproblem, sagt unser Gesprächsgast Ulrich Dirnagl. Der renommierte Schlaganfall-Forscher von der Berliner Charité hat Hunderte Fachveröffentlichungen zu Schlaganfall und Krebs untersucht und ist zu alarmierenden Erkenntnissen gekommen: Die Studien-Ergebnisse sind oftmals nicht reproduzierbar, Protokolle sind lückenhaft, wichtige Daten nicht verfügbar. Hinzu kommen Mängel im Design und der Auswertung von experimentellen Studien, wie zum Beispiel das Fehlen von randomisierter (also zufallsgesteuerter) Versuchsgruppen-Zuordnung, fehlende oder fehlerhafte Anonymisierung ("Verblindung"). Es gibt eine starke Tendenz zur Veröffentlichung von nur scheinbar vielversprechenden Resultaten.
Wir sprechen darüber, was die Ursachen für eine solche Entwicklung sind: Wie groß muss der Erfolgsdruck bei Wissenschaftlern und wissenschaftlichen Einrichtungen sein, wenn permanente Verstöße gegen gutes wissenschaftliches Arbeiten zur Regel werden? Wie fehlgesteuert sind die Belohnungssysteme und Karrierewege in der akademischen Forschung? Neue Ansätze der Auditierung und des Monitoring, Veröffentlichung von Originaldaten, mehr Kontrolle durch Journale könnten aus der Misere herausführen.
Verwandte Episoden
Sie möchten diese Ausgabe von Forschergeist anderen empfehlen? Hier können Sie sich ein einfaches PDF mit einer Inhaltsangabe der Sendung herunterladen und diese dann für ein schwarzes Brett ausdrucken oder auch per E-Mail weiterleiten.
Transkript
Tim Pritlove
Hallo und herzlich willkommen zu Forschergeist, dem Podcast des Stifterverbands für die deutsche Wissenschaft. Mein Name ist Tim Pritlove und ich begrüß hier alle zur 27. Ausgabe der Gesprächsreihe, in der sich alles um die Wissenschaft dreht, mit dem besonderen Schwerpunkt der wissenschaftlichen Arbeit als solcher. In der letzten Zeit haben wir sehr viel über Probleme der Nachhaltigkeit gesprochen. Jetzt kommen wir in gewisser Hinsicht mal wieder zurück auf die Spur der eigentlichen wissenschaftlichen Arbeit und wollen mal einen Blick auf Forschung über Forschung werfen. Und nochmal einen Blick genauer darauf richten, wie eigentlich wissenschaftliche Arbeit zustande kommt. Bzw. wie sie sich abbildet und wie sie auch überprüft werden kann. Und dazu begrüße ich als Gesprächspartner heute Professor Ulrich Dirnagl. Schönen guten Tag.
Ulrich Dirnagl
Hallo.
Tim Pritlove
Herr Dirnagl, Sie kommen ja auch aus Berlin oder? Also Sie sind jetzt in Berlin.
Ulrich Dirnagl
Wir sind und ich bin in Berlin. Kommen tu ich aus München.
Tim Pritlove
Ja okay. Aber Sie sind jetzt an der Charité hier in Berlin?
Ulrich Dirnagl
Bin seit 20 Jahren an der Charité.
Tim Pritlove
Und was ist so die genaue Bezeichnung, mit der Sie dort schalten und walten?
Ulrich Dirnagl
Na ich leite dort eine Abteilung für experimentelle Neurologie und auch ein Schlaganfallforschungszentrum, wo wir auch Patienten natürlich behandeln und das steckt auch schon mein wissenschaftliches Interesse ab, das ist die Schlaganfallforschung.
Tim Pritlove
Das heißt, das ist eigentlich Ihr Fokus, aber darüber hinaus haben Sie sich auch mit der Forschung als solcher beschäftigt. Warum?
Ulrich Dirnagl
Ja das hat sich im Grunde entwickelt aus der eigentlichen Forschung, aus der Schlaganfallforschung heraus, aus einer gewissen Frustration oder Unzufriedenheit mit der Tatsache, mit dem Befund, den natürlich nicht nur ich habe, dass das was wir in der Grundlagenforschung in der projektklinischen Forschung tun, was uns sehr beschäftigt und auch stolz macht und wir schöne Paper dazu veröffentlichen. Nicht in dem Maße an den Patienten bringen, das heißt nicht in dem Maße neue und bessere Therapien entwickeln, wie wir uns das gerne vorstellen, gerne wünschen würden. Und über die Frage, warum das möglicherweise so ist, da gibt es ganz sicher sehr viele Gründe, warum das so sein könnte. Bin ich letztlich zu der Frage gekommen, wie die Wissenschaft eigentlich funktioniert, die wir machen und ob sie, und das ist für mich eine zentrale Frage, ob wir das was wir tun noch besser machen können.
Tim Pritlove
Kommen wir doch vielleicht nochmal kurz so zu Ihrem eigenen Werdegang, um das nochmal ein bisschen nachvollziehen zu können. Also Sie sagten schon, seit 20 Jahren sind Sie jetzt in Berlin, hat dann quasi ihre wissenschaftliche Arbeit auch hier erst so richtig begonnen?
Ulrich Dirnagl
Nein. Ich habe in München studiert und war dann in München an der neurologischen Klinik und habe mich dort allerdings schon – ich bin Arzt – und habe aber mich relativ früh schon dafür entschieden, dass die Wissenschaft das ist und insbesondere die Grundlagenwissenschaft, was mich noch mehr fasziniert und interessiert als die eigentliche ärztliche Tätigkeit und habe mich deshalb sehr stark schon damals in die Entwicklung von Modellen für Krankheiten hin entwickelt, habe dort meine Doktorarbeit gemacht und bin dann für einige Zeit nach USA, an die Cornell-Universität nach New York gegangen und bin da sozusagen so richtig inauguriert worden für das wissenschaftliche Arbeiten. Muss auch sagen ein bisschen geimpft worden für das was dann später kam, im Sinne von Qualitätssicherung oder Qualitätsfragen.
Weil der dortige Chef der Abteilung, das war mir damals gar nicht so richtig klar und ich habe das auch eigentlich fast eher als störend empfunden, sich damals schon mit solchen Fragen auseinandergesetzt hat und das wird mir eigentlich heute immer mehr klarer, wie wichtig das ist. Und vielleicht hat mich ja damals schon mit einem Virus beimpft, der dann erst später virulent wurde.
Tim Pritlove
Was haben Sie denn als störend empfunden?
Ulrich Dirnagl
Naja also zum Beispiel hab ich dort meine eigenen Projekte gehabt, habe aber auch bei Projekten mitgemacht und einige der Projekte bestanden darin, dass wir das was er in seinem eigenen Labor gemacht hat von verschiedenen Leuten hat nochmal machen lassen. Und denen auch nicht erzählt, was er eigentlich machen will. Also das eigentlich unklar war, was die Studie eigentlich soll. Und uns war nur klar, wir machen etwas, was schon mal gemacht wurde und zwar im selben Labor. Das fand ich irgendwie kryptisch und eigentlich jetzt nicht so wahnsinnig spannend. Im Nachhinein ist mir aber klar geworden, was er eigentlich damit erreichen wollte und es war auch damals so, dass wir schon damals schon raus finden konnten, dass das was in der Literatur sehr großartig gefeiert wurde, selbst in dem eigenen Labor nicht 100%ig robust war und vielleicht auch vielen andern Gründen auch, aber dann letztlich auch klinisch gescheitert ist.
Nicht von der Gruppe, sondern von anderen, die es dann gemacht haben. Also das war durchaus ein Aha-Erlebnis, das ich aber wie gesagt erst viel später wirklich verstanden habe. Der hat das damals nämlich nicht, der hat das nicht wirklich theoretisch betrieben, sondern der hat das aus so einem grundwissenschaftlichen Bedürfnis heraus, sich todsicher zu sein, indem was er da eigentlich macht, so gemacht und damals war das auch überhaupt kein Thema. Und manch einer in der Community wird wahrscheinlich gedacht haben, oh das ist ein bisschen ein Langweiler, obwohl der sehr berühmt war für das was er so publiziert hat.
Aber das war in New York, ich bin dann zurück nach München, wieder an die neurologische Klinik und habe dort habilitiert und habe ich damals auch sehr stark eben mit nicht nur Schlaganfall, sondern auch wie das Hirn seinen Blutbedarf reguliert auseinandergesetzt und habe dort begonnen, meine eigene Arbeitsgruppe aufzubauen, war aber in dem Umfeld von einem Herrn Einhäupl, der war damals Oberarzt an dieser Klinik und der ist dann nach Berlin gegangen und zunächst als Chef der neurologischen Klinik neuberufen an die Charité und der hat mich eingeladen, ihm sozusagen auf der Spur zu folgen und dort ein Labor zu etablieren, was ich gerne gemacht habe. Herr Einhäupl ist jetzt der Chef der Charité. Aber das war sozusagen dann der Werdegang oder der Gang der Dinge über München, über New York nach Berlin.
Tim Pritlove
Was zeichnet das Labor jetzt hier an der Charité aus? Inwiefern ist das was neues oder für sich besonderes vielleicht?
Ulrich Dirnagl
Naja zunächst ist es ein translationales Labor. Also das ist das was mir auch und allen, die dort arbeiten, natürlich sehr am Herzen liegt. Translational heißt an der Stelle, dass wir uns jetzt nicht auf einen ganz fipsigen Mechanismus nur konzentrieren, den wir tagaus, tagein rauf und runter beforschen, was an vielen Stellen auch gemacht wird, was auch meiner Meinung nach extrem wichtig ist, sondern wir haben sozusagen mehr eine Art Vogelperspektive auf vieles, weil wir eben wissen, dass es beim Patienten nicht nur ein Faktor sein kann, sondern viele. Insbesondere bei so einer komplexen Erkrankung wie dem Schlaganfall. Translational heißt auch, dass bei uns eben Ärzte arbeiten, die im Klinikbetrieb arbeiten, die Patienten behandeln, die aber auch Forschung machen wollen und glaube ich sehr gute Forschung machen können, weil sie wissen, was letztlich die Notwendigkeiten sind, die bestimmte Erkrankungen, jetzt in unserem Fall hier den Schlaganfall, was dafür eigentlich wichtig ist.
Also als Einschub kann ich vielleicht eine überraschende Sache nennen, die uns auch sehr beschäftigt hat, nämlich was viele Leute, selbst mancher Neurologe nicht weiß ist, dass die Hauptursache beim Schlaganfall die Pneumonie ist. Also eigentlich keine Hirnerkrankung, sondern eine Lungenentzündung. Und da kann man sich natürlich dann die Frage stellen, woran liegt das eigentlich und ein Grundlagenforscher, der sich für den Schlaganfall und für das Hirn interessiert, der würde eigentlich nie auf die Frage kommen, sich mit einer Pneumonie und ihrem Zusammenhang mit dem Hirn zu befassen. Weil er gar nicht weiß, dass das ein Problem ist. Also solche Dinge interessieren uns sehr.
Das Problem ist lehrbuchmäßig gesprochen einerseits, und das ist sicher ganz wichtig und deshalb haben sich viele Leute nicht weiter dafür interessiert, weil sie dachten, das ist gelöst, ist, dass Schlaganfallpatienten sehr häufig Schluckstörungen haben, dass sie imobilisiert sind, dass sie im Krankenhaus liegen, dass sie Katheder in allen möglichen Körperöffnungen haben und das prädestiniert sie natürlich einerseits für Infektionen, aber gleichzeitig war uns auch klar, dass eine reine Schluckstörung, also zum Beispiel wir sitzen hier zu zweit, einer von uns beiden theoretisch zumindest 50% aller Leute aspirieren in der Nacht, also verschlucken ihren eigenen Speichel, der gelangt in die Lunge, aber sie wachen nicht morgens mit einer Lungenentzündung auf. Da muss also was dazu kommen. Und dieses was dazu kommt ist eine Herunterregulation des Immunsystems durch den Schlaganfall. Das ist teilweise unspezifisch, der Stress oder sozusagen die Ausnahmesituation kennt jeder, dass das Immunsystem runtergeht, wenn eine Prüfungsarbeit schreibt, dann kriegt man Herpesausbruch.
Das ist sicher ein allgemeines Stressphänomen, aber dazu kommen spezifische Faktoren, die wir auch untersuchen, weil eben gewisse Hirnregionen kaputtgehen beim Schlaganfall und dadurch, dass die kaputtgehen, gibt es spezifische Signale, die das Immunsystem herunter regulieren. Und so was zu untersuchen ist spannend, das ist interdisziplinär und ist etwas, wo sozusagen ein reiner Hirnforscher erst mal überhaupt nicht drauf kommen würde. Aber damit sind wir auch bei einer zweiten Besonderheit des Labors oder dieser Tätigkeit, die sich natürlich auch nicht nur bei uns ergibt, nämlich in so einem Bereich arbeiten also Ärzte, die häufig den ganzen Tag in der Patientenversorgung arbeiten, die müssen aber eine Atmosphäre und eine Umwelt im Labor vorfinden, in der sie qualitativ hochwertig arbeiten können.
Die können sich aber nicht den ganzen Tag drum kümmern, wie so mancher Grundlagenforscher. Der in der Früh seine Stulle auspackt im Labor und nachts um 12 nach Hause geht, der ist immer vor Ort. Während der Arzt, der Forschung macht, ist das häufig oder meistens nicht und das bringt gewisse Probleme mit sich, die wir auch im Medizinbetrieb kennen. Also die Grundlagenforschung von Medizinern hat insbesondere bei Grundlagenforschern nicht den besten Ruf. Und die Doktorarbeit der Mediziner hat auch keinen besonders guten Ruf. Das hat unter anderem damit zu tun, dass das neben der ärztlichen Tätigkeit stattfindet. Und da ist es eben unser Ziel, und damit kommen wir zu einer echten Besonderheit, eine qualitätsgesicherte Atmosphäre zu schaffen. Das heißt sicherzustellen, dass dort gut betreut wird, dass dort Dinge immer so gemacht werden, wie sie gemacht werden sollen, dass das auch kontrolliert wird und so weiter. Ich denke, dass das nicht nur in dem Bereich relevant und spannend ist.
Aber im Bereich der medizinischen Grundlagenforschung in einer Uniklinik halte ich das für besonders wichtig. Und da sind wir eben, wie soll ich sagen, das ist eine unserer Duftmarken, wir haben ein Qualitätsmanagementsystem, was ISO-zertifiziert ist. Ich glaube, es gibt auf der ganzen Welt kein anderes Labor, was das hat. Man könnte sagen, wir sind verrückt geworden.
Tim Pritlove
Also was die Prozessabläufe betrifft? ISO-9000.
Ulrich Dirnagl
ISO-9001, wir arbeiten mit SOPs und einem Qualitätshandbuch und ich habe eine Qualitätsmanagerin und so weiter. Also das ist sicherlich nicht die Norm.
Tim Pritlove
Und arbeitet, verstehe ich das richtig, dass das Labor quasi sich so ein bisschen als Dienstleister für die Ärzte in der Charité versteht?
Ulrich Dirnagl
In der Charité nicht, aber im Prinzip haben Sie es richtig verstanden. Also als Dienstleister für die Ärzte des Schlaganfallforschungszentrums ganz wesentlich und die der neurologischen Klinik. Also nicht deshalb, weil wir jetzt irgendwie exklusiv sein wollen und keine anderen bei uns haben wollen, sondern einfach thematisch ist natürlich klar, dass nur die …
Tim Pritlove
Ja klar, aber … die Leute sind sozusagen auch als Ärzte tätig.
Haben aber sozusagen auch einen Forschungsaspekt, der im Zusammenhang steht mit ihrer Arbeit, können sich aber da nicht so fulltime drum kümmern und deswegen kommt man quasi in dieses Labor und dort findet man eben eine Umgebung vor, in der man so ein bisschen ins gemachte Nest kommt im Idealfall?
Ulrich Dirnagl
Absolut ja.
Absolut. Es ist absolut so. Klingt jetzt ein bisschen so als würde man gezwungen das zu machen, wenn man in der Neurologie arbeitet. Das ist natürlich nicht so, das sind Leute, die ein autonomes Interesse an dieser Forschung haben, aber die findet das wie Sie sagen als Service vor.
Tim Pritlove
Wie viele Ärzte sind da eingebunden? Wie muss man sich das vorstellen?
Ulrich Dirnagl
Also das ist eine Sache, die ich nie nachgezählt habe. Aber insgesamt arbeiten in dem Labor etwa 80 Wissenschaftler und PGD-Studenten. Das ist eine bunte Mischung und darunter befinden sich, ich werfe jetzt einfach mal eine Zahl in die Luft, vielleicht 15 Ärzte. Und dabei sind auch Medizinstudenten, für die ist das natürlich auch hochrelevant. Weil Medizinstudenten machen Promotionen, diese Promotionen sind also aus nicht ganz unerklärlichen Gründen teilweise in den Verruf geraten und das wollen wir mit solchen Maßnahmen natürlich auch verbessern, weil die jetzt in so einem Umfeld eine bessere Anleitung haben und qualitativ hochwertig arbeiten können.
Tim Pritlove
Jetzt sagten Sie, die Grundlagenforschung von Medizinern hat keinen guten Ruf. Wie ist denn der Ruf und warum?
Ulrich Dirnagl
Ja das habe ich zwar jetzt gesagt, aber das ist vielleicht ein bisschen pauschal. Das ist natürlich Pauschalisierungen sind immer falsch, aber grundsätzlich glaube ich muss man sich jetzt nur mal angucken, wofür die medizinische Doktorarbeit gehalten wird und da hört man viel über Plagiate oder hört man über Dinge, die nicht nachgemacht werden können, teilweise sogar über Fälschungen. Es ist auch kein Geheimnis, dass Naturwissenschaftler im lebenswissenschaftlichen Bereich die Doktorarbeiten der Mediziner für nicht besonders lesenswert oder relevant halten. Und das liegt natürlich an vielem, aber untern anderem eben daran, dass zum einen die Mediziner eine Doktorarbeit haben, die sie während des Studiums machen können. Das ist bei den Naturwissenschaftlern nicht so, die schließen ihr Studium ab und dann gehen sie drei Jahre bis fünf Jahre fulltime in ein Labor.
Häufig der Mediziner, nicht übrigens die Mediziner bei uns im Labor, werden fertig während ihres Studiums. Was entweder bedeutet, dass sie das Studium nicht ausfüllt oder dass das was sie dort machen im Labor nicht besonders fordernd ist. Das ist sicher eine strukturelle Sache, die damit zu tun, dass man glaubt als Mediziner, diesen Titel als Doktor haben zu müssen, sonst wird man nicht vom Patienten richtig akzeptiert und so. Aber das ist ein größerer Komplex, der letztlich wirklich dazu führt, dass die medizinische Doktorarbeit und auch letztlich die medizinische, da gibt es den Begriff der Feierabendforschung, auch den Begriff der Habilitationsforschung, dass also Mediziner möglicherweise und ich glaube, wer ehrlich ist, auch wenn man in dem Betrieb ist und ehrlich ist, würde man sagen, das ist auch teilweise so, Forschung machen, um zu .. also nicht, um was neues herauszufinden, sondern um einen akademischen Grad, häufig dann wenn man fertig ist mit der Promotion, den der Habilitation zu erwerben.
Dafür muss einfach ein gewisses Portfolio an Arbeiten vorlegen und ich will jetzt keinem zu nahe treten, es gibt sehr sehr viele Kollegen, die da sehr ernsthaft und gut forschen, aber es hat schon ein bisschen einen Nebenaspekt, der tatsächlich in so, wie soll ich sagen, wir holen uns ein Abzeichen und brauchen dafür Forschung. Und der Begriff Feierabendforschung kommt natürlich daher, dass das eben Leute sind, die voll eingebunden sind in den medizinischen Versorgungsbetrieb. Leute, die auch noch Lehre machen nebenbei und die dann als drittes, das ist ja unser Motto „heilen, lehren, forschen“, dann auch noch Forschung machen müssen. Und im Grunde ist jeder dieser drei Bereiche würde einen vernünftigen Menschen ausfüllen, insbesondere die Krankenversorgung. Wo man jetzt ja auch nicht danach gehen kann sozusagen da gehe ich jetzt eine Stunde hin und dann bin ich fertig.
Das ist sicherlich ein Problem und dann ist es halt 17 Uhr, wenn der Stationsbetrieb fertig ist oder 18 Uhr, manchmal 19 Uhr, und dann gehen diese Leute ins Labor und machen dort noch zwei Stunden Forschung. Und das kann ja so nur manchmal funktionieren.
Tim Pritlove
Ist das denn jetzt in irgendeiner Form durch das Ausbildungswesen so vorgegeben, dass man das so tun soll, während des Studiums schon den Doktortitel anzustreben oder ist das sozusagen nur so die eigene Erwartungshaltung oder der Druck von außen, der einen dazu bringt oder hat man immer schon gemacht?
Ulrich Dirnagl
Ich glaube es ist wie so vieles in dem Bereich beides, es kommt von innen und von außen. Ich glaube, einerseits hat es sich so durchgesetzt, dass ein Medizinstudent, der heute Medizin studiert fast davon ausgeht, dass er parallel dazu einen Doktorgrad erwirbt. Ich habe jetzt die Zahl an der Charité nicht 100% im Kopf, aber ich glaube 80 oder 90% aller unserer Studenten haben dann auch eine Promotion damit. Das ist also absolut ungewöhnlich für jeden Studiengang, also für die Medizin. Das kommt von innen und es ist schön, einen Titel zu haben auf der Kreditkarte oder sonst wo. Aber es kommt auch von außen, wie wichtig und ernst es ist kann ich jetzt tatsächlich nicht einschätzen, es ist aber vermutlich wichtig. Das ist die Tatsache, dass sie halt, wenn sie einen weißen Kittel anhaben, sie werden als Herr Doktor angeredet und dann wollen sie auch ein Herr Doktor sozusagen sein.
Es gibt Länder, die das ganz anders gelöst haben. Also in Amerika zum Beispiel gibt es das einfach nicht. In Amerika ist ein Arzt ein MD, ein Medical Doctor. Oder nehmen Sie Länder wie Österreich zum Beispiel, die vergeben einen Doktortitel für die Mediziner, der wird aber unter ganz anderen Auspizien vergeben als einem normalen Doktor und ist eigentlich mehr so eine Musterarbeit eigentlich, teilweise sogar weniger als eine Musterarbeit es bei uns wäre. Und das ist letztlich nur dazu angetan, diesen jungen Kollegen einen Titel zu geben. Das weiß dann auch jeder. Bei uns besteht nämlich das große Problem am Ende darin, dass es fantastische medizinische Doktorarbeiten gibt von jungen Studierenden und dann Ärzten, die da drei bis fünf Jahre tollste Forschung machen, auch nach dem Studium noch. Auch erst nach dem Studium abschließen. Und die haben am Schluss einen Titel, der lautet Dr. med. und der unterscheidet sich in nichts von einem Titel, den jemand – vielleicht übertreibe ich jetzt – an 20 Nächten irgendwie irgendwelche Röntgenbilder gegen das Licht gehalten hat und mit einem Maßband die Bandscheiben vermessen hat.
Und nach drei Monaten war er fertig und hat noch ein bisschen Literatur dazu gelesen. Das können Sie dem Titel nicht ansehen und wahrscheinlich ist sogar der niedrig qualitative Bereich etwas stärker vertreten als der höchst qualitative. Aber deshalb kann man jetzt auch nicht eine Doktorarbeit eines Mediziners pauschal verurteilen. Da gibt es ganz tolle drunter. Und deshalb müsste man sich überlegen, es gibt natürlich große Überlegungen dazu und der Wissenschaftsrat ist für die Abschaffung des Dr. med. Zum Beispiel und für die Vergabe eines Titels im Sinne zum Beispiel wie es die Österreicher machen halte ich für eine vernünftige Lösung. Das ist halt im Grunde sehr schwierig, wie auch hier vieles in dem Bereich schwierig ist, weil es über Jahrhunderte kann man fast sagen so gemacht wurde und der Betrieb eine gewisse Inertia hat und sozusagen der der anfängt ist möglicherweise der, der ein Problem damit kriegt.
Wenn wir an der Charité heute, solche Diskussionen gibt es an der Charité, solche wie soll ich sagen spätmittelalterlichen Erfindungen wie den Dr. med. und die Habilitation abschaffen würden, das wird ernsthaft bei uns diskutiert so was zu machen, halte ich auch für eine vernünftige Diskussion, die endet aber immer an dem Punkt, dass man sagt, aber als Charité kommen die Leute zu uns und erwarten, dass sie das an der Charité bekommen können, sonst kommt keiner mehr an die Charité und wahrscheinlich ist das sogar richtig. Weil die gehen halt dann nach Heidelberg oder nach Göttingen. Und die Universitäten haben in Deutschland eine sehr hohe Autonomie solche Ordnungen, solche Promotionsordnungen oder Habilitationsordnungen, die verfassen wir selbst, da können wir reinschreiben, morgen hören wir auf damit. Oder dar man bei uns nur noch nach dem Abschluss des letzten Staatsexamens machen. Das ist toll, dass die Fakultäten solche Freiheiten haben, aber das abringt natürlich gleichzeitig das Problem, wenn das nicht sozusagen im Konzert passiert, dann geht keiner vor, weil es einfach wahnsinnig riskant ist.
Immerhin und das finde ich bemerkenswert und stimmt mich auch insgesamt positiv in manchem, ist, dass diese Diskussionen um solche Titel, um das wie wir ausbilden, um das wie wir Forschung machen, in letzter Zeit deutlich zugenommen haben und ehrwürdige Institutionen wie die Charité sich tatsächlich mit solchen Fragen auch beschäftigen.
Tim Pritlove
Jetzt haben Sie sich in dem Zusammenhang mehr und mehr auch mit anderen Studien beschäftigen müssen. Ich denke, wenn man in so einem Labor arbeitet, dann ist ja sozusagen, wenn es um die Forschung geht, muss man sich natürlich sowohl mit der eigenen Forschung als auch zwangsläufig eben mit der existierenden Forschung bzw. den Aktivitäten anderer beteiligter Wissenschaftler auseinandersetzen. Ich habe so ein bisschen die Vermutung, das war dann auch so ein Fokus für Sie ab einem bestimmten Zeitpunkt?
Ulrich Dirnagl
Ja also man kann ja mal ein Beispiel bringen, das ist allen Kollegen auch durchaus bewusst, in dem Feld, sogar über das Feld hinaus, dass es die Zahl mittlerweile haben alle aufgehört zu zählen, aber es gibt also 1000 möglicherweise mehr Substanzen und Studien, die in den experimentellen Modellen des Schlaganfalls sehr wirksam waren und eigentlich sehr vielversprechend waren und dann in der Klinik getestet wurden und davon hat letztlich, außer einer einzigen und auch da könnte man darüber diskutieren, ob das tatsächlich dann an diesen Grundlagenresultaten lag, dass man das gemacht hat, nur eine einzige ist tatsächlich erfolgreich gewesen. Das ist ein Ausgangspunkt, der einen schockieren sollte, der einen nachdenklich machen sollte, insbesondere wenn man in dem Gebiet forscht. Dafür gibt es viele Gründe, und wenn man sie kennt oder herausfindet, muss man versuchen sie abzustellen.
Ein interessanter und möglicher Grund, der eigentlich auch nicht neu ist, ich habe es jetzt erst schon angedeutet, sogar mir mal 1988 in diesem amerikanischen Labor schon begegnet ist, ist die Tatsache, dass das was vielleicht ein Labor macht und sehr erfolgreich publiziert – erfolgreich im Sinne von das wirkt das Medikament in diesem Modell, wenn das jetzt ein anderer versucht nachzumachen, dann klappt es plötzlich nicht mehr – und das kennt jeder in dem Feld und dann sitzt man über einem Bier und lästert über andere Kollegen und sagt, wir haben versucht das nachzumachen, das ist ja eh alles nichts. Also ich kann zum Beispiel aus unserer eigenen Praxis sagen, und da sitz ich aber nicht überm Bier und lästere, sondern das sag ich Ihnen jetzt auch im Podcast, wir haben etwa zehn Studien versucht nachzumachen, die solche sehr vielversprechenden Medikamente gezeigt haben und davon würde ich sagen haben wir eine maximal zwei, allerdings auch nicht mit der Effektgröße, die dort publiziert war, wiederfinden können.
Wiederfinden heißt denselben Effekt finden können und bei den anderen war gar nichts. Das heißt nicht, dass die anderen schlampig gearbeitet haben, das heißt ganz sicher nicht, dass es gefälscht war, aber es deutet auf ein Problem hin, dass wenn man ganz sachlich und vorsichtig argumentiert, zumindest darauf hindeutet, dass diese Befunde nicht robust sind. Robust heißt an der Stelle, naja wenn es in München funktioniert, aber in Berlin nicht oder umgekehrt oder in New York funktioniert oder in Göttingen nicht, dann würde ich zumindest nachdenklich werden in der Frage, ob ich einen Patienten in Frankfurt, Hamburg oder Düsseldorf damit behandeln kann, und warum sollte es dann bei denen wirken? Das ist sozusagen ein erster Merker, dass man da mal drüber nachdenken muss und eine gewisse Robustheit haben muss, damit so was tatsächlich zum Patienten gebracht werden kann.
Und dieses war sozusagen auch für mich und ich glaube für etliche andere ein Ausgangspunkt, sich Gedanken zu machen, woran könnte das liegen? Und das hat zwei Verlaufsformen denke ich mindestens, die eine ist die sich metaanalytisch also durch die Untersuchung von Studien, die schon gemacht sind oder die Zusammenführung von Studien, die schon gemacht sind, sozusagen ein Gesamtbild über den Effekt einer Substanz zu machen und dabei auch gewisse Kriterien zu untersuchen, wie hoch war die Qualität in einer Arbeit und so weiter. Das ist sicher eine Sache, die man machen kann. Und die andere ist, sich mal ganz grundsätzlich Gedanken zu machen, was das überhaupt heißt Robustheit und wie wir uns auf dem Weg verbessern können.
Tim Pritlove
Können Sie mal ein konkretes Beispiel geben, was da so gescheitert ist und wo man vielleicht so ein Maßgrad für Robustheit auch mal entwickeln kann in dem Zusammenhang?
Ulrich Dirnagl
Ja ein schönes Beispiel, ich habe ja gerade angedeutet, dass es 1000 gibt, jetzt kann ich eins rausgreifen. Ein schönes Beispiel, weil durchaus dramatisch, auch sozusagen ökonomisch dramatisch ist ein Medikament, das getestet wurde in der größten Studie, die je auf dem Sektor gemacht wurde mit 3000 Patienten. Diese Studie war neutral. Neutral heißt es war weder schlecht noch gut das Medikament. So eine Studie und was so dazu gehört kostet einen Pharmafirma, das war die Firma AstraZeneca, kostet so was wie 300-400 Millionen. Das eigentlich Problem für die Firma war aber, dass man große Hoffnungen hatte bei den Aktionären, dass das ein tolles Medikament ist, weil die Grundlagenbefunde alle so toll waren. Und einige dieser Leute, die zu viel Geld haben, haben dann drauf gewettet und haben schon mal angefangen, AstraZeneca-Aktien zu kaufen. Daraufhin ist der Aktienkurs deutlich gestiegen vor der Bekanntgabe.
Dann ist die Studie veröffentlicht worden und Sie können quasi am Aktienkurs ablesen, was aus der Studie wurde. Der Wert der Aktien ist um 10% gefallen und zwar nicht von dem Höchstwert, der durch die Spekulation entstanden ist, sondern von dem Mittelwert, der vorher bestanden hat. Das heißt die Firma hat 10% Marktkapitalisierung verloren, das waren 5 Milliarden. Jetzt rechnen sie 300 Millionen dazu und dann haben Sie 5,3 Milliarden verloren über so etwas. Das, können Sie sagen, ist mir egal, ich habe keine AstraZeneca-Aktien. Es gibt aber eine andere Seite, es könnte ja auch sein, dass bei so etwas Patienten geschädigt werden. Weil wenn Evidenz nicht robust ist, könnte ja auch sein, dass man irgendwelche Nebeneffekte übersehen hat.
Tim Pritlove
Also was hat jetzt genau zu dem Aktienverlust geführt?
Ulrich Dirnagl
Naja die Leute haben dann ihre Aktien verkauft, weil sie gemerkt haben, also die haben offensichtlich doch nicht so eine gute Pipeline wie sie behauptet haben und dieses tolle Medikament, was angekündigt war, wo die Hoffnung so groß war, hat sich nicht gezeigt. Also die Firma AstraZeneca, mit der wollen wir jetzt erst mal weniger zu tun haben als vorher. Die Frage ist aber, was wissen wir eigentlich über .. wir sind dann eine Gruppe von Wissenschaftlern, die weder AstraZeneca-Aktien hatten, noch vorher uns mit der Substanz groß beschäftigt hatten. Sind hergegangen und haben eine Metaanalyse gemacht, die untersucht hat, wie eigentlich die präklinische Evidenz war, die dazu geführt hat, dass es diese klinische Studie gab. Und da gab es etliches, da wurden also zig Studien gemacht. Und die haben wir uns nochmal alle vorgenommen nach sehr systematischen Kriterien. Also nicht so, einer liest es und sagt, finde ich nicht gut, sondern da gibt es also sehr genaue Kriterien, wie man so was quantifizieren kann.
Und dabei kam eben raus, dass ein Großteil der Studien, jetzt nur als Beispiel, nicht randomisiert und nicht verblindet war. Das sind Verfahren, mit denen man in klinischen Studien müsste man es tun, in präklinischen ist das eher die Ausnahme. Ändert sich jetzt gerade, eben weil wir da ein bisschen Lärm gemacht haben. Aber es stellte sich eben raus, dass ein Großteil der Studien, jetzt nur als Beispiel, nicht randomisiert und nicht verblindet waren.
Tim Pritlove
Also randomisiert heißt, dass man das Zufallsprinzip beherzigt.
Ulrich Dirnagl
Sie nehmen ein Zufallsprinzip und teilen die einzelnen Subjekte in einer Studie diesem Zufallsprinzip folgend entweder eine Kontrolle oder in die Behandlungsgruppe ein. Verblindung bezieht sich zum einen darauf, dass Sie als der der die Studie durchführt nicht weiß. Also der zum Beispiel, wenn es jetzt ein Schlaganfall ist, ein Schlaganfall auslöst in einem solchen Modell, ob das in der einen oder in der anderen Gruppe landen wird und natürlich auch auf die Frage, ob wenn Sie den später untersuchen, ob es geholfen hat oder nicht geholfen hat. Ob zum Beispiel Infarkte kleiner geworden sind durch das Medikament. Ob Sie wissen, in welcher Gruppe dieses Tier, was Sie jetzt gerade untersuchen oder diesen Hirnschnitt, den Sie sich gerade anschauen, aus welcher Gruppe der kommt. DAs macht man durch Verblindung und das verhindert ganz subkortikale, ganz schwer zu kontrollierende, bewusst zu kontrollierende Einflussgrößen. Man nennt es Bios. Also wir wünschen uns alle, dass was tolles passiert und das was tolles rauskommt und deshalb erscheinen dann eben manche Dinge rosiger als sie sind.
Und interessanterweise war es so, es gab tatsächlich einige Arbeiten und die waren verblindet und die waren randomisiert und hatten auch etliche andere solche Qualitätskriterien und dann konnten wir hergehen und vergleichen, wie sich die Effektgrößen, die eben berichtet wurden, sich abhängig von der An- oder Abwesenheit eines solchen Kriteriums unterschieden haben. Und dabei stellt sich raus, und das ist jetzt an ganz vielen anderen Studien und auch anderen Feldern, das ist nicht nur beim Schlaganfall so, gezeigt worden, dass wenn nicht verblindet wird, wenn nicht randomisiert wird, dann finden Sie, allein das macht etwa 50% einer Effektgröße aus, die Sie finden. Da können Sie schon mal 50% von dem was man vorher gefunden hat im Grunde abziehen, wenn Sie so wollen. Wenn Sie dann noch dazu nehmen, auch das haben wir für die Substanz untersucht, dass negative Ergebnisse überhaupt nicht publiziert werden und es gibt relativ trickreiche Verfahren, um herauszufinden, ob das so ist und wie viel die eigentlich hätten zeigen müssen.
Das kann man ungefähr abschätzen und dann kann man in dem Feld auch sagen, dass etwa 30-40% der Effektgrößen allein dadurch überschätzt werden, dass das was gefunden wurde, aber nicht publiziert wurde als negativ oder neutral uns nicht zur Verfügung steht. Und wenn Sie diese Faktoren alle aufaddieren, dann kommen Sie, weil Sie das Beispiel wollten, bei der Substanz drauf, dass eigentlich wenn man das vorher gemacht hätte, man die Studie hätte gar nicht machen dürfen. Ich hätte sie nicht gemacht zumindest, weil mich die Evidenz, die aus diesen Voruntersuchungen vorlag, überhaupt nicht überzeugt hätte. Auf den ersten Blick ist es sehr überzeugend, weil Sie eben sehen, oh toll das macht Infarkte um 40% kleiner. Aber dann ziehen Sie den Effekt ab, der durch die mangelnde Verblindung drinnen ist. Dann ziehen Sie den negativen Publikationsbios, dann ziehen Sie noch ein paar andere Sachen ab, die wir mittlerweile alle recht gut quantifiziert haben.
Und dann kommt raus, die Evidenz war gar nicht da. Und jetzt kommt natürlich ein spannender Punkt rein, weil viele Leute haben dann gesagt, naja also in dem Feld und in vielen anderen, nehmen Sie Alzheimer zum Beispiel, da ist es ganz ähnlich, da ist ja keine Übertragung möglich und das was wir in den Modellen machen ist ja völlig irrelevant für das was beim Menschen passiert. Wenn Sie meiner Betrachtung folgen und dafür haben wir mittlerweile gute quantitative Evidenz, dass das so ist, dann ist die Übertragbarkeit exzellent. Weil wenn es vorher schon nicht hätte wirken sollen, dann wird es nachher auch nicht wirken.
Tim Pritlove
DAs heißt im Prinzip hat man hier eigentlich auch die Möglichkeit übersehen, sich a) eine ganze Menge Geld zu sparen und auch anderer Leute Geld damit zu sparen und man hat im Prinzip ja auch eigentlich viel Zeit und Energie auf etwas verwendet, was sich schon frühzeitig hätte abzeichnen können, dass das so ein bisschen der Holzweg ist, auf dem man sich da gerade bewegt.
Ulrich Dirnagl
Und hätte, jetzt an der Stelle zum Glück nicht passiert, aber auch dafür gibt es Beispiele, und hat im Grunde potenzielles Risiko für die Patienten in Kauf genommen. Also sozusagen das komplette Paket, das Sie gerade geschildert haben, ist durchaus beeindruckend. Also das ist schon eine ziemlich großartige Ressourcenverschwendung, die dort teilweise stattfindet und daher gibt es diesen Begriff des Waste und der Begriff in Deutschland ist Forschungsmüll, klingt ja noch brutaler. Also weiß ich nicht, die Zahlen die dort kursieren, 80% ist Müll, das ist eine sehr spektakuläre Zahl und so. Die Zahl ist wahrscheinlich problematisch. Aber in der Tat da ist durchaus etwas, was sehr bedenklich ist im Bezug auf die Ressourcen, die wir dort verbraten. Und man muss sich natürlich noch eins vorstellen, in der Wissenschaft kommt es eigentlich erst mal, dort wo diese Evidenz herkommt, kommt das primär ja erst mal nicht vor. Die Publikationen gibt es ja. Leute machen tolle Publikationen mit diesen Dingen.
Leute kriegen Professuren, Arbeitsgruppen werden gebildet. Es werden Forschungsgrants erteilt und so weiter. Und das ist vielleicht auch Teil des Problems, vor dem wir jetzt stehen, dass das System ja eigentlich funktioniert so gesehen. Also warum soll ich was ändern, wo ich doch meine Professur habe? Warum soll ich was ändern, wo ich doch gerade mein Naturepaper habe? Das macht es so schwierig, in dem System Dinge zu verändern. Und was natürlich die Sache auch noch schwierig macht, ist, dass vieles von dem was wir uns heute denken, was die Sache besser machen könnte, nicht getestet ist. Das heißt es ist ein gewisses Risiko. Wenn Sie heute anfangen, das System komplett umzustellen also sagen, naja also solche Publikationen wollen wir gar nicht mehr sehen, das haken wir alles ab, folgende Kriterien gelten ab morgen, dann ist erst mal schon die Diskussion, welche Kriterien sind das und die zweite ist die, vielleicht wird es noch schlechter.
Also ich würde jetzt nicht so argumentieren, aber ich verstehe die Besorgnis etlicher Kollegen, zu sagen, naja also Vorsicht Vorsicht, vielleicht wird ja alles ganz ganz schlimm. Und vielleicht muss Wissenschaft so gehen, vielleicht ist das so, viele brixen??? rum und nicht alles ist gut und vieles lässt sich nicht wiederholen. Aber guck doch hin, die Medizin hat sich in den letzten 50 Jahren, das ist doch nicht die Medizin von vor 50 Jahren. Da ist Fortschritt und das ist sicher nicht zu bestreiten.
Tim Pritlove
Aber Sie beziehen das ja eigentlich auch gar nicht, also Ihr Primärfeld ist natürlich die Medizin, aber Sie beziehen es eigentlich auch nicht nur auf die Medizin? Das Problem existiert ja auch woanders.
Ulrich Dirnagl
Also über andere Felder jenseits der Medizin würde es mir schwerfallen oder würde ich mich ungern äußern, weil ich da tatsächlich zu wenig drüber weiß. Wo ich es gut gehe sind die Biowissenschaften. Insofern die Medizin glaube geht ja darüber hinaus, also das grenzt in die Biologie hinein, die Biochemie und so weiter. Also die Physik und die Theologie und ähnliche würde ich da jetzt nicht einbeziehen wollen, weil ich darüber nichts weiß. Aber ich würde sagen, die Biowissenschaften, mit einem Fokus medizinische Biowissenschaften, mit einem Fokus präklinischen biomedizinische Wissenschaften haben ein Problem.
Tim Pritlove
Jetzt hatten wir das Beispiel mit der Randomisierung und der Verblindung, die unter Umständen schon geholfen hätte, schon die Voruntersuchung da anders laufen zu lassen. Ich weiß nicht, ob da solche Voruntersuchungen da der Standard sind bei solchen medizinischen Forschungsprojekten. Dass man das immer so zweiteilt das ist Pflicht?
Ulrich Dirnagl
Das ist sogar gesetzlich vorgeschrieben. Also es gibt ganz wenige Ausnahmen, aber das ist tatsächlich so, Sie müssen vorher durch ein relativ starres Schema zunächst mal überhaupt Evidenz generieren, dass da was zu machen wäre, dass da Hoffnung ist, sonst würden Ihnen die regulatorischen Behörden überhaupt keine Genehmigung für eine klinische Studie geben. Sie müssen dann noch natürlich zusätzlich pharmakologisch, toxikologische Untersuchungen machen und so weiter. Aber ganz grundsätzlich ist das, wenn Sie so wollen, das Standardmodell der Medikamentenentwicklung.
Tim Pritlove
Aber es sind ja auch noch andere Fehler beklagt worden in Ihren Studien, auch in anderen Studien, die jetzt sozusagen über diesen konzeptionellen Fehler hinausgehen?
Ulrich Dirnagl
Da könnte man eine sehr lange Liste aufführen. Ich denke man kann sie letztlich darauf zurückführen oder der Kern des Ganzen ist und daraus leiten sich dann viele einzelne Dinge ab, dass es darauf ankommt, dass … vielleicht ist das beste Stichwort das der Transparenz. Also dass völlig klar ist für jemanden der meine Studie liest, was ich gemacht habe und was ich nicht gemacht habe. Aus dem leiten sich dann ganz viele andere Dinge ab. Zum Beispiel wir haben eine Studie gemacht vor kurzem, die relativ hohen Medienrummel erzeugt hat und teilweise auch falsch verstanden wurde glaube ich.
In der wir gezeigt haben, dass in einem durchaus substanziellen Teil, 75% ungefähr, der Studien, die wir per Zufallsprinzip in den Feldern Schlaganfall und Cancer, Krebsforschung, präklinische Krebs- und Schlaganfallforschung, untersucht haben, in 75% der Fälle sie überhaupt nicht nachvollziehen können, was eigentlich mit den Tieren passiert. Das heißt also, das war jetzt zu pauschal, also wie viele Tiere in bestimmte Gruppen überhaupt hineingegangen sind und wie viele dann verwendet wurden.
Tim Pritlove
Also jetzt in Tierversuchen?
Ulrich Dirnagl
In Tierversuchen. Das klingt jetzt kryptisch oder irrelevant, ist aber sehr relevant, weil es natürlich sein kann, dass, und das konnten wir in einem anderen Teil der Untersuchung dann tatsächlich zeigen, dass durch eine selektive Auswahl der Tiere für die Endauswertung sich Ergebnisse massiv verändern können. Also stellen Sie sich vor, Sie haben ein Tier, was besonders schwer betroffen ist, das ist ausgerechnet in der Gruppe, in der Sie einen tollen Effekt zeigen wollen, weil Sie das Medikament gegeben haben und wenn Sie jetzt wissen, dass dieses Tier in dieser Gruppe war, kommen Sie vielleicht auf die Idee zu sagen, na vielleicht war da noch irgendwas anderes, warum wir das Tier besser nicht einschließen würden. Keine Ahnung, es hat geschnupft oder der Operateur hat an dem Tag eine Erkältung gehabt oder was auch immer und dann schließen Sie dieses Tier aus. Sie haben gute Gründe, die finden Sie aber im Nachhinein. Vielleicht waren das sogar gute Gründe, aber Sie haben sie im Nachhinein gefunden.
Dieses Tier, weil es in der Gruppe war, auszuschließen. Also da gibt es viele solcher Faktoren. Und das wäre also ein Beispiel für einen anderen Faktor und ist ein Beispiel dafür, dass es sich letztlich dem Prinzip der Transparenz unterordnet. Und Sie müssten jetzt sagen, es kann ja Gründe dafür geben, wir haben ein Tier ausgeschlossen, das war in der und der Gruppe und dann kann ich mir ein Bild davon machen als Leser, was das möglicherweise bedeutet hätte. Noch besser ist, Sie haben vorher ein Kriterium und so müsste es eigentlich sein, Sie sagen, wir schließen nur die ein und die aus, die folgendes, so macht man es in klinischen Studien. Das sind alles Prinzipien, die sich in der Präklinik so noch nicht durchgesetzt haben. Die aber eigentlich gesunder Menschenverstand wären. Und insgesamt so eine Praxis des Reportings, also dessen was man so schreibt, das hat dazu geführt, dass es jetzt große Konsortien gegeben hat, die sich mit Standards beschäftigt haben.
Und da gibt es also Guidelines, also so eine Art Checklisten, die auch zumindest die Journale, und da sind wir schon wieder an einem interessanten Punkt, mittlerweile um in einem substanziellen, guten Journal veröffentlichen zu können, müssen Sie den Guidelines, die heißen Arrive-Guidelines an der Stelle, entsprechen. Da stehen solche Sachen drinnen. Haben Sie verblindet, haben Sie nicht verblindet und so weiter. Nun ich bin selber Chief-Editor eines Journals und habe das bei mir eingeführt und dann stellte ich von einem auf den anderen Tag fest, dass alle Autoren – wir hatten nicht weniger Submissionen, nicht weniger Artikel, die eingereicht wurden – und alle haben diesen Knopf gedrückt und gesagt, wir entsprechen den Guidelines. Das kann ja gar nicht sein. Dann habe ich Fragen eingeführt und dann haben sie alle die Fragen mit ja beantwortet, haben Sie, haben Sie, haben Sie, und dann steht immer ja dahinter. Jetzt habe ich für dieses Journal zwei exzellent ausgebildete, die waren Studenten in diesem Projekt, was wir da veröffentlicht haben und haben gelernt, wie man so was aus Papers rausnimmt, angestellt, diese Papers zu untersuchen.
Als sozusagen zusätzliche Reviewer und im Paper nachzuvollziehen, ob das was die getickt haben bei ihrer Einreichung auch stimmen. Dann stellt sich natürlich raus, kein großes Wunder, dass das nicht immer, aber sehr häufig, gar nicht stimmt. Und da haben wir jetzt schon das Problem, dass die Journale das jetzt mittlerweile erkannt haben und solche Guidelines einführen und sie auch verpflichtend machen und dann ticken alle eine Box und dann geht es so weiter wie bisher. Also da kommen wir in die Frage dessen, was muss eigentlich überprüft werden? Wo kann ich dem Wissenschaftler trauen und wo nicht? Und das bringt uns in ein sehr spannendes Gebiet und das ist die Frage des Vertrauens, Trust in der Wissenschaft. Die Wissenschaft ist auf Vertrauen gebaut einerseits und Wissenschaftler haben vor nichts mehr Angst oder sind gegen nichts mehr als Kontrolle, weil das angeblich die Wissenschaftsfreiheit gefährdet.
Die bei uns grundgesetzlich gewährleistet ist. Aber es gibt keinen anderen Bereich in der Gesellschaft, wo Sie nur qua dessen, dass Sie Mitglied einer Profession sind, für sich reklamieren können, dass man ihnen trauen muss. Sie würden jetzt auch einem Banker nicht mehr trauen, sondern Sie würden sagen, da müssen wir mal lieber nachschauen.
Tim Pritlove
Das ist ja keine Wissenschaft.
Ulrich Dirnagl
Naja aber beim Wissenschaftler und weil der Wissenschaftler ist, weil wir sagen, der hat ja eigentlich nur gute Motive, der hat ja gar kein schlechtes Motiv, warum sollte der irgendwas machen, was vielleicht nicht so optimal ist. Wo wir sagen würden, nein das ist eigentlich nicht unseren Standards entsprechend. Das ist aber ein großer Fehler. Nicht weil Wissenschaftler irgendwie ganz böse sind, sondern erstens sind sie auch Menschen und zweitens unterliegen sie einem massiven Bios, der ganz anders geartet ist, den Sie schwieriger messen können als beim Banker. Also einfach der will Geld, der will mehr Geld. Aber der Wissenschaftler will auch was, der will eine Karriere. Der will alles mögliche.
Tim Pritlove
Ruhm und Ehre.
Ulrich Dirnagl
Der will Ruhm und Ehre und so weiter. Und das ist auch überhaupt nicht zu kritisieren. Er will auch, dass seine Theorie richtig ist, auch das ist nicht zu kritisieren, sondern im Gegenteil das ist seine Triebfeder, aber das hat natürlich das Potenzial sich einzuschleichen in seine Ergebnisse. Und jetzt können wir verschiedene Dinge ändern, aber am Ende müssen wir auch meiner Meinung nach überprüfen, ob und wie was gemacht wird. Und das ist eine sehr unbeliebte Idee. Ich denke an so was wie Audits. Also mit meinem Kollegen in Leipzig tun wir uns jetzt gerade mal gegenseitig auditieren.
Tim Pritlove
Also quasi so eine gegenseitige Qualitätsüberprüfung.
Ulrich Dirnagl
Wir gucken uns gegenseitig in die Bücher, ganz kollegial. Nicht im Sinne einer Polizei, sondern wir besuchen uns gegenseitig und wir gucken mal, dann wird mal ein Paper raus gezogen. Wir sind gerade dabei das zu etablieren, aber so würde das gehen. Wir ziehen ein Paper raus und dann sagt man, zeig mir mal die Daten von dem Paper, gehen wir mal durch, wie habt ihr das denn da so gemacht und so. Halte ich für hochgradig spannend. Ob es am Ende das System daran genesen wird kann ich nicht sagen, aber man müsste es einfach mal ausprobieren. Ich habe vor so was keine Angst, im Gegenteil, ich halte das für sehr zielführend.
Tim Pritlove
Sind ja auch Modelle, die sich zum Beispiel in der Softwareentwicklung in den letzten Jahren eigentlich stark durchsetzen. Stichwort so Peer-Programming, dass man so gemeinsam an etwas programmiert, aber eben natürlich auch gerade im Sicherheits- und Qualtitätssicherungsbereich, dass man sich eben von außen überprüfen lässt. Oder eben auch eine Vielzahl an Standards, an Codingstandards etc. herbeiführt. Wäre das vorstellbar, dass man im Prinzip ähnliche Modelle auch für Studien entwickelt oder gibt es das vielleicht in Ansätzen auch schon? Dass man eben sagen kann, hier ist eine Reihe von Dingen, die erst mal sichergestellt werden müssen, bevor das überhaupt den Anspruch haben kann, Studie genannt zu werden?
Ulrich Dirnagl
Das ist sicher ein wichtiger Punkt. Ich denke es gibt einige Standards und die sind genannt, einige haben wir ja schon besprochen, Verblindung, Randomisierung und so weiter, da gibt es noch ein paar mehr, das sind Standards, die würden Sie ganz grundsätzlich fordern und dann auch gerne überprüfen und sehen, ob sie wirklich gemacht wurden. Dann gibt es eine Reihe von Dingen, da kommt es drauf an, was Sie für eine Studie machen, ob Sie konfirmatorisch arbeiten, ob Sie was nochmal zeigen wollen oder ob Sie explorativ arbeiten, ob Sie sozusagen, boldly go, where no man has gone before, sozusagen in diese Discovery hinein. Das ist ja immer eine Befürchtung, die zum Teil auch wahrscheinlich berechtigt ist, zu sagen, wenn wir uns in der Wissenschaft zu sehr einengen mit starren Regeln, dann finden wir nichts mehr neues, weil wir eben gebunden sind durch die Regeln. Ich denke aber das ist alles lösbar, unter anderem eben dadurch, dass wir Studien unterscheiden und die dann auch so labeln als das ist was discovery-mäßiges, das folgt anderen Bedingungen.
Dann weiß ich aber auch, das ist so was. Dann nehme ich auch das, was die Studie mir sozusagen als Ergebnis liefert mit einer anderen Evidenz, mit einer anderen Gewichtung. Also eine Studie, die sagt, ich bin konfirmatorisch, ich will ganz sicher sein, dass es so ist, das ist die eine Schiene. Und die andere Schiene und die hat sich im Softwarebereich auch durchgesetzt mittlerweile, das ist die Frage des OpenData und der OpenScience. In dem Moment, wo ich meine Dinge, die ich rausfinde, und wie ich Dinge tue komplett zur Verfügung stelle, brauche ich vielleicht auch gar niemanden mehr, der bei mir vorbeikommt und „Polizei“ spielt. Das brauche ich dann gar nicht mehr. Weil ich ja als Leser, als Kollege die Gegebenheit habe, mir diese Daten selber anzuschauen. Und das hat natürlich noch den ganz tollen Nebeneffekt, den ich sogar fast noch wichtiger finde als den der Kontrolle, dass jetzt plötzlich das was ich raus gefunden habe auch anderen zur Verfügung steht und zwar in der Originalform. Und Leute damit Sachen machen können, an die ich überhaupt nicht gedacht habe.
Und das für zusätzliche Discovery und für zusätzliche Dinge verwenden können. Also da gibt es einen Drive in Richtung, wir sollten alles was wir an Originaldaten haben, wenn es veröffentlicht ist, mit der Veröffentlichung ins Netz stellen. Die Möglichkeiten technologisch sind natürlich absolut da. Da muss man sicherlich noch an Metadaten und Ontologien und sonst was arbeiten, damit das dann auch gut gefunden werden kann und so. Damit es auch wirklich den anderen vollständig und ausreichend zur Verfügung steht. Aber heute ist es einfach und für jeden mit einem Mausklick zu haben, dass er, wenn er eine Studie hat, mit der Studie seine Originaldaten ins Netz stellt. Wenn Sie jetzt aber mal gucken, wie viele der Arbeiten das tun, dann finden Sie heraus, dass das kaum messbar ist. Also es ist im niedrigen Unterprozentbereich von Studien, die das tun.
Ich denke, da werden wir in nächster Zeit die größten Veränderungen sehen. Die Kollegen werden herausfinden, dass es so was gibt wie das Internet und dass man das auch da für Wissenschaft nutzen kann. Und da denke ich, sind wiederum Journale gefragt, da sind wiederum Institutionen gefragt, so was dann auch durchzusetzen. Durchzusetzen heißt nicht, dass man jemanden rausschmeißt, der es nicht macht, aber man könnte ihn ja erst mal auffordern, es zu tun, und wenn er es nicht tut, müsste man schon mal nachdenklich werden, warum es jemand nicht tut. Man könnte es auch mit Anreizen, in einer Übergangsphase, mit Anreizen verbinden oder mit dem Wegfallen von Anreizen, wenn man es nicht macht. In Deutschland haben wir ja immer das Faktum der Forschungsfreiheit. Sie können ja als Uni einem Wissenschaftler sowieso nicht sagen, was und wie er es machen soll. Aber sie könnten jemanden, der seine Daten nicht ins Netz stellt, sagen, naja gut, dann wirst du eben bei der leistungsorientierten Mittelvergabe nächstes Jahr kriegst du 2% weniger oder 5% weniger irgendsowas.
Oder ein Forschungsförderer, wie die DFG, könnte sagen, okay wenn ihr mein Geld nehmt und damit Forschung macht, dann müsst ihr die Daten innerhalb von einem Jahr oder von zwei Jahren ins Netz gestellt haben. Von dem was rauskam, was ihr veröffentlicht habt. Und wir halten mal 10% der Fördersumme zurück und wenn ihr uns nachgewiesen habt, dass ihr die veröffentlicht habt, dann kriegt ihr die restlichen 10%. Es wäre im Grunde relativ einfach.
Tim Pritlove
Und noch nicht mal, ja einfach und auch irgendwie ganz gut nachvollziehbar, dass es das bringt. Ich muss an dieser Stelle natürlich auch nochmal an ein Gespräch erinnern, was wir hier in dieser Reihe schon mal gehabt haben, Forschergeist Nummer 16 mit Nikolaus Kriegeskorte. Ich weiß, Sie haben die Sendung auch gehört, dort ging es ja sehr um OpenData, OpenScience Ansätze. Ich bin mir gerade gar nicht mehr ganz so sicher, inwiefern jetzt über die Wiederholung oder die Reproduzierbarkeit von Studien in der Sendung gesprochen haben, aber das ist ja im Prinzip jetzt hier der Kern. So die Reproduktionskrise. Ich habe das auch schon häufiger gehört, man nimmt sich einfach irgendwelche Studien, und das geht jetzt natürlich weit über die Medizin hinaus und versucht, einfach mal nur nachzuvollziehen, was die getan haben und scheitert dann teilweise auch schon an dem Punkt, dass man überhaupt nicht, dass die Daten eigentlich gar nicht in ausreichendem Maße genannt sind.
Muss jetzt sich noch nicht mal um so ein vollständiges Rohdaten-, Messdatenarchiv handeln, sondern dass sozusagen die Studien selber einfach schon handwerklich gar nicht so ausgelegt sind, dass sie reproduziert werden können. Vielleicht wäre das ja auch ein Ansatz, dass man sozusagen eine Anforderung stellt, dass diese Reproduzierbarkeit quasi ein Leitmotiv für die Gestaltung der Studie ist.
Ulrich Dirnagl
Das sehe ich auch absolut so und das ist natürlich, auch das ist wieder wie so vieles ein großes was und ein großes Thema. Sie haben es angedeutet, wir sind in einer Phase, wo wir erkennen, dass wir Probleme haben in der Reproduktion von Resultaten. Das wird in verschiedenen Feldern zur Zeit systematisch gemacht. Derzeit läuft im Krebsfeld eine systematische Reproduktionsinitiative von 100 Arbeiten oder war es sogar 200. Die Psychologen hatten gerade ihre mit 100 Arbeiten letztens in Science publiziert. Dabei kommen dann so Zahlen raus wie zwischen 60% lassen sich nicht reproduzieren und manchmal 80% lassen sich nicht reproduzieren. Und dann stellt sich natürlich die spannende Frage, was ist überhaupt das Kriterium für Reproduktion? Muss das genau so wiedergefunden werden, muss genau die Effektgröße wiedergefunden werden?
Geht es sozusagen um striktes Replizieren oder geht es um konzeptuelles Replizieren. Also muss man im Prinzip nur sehen können, dass so was tatsächlich existiert oder wirkt? Das sind alles spannende Fragen, das ist auch eine hochrelevante Diskussion, die in der Wissenschaft witzigerweise jetzt erst beginnt, aber ich glaube das ist eine Urfrage der Wissenschaft. Und Wissenschaft, in Berlin gibt es einen berühmten Epistomologien, der Hans Jörg Rheinberger, der sich mit diesen Fragen beschäftigt. Und bei ihm gibt es einen Begriff der differentiellen Reproduktion von Experimentalsystemen und der sagt im Grunde, das ist der Kern von Wissenschaft, so geht Wissenschaft. Also dass es eine differentielle Reproduktion gibt. Also differentiell heißt, ja man schiebt sozusagen den Slider immer weiter und dabei wird manches gezeigt und manches nicht gezeigt und dann ist man auf der nächsten Stufe.
Das heißt die Nichtreproduktion als solche, also ich bin da durchaus nicht ein Skeptiker, aber zumindest habe ich eine reflektierte Meinung zu dem Begriff der Reproduktionskrise. Ich denke, ein Teil dessen ist vernünftig, ist gut. Eine 100%ge Reproduzierbarkeit zeigt an, dass man irgendwie langweilige Dinge macht und das kann ja gar nicht sein, dass immer alle recht haben. Bzw. eine Nichtreproduktion heißt ja auch nicht, dass der nicht recht hatte, sondern das könnten heißen, dass der der nicht recht hat der nicht reproduzieren konnte. Oder könnte heißen, dass die Bedingungen anders waren und so weiter. Aber das ist eine spannende Diskussion, bei der für mich eins auf jeden Fall außer Frage ist, dass wir nicht genügend reproduzieren können. Also auch wenn wir versuchen, also es gibt Reproduktionsversuche, wo also Leute hergegangen sind und nicht nur einfach – es ist ja einfach, etwas nicht reproduzieren zu können.
Sie können im Grunde brauchen Sie nur ein bisschen was verändern und dann finden Sie das nicht wieder, was die Anderen gefunden haben. Das ist also keine große Kunst. Aber es gibt in der Tat jetzt viele Reproduktionsversuche, wo man die Leute, die den Originalbefund hatten, mit in das Team nimmt und Material von denen nimmt. Sogar teilweise Personal, Substanzen und so weiter. Und selbst auf diesem Sektor, also selbst bei diesem sehr strikten Vorgehen zeigen sich große Probleme des nachmachen-Könnens. Und das ist einerseits durchaus finde ich schon alarmierend, auf der anderen Seite regt es uns durchaus darüber an, wie wir Wissenschaft machen sollen, wie reproduzierbar sie sein muss am Ende. Und das was Sie gesagt haben, dass nämlich der Ausgangspunkt dessen ist, dass ich andere in die Lage versetze, ob die das dann überhaupt machen, aber in die Lage versetzen, so was überhaupt zu tun.
Indem ich in der Beschreibung meiner Methoden so explizit bin und indem ich in der Beschreibung meiner Resultate so explizit bin, das ist die Basis dafür. Insofern schließt sich da der Kreis. Also das hat alles miteinander zu tun, OpenData, Replikation. Jetzt gibt es eine Diskussion über die Frage, wie viel Replikation ist gesund, wie viel brauchen wir und so. Das ist eine nicht abgeschlossene Diskussion, die ich aber für spät kommt sie, doch sie kommt, und die führen wir eben zur Zeit und ich glaube, die kann nur dazu führen, dass wir die Dinge noch besser machen, als wir sie vielleicht schon gemacht haben.
Tim Pritlove
Man könnte sich ja auch vorstellen, dass quasi so die Reproduzierbarkeit einer Studie in gewisser Hinsicht auch so nochmal ein extra Qualitätsmerkmal ist. Ich weiß nicht, ob man jetzt da wirklich in der Lage ist, da so auf einen Score zu kommen. Dass man sagen kann, hier nach den Reproduktionsstandards erreichen wir hier einen Wert von 9 von 10, weil wir die Daten … Also mehr noch, also was ja auch noch ein Problem ist, was wir so glaube ich noch gar nicht angesprochen haben, wäre auch mal interessant zu hören, inwiefern das eigentlich in der Medizin auch ein Thema ist. Messwerte nachvollziehen heißt ja auch, dieselben Messgeräte zur Verfügung haben auf der einen Seite. In zunehmenden Maße ist es auch die Software, mit der Analyse gemacht wird. Wenn ich eine statistische Auswertung mache von einem großen Datenmaterial und ich verwende dazu eine Statistiksoftware, diese Statistiksoftware ist aber aus welchen Gründen auch immer 10 Jahre später schlicht nicht mehr aufzutreiben bzw. wirft Kosten auf, die man nicht tragen möchte etc. pp., dann sind das ja auch quasi Hindernisse, wo man sich auch schon mal darüber Gedanken machen muss, dürfen solche Geräte, dürfen solche Softwarewerkzeuge, die nicht OpenSource sind zum Beispiel dürfen die dann überhaupt zum Einsatz kommen?
Ulrich Dirnagl
Ja auch das ist ein spannendes Thema. Ich meine viel der Wissenschaft ist natürlich so, also dieser Wissenschaft, ist schon auch so, dass Leute also ihre eigenen Geräte am Ende bauen und das Teil der Wissenschaft ist, dass sie da sozusagen die Wissenschaft vorantreiben, indem sie also ganz neue Sachen machen. Und dann baut einer sein eigenes Mikroskop und das ist dann halt sein eigenes und so. Das darf man nicht behindern, das ist völlig klar. Auf der anderen Seite gibt es, ich weiß nicht, wie hoch der Prozentsatz ist. Je höher Sie in Richtung einer Wissenschaft gehen, die an der Schwelle ist zur klinischen Translation, wo es also in klinische Studien geht, um so standardisierter müsste das meiner Meinung nach werden und deshalb komme ich zurück auf das was ich gesagt habe. Ich denke, wenn mir jemand sagt, ich bin der Mann für die Exploration, ich bin der Mann für die Discovery, dann darf er einige Sachen machen, die ich absolut okay finde.
Denn der hat ein neues Mikroskop gebaut und dann kann er nicht sagen, das entspricht der und der Norm, ich würde aber trotzdem erwarten, dass er mir offenlegt, wie er das kalibriert hat, wie er das antreibt, wie er seine Daten analysiert hat. Damit sind wir wieder bei der OpenScience. Das ist ja eigentlich auch alles gar kein Problem, so was heute zu machen. Wenn aber jemand konfirmatorisch arbeitet und wir arbeiten zu wenig konfirmatorisch meiner Meinung nach in dem Medizinbereich. Also wir bauen Studien, die an den Menschen gehen auf zu geringe Evidenz auf. Wenn wir solche Konfirmationen machen würden mehr, dann wäre es absolut so und dann müsste mir jemand durchaus nachweisen, dass sein Spektrophotometer in der Tat kalibriert war oder nicht kalibriert war. Auch hier glaube ich stoßen wir durch die technischen Möglichkeiten jetzt in ganz andere und viel bessere Bereiche vor. Nehmen Sie das Beispiel elektronisches Laborbuch.
Die meisten Labore heutzutage arbeiten mit einer Kladde, so wie man es vor 150 Jahren gemacht hat, kritzeln da irgendwelche Sachen rein. Ein elektronisches Laborbuch, so wie wir es im Labor haben, hat bereits und wird es immer mehr haben, Schnittstellen zu den Geräten, wo die Daten herkommen über APIs. Und liest ein, ob das Gerät kalibriert war oder nicht kalibriert war. Und dann steht neben ihrem – ist nicht nur in ihrem Laborbuch – nicht nur der gekritzelte Satz, die Daten finden sich auf dem Server so und so und Sie drucken irgendwie was aus und kleben es mit einem Pritstift ein, sondern die Daten sind im Laborbuch, sind dort auch sozusagen versionsnotiert, nicht mehr modifizierter, sonst irgendwas. Und gleichzeitig haben Sie ein Stempel daneben, der sagt, das Gerät war kalibriert oder es war nicht kalibriert oder das Laborbuch sagt Ihnen in der Früh, Sie müssen heute Ihr Gerät kalibrieren, sonst können Sie am Abend keinen Versuch machen.
Ist für mich wieder ein schönes Beispiel dafür, dass wir die technologischen Möglichkeiten haben. Meiner Meinung nach würde ich sagen, zeitgemäß zu arbeiten. Aber aus einer Inertia heraus, die sich, weil der Betrieb das auch nicht honoriert, irgendwie im frühen 20. Jahrhundert technologisch uns befinden. In manchen Dingen im 18. Jahrhundert.
Tim Pritlove
Das Problem ist im Kopf am Ende. Es ist sozusagen eine Frage des kulturellen Wandels der wissenschaftlichen Szene an sich.
Ulrich Dirnagl
Das hat eine starke Kopfkomponente, das ist sicher der Ausgangspunkt wahrscheinlich. Wenn man nichts anderes machen will, dann will man nichts anderes machen. Es hat natürlich auch eine gewisse strukturelle und auch finanzielle Komponente. Wenn Sie ein Qualitätsmanagement machen wollen, wie das das ich zum Beispiel in unseren Laboren mache oder wenn Sie ein elektronisches Laborbuch führen wollen etc. pp.. Nicht alles was wir genannt haben fordert zusätzliche Kosten, aber vieles von dem ist …
Tim Pritlove
Ist ein Mehraufwand.
Ulrich Dirnagl
Mit Aufwand betrieben. Und als Wissenschaftler kriegen Sie heute dafür erst mal nichts. Also das müssen Sie sich irgendwie aus den Rippen schneiden. Die Uni kann es Ihnen nicht geben, weil sie selber zu wenig Geld hat. Wenn Sie einen DFG-Antrag haben und da würden Sie jetzt reinschreiben, Sie wollen jetzt 20.000 für ein Laborbuch oder so – kostet jetzt gar nicht so viel – aber das ist nicht vorgesehen. Das heißt da müssten sich dann schon zusätzlich Dinge ändern, im Sinne dessen, dass zusätzlich Mittel dafür vorgehalten werden. Ich persönlich glaube, dass es uns finanziell gesamtsystemmäßig betrachtet eher billiger machen würde oder auf jeden Fall würde es nicht zusätzliche Kosten haben, weil wir an anderer Stelle …???
Tim Pritlove
Sie haben es ja. Wo haben Sie es denn her?
Ulrich Dirnagl
Ja das ist jetzt …
Tim Pritlove
Also ich meine, war da schon ein anderer Mindset am Start?
Ulrich Dirnagl
Das bringt uns jetzt witzigerweise zum Stifterverband, weil ich über eine Förderung des Stifterverbandes diese zusätzlichen Mittel erhalten habe. Das ist eine tolle Maßnahme. Das ist eine gewissermaßen privilegierte Maßnahme, die wohl auch den Sinn hat, hoffe ich dann auch, dass wir gewisse Dinge ausprobieren können, die andere, einfach weil sie es noch nicht haben, nicht ausprobieren können und dann sagen können, das ist gut oder das ist schlecht, macht das auch. Und vielleicht auch Förderer beraten können. Das BIH, das Berlin Institute of Health, an dem ich auch arbeite, weil die Charité mit dem MDC fusioniert wurde und in diese große neue Einrichtung übergegangen ist, denkt jetzt auch darüber nach, solche Maßnahmen für Wissenschaftler intern zu fördern, also seine institutionelle Verantwortlichkeit wahrzunehmen. Das wäre für mich schon ein erster Hinweis, dass da sozusagen die Unis oder die Förderer oder die Strukturen anfangen solche Vorhaltungen zu machen. Aber jetzt ganz konkret bei mir war es der Stifterverband.
Tim Pritlove
Berliner Institut für Gesundheitsforschung. Das ist Charité und Max-Delbrück-Centrum, die sich da zusammengetan haben?
Ulrich Dirnagl
Ja.
Tim Pritlove
Vielleicht nochmal zuletzt, wir beklagen ja so ein bisschen den Ist-Zustand und auch mit Nikolaus Kriegeskorte war ja auch in dem Gespräch eine starke Kritik dieses Journalsystems, was nicht unbedingt jetzt so sehr auf Offenheit ausgelegt ist, verbunden. Wo würden Sie denn da die Kritik ansetzen? Inwiefern ist denn dieses Publikationsmodell überhaupt noch zukunftsträchtig? Wo ist es kein Problem?
Ulrich Dirnagl
Ja auch das haben wir wieder in diesem Topf und der Podcast mit dem Nikolaus Kriegseskorte ist für mich ein, wenn einer mal eine Zusammenfassung der ganzen Thematik, weil er das auch sehr differenziert sieht, durchaus hörenswert. Grundsätzlich teile ich seine Kritik und auch seine konstruktive Kritik und seine Vorschläge, die Sache besser zu machen, zu 100%. Man kann glaube ich, ohne einen Fehler zu machen, sagen, so wie das System jetzt funktioniert bleibt es a) in technischen Möglichkeiten, die wir heutzutage haben weit hinter denen zurück, wir könnten viel mehr tun und b) es gibt eben sehr gute Hinweise darauf, dass das wie wir es tun auch eine schädliche Komponente hat. Also konkreter gesprochen, im Grunde publizieren wir wie vor 50 Jahren und die größte Änderung ist die, die wir haben, dass wir nach unseren Arbeiten jetzt suchen können auf dem Internet.
Und dass wir sie als PDF ausdrucken. Also jetzt kein Wissenschaftler oder kaum noch, dass heute ein Wissenschaftler ein Journal nach Hause oder ins Labor als Print kriegt, sondern den Print erzeugt er sich auf seinem eigenen Drucker.
Tim Pritlove
So ein bisschen Fax 2.0?
Ulrich Dirnagl
Genau. Das ist nur ein Aspekt davon. Und insofern gleichzeitig … also die technischen Möglichkeiten, das hat auch was mit OpenData und so weiter zu tun, natürlich konnte ich in einem Journal alten Stils nicht meine Daten mit rein packen, aber heute, wenn ich eine Publikation auf dem Netz habe, dann sind die Daten, dass die da mit drinnen sind ist ja quasi nur ein Klick davon weg. Gleichzeitig haben wir aber Hinweise darauf, dass das Journalsystem was wir haben zumindest teilweise mit dafür verantwortlich ist, dass die vorher schon angesprochenen Probleme auch existieren. Also dass zum Beispiel darüber, dass eben Journale, die spektakuläres publizieren und dann auch den Impact-Factor, also diese Maßzahl für wie oft ein Journal zitiert wurde, quasi zur Karrierewährung wird in der Wissenschaft.
Dadurch entstehen Anreize in dem System, die manchen sogar zur Unredlichkeit, das sind die wenigsten, aber zu Unredlichkeit verführen, wenn Sie heute eine Nature-Arbeit und eine Cell???-Arbeit haben, dann können Sie im Grunde, wenn Sie ein junger Wissenschaftler sind, davon ausgehen, dass Sie in wenigen Jahren eine Professur haben. Gibt es eine schöne Website dazu, da können Sie – die heißt glaube ich PI-Predict, also Principle Investigator Predict, - da können Sie eingeben, was Sie für Publikationen haben und dann haben die mit einem statistischen Modell gerechnet, wie groß die Wahrscheinlichkeit ist, dass Sie innerhalb von fünf Jahren eine eigenständige Professur haben. Und wenn Sie das da eingeben und die ist sozusagen validiert und das funktioniert und ich kenne Kollegen, die selber sich sozusagen retrospektiv dort getestet haben, die haben gesagt, das stimmt genau. Das ist also von solchen Publikationen dann abhängig.
Wenn Sie wissen, dass das so ist, dass Sie also mit ein oder zwei Arbeiten eine Rente bis an Ihr Lebensende bekommen und nur noch 50% für die Krankenversicherung bezahlen, dann ist das für manchen schon zu viel der Versuchung. Aber das sind zum Glück nur wenige. Aber es führt natürlich bei mehreren dazu, dass man das Spektakuläre sucht und das was eigentlich auf dem Weg liegt, am Wegesrand lässt, weil in der Biologie ist nichts schwarz und weiß, aber solche Journale publizieren nur schwarz und weiß. Und das Graue geht verloren. Das ist jetzt die Kritik an den High-Impact-Journalen. Die Journale sind gar nicht zu kritisieren, aber dass das System das so bewertet. Und auf der anderen Seite gibt es natürlich das Predators???-Publishing und ich kriege am und jeder Wissenschaftler kriegt am Tag 1-2 Einladungen, in Journalen zu publizieren, deren Namen er noch nie gehört hat oder die Person noch nie gehört hat.
Und das sind also obskure Geldverdienmodelle, wo Sie also eine Publikation eigentlich nur dafür kriegen, dass Sie halt dann dafür bezahlen, dass es in eine richtige Review kriegt??? und so weiter, das ist auf der anderen Seite des Spektrums. Sie können heutzutage sozusagen auf Knopfdruck eine Publikation kriegen. Das zeigt an, dass dieses System üebrholungsbedürftig ist. Und Kriegeskorte hat in einer Arbeit mit ich glaube einer Menge Kollegen zusammen Modelle vorgestellt, auch so ein bisschen durchaus, lass uns mal ganz verrückte Sachen überlegen oder weniger verrückte Sachen. Ich persönlich favorisiere ein Modell und ich denke, dass hat er auch schön ausgearbeitet, indem wir einen offenen Review-Prozess haben, in dem der Review selber Teil des Artikels wird letztlich. Wir arbeiten ja in einem System, wo geheim da vor uns hinwurschteln.
Und als Editor eines Journals selber weiß ich, das ist schon wichtig und das ist auch gut und so manches Paper ist dadurch besser geworden. So manches Paper ist dadurch nicht in dem Journal publiziert worden, das wird dann in einem anderen publiziert, wo die Gutachten anders funktionieren. Aber durch relativ einfache Veränderungen, die elektronisch sogar so einfach sind wie nur irgendwas, könnte dieser Prozess des wissenschaftlichen Publizierens übers Nacht zu einem wirklichen wissenschaftlichen Ereignis gemacht werden. Ein wissenschaftliches Ereignis meine ich mit, Wissenschaftler treten sich mit offenem Visier gegenüber, sie diskutieren ihre Arbeiten. Diese Diskussion wird Teil der Community, weil sie offenlegt, Sie können jetzt nicht irgendwelche Kollegen einfach zur Schnecke machen, weil Sie wissen, das kriegen die nie raus, dass Sie ein Paper sozusagen unfair begutachten. Sie können es aber auch nicht über den grünen Klee loben, weil Sie von dem irgendwas anderes sich erwarten. Weil Sie ja das lesen, das würden andere auch lesen und sagen, jetzt ist er aber verrückt geworden der so und so, offensichtlich hat er es nicht richtig gelesen oder so was.
Also die Qualität der Reviews würde sich erhöhen. Das ganze Wissen und Knowhow, das in diesen Reviews steckt, würde in der Community mitgeteilt werden und die Community könnte dann an dem ganzen Prozess teilhaben durch weitere comments. Es gibt ja ganze Communities, in denen das mittlerweile heutzutage funktioniert. Irgendjemand hat mal den Vergleich gemacht zu Produktbewertungen bei Amazon. Und das witzige ist, dass wenn Sie Amazon hat dann geguckt, da gibt es irgendwie Super Mario oder so ein Spiel und da gibt es Produkte dazu und da gibt es 18.000 Produktbewertungen dazu, 18.000. Ob die gut oder schlecht sind will ich nicht bewerten, ich kenne ja nicht mal das Spiel. Aber da setzen sich Leute hin und sagen wie sie es finden und was sie gut finden und schlecht finden. Die wissenschaftliche Community, die aber sonst auf Kongresse geht und dort auch diskutiert und so, ist in einer Schockstarre diesem Medium gegenüber.
Wo ich mich doch jetzt hinstelle, die regen sich lieber bei einem Bier drüber auf oder grummeln vor sich hin und sagen, so einen Mist habe ich ja noch nie gelesen. Anstatt dass man sich hinsetzt und fünf Zeilen dazu schreibt und dann lesen das auch andere. Ich glaube, das könnte man auch relativ milde anfangen. Also für mich ist es ein schönes Beispiel ein Journal, das heißt F1000 Research, das hat all diese Momente, die ich gerade genannt habe, ohne es jetzt irgendwie ganz radikal zu betreiben, da ist auch der Qualitätsmaßstab absolut ausreichend. Da werden teilweise sogar vier Reviews eingefordert, normal sind zwei. Also dass das geht ist belegt, dass es nicht dazu führt, dass wir im Sumpf verschluckt werden ist glaube ich auch klar. Es ist halt noch nicht, Sie kriegen nichts dafür sozusagen.
Also ich fange jetzt an, in Berufungskommissionen, wo ich auch sitze, Leute zu fragen, na wie viele neutrale oder negative Publikationen habe Sie denn veröffentlicht? Bei wie vielen Ihrer Daten sind denn die Daten im Netz? Wie viele Ihrer Publikationen sind eigentlich OpenAccess? Das ist für mich nicht das absolute Kriterium. Einen Wissenschaftler kann man nicht nur daran messen, ob er qualitativ gut arbeitet, weil man kann auch wahnsinnig langweilig sein und irrsinnig tolle Qualität haben, das reicht nicht aus. Aber so ein zusätzliches Kriterium, wir könnten das ganz milde einführen. Wir könnten sagen, ja jetzt gehen wir doch mal 90% nach dem alten Modell und 10% führen wir neu ein. Wir müssen jetzt da keine Palastrevolution machen, sondern wir könnten eigentlich milde, geradezu experimentell vorgehen. Und man könnte sogar … ich habe sogar die Idee, die ist vielleicht wirklich verrückt … aber man könnte in manchen Bereichen sogar studienmäßig vorgehen.
Man könnte in einem gewissen Bereich sagen, dort machen wir das zum Standard und in dem anderen machen wir das Standard und drei Jahre später schauen wir doch mal, wo die angekommen sind. Klingt jetzt ein bisschen verblasen, aber ich könnte Beispiele nennen, wo das durchaus durchführbar und auch sinnvoll wäre. So was kann als Experiment gefahren werden und dann lernen wir aus den Dingen, wir sind ja Wissenschaftler. Aber die Wissenschaftler sind bei diesen Dingen so konservativ.
Tim Pritlove
Dass man sozusagen den Prozess auch selber mal wissenschaftlich ..
Ulrich Dirnagl
Ja und damit sind wir zurück bei der Metaresearch, das ist Wissenschaft über Wissenschaft, mit dem Ziel, zu verstehen wie sie funktioniert. Und auch mit dem Ziel, Ineffektivitäten auszumerzen, und herauszufinden, ob es neue Modelle gibt, die vielleicht besser sind.
Tim Pritlove
Gibt es denn da eigentlich schon eine etablierte Wissenschaftslinie, die sich eigentlich nur mit dem Forschen als solches beschäftigt?
Ulrich Dirnagl
Ja die gibt es. Gibt auch einige Koryphäen auf dem Gebiet, die glaube ich da großen geleistet haben. Woran man es zum Beispiel festmachen kann ist, dass eine extrem renommierte Zeitschrift in der Biologie – plus Biology??? - jetzt eine Section, einen Abschnitt des Journals, was übrigens viele auch der Elemente, nicht alle, aber etliche zumindest, der Elemente des Publizierens, für sich ermöglicht. Also das Kommentieren und so weiter. Dieses Plus Biology hat Anfang des Jahres eine Sektion eingeführt, die heißt Metaresearch und befasst sich mit Metaresearch im Bereich ihres eigenen Wissenschaftsgebietes. Publiziert dort spezifisch Arbeiten, weil es eben bis dato nicht ganz einfach war, auf dem Gebiet was zu publizieren. Also ja das ist ein Gebiet, was derzeit einen gewisse – Modefaktor kann man auch sagen – hat. Aber ich glaube, es wird sich etablieren als eine sehr sinnvolle Einrichtung.
Tim Pritlove
Viele dieser Initiativen kommen gefühlt immer aus den USA. Ich weiß nicht, ob das so …
Und England?
Ulrich Dirnagl
Und England.
England ist, ich würde sogar England als erstes nennen, England ist die Mutter der evidenzbasierten Medizin. Letztlich kommt vieles aus der evidenzbasierten Medizin. Metaanalysen sind sozusagen ein Standardmittel der evidenzbasierten Medizin. England ist da relativ weit, aber Sie haben natürlich recht, also gibt zum Beispiel das wahrscheinlich führende Institut auf dem Gebiet, heißt Matrix??? und ist in Stanford und wird von einem Johannidis???, der übrigens am 12. Mai in Berlin einen Vortrag hält, geleitet. Also ja das stimmt schon. Also ja bei vielem haben die Amerikaner fangen damit an und dann ziehen wir nach.
Tim Pritlove
Dauert aber ein bisschen, bis Deutschland immer hinterherzieht.
Ulrich Dirnagl
Das könnte noch 10-20 Jahre dauern.
Tim Pritlove
Warum sind Sie da so pessimistisch?
Ulrich Dirnagl
Naja ich bin nicht wirklich pessimistisch.
Tim Pritlove
20 Jahre finde ich schon ein bisschen.
Ulrich Dirnagl
Das war jetzt eher ein Scherz. Also 20 Jahre war ein Scherz. Aber ja, die Deutschen sind in vielen …
Tim Pritlove
Also so gefühlte fünf Jahre Abstand gab es schon immer.
Ulrich Dirnagl
Die würde ich auch sagen, die fünf Jahre sind realistisch. Das könnte auch hier so sein. Das hat mit vielem zu tun, aber an der Stelle vielleicht auch viel mit dem deutschen Universitätswesen, was natürlich tatsächlich noch in vielen Dingen Züge des späten Mittelalters trägt. Und wenn man einem amerikanischen Kollegen erklären muss, was eine Habilitation ist und dergleichen, dann zunächst sind sie unverständlich, dann schmunzeln sie und dann sind sie erfreut, weil sie wissen, das beschäftigt uns mit Dingen, die sie in Amerika nach vorne bringt, weil sie sich mit anderem beschäftigen können. Also das hat auch was strukturelles bei uns. Aber irgendwann kommt es dann immer an. Und wie gesagt, ich habe das Berliner Institut für Gesundheitsforschung erwähnt, dort ist man durchaus glaube ich bereit zu radikalen Experimenten oder das voranzutreiben.
Ich muss auch sagen, die Charité, insbesondere unser Dekan, denkt da sehr fortschrittlich und in diese Richtung. Und ich glaube die Institutionen, also das ist zwar irgendwie bisschen peinlich kann man fast sagen, dass der Wissenschaftler selber da sich nicht mehr proaktiv in der Szene bewegt. Aber es ist auch bis zu einem gewissen Grad verständlich, weil er eine abhängige Variable ist in seiner Karriere, in seinen Fördermitteln und so weiter. Und deshalb gucke ich sehr stark auf die Institutionen und hoffe, dass die sich hier bewegen. Und Institutionen heißt an der Stelle auch die Fördergeber, dass die eben gewisse Standards einführen, dass sie gewisse Anreize schaffen, dass sie gewisse Programme auflegen, passiert gerade. Ich habe ja den Stifterverband erwähnt. Auch bei der DFG gibt es solche Diskussionen, zu Replikation war erst vor kurzem eine Tagung, wo die DFG dazu eingeladen hat. Also das ist zumindest als Thema angekommen. Und dann gibt es eben Institutionen, die tatsächlich bereit sind, ihre eigene Forschung strukturell in gewisser Weise neu zu denken.
Insofern vielleicht kann es kürzer sein, wenn es an manchen Stellen als die fünf Jahre.
Tim Pritlove
Könnten Sie sich auch vorstellen … ich meine, wir hatten ja kurz darüber gesprochen, dieses Anreizsystem für die Wissenschaftler, man muss immer das Neue machen, man muss immer das Besondere machen, was noch nicht da war etc. Und das ist so ein bisschen sein eigener Feind. Könnten Sie sich auch vorstellen, dass man sich quasi als Wissenschaftler, so als Replikationsmeister auch genauso einen Namen schaffen kann. Dass man sozusagen sich darauf spezialisiert, Studien nachzuvollziehen, zu belegen. Dass man da sozusagen auch bestimmte Kenntnisse erlangt?
Ulrich Dirnagl
Sicher. Also erst mal ist es natürlich schon so, dass Wissenschaft und deshalb wird man Wissenschaftler glaube ich, weil man sich für irgendwas neues interessiert und man will irgendwas raus finden, was noch kein Mensch raus gefunden hat. Und da ist einfach ein Widerspruch zu dem, ich mach mal was nach, was schon jemand gemacht hat. Das will ich überhaupt nicht leugnen, das ist de facto so. Deshalb gibt es für mich für dieses konfirmatorische und für das was Sie jetzt gerade genannt haben, gibt es da eine eigene Nische? Natürlich verschiedene Möglichkeiten. Die eine Möglichkeit ist die, das in so eine Art fast industrielles oder in so eine Art Servicegeschäft auch zu bringen. So was gibt es auch schon. Da rümpfen viele Wissenschaftler die Nase, aber ich glaube das muss man sich ernsthaft überlegen. Dass man manches zumindest von dem in nicht akademische Modi überführen kann. Gleichzeitig aber denke ich ist es schon auch so, wie Sie gerade gesagt haben …
Tim Pritlove
Sie meinen so was wie Replikation as a Service? Dass man sozusagen zu einer Firma geht und sagt, hier wir haben ein paar Studien.
Ulrich Dirnagl
Ja, im Grunde gibt es ja so was, aber die haben selber teilweise Qualitätsprobleme. Insofern das muss man sehr gut strukturieren. Es gibt Contract-Research-Organisations, die häufig oder eigentlich exklusiv von der Industrie beauftragt werden, so was zu machen. Meine Erfahrung mit denen, die ich kenne, ist die, dass die am Ende nicht viel besser funktionieren als die Wissenschaft selber. Die liefern das ab, was der Auftraggeber am Ende haben will.
Tim Pritlove
So nach dem Motto, bestätigt uns mal.
Ulrich Dirnagl
So ungefähr. Also das ist auch zu verbessern. Ich habe zuerst so eine Replikationsinitiative im Krebsbereich erwähnt, die Cancer-Reproducibility-Initiative???. Dort ist es meines Wissens so, dass ein Teil oder sogar der überwiegende Teil dieser Reproduktionen an Firmen übergeben wurde. Die aber vorher mit Qualitätsstandards getestet und auch sozusagen da laufen dann so Blindexperimente mit, so eine Round-Robin???, wo die nicht wissen was drin ist, um das sicherzustellen. Aber der Punkt, den Sie sagen, kann man da eine eigene Karriere oder ist das eine Nische, die für sich auch am Ende Wissenschaft sein kann? Glaube ich auch, dass das so ist, und zwar weil da nämlich sehr viel interessante Wissenschaft selber drinsteckt in dem Replizieren. Und zwar nicht nur in der Theorie des Ganzen, sondern auch in der Praxis, weil natürlich allein .. es geht ja nie nur drum zu zeigen, das ist so oder das ist nicht so.
Sondern jetzt habe ich irgendwie ein Phänomen, ich will schauen, gibt es das nochmal. Das Phänomen könnte jetzt eine Substanz sein, könnte aber auch irgendein Mechanismus sein. Jetzt schaue ich, gibt es den nochmal? Bin ich der der repliziert? Wahrscheinlich werde ich erst mal herausfinden, dass ich es nicht replizieren kann, zumindest nicht und dem Maße. Jetzt kann ich sagen, abgehakt so geht das nicht. Aber da steckt ja wahnsinnig interessante Information drin. Jetzt kann ich ja versuchen herauszufinden, warum sich das nicht replizieren lässt. Wenn es daran liegt, dass der der den Originalbefund gemacht hat ein schlechter Wissenschaftler ist und das alles schlechte Qualität ist, ist das langweilig. Aber ich gehe mal davon aus, dass die meisten der Leute, die ihre Arbeit abliefern, eigentlich gute Arbeit abliefern und dann könnte dieser Replikationswissenschaftler herausfinden, es versuchen zumindest, woran das liegt, dass es nicht nochmal so geht. Und da steckt meiner Meinung nach wahnsinnig viel Musik drin.
Weil nämlich dabei Bedingungen, damit sind wir wieder bei differentieller Replikation und wie Wissenschaft überhaupt geht, da werden sowohl sozusagen für das mechanistische neue Befunde erhoben. Weil plötzlich findet man raus, wenn die Temperatur hier ein halbes Grad anders ist, dann geht das schon nicht mehr. Dann überlege ich, was hat die Temperatur mit dem Phänomen eigentlich zu tun? Und ich bin in einer neuen Grundlagenüberlegung. Wenn ich in die klinische Richtung denke und ich sage, jetzt mache ich das mit einem anderen Mausstamm und dann finde ich das nicht und dann gehe ich vielleicht zurück und lass mir den Mausstamm von dem geben, dann finde ich es. Dann habe ich was durchaus neues und spannendes raus gefunden, nämlich dass das von einem Mausstamm abhängig ist oder von einer Haltungsbedingung. Vielleicht werden die anders ernährt, was auch immer.
Und an der Schiene zu arbeiten kann meiner Meinung extrem fruchtvoll sein, sowohl in der klinischen Translation, weil plötzlich rauskommt, naja vielleicht funktioniert das nur bei Patienten, die den und den Bedingungen, die ich dort wo es funktioniert hat, weil schönes Beispiel ist zum Beispiel die Tatsache, dass sehr viele dieser Experimente nur in männlichen Mäusen und Ratten gemacht wird, aber unsere Patienten sind erfahrungsgemäß Männer und Frauen. Wenn ich jetzt raus finden würde, das wirkt nur in männlichen Versuchstieren, aber nicht in weiblichen, könnte ich natürlich auf die Idee kommen, vielleicht ist das die Population, die ich auch klinisch exklusiv untersuchen sollte und so weiter. Also ich denke, da steckt eine ganze echte Wissenschaft dann wiederum drin und das ist nicht nur jemand, der sagt, das ist ja eh nur jemand, der macht immer nur das nach und dann findet er auch noch das nicht was die anderen machen, das ist ja ein schlechter Wissenschaftler, weil der findet das nicht, was die anderen machen.
Tim Pritlove
Und schon hat man einen komplett neuen Wissenschaftsstrang geprägt, begründet, angeführt. Das ist ja durchaus auch für den Bereich Ruhm und Ehre dann auch sehr erstrebenswert. Dann schließt sich der Kreis wieder. Herr Dirnagl, ich glaube das haben wir ganz gut beleuchtet. Ich finde das einen sehr spannenden Bereich, weil sich hier einfach irgendwie gefühlt so gerade etwas befreit. Es ist irgendwie so auf dem Weg. Die ersten Anzeichen sind auf jeden Fall da, aber die Auswirkungen davon stehen uns in gewisser Hinsicht erst noch bevor. Vielen Dank für die Ausführungen.
Ulrich Dirnagl
Ich danke.
Tim Pritlove
Und vielen dank fürs Zuhören hier bei Forschergeist. Bald geht es wieder weiter. Ich sage, tschüss und bis bald.
Shownotes
Links
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License
Meta-Analysen, die Alvan Feinstein als „statistische Alchemie für das 21. Jahrhundert“ bezeichnet, erscheinen mir als Antwort auf die Frage von Tim Pritlove, ob es eigene Wissenschaftszweige gibt, die die Forschung selbst untersuchen, nur bedingt geeignet. Es mag ja sein, dass Meta-Analysen in einigen Fällen einen Gewinn für die Naturwissenschaften bedeuten können – sofern sie gut gemacht sind, sie also z. B. nicht – wie so oft – mit erbsenzählerischer Akribie übersehen, dass sie Äpfel und Birnen vergleichen oder sie unter dem Garbage-in-Garbage-out-Problem leiden usw. Sie beantworten aber weniger die Frage nach dem Wie der Forschung, als vielmehr die nach dem Wieviel. Für Wissenschaften deren Gegenstände sich nur unter skurrilen Verrenkungen quantifizieren lassen, möchte ich den Nutzen dieser Analysen zudem einmal grundsätzlich anzweifeln. Dennoch gibt es gerade in diesen Disziplinen die m. E. einschlägigsten Arbeiten zu der Frage, wie Forschung und Wissenschaft funktionieren. Auf den Wissenschaftshistoriker Hans-Jörg Rheinberger wurde in dem Podcast diesbezüglich ja schon verwiesen. Etwas überrascht war ich, dass nicht auf den Immunologen und Erkenntnistheoretiker Ludwik Fleck verwiesen wurde, der mit seinem Werk „Entstehung und Entwicklung einer wissenschaftlichen Tatsache“ seiner Zeit (30er Jahre) extrem weit voraus war. Er zeigte auf, was heute in der Wissens- und Wissenschaftssoziologie als Gemeinplatz gilt: Wissenschaftliche Fakten sind in ihrer Konstitution nicht ohne das Soziale, die konkrete Praxis im Labor und den historischen sowie gesellschaftlichen Kontext zu verstehen. Fleck analysierte am Beispiel der Syphilis, wie Krankheiten und ihre Behandlungen sowie ihre medizinischen Beschreibungen durch soziale und gesellschaftliche Aspekte konstruiert werden (z. B. die Sicht der Gesellschaft auf Sexualität). Vor diesem Hintergrund ist zudem auf die Arbeiten von Thomas Kuhn zu verweisen, der eindrücklich die Simplifizierungen des Popperschen Falsifikationismus aufzeigte und dieser Normvorstellung von Wissenschaft empirisches Wissen zum Funktionieren der Wissenschaften gegenüberstellte. Die sozialen Facetten des Erkenntnisgewinns, die auch in den Naturwissenschaften gegenwärtig und – wie es scheint – für ihr Funktionieren mehr als relevant sind, wurden später (70er und 80er) mit den „Laborstudien“ empirisch weiter ausdifferenziert: Soziologen wie z. B. der Franzose Bruno Latour, die Österreicherin Karin-Knorr Cetina oder der Brite Stephen Woolgar entfalteten als Beobachter analytische Blicke auf die Alltagpraxis in naturwissenschaftlichen Laboren. Alle diese Arbeiten befassen sich mit dem Wie der Wissenschaften und leiteten für ihr modernes Verständnis wegweisende Beiträge.
Ich würde allerdings sagen, die medizinische Forschung und die Biowissenschaften sind hier insofern ein wichtigerer Kandidat als „Wissenschaften deren Gegenstände sich nur unter skurrilen Verrenkungen quantifizieren lassen“, weil die Kosten der Forschung, damit der Mitteleinsatz und auch die Folgekosten einer Ausnutzung des Systems viel höher sind. Es lohnt sich also auf deren besondere Bedürfnisse abzustellen, bevor man zur allgemeineren Betrachtung geht.
Ein Verständnis des sozialen Kontexts des Laborgeschehens oder Publikationsklimas ist für das Reformieren der wissenschaftlichen Prozesse eine notwendige Dimension. Wenn es aber darum geht Datenerhebungen und Ergebnisse der Vergangenheit zu bewerten, wird es im Allgemeinen nicht möglich sein, deren spezifische mikrosoziale Umgebung zu rekonstruieren. Und es geht ja nicht nur um soziale Prozesse, viele Fehlerquellen gehen schlicht auf kognitive Heuristiken zurück, die keine besondere soziale Komponente haben. Statistische Werkzeuge, auch Metaanalysen, sind das passendere Mittel, aber wenn man ehrlich ist läuft es bei den meisten Ergebnissen auf Wiederholung hinaus. Eine Praxis der Veröffentlichung von Negativergebnissen wäre dabei natürlich enorm hilfreich.
Pingback: Augenspiegel 17-16: Vergebung für lange unbeantwortete Emails - Augenspiegel