Sind Forschungsleistungen objektiv bewertbar?

Empfehlungen für die Evaluierung von Forschung präsentiert Friedhelm Neidhardt

Friedhelm Neidhardt

Über Evaluationen im Hochschulbereich zu sprechen", so der Präsident des Wissenschaftszentrums Berlin für Sozialforschung, Prof. Dr. Friedhelm Neidhardt, "heißt in Deutschland immer noch, Versäumnisse festzustellen und Fälliges einzuklagen". Hochschullehrer sind hierzulande ständig am Benoten studentischer Leistungen, doch haben sie sich noch nicht daran gewöhnen müssen, daß sie und ihre Leistungen selber bewertet werden. Widerstände müssen also überwunden werden. Doch das war nicht das Thema von Friedhelm Neidhardt. Er faßte in seinem Referat vielmehr Probleme der Forschungsevaluation zusammen und gab Empfehlungen.

Das zentrale Problem der Evaluation von Forschung ergebe sich daraus, daß Forschungsqualität nicht objektiv bestimmbar sei. Zu den Zeitpunkten, an denen in den Hochschulen evaluiert werden soll, um Forschungsmanagement und Forschungspolitik zu machen, sind meist noch keine methodisch eindeutigen und allgemein gültigen Regeln für die Qualität konkreter Forschung verfügbar. Wie also kann "gute Forschung von schlechter Forschung" unterschieden werden? Einzige Möglichkeit sei, dies über den Konsens einer Gruppe hervorragender Experten herauszufinden. Da aber, wo auf der Grundlage von Evaluationen Ressourcen verteilt werden, müsse dies in einem der Sache entsprechenden Verfahren geschehen.

"KONTROLLE DER KONTROLLEURE"

Mehrere Forderungen stellt Neidhardt an die Experten: Sie müssen unbefangen von den zu evaluierenden Gegenständen sein, das heißt sie müssen mit ihren eigenen Arbeiten dem Thema weder zu nah noch zu fern gegenüber stehen. Wichtig ist, daß die Gutachter anonym bleiben sollen. Erforderlich ist weiterhin "eine Kontrolle der Kontrolleure". Bei all den Anforderungen, die Experten bei ihren Gutachtertätigkeiten zu leisten haben, darf es jedoch nicht passieren, daß sie "ihre eigene Forschungskompetenz verlieren, also aufhören, Experten zu sein".

Über ein "vernünftiges Urteil von Experten" hinaus muß man Qualitätsurteile berücksichtigen, die ständig an verschiedenen Stellen des Wissenschaftsprozesses gefällt werden. Systematisch sollten solche Daten aufgenommen und abgespeichert werden. Dies sind Forschungspreise und wissenschaftliche Auszeichnungen, Ämter in der Wissenschaftsgemeinschaft, Drittmitteleinwerbungen, Publikationen und Zitationen. Doch bei all diesen Indikatoren gibt es Unsicherheiten und Ungereimtheiten. Dennoch sprach sich Neidhardt für die Berücksichtigung dieser Daten bei Evaluationen aus, weil er der Meinung ist, daß auch diese Verfahren sich bei ständiger Berücksichtigung verbessern werden. (Neidhardts Meinung über die Qualität von Drittmittel-, Publikations- oder anderen Faktoren können dem nebenstehenden Kasten entnommen werden.)

NICHT NUR EINEN INDIKATOR

Zusammenfassend nennt Neidhardt vier Auflagen für den Gebrauch von Leistungsindikatoren. Erstens: Man braucht nicht nur einen, sondern mehrere Indikatoren, um Vermutungen über Forschungsleistungen aufzustellen. Zweitens: Die Aussagekraft der Indikatoren unterscheidet sich erheblich in den verschiedenen Fachdisziplinen und Forschungsfeldern. Deshalb können Indikatorenwerte nur innerhalb einer Disziplin und nicht über Fachgrenzen hinaus zu einem Ranking verrechnet werden. Drittens: Auch innerhalb der Diziplinen ist eine exakte Bestimmung von Rangplätzen nicht möglich. Es kann also nur um die Bestimmung von Ranggruppen mit dem Ziel gehen, Ausreißer nach oben und nach unten zu identifizieren. Viertens: Ob statistische Hinweise auf Spitzenreiter und Versager zuverlässig und valide sind, muß im Einzelfall geprüft werden. Das kann nur mit Gruppen von Experten gehen, die fachlich kompetent und sozial unbefangen sind.

gl

Keine Angelegenheit von Wissenschaftsstatistikern

Friedhelm Neidhardt über die Qualität einiger Indikatoren, mit denen Forschung evaluiert werden kann: "Meine These ist, daß die Verbesserung der Qualität der Drittmittel- und Publikations-, aber auch anderer Indikatoren weniger eine Angelegenheit von Wissenschaftsstatistikern ist, obwohl es auch in diesem Feld viele unerledigte Aufgaben gibt. Die entscheidenden Herausforderungen aber sind praktischer, nämlich professionspolitischer Art. Keine Wissenschaftsmessung kann besser sein als die Qualität der Wissenschaftsprozesse, die ihr die Daten liefern. Im hier diskutierten Falle geht es zum Beispiel um die Qualität der praktischen Entscheidungen über Drittmittelvergabe und Veröffentlichung. Über Wissenschaftsqualität gibt deren Entscheidungsoutput nur in dem Maße Auskunft, in dem sie selber den Bedingungen wissenschaftlicher Expertenkontrolle unterworfen sind.

In dieser Hinsicht ist vieles derzeit unübersichtlich, einiges mit Sicherheit problematisch. Um Beispiele zu nennen: Nach welchen Kriterien und auf welcher Urteilsbasis entscheiden Wissenschaftsverlage über die Veröffentlichung von Manuskripten? Wie wird jemand zum Herausgeber von Fachzeitschriften? Sind diese Fachzeitschriften "referreed journals" - und wenn ja: mit welchen Experten? Wie steht es mit der professionellen Kontrolle der Drittmittelzuschläge? Nach welchen Verfahren entscheiden Ministerien über Aufträge und Förderungen? Was passiert gegenwärtig in der Brüsseler Bürokratie bei der Verteilung von EU-Geldern? Nicht zuletzt: Kümmern sich die Professionsverbände und Fachvereinigungen der Wissenschaft um all diese Fragen? Sorgen sie für Standards von Expertise nach innen und für Repräsentation der Experten nach außen?

Solange wir darüber wenig oder nichts gutes wissen, müssen die Indikatoren, die wir zum Beispiel mit Drittmittel- und Publikationsdaten konstruieren, Notlösungen sein, deren Gebrauch wir prinzipiell nur rechtfertigen können, weil keine Alternative für die Fundierung von Verteilungsentscheidungen für Wissenschaft und ihre Entwicklung präferierbar erscheint."