(MirageC/Getty Images) Der Peer-Review Der Prozess ist ein Eckpfeiler der modernen Wissenschaft. Bevor neue Arbeiten in einer Fachzeitschrift veröffentlicht werden, prüfen Experten die Beweise, Forschungsergebnisse und Argumente, um sicherzustellen, dass sie stimmen.
Viele Autoren, Rezensenten und Herausgeber haben dies jedoch getan Probleme mit der Funktionsweise des modernen Peer-Review-Systems. Es kann langsam, undurchsichtig und cliquenhaft sein und basiert auf der ehrenamtlichen Arbeit bereits überlasteter Akademiker.
Letzten Monat äußerte eine von uns (Kelly-Ann Allen) ihre Frustration über die Schwierigkeiten, Peer-Reviewer auf Twitter zu finden. Hunderte von Antworten später hatten wir eine riesige Crowdsourcing-Sammlung von Kritikpunkten zum Peer-Review und Vorschlägen, wie wir es verbessern könnten.
Als Zeitschriftenredakteur ist es schwer zu hören, dass Leute veröffentlichen und sich nicht an der Begutachtung beteiligen. Es wird immer schwieriger, Gutachter zu finden, was zu erheblichen Verzögerungen bei den Veröffentlichungsfristen führt. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm
— Kelly-Ann Allen, PhD FAPS (@drkellyallen) 6. Juni 2022
Die Vorschläge für Zeitschriften, Verlage und Universitäten zeigen, dass es noch viel zu tun gibt, um Peer Review verantwortungsvoller, fairer und integrativer zu gestalten. Wir haben unsere zusammengefasst Vollständiger Befund unten.
Drei Herausforderungen des Peer-Reviews
Wir sehen drei Hauptherausforderungen für das Peer-Review-System.
Erstens kann Peer-Review ausbeuterisch sein.
Viele Unternehmen, die wissenschaftliche Zeitschriften herausgeben, erzielen Gewinne durch Abonnements und Verkäufe. Allerdings leisten die Autoren, Herausgeber und Gutachter im Allgemeinen ihre Zeit und Mühe auf freiwilliger Basis und leisten damit quasi freie Arbeit.
Und während Peer-Review oft als kollektives Unterfangen der akademischen Gemeinschaft angesehen wird, erledigt in der Praxis ein kleiner Teil der Forscher den Großteil der Arbeit. Eine Studie biomedizinischer Fachzeitschriften ergab, dass im Jahr 2015 nur 20 Prozent der Forscher Leistungen erbrachten bis zu 94 Prozent des Peer-Reviews .
Peer-Review kann eine „Black Box“ sein
Die zweite Herausforderung ist a Mangel an Transparenz im Peer-Review-Verfahren.
Peer-Reviews werden im Allgemeinen anonym durchgeführt: Forscher wissen nicht, wer ihre Arbeit rezensiert, und Gutachter wissen nicht, wessen Arbeit sie rezensieren. Das gibt Raum für Ehrlichkeit, kann aber auch den Prozess gestalten weniger offen und rechenschaftspflichtig .
Die Undurchsichtigkeit kann auch Diskussionen unterdrücken, Vorurteile schützen und die Qualität der Bewertungen beeinträchtigen.
Peer-Reviews können langsam sein
Die letzte Herausforderung ist die Geschwindigkeit des Peer-Reviews.
Wenn ein Forscher eine Arbeit bei einer Zeitschrift einreicht, wenn er es über die ursprüngliche Frist hinaus schafft Ablehnung , kann es sein, dass sie lange auf die Überprüfung und eventuelle Veröffentlichung warten müssen. Es ist nicht ungewöhnlich, dass Forschungsergebnisse ein Jahr oder länger nach der Einreichung veröffentlicht werden.
Diese Verzögerung ist für alle schlecht. Für politische Entscheidungsträger, Führungskräfte und die Öffentlichkeit bedeutet dies, dass sie ihre Entscheidungen möglicherweise auf der Grundlage veralteter wissenschaftlicher Erkenntnisse treffen. Für Wissenschaftler, Verzögerungen können ihre Karriere zum Stillstand bringen Während sie auf die Veröffentlichungen warten, die sie für eine Beförderung oder eine Festanstellung benötigen.
Wissenschaftler gehen davon aus, dass die Verzögerungen typischerweise durch Folgendes verursacht werden: Mangel an Gutachtern . Viele Wissenschaftler berichten herausfordernde Arbeitsbelastungen kann sie davon abhalten, an Peer-Reviews teilzunehmen, und dies hat sich seit Beginn des Peer-Reviews noch verschlimmert COVID 19 Pandemie .
Es wurde auch festgestellt, dass viele Zeitschriften verlassen sich stark auf US-amerikanische und europäische Rezensenten , wodurch die Größe und Vielfalt des Gutachterpools begrenzt wird.
Können wir Peer-Reviews reparieren?
Was kann also getan werden? Die meisten konstruktiven Vorschläge aus der zuvor erwähnten großen Twitter-Konversation ließen sich in drei Kategorien einteilen.
Erstens schlugen viele vor, dass es bessere Anreize für die Durchführung von Peer-Reviews geben sollte.
Dazu könnte gehören, dass Verlage Rezensenten bezahlen (die Zeitschriften der American Economic Association tun dies bereits) oder spenden einen Teil ihrer Gewinne an Forschungsabteilungen. Zeitschriften könnten Gutachtern auch kostenlose Abonnements, Gutscheine für Veröffentlichungsgebühren oder Fast-Track-Rezensionen anbieten.
Allerdings sollten wir uns darüber im Klaren sein, dass Zeitschriften, die Anreize bieten, neue Probleme schaffen können.
Ein weiterer Vorschlag besteht darin, dass Universitäten es besser machen könnten, Peer-Reviews als Teil der akademischen Arbeitsbelastung anzuerkennen und möglicherweise herausragende Beiträge zu Peer-Reviews zu belohnen.
Einige Twitter-Kommentatoren argumentierten, festangestellte Wissenschaftler sollten jedes Jahr eine bestimmte Anzahl von Artikeln überprüfen. Andere waren der Meinung, dass mehr getan werden sollte, um gemeinnützige Zeitschriften zu unterstützen eine aktuelle Studie fanden heraus, dass allein in Australien zwischen 2011 und 2021 etwa 140 Zeitschriften ihre Veröffentlichung eingestellt haben.
Die meisten Befragten waren sich einig, dass Interessenkonflikte vermieden werden sollten. Einige vorgeschlagene Expertendatenbanken würden es einfacher machen, relevante Gutachter zu finden.
Nutzen Sie umfassendere Peer-Review-Rekrutierungsstrategien
Viele Befragte schlugen auch vor, dass Zeitschriften die Rekrutierung von Gutachtern und die Verbreitung ihrer Arbeiten verbessern könnten. Fachgutachter können auf der Seite ausgewählt werden Grundlage der Methode oder des Inhalts Fachwissen und wurde gebeten, sich auf dieses Element zu konzentrieren und nicht auf beides.
Die Befragten argumentierten außerdem, dass Zeitschriften mehr tun sollten, um ihre Einladungen gezielter auf die relevantesten Experten auszurichten und ein einfacheres Verfahren für die Annahme oder Ablehnung des Angebots zu schaffen.
Andere meinten, dass mehr unbefristete Wissenschaftler, Doktoranden, Menschen, die in verwandten Branchen arbeiten, und Experten im Ruhestand eingestellt werden sollten. Mehr Peer-Review-Schulungen für Doktoranden und eine stärkere Vertretung von Frauen und unterrepräsentierten Minderheiten wären ein guter Anfang.
Überdenken Sie die doppelblinde Peer-Review
Einige Befragte wiesen auf eine wachsende Bewegung hin zu offeneren Peer-Review-Prozessen hin, die zu einem menschlicheren und transparenteren Ansatz bei der Begutachtung führen könnten. Zum Beispiel, Offene Wissenschaft der Royal Society veröffentlicht alle Entscheidungen, Gutachterschreiben und die freiwillige Benennung von Gutachtern.
Ein weiterer Vorschlag zur Beschleunigung des Veröffentlichungsprozesses bestand darin, zeitkritischer Forschung eine höhere Priorität einzuräumen.
Was kann getan werden?
Die Gesamtaussage der enormen Resonanz auf einen einzelnen Tweet ist, dass systemische Änderungen im Peer-Review-Prozess erforderlich sind.
An Ideen, wie der Prozess zum Nutzen der Wissenschaftler und der breiten Öffentlichkeit verbessert werden kann, mangelt es nicht. Es liegt jedoch an den Fachzeitschriften, Verlagen und Universitäten, sie in die Praxis umzusetzen und mehr zu schaffen rechenschaftspflichtiges, faires und integratives System .
Die Autoren danken Emily Rainsford, David V. Smith und Yumin Lu für ihren Beitrag zum Originalartikel Auf dem Weg zur Verbesserung der Peer-Review: Crowdsourcing-Einblicke von Twitter . 
Kelly-Ann Allen , Außerordentlicher Professor, Fakultät für Pädagogische Psychologie und Beratung, Fakultät für Bildungswissenschaften, Monash Universität ; Jonathan Reardon , , Universität Durham ; Joseph Crawford , Dozent, Bildungsinnovation, Universität von Tasmanien , Und Lucas Walsh , Professor und Direktor des Zentrums für Jugendpolitik und Bildungspraxis, Monash Universität .
Dieser Artikel wurde erneut veröffentlicht von Die Unterhaltung unter einer Creative Commons-Lizenz. Lies das originaler Artikel .