Open Science – Chance oder Herausforderung?

Forschungsbewertung neu denken: Jenseits von H-Index und Impact Faktoren

Anne Gärtner (FU Berlin)

Die Notwendigkeit einer Reform der Forschungsbewertung ist unbestritten. Initiativen wie die Coalition for Advancing Research Assessment (CoARA) entwickeln alternative Ansätze, die auf valide, transparente Kriterien setzen und Qualität statt Quantität in den Fokus rücken. Dennoch dominieren in Berufungsverfahren weiterhin oft einfache quantitative Indikatoren. Der Vortrag stellt das Research Quality Evaluation (RESQUE) Framework vor, das Forschungsqualität anhand methodischer Strenge, Transparenz, Reproduzierbarkeit und Replizierbarkeit bewertet. Ein Online-Tool zur Selbsteinschätzung wissenschaftlicher Arbeiten wird ebenfalls präsentiert. Ziel ist es, die Bedeutung von Forschungsqualität in akademischen Karrieren – innerhalb und außerhalb der Psychologie – zu stärken.

Das Projekt wurde mit dem Einstein Foundation Early Career Award for Promoting Quality in Research ausgezeichnet.

Prof. Dr. Anne Gärtner ist Psychologin und Neurowissenschaftlerin mit Schwerpunkt auf individuellen Unterschieden in der Emotionsverarbeitung und deren neurobiologischen Grundlagen. Derzeit ist sie Gastprofessorin für Persönlichkeitspsychologie an der Freien Universität Berlin. Ihre Forschung kombiniert psychophysiologische und neurowissenschaftliche Methoden zur Untersuchung der biologischen Grundlagen kognitiver Emotionsregulation. Ein besonderer Fokus liegt auf der Reproduzierbarkeit psychologischer Forschung, weshalb sie sich aktiv in der Open-Science-Bewegung engagiert – unter anderem als Mitgründerin der IGOR-Initiative in der DGPs. 2023 wurde sie mit dem Einstein Foundation Early Career Award for Promoting Quality in Research für ihre Verdienste um Forschungsqualität ausgezeichnet. Aktuell entwickelt sie mit dem RESQUE-Framework neue Bewertungskriterien für wissenschaftliche Leistungen, die Qualität über Quantität stellen. 

Neue Wege der Universität Graz für Research Assessments: Welche Rolle spielt dabei Open Science?

Katrin Brugger (Universität Graz, LQM)

Im Zuge internationaler Bewegungen wie CoARA, DORA oder dem Europ. Competence Framework for Researchers und einer seit 2009 einhergehenden vertiefenden Befassung hier im Hause mit dem Thema Leistungserhebung und -darstellung, geht die Uni Graz neue Wege im Research Assessment. Neben quantitativen Faktoren, Metriken und Indikatoren, welche eine oberflächliche Vergleichbarkeit suggerieren, sollen qualitative Dimensionen hinzugefügt werden, um das breite Set an Kompetenzen, Leistungen und Belastungen darzustellen.

Das unter dem Namen „Activity Framework“ (AF) laufende Gesamtunterfangen, greift auf bestehende Datenquellen der Universität Graz zu und wird Schritt für Schritt ergänzende Aspekte hinzufügen. Eine Umsetzung nach Karrierestufen und Disziplinen soll die fachspezifischen Anforderungen mannigfaltig abdecken und Spielraum erzeugen, um die Freiheit von Forschung und Lehre auszugestalten.

Die Uni Graz hat mit dem AF eben Rahmenbedingungen ins Rennen geschickt, die multiperspektivisch ansetzen. Einerseits wird Leistung und Belastung sichtbar, Quantität mit Narrativen ergänzt und auch ein Kulturwandel angestoßen, da das AF schlussendlich auch eine Ergänzung zum Arbeitsvertrag sein kann, um Ziele und Erreichtes in Einklang zu bringen. Durch die Anwendung auf Ausschreibungen und Berufungen, in welchen dann neben den historischen, quantitativen Faktoren auch Skills, Narrative und Vorstellungen abgefragt werden, kann aus einer eher homogenen Kohorte eine diverse, exzellente und zukunftsweisende Wissenschaft erwachsen.  

Die Rolle von Open Science Praktiken wird in diesem Prozess der Umsetzung von vielen Seiten aus integriert. Quantitativ können die Open Access Veröffentlichungen abgefragt werden. OS ist eine Herangehensweise, die sich an einer komplexem, auf Metaebene stattfindenden Diskussion zu einem Mindsetwandel befindet. Diese Änderung des Wahrnehmens wird durch persönliche Beschreibungen unterstützt und im Rahmen des AF in den Vordergrund gehoben.

MMag^a Katrin Brugger ist Finanzwirtin mit Abschluss in internationalem Management. Nach Aufbau eines intern. Rohstoffnetzwerkes an der Montanuni Leoben wechselte sie an die Uni Graz als Leitung des nationalen Netzwerkes Climate Change Centre. Seit 08/2024 ist sie für das Activity Frameworks an der Uni Graz zuständig.

Teaching Open Science at the Department of Psychology

Katja Corcoran / Silvia Kober (University of Graz, Department of Psychology)

As an empirical discipline, psychology strives to produce robust and reproduceable results as the base of cumulative knowledge. Since the replication crises in 2011, open science has become an important aspect of rigorous research methods. At the Department of Psychology, we strive to integrate the topic of open science and open science practices not only into research, but also into teaching. Thereby, we address all levels (BA, MA, Ph.D.) and try to establish an open science routine early on. The activities are part of empirical courses at Bachelor level and practical courses at Master level, and also contains the promotion of pre-registration of Master theses, providing guidelines on open science practices for doctoral students or awarding best practice examples at doctoral level. We will give examples of the integration of open science in theory and practice and talk about the acceptance, application, and experienced challenges of open science among lecturers in the department. 

Univ.-Prof. Dipl.-Psych. Dr.phil. Katja Corcoran is head of the section Social Psychology at the Department of Psychology. She works on basic research topics like goal pursuit, but she also participates in interdisciplinary consortiums to address applied topics concerning sustainable behavior and the clean energy transition. 
PD Mag. Dr. Silvia Kober is a Senior Scientist at the Department of Psychology and works in the section Neuropsychology & Neuroimaging. She has been Deputy Head of the Doctoral School of Psychology since 2024. She works on the development and evaluation of neuro-technologies for rehabilitation and training.

Open Science in der sonderpädagogischen Forschung

Maximilian Barth (Universität Graz, Institut für Bildungsforsch. und PädagogInnenbildung); Theresa M. Steiner (Universität Münster), Kristina Raich (Universität Graz, Institut für Bildungsforsch. und PädagogInnenbildung) & Timo Lüke (Universität Kassel)

Open Science verfolgt unter anderem das Ziel die Qualität von Forschung zu verbessern. Dementsprechend wird es als wünschenswert angesehen und auch gefordert, Open Science-Praktiken umzusetzen. In dieser Studie untersuchen wir, wie diese Forderungen in der sonderpädagogischen Forschungspraxis aufgenommen werden. Konkret geht es um Erfahrungen, Einstellungen, wahrgenommene Normen und Handlungsabsichten von Forschenden der Sonderpädagogik zu drei Open Science-Praktiken (Preprint, Open Data, Präregistrierung). Zudem möchten wir herausfinden, mit welchen Barrieren Forschende bei der Umsetzung der Praktiken konfrontiert sind. In Anlehnung an eine internationale Studie von Fleming et al. (2024) befragten wir 111 Forschende der Sonderpädagogik aus Österreich, Deutschland, Luxemburg und der Schweiz mit einer gekürzten Version des Open Scholarship Surveys (Beaudry et al., 2023). Die Ergebnisse zeigen, dass die Praktiken zumeist bekannt sind, jedoch selten angewendet werden. Der häufigste Grund für die seltene Anwendung ist die Unvertrautheit mit dem Vorgehen. Ein Großteil der Forschenden ist positiv gegenüber allen drei Praktiken eingestellt. Lediglich zwischen 3 und 8 % lehnen sie ab. Ungefähr die Hälfte der Befragten plant in den nächsten zwei Jahren Open Science-Praktiken umzusetzen. Wir befragten die Wissenschaftler*innen auch, wie sie gerne über Open Science informiert werden möchten. Am häufigsten wurden Workshops an der eigenen Institution oder auf Konferenzen, sowie wissenschaftliche Artikel genannt.

Maximilian Barth, BA MSc hat Erziehungswissenschaften studiert und ist wissenschaftlicher Mitarbeiter am Institut für Bildungsforschung und Pädagog*innenbildung an der Universität Graz. Sein Forschungsschwerpunkt ist die Wirksamkeit von Leseförderungen bei Menschen mit geistiger Behinderung.

From Transparency to Trust: Can Reporting Open Science Practices Improve Science Communication?

Gabriela Hofer / Živa Korda (University of Graz, Department of Psychology)

Public trust in science is crucial for addressing global challenges like the climate crisis. Although trust in science is generally high, it varies widely across populations and countries; Austria, for instance, recording rather low trust levels. Some argue that researchers can boost public trust in their findings by adhering to open science (OS) practices, such as sharing data and materials transparently. This would have important implications for science communication.

This talk overviews existing empirical research on whether OS practices indeed foster trust. Overall, members of the general public report to trust research applying OS practices more. Yet, it remains unclear whether this translates to stronger trust in individual studies applying OS. We present findings from two recent large-scale studies in Austria on the effectiveness of OS practices in increasing public trust.

In Study 1, 564 people read hypothetical scenarios about scientific studies. When participants read that “a researcher X conducted a study with an interesting finding, which he then publishes”, they rated the researcher as moderately competent and ethical and the findings as neither correct nor incorrect. However, when informed that researcher X also engaged in OS practices (sharing data and materials), participants rated the researcher as more competent and ethical and the findings as more correct.

Study 2 moved from hypothetical scenarios to summaries of real-world scientific findings, exploring whether mentioning OS practices affects the perceived credibility of findings and researcher trustworthiness. In a sample of 300 people, we tested whether this effect depends on prior exposure to OS information. Participants read two study summaries (one with OS practices mentioned, one without) and rated credibility and trustworthiness. The findings offer insights into how OS practices influence public perceptions.

Dr. rer.nat. Gabriela Hofer, BSc MSc is a postdoctoral researcher in personality psychology at the University of Graz. She discovered her passion for open science at the end of her Master’s degree and is a founding member of the Graz Open Science Initiative (GOSI).
Dr. rer.nat. Živa Korda is a researcher at the Department of Psychology studying eye movements across cognitive processes. Introduced to open science during her studies, she is now an active GOSI member, enthusiastic about improving research output through employing open science principles.

Streamlining Data-Driven Collaborative Tools and Reproducible Techniques

Thomas Gölles (Universität Graz, Institut für Geographie u. Raumforschung)

Reproducibility and collaboration are cornerstones of rigorous scientific research, yet many researchers face persistent challenges, including disorganized data management, irreproducible results, and difficulties in replicating complex computational workflows. These challenges are particularly pronounced in data-driven fields where analysis pipelines and outputs must be transparent and reliable. To address these needs, I developed a versatile project template based on Cookiecutter, tailored for researchers analyzing data with Python and preparing publications, posters, or presentations in LaTeX or Markdown. This framework integrates reproducibility and scalability by leveraging modern tools such as Docker, VS Code, and GitHub to create platform-independent workflows and version-controlled environments. It simplifies collaboration by standardizing folder structures, automating project setup, and providing support for scalable data management strategies. By embedding principles of open science and FAIR (Findable, Accessible, Interoperable, and Reusable) data practices, the template ensures that datasets, code, and analyses remain accessible, interpretable, and reusable across the research lifecycle. The presentation will explore the design philosophy behind the template, its implementation, and practical use cases, from small-scale exploratory studies to large, multi-institutional projects. Attendees will gain actionable insights into modernizing their research workflows, overcoming common pitfalls, and fostering a culture of transparency and collaboration in their fields.

Mag. rer.nat Thomas Gölles, PhD current research is on avalanches and how to detect them in satellite remote sensing and with lidar data. While, his PhD was in glaciology were he developed numerical models of the Greenland ice sheet and studied black carbon and albedo. Overall he is interested in data analytics and increasing research quality by automating the mundane tasks wherever possible. For this he likes to dive deep into interesting technology such as docker, streamlit, dask, FastAPI and of course machine learning.

Open Science in Quantitative Bioimaging – an Oxymoron?

Heimo Wolinsk (University of Graz, Institute of Molecular Biosciences)

Quantitative bioimaging has transformed the life sciences by enabling the precise visualization and measurement of cellular structures and processes, even at the molecular scale, driving critical advancements in biology, medicine, and drug discovery. Open science aims at making research fully transparent and accessible, promoting reproducibility and collaboration. It advocates for sharing not only results but also data, software, and methodologies. However, recent studies reveal a concerning lack of essential open science criteria, such as fundamental quality control and reproducibility standards, within bioimaging methods and technologies in the life sciences. Using practical examples from current in-house and external research projects, this talk will critically discuss how intellectual property, competition, career pressures and commercial user infrastructure challenge the realization of open science in the life science community. Furthermore, suggestions for achieving open science in this field are being debated.

Heimo Wolinski PhD is the scientific head of the Optical Imaging Resource at IMB-Graz, harboring state-of-the art high-end optical imaging systems for various applications in life sciences and beyond. His research is focused on studying how organelles, such as lipid droplets, interact with other cellular compartments and how these interactions may contribute to the development of lipid-related diseases. His studies primarily utilize genetically modified yeast and advanced image-informatics methodologies.

Advancing Open Science in MRI Research: Comprehensive Data Collection and Distribution at the MRI Lab Graz

Karl Koschutnig, Thomas Zussner, Alexandra Lipfert (University of Graz, Institute of Psychology)

The MRI Lab Graz is committed to advancing Open Science through a holistic approach to data collection, analysis, and distribution in MRI research. Central to our methodology is adopting the Brain Imaging Data Structure (BIDS) for storing data, which provides a standardised framework enhancing data organisation, facilitating sharing, and improving reproducibility across studies. To address privacy concerns in sharing neuroimaging data, we utilise defacing tools and other anonymisation techniques to remove identifiable features while preserving data integrity. Our analytical processes leverage containerisation technologies like Docker. Encapsulating computational environments within containers ensures that analyses are reproducible and can be easily shared or deployed across different systems. This simplifies dependency management and mitigates software version issues. DataLad, built upon Git, is our version control system for data and analyses. It allows us to maintain a comprehensive history of all modifications, fostering transparency and collaboration. Researchers can track changes, revert to previous states, and understand the evolution of data processing pipelines. Recognising the increasing computational demands of MRI data analysis, we plan to integrate high-performance computing (HPC) clusters into our infrastructure. By utilising DataLad and BIDS to ensure standardised data structures, we can more easily clone datasets to HPC systems. Our implementation exemplifies how integrating standardised data formats, robust anonymisation methods, reproducible computational environments, and meticulous version control collectively promotes Open Science. By sharing our approach and experiences, we aim to inspire other laboratories to adopt similar practices, enhancing collaboration and accelerating scientific discovery in MRI research.

Dr. Karl Koschutnig is a neuropsychologist and the Head of the MRI Lab Graz. Formerly at LKH Graz's clinical department of neuroradiology, he specialises in functional and structural MRI processing and diffusion tensor imaging. With 58 publications, an h-index of 28, and over 3,000 citations, he is an expert in neuroimaging.

Aufbau und Betrieb eines OER-Repositoriums: Erfahrungen, Learnings und Herausforderungen

Michael Kopp, Nadine Linschinger, Michael Raunig (Universität Graz, Zentrum für digitales Lehren und Lernen)

Die Universität Graz betreibt seit 2023 mit ihrem „OER-Portal“ ein eigenes Repositorium für Open Educational Resources (OER). Das OER-Portal ist ein wesentlicher Baustein in der OER-Policy der Universität und ein zentraler Faktor dafür, dass die Universität als erste österreichische Hochschule zur „Certified OER Higher Education Institution“ wurde.

Ein Repositorium als zentrales Angebot für Hochschulangehörige ist essentiell für die Attraktivierung von OER. Nachdem in Österreich bisher keine nationalen Repositorien verfügbar sind, müssen Hochschulen ihre eigene technische Infrastruktur aufbauen. Dieser Beitrag präsentiert den bisherigen Weg der Universität Graz mit Bezug auf Infrastruktur, Betreuung, Bewerbung und Qualitätssicherung und geht auf Learnings und Herausforderungen ein. Das Fallbeispiel soll zeigen, wie eine individuelle Lösung entlang der konkreten Rahmenbedingungen an einer Hochschule ausgestaltet werden kann.

Das OER-Portal wurde ab 2020 im Rahmen eines vom österreichischen Wissenschaftsministerium geförderten Projektes aufgebaut. Es ist vom Anspruch geleitet, allen Bediensteten der Universität ein System zur Verfügung zu stellen, das einfach zu bedienen und technisch stabil ist, auf aktuelle Standards beruht und eine treffsichere Suche sowie eine zumindest basale Qualitätskontrolle ermöglicht. Um dem Repositorium möglichst hohe Attraktivität zu verleihen, wurden OER-Weiterbildungen, Unterstützungsangebote bei der OER-Erstellung und Werbemaßnahmen von Beginn an mitkonzipiert. Auch die Integration des Repositoriums in die universitätsweite IT-Infrastruktur ist ein wesentlicher Faktor für seine nachhaltige Nutzung.

In der Entwicklung zeigte sich rasch, dass mit diesem Anspruch zahlreiche Herausforderungen, wie Auswahl des Systems, Qualitätssicherung oder Community-Building, verbunden sind. Der Beitrag gibt Einblick in den Umgang mit ihnen und schließt mit einem Ausblick auf künftige Maßnahmen im Rahmen der Open-Education-Strategie der Universität.

Mag. Dr.phil. Michael Kopp ist Leiter des Zentrums für digitales Lehren und Lernen an der Universität Graz. Seine inhaltlichen Schwerpunkte liegen aktuell auf Künstlicher Intelligenz, Open Educational Resources und der Integration von Kompetenzmodellen in digitale Lernumgebungen.

Nadine Linschinger, BA. MEd BEd ist Open Education Managerin am Zentrum für digitales Lehren und Lernen der Universität Graz und verantwortlich für die Koordination von OER-Projekten, die OER-Strategie und Community-Building an der Universität Graz.

Mag. Dr.phil. Michael Raunig ist Mitarbeiter am Zentrum für digitales Lehren und Lernen der Universität Graz. Schwerpunkte seiner Tätigkeit sind die Auseinandersetzung mit aktuellen Bildungs- und Wissenstechnologien und die Konzeption und Durchführung von Weiterbildungsformaten sowie von Entwicklungsprojekten.

Daten teilen - Daten finden - Daten nutzen: Open Science und das Austrian Social Science Data Archive (AUSSDA) an der Universität Graz

Otto Bodi-Fernandez (Universität Graz, Institut für Soziologie)

Das Archivieren und Teilen von Forschungsdaten gewinnt aktuell stark an Bedeutung. Data Sharing erhöht die Effizienz von Forschungsaktivitäten, führt zu mehr Nachhaltigkeit von investierten Fördermitteln und trägt zu mehr Transparenz und Nachvollziehbarkeit von Forschungsergebnissen bei. Sowohl von Fördergebern als auch von Fachjournals wird zunehmend gefordert, Forschungsdaten zur Nachnutzung zu archivieren und frei zugänglich zu machen. Insbesondere in den Sozialwissenschaften stellen Umfragedaten eine wertvolle Ressource mit hohem Nachnutzungspotential zur Beantwortung neuer Forschungsfragen dar.

Mit AUSSDA – The Austrian Social Science Data Archive steht der sozialwissenschaftlichen Community in Österreich eine zertifizierte Dateninfrastruktur zur Verfügung, die Forschenden unterstützende Services, insbesondere Datenarchivierung und Hilfe bei Datennachnutzung, bereitstellt. Dabei wird der Grundsatz verfolgt, Daten so offen wie möglich zur Verfügung zu stellen. Jedoch sind in den Sozialwissenschaften auch ethische und datenschutzrechtliche Aspekte zu berücksichtigen, die den offenen Zugang einschränken können.

Der Beitrag gibt einen Überblick über die Services des Datenarchiv und beleuchtet anhand von praktischen Beispielen die Open Science Strategie von AUSSDA, die zur Vereinbarkeit von Data Sharing und Datenschutz beitragen soll. Dabei werden sowohl die Möglichkeiten als auch die Grenzen eines offenen Datenzugangs aufgezeigt.

Mag.phil. Dr.rer.soc.oec. Otto Bodi-Fernandez ist am Center for Social Research als Grazer Kontaktstelle von AUSSDA tätig. Er beschäftigt sich mit Forschungsdatenmanagement und lehrt empirische Methoden am Institut für Soziologie. Seine Forschungsinteressen sind Kindheits- und Jugendforschung sowie Bildungsungleichheit.

Fostering Open Science: Insights from two Bottom-Up Initiatives at the University of Graz

Hildrun Walter (University of Graz, Center for Society, Science and Communication), Sarah von Götz, Hilmar Brohmer (University of Graz, Department of Psychology)

The definition of open science in the UNESCO Recommendation on Open Science (2021) comprises many different movements and practices, which underline the synergies and interactions that may come to play between different areas. However, it also reveals the difficulties in developing a common understanding between stakeholders and in implementing open science practices.

In its Openness Position Paper published in 2022, the Arqus European University Alliance defined a common framework for its understanding of open science and strategic approaches to support the implementation at partner universities. We will share insights from the bottom-up initiative Open Science Ambassador Network that evolved from the task force in 2023. The network is dedicated to promote Open Science as a cross-cutting topic for the research dimension in Arqus, share best practices in their specific scientific disciplines and utilizing synergies between member universities.

Beside this European network, the University of Graz also hosts the Graz Open Science Initiative (GOSI). GOSI has been active since 2018 and aims to create awareness of Open-Science related topics among all universities in Graz. We will share insights from regular GOSI events, such as journal clubs to discuss papers on Open Science (the “ReproducibiliTea”) or larger Open Science events (e.g., the Open Science Day at the Department of Psychology; discussion round on Open Science and Artificial Intelligence).

Dipl.-Ing. Dr. Hildrun Walter is a scientist for science communication at the University of Graz dedicated to the evaluation of communication programs. She is interested in how open science practices and participatory approaches in research can influence the societal perception of science.

Sarah von Götz, BSc MSc. is a doctoral student at the Cognitive Science Section of the Department of Psychology and is investigating the perceived credibility of online health information. She joined the Graz Open Science Initiative in 2024.

Dr.rer.nat. Hilmar Brohmer, MSc, see above.

Geschichte sichtbar machen: Videos zur partizipativen Forschung über das „Lebensborn“-Heim Wienerwald, 1938–1945

Nadjeschda Stoffers [1,2], Michaela Tasotti [1], Martin Sauerbrey-Almasy [2], Mathieu Mahve-Beydokhti [3] (1: Universität Graz, Institut für Geschichte; 2: Ludwig Boltzmann Institut für Kriegsfolgenforschung; 3: LBG Open Innovation in Science Center)