NEWS
AI in Medicine: Why Physical Expertise Is Essential for Safe Applications
Research Campus STIMULATE contributes to a current DPG publication on the opportunities and risks of artificial intelligence in medicine. The publication has a print run of 15,000 copies and is aimed, among others, at schools, universities, and policymakers.
Artificial intelligence (AI) is increasingly finding its way into medicine. It can analyse large amounts of medical data, identify patterns, and support physicians, for example, in the evaluation of CT or MRI scans. At the same time, one crucial question arises: How can we ensure that the results produced by AI are reliable?
This question is addressed in the latest issue of “Physikkonkret,” a publication series by the German Physical Society (DPG). Under the title “AI in Medicine – Potential, Risks and the Role of Physics,” the authors examine the opportunities offered by AI as well as the challenges associated with its use in healthcare.
One of the authors is Eric Einspänner, Head of the Clinical AI in Medical Imaging Research Group at Research Campus STIMULATE. Together with Maria Steinberger (LMU University Hospital), Bastian Breustedt (Federal Office for Radiation Protection), Thomas Wendler (University of Augsburg), and Tobias Schäffter (Physikalisch-Technische Bundesanstalt), he highlights the importance of physical expertise for the use of AI in medicine.
AI can do a great deal – but it needs to be validated: Medical AI systems can analyse large amounts of data within a short period of time. This opens up new possibilities, particularly in medical imaging: image data from CT, MRI, or other imaging techniques can be analysed automatically and used to support physicians in diagnosis.
However, an AI system does not automatically produce a correct result. One major challenge is that many AI models provide little transparency as to how they arrive at a particular decision. The DPG refers to this as the “black box” problem. In addition, biases may be present in the training data. If, for example, a system has primarily been developed using data from a particular patient group, its performance may be poorer for other groups. For medical applications, this means that AI must not only be powerful, but also reliable, safe, and verifiable under real-world conditions.
This is where physics comes into play: Medical imaging is based on physical principles. Whether X-ray imaging, computed tomography, or magnetic resonance imaging – before AI can analyse a medical image, that image must first be generated and accurately measured using a technical system.
Physicists bring precisely this understanding to the field. They work with measurement methods, devices, data quality, and measurement uncertainties. This enables them not only to develop AI systems, but also to critically assess their results.
In medical physics, this task is becoming increasingly important. The DPG emphasises that the quality control of AI systems could become one of the key responsibilities of medical physics experts in the future. This includes, among other things, the development of suitable testing procedures and the validation of AI applications.
Research for medical practice: At Research Campus STIMULATE, the combination of medical imaging, technology, and artificial intelligence is already at the centre of numerous research activities. This interdisciplinary approach combines medical requirements with scientific and technological development. For Eric Einspänner and the Clinical AI in Medical Imaging Research Group, this means, in particular, not considering AI in isolation. Instead, the crucial question is how AI systems perform under real clinical conditions – and how their results can be evaluated reliably.
The current DPG publication therefore makes one thing clear: the future of medical AI is not solely about more powerful algorithms. High-quality data, sound physical expertise, and methods for assessing the quality and safety of AI applications are equally important. “Responsible AI in medicine requires physical expertise,” says DPG President Heike Riel, summarising the publication’s central message.
The full issue “AI in Medicine – Potential, Risks and the Role of Physics” is available from the German Physical Society.
KI in der Medizin: Warum physikalisches Wissen für sichere Anwendungen entscheidend ist
Forschungscampus STIMULATE beteiligt sich an aktueller DPG-Publikation zu Chancen und Risiken von Künstlicher Intelligenz in der Medizin. Der Beitrag erscheint mit einer Auflage von 15.000 Exemplaren und richtet sich unter anderem an Schulen, Universitäten und politische Entscheidungstragende.
Künstliche Intelligenz (KI) hält zunehmend Einzug in die Medizin. Sie kann große Mengen medizinischer Daten analysieren, Muster erkennen und Ärztinnen und Ärzte beispielsweise bei der Auswertung von CT- oder MRT-Aufnahmen unterstützen. Gleichzeitig stellt sich eine entscheidende Frage: Wie lässt sich sicherstellen, dass die Ergebnisse einer KI auch zuverlässig sind?
Mit dieser Frage beschäftigt sich die aktuelle Ausgabe der Publikationsreihe „Physikkonkret“ der Deutschen Physikalischen Gesellschaft (DPG). Unter dem Titel „KI in der Medizin – Potential, Risiko und die Rolle der Physik“ beleuchten die Autorinnen und Autoren die Chancen der KI, aber auch die Herausforderungen, die mit ihrem Einsatz im Gesundheitswesen verbunden sind.
Zu den Autoren gehört Eric Einspänner, Leiter der Forschungsgruppe Clinical AI in Medical Imaging am Forschungscampus STIMULATE. Gemeinsam mit Maria Steinberger (LMU Klinikum), Bastian Breustedt (Bundesamt für Strahlenschutz), Thomas Wendler (Universität Augsburg) und Tobias Schäffter (Physikalisch-Technische Bundesanstalt) ordnet er die Bedeutung physikalischer Expertise für den Einsatz von KI in der Medizin ein.
KI kann viel – aber sie muss überprüft werden: Medizinische KI-Systeme können große Datenmengen innerhalb kurzer Zeit analysieren. Gerade in der medizinischen Bildgebung eröffnet das neue Möglichkeiten: Bilddaten aus CT, MRT oder anderen Verfahren können automatisiert ausgewertet und Ärztinnen und Ärzte bei der Befundung unterstützt werden.
Doch ein KI-System liefert nicht automatisch ein richtiges Ergebnis. Ein wesentliches Problem ist, dass viele KI-Modelle nur schwer nachvollziehbar machen können, wie sie zu einer bestimmten Entscheidung gekommen sind. Die DPG bezeichnet dies als „Blackbox“-Problem. Hinzu kommen mögliche Verzerrungen in den Trainingsdaten. Wurde ein System beispielsweise überwiegend mit Daten einer bestimmten Patientengruppe entwickelt, kann seine Leistung bei anderen Gruppen schlechter ausfallen.
Für den medizinischen Einsatz bedeutet das: KI muss nicht nur leistungsfähig, sondern auch zuverlässig, sicher und unter realen Bedingungen überprüfbar sein.
Hier kommt die Physik ins Spiel: Medizinische Bildgebung basiert auf physikalischen Prinzipien. Ob Röntgen, Computertomografie oder Magnetresonanztomografie – bevor eine KI ein medizinisches Bild analysieren kann, muss dieses Bild zunächst mit einem technischen System erzeugt und korrekt gemessen werden.
Physikerinnen und Physiker bringen genau dieses Verständnis mit. Sie beschäftigen sich mit Messverfahren, Geräten, Datenqualität und Messunsicherheiten. Damit können sie nicht nur KI-Systeme entwickeln, sondern auch deren Ergebnisse kritisch überprüfen.
In der Medizinphysik gewinnt diese Aufgabe zunehmend an Bedeutung. Die DPG betont, dass die Qualitätskontrolle von KI-Systemen künftig zu den wichtigen Aufgaben von Medizinphysik-Expertinnen und -Experten gehören kann. Dazu zählen unter anderem die Entwicklung geeigneter Prüfverfahren und die Validierung von KI-Anwendungen.
Forschung für die medizinische Praxis: Am Forschungscampus STIMULATE steht die Verbindung von medizinischer Bildgebung, Technologie und Künstlicher Intelligenz bereits heute im Mittelpunkt zahlreicher Forschungsaktivitäten. Der interdisziplinäre Ansatz verbindet medizinische Anforderungen mit wissenschaftlicher und technologischer Entwicklung. Für Eric Einspänner und die Forschungsgruppe Clinical AI in Medical Imaging bedeutet das insbesondere, KI nicht isoliert zu betrachten. Entscheidend ist vielmehr die Frage, wie KI-Systeme unter realen klinischen Bedingungen funktionieren – und wie ihre Ergebnisse zuverlässig bewertet werden können.
Die aktuelle DPG-Publikation macht damit deutlich: Die Zukunft der medizinischen KI besteht nicht allein aus leistungsfähigeren Algorithmen. Ebenso wichtig sind hochwertige Daten, fundierte physikalische Kenntnisse und Verfahren, mit denen sich die Qualität und Sicherheit von KI-Anwendungen überprüfen lassen. „Verantwortungsvolle KI in der Medizin braucht physikalische Expertise“ – so fasst DPG-Präsidentin Heike Riel die zentrale Botschaft der Publikation zusammen. Die vollständige Ausgabe „KI in der Medizin – Potential, Risiko und die Rolle der Physik“ ist bei der Deutschen Physikalischen Gesellschaft verfügbar.