NEWS
Science Insight: VR study on gesture control of an MRI patient table
An innovative virtual reality study was recently successfully completed in the usability laboratory at the Research Campus STIMULATE, which pursued a central research question: ‘To what extent do the usability test results of gesture-controlled systems differ in physical and virtual environments?’ Robert Klank, a doctoral student in computer science in the STIMULATE Human-Machine Interaction research group, conducted a study with a total of 41 test subjects, using both a real MRI mock-up and its detailed ‘digital twin’ in virtual reality (VR).
The background to the study was a task that frequently occurs in everyday clinical practice: moving the patient table during MRI interventions. Until now, this has been carried out by medical technologists for radiology in the control room, often at the request of doctors in the examination room. The idea: direct gesture control could simplify this communication and make processes more efficient. To investigate this, the tasks for the study were abstracted. Participants did not need to master the entire operating logic of an MRI scanner, but only had to move the table to specific target positions. For each position, the test subjects used previously learned gestures – one sensor on the arm stood for ‘table forward’, a second for ‘table back’. Once a position was reached, it was confirmed with another gesture.
The tasks to be controlled were based on real-life activities: moving the table in for scans, moving it out for procedures such as disinfection or punctures. In the study, these movements were performed alternately, as in everyday clinical practice. The participants wore surgical clothing and gloves to recreate the clinical situation as authentically as possible.
The study design stipulated that each test subject would work with both a low-error and an error-prone system. The allocation was made in random order. One group completed the tasks on the physical MRI mock-up in a realistically recreated MRI room in the usability laboratory. The mock-up corresponded to the original dimensions of a Siemens Free.Max MRI. The comparison group worked entirely in a VR environment. For this purpose, the MRI, rooms and equipment were recreated in 3D using Unity software. Sounds, movement speed and delay were taken from the real mock-up to create identical test conditions. The participants used VR glasses with an integrated hand-tracking sensor to see their hands in the virtual world and perform gestures.
This pilot study was characterised by a particular methodological sophistication: the sensors attached were only dummies for the simulation. Instead of the sensors, the study leader acted as a ‘transmission link’ and triggered the corresponding movement of the bed via visual contact on the computer. This approach made it possible to examine the interaction processes at a very early stage of development without having to fully implement the complex technical connection of the sensor technology to the control system.
The findings provide valuable impetus for the further development of innovative and user-friendly control concepts in image-guided medical technology. In the long term, this technology could not only improve workflows in MRI, but also increase safety and precision in patient-related procedures.
Science Insight: VR-Studie zur Gestensteuerung einer MRT-Patientenliege
Im Usability-Labor des Forschungscampus STIMULATE wurde kürzlich eine innovative Virtual-Reality-Studie erfolgreich abgeschlossen, die eine zentrale Forschungsfrage verfolgte: „Inwieweit unterscheiden sich die Usability-Testergebnisse von gestengesteuerten Systemen in physischen und virtuellen Umgebungen?“. Robert Klank, Doktorand aus der Informatik in der STIMULATE Forschungsgruppe Mensch-Maschine-Interaktion, führte dazu eine Studie mit insgesamt 41 Proband:innen durch, bei der sowohl ein reales MRT-Mockup als auch dessen detailgetreuer „digital twin“ in Virtual Reality (VR) zum Einsatz kamen.
Hintergrund der Studie war eine Aufgabe, die im klinischen Alltag häufig vorkommt: das Fahren der Patientenliege während MRT-Interventionen. Diese wird bislang von Medizinischen Technolog:innen für Radiologie im Kontrollraum durchgeführt, häufig nach Zuruf durch Ärztinnen und Ärzte im Untersuchungsraum. Die Idee: Eine direkte Gestensteuerung könnte diese Kommunikation vereinfachen und die Abläufe effizienter gestalten. Um dies zu untersuchen, wurden die Aufgaben für die Studie abstrahiert. Die Teilnehmenden mussten nicht die komplette Bedienlogik eines MRT beherrschen, sondern lediglich bestimmte Zielpositionen der Liege anfahren. Für jede Position nutzten die Probanden zuvor erlernte Gesten – ein Sensor am Arm stand für „Liege vor“, ein zweiter für „Liege zurück“. Nach Erreichen einer Position wurde diese mit einer weiteren Geste bestätigt.
Die zu steuernden Aufgaben orientierten sich an realen Tätigkeiten: Hereinfahren der Liege für Scans, Herausfahren für Eingriffe wie Desinfektion oder Einstich. In der Studie wurden diese Bewegungen – wie im klinischen Alltag – abwechselnd ausgeführt. Die Teilnehmenden trugen OP-Kleidung und Handschuhe, um die klinische Situation möglichst authentisch nachzustellen.
Das Studiendesign sah vor, dass jede Versuchsperson sowohl mit einem fehlerarmen als auch mit einem fehlerbehafteten System arbeitete. Die Zuteilung erfolgte in zufälliger Reihenfolge. Eine Gruppe absolvierte die Aufgaben am physischen MRT-Mockup in einem realistisch nachgestellten MRT-Raum im Usability-Labor. Das Mockup entsprach den Originalmaßen eines Siemens Free.Max MRT. Die Vergleichsgruppe arbeitete vollständig in einer VR-Umgebung. Hierfür wurden MRT, Räume und Equipment mit der Software Unity in 3D nachgebildet. Geräusche, Bewegungsgeschwindigkeit und Verzögerung wurden aus dem realen Mockup übernommen, um identische Testbedingungen zu schaffen. Die Teilnehmenden nutzten eine VR-Brille mit integriertem Hand-Tracking, um ihre Hände in der virtuellen Welt zu sehen und Gesten auszuführen.
Eine besondere methodische Raffinesse zeichnete diese Pilotstudie aus: Bei den angebrachten Sensoren handelte es sich nur um Attrappen für die Simulation. Statt der Sensoren fungierte der Studienleiter als „Übertragungsglied“ und löste über Sichtkontakt am Computer die entsprechende Bewegung der Liege aus. Dieses Vorgehen ermöglichte es, die Interaktionsabläufe in einem sehr frühen Entwicklungsstadium zu untersuchen, ohne die komplexe technische Anbindung der Sensorik an die Steuerung bereits vollständig umsetzen zu müssen.
Die gewonnenen Erkenntnisse liefern wertvolle Impulse für die Weiterentwicklung innovativer und benutzerfreundlicher Steuerungskonzepte in der bildgeführten Medizintechnik. Langfristig könnte diese Technologie nicht nur Arbeitsabläufe im MRT verbessern, sondern auch die Sicherheit und Präzision bei patientennahen Eingriffen erhöhen.