Visuelle Unterstützung für Hubschrauberpiloten unter schlechten

Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Visuelle Unterstützung für
Hubschrauberpiloten unter schlechten
Sichtbedingungen
DGLR Workshop Pilotenunterstützungssysteme
Manching, 27. / 28. Mai 2015
Franz Viertler
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Überblick
• Motivation: Welches Potential hat die HMD Technologie für die
Unterstützung von Hubschrauberpiloten?
• Rotorcraft Simulation Environment (ROSIE) als Werkzeug
• 3D-konformale Anzeigekonzepte für die Flugführung und
Kollisionsvermeidung
• Analysemethoden zur Bewertung von erweiterten
Anzeigekonzepten
• Zusammenfassung und Ausblick
Überblick
Franz Viertler 2
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Welches Potential hat die HMD Technologie für die Unterstützung
von Hubschrauberpiloten?
1) Erweiterung der Flight Envelope: Flug in Bodennähe unter schlechtesten
Sichtbedingungen (Wolken, Nebel, …), unter 800 m Sichtweite
– Notwendig für eine 24/7 h Luftrettung, wie z.B. im Projekt „PrimAIR“
angedacht
– Selbst bei IFR Anflügen braucht der Pilot die Außensicht zur Landung
2) Erhöhung der Sicherheit und Reduzierung der Unfälle durch:
– Controlled Flight into Terrain (CFIT)
– Loss of Situation Awareness
– Whiteout / Brownout
– Landings
Whiteout Landing
Motivation: Welches Potential hat die HMD Technologie für die Unterstützung von
Hubschrauberpiloten?
Franz Viertler 3
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Untersuchungen zur Mensch-Maschine-Schnittstelle für 3Dkonformale Anzeigen
•
Einsatz von Flugsimulation aufgrund des hohen Risikos bei realen Flügen
unter extrem schlechten Sichtbedingungen (< 800m)
•
Potential für Human Factors Untersuchungen:
– Herausforderungen in der HMD Technologie: Begrenzter FoV, Display
Clutter & Latenzen
– Simulation verschiedener Sensor-Konfigurationen und Eigenschaften,
sowie deren Performance
•
Hohe Anforderungen an die Flugsimulation:
– Registrierung der HMD-Visualisierung mit der Außensicht im Simulator
(Augmented Reality über einem virtuellen Hintergrund)
– Hohe Auflösung in der Darstellung für den bodennahen Flug mit
Hindernissen (Projektionsauflösung, Objekte und TerrainDatenbankauflösung)
Motivation: Welches Potential hat die HMD Technologie für die Unterstützung von
Hubschrauberpiloten?
Franz Viertler 4
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Rotorcraft Simulation Environment (ROSIE)
als Werkzeug
Rotorcraft Simulation Environment als Werkzeug
Franz Viertler 5
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Rotorcraft Simulation Environment (ROSIE) als Werkzeug
• Flugdynamik Simulation und Instructor
/ Operator Station
• 6-Kanal Projektionssystem für die
Außensicht
– Horizontaler FoV 200°
– Vertikaler FoV -50°/+30°
– Auflösung Projektoren:1920 x
1200 pixels (WUXGA)
– Autokalibrierungssystem für
Verzerrung und Blending
• Generische Cockpitumgebung mit
Mensch-Maschine Interaktion
– Vier 15” austauschbare
Touchscreen Monitore
Rotorcraft Simulation Environment als Werkzeug
Rotorcraft Simulation Environment - ROSIE
Franz Viertler 6
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Cockpit Umgebung
•
•
•
•
•
Flexibilität:
– Generische Instrumentierung
– Cockpit austauschbar
Bo105 controls + trim actuators
Analoges Overhead-Panel
Seat shaker für Rotorvibrationen
Implementierung der Anzeigen mit
– 2Indicate (DLR)
– OpenSceneGraph
ROSIE - 4 Display Configuration
ROSIE - 2 Display Configuration
Rotorcraft Simulation Environment als Werkzeug
Franz Viertler 7
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Binocular see-through Head-Mounted Display with head-tracking
• HMD main features:
– Field-of-view:
– Resolution:
– LCD with full color
– See-through transmission:
– Low-cost:
• Head-tracking main features:
– Hybrid inertial-ultrasonic 6 DoF
– Update frequency:
– Translational accuracy:
– Rotational accuracy:
pitch & roll
70%
< 5.000 USD
180 Hz
2.0-3.0 mm
0.25°
0.5°
yaw
IG-channel
(mean value)
HMD
(each eye)
23°x 17°
800 x 600 pixel
LCD29 HMD with IS900
Horizontal
resolution (pixel)
Vertical
resolution (pixel)
Horizontal
FOV (degree)
Vertical
FOV (degree)
Horiz. resolution
(arcmin/pixel)
Vertical resolution
(arcmin/pixel)
1920
1200
84
61.3
2.625
3.067
800
600
23
17
1.725
1.700
Rotorcraft Simulation Environment als Werkzeug
Franz Viertler 8
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
3D-konformale Anzeigekonzepte für die Flugführung
und Kollisionsvermeidung
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Franz Viertler 9
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
3D-konformale Anzeigekonzepte für die Flugführung und
Kollisionsvermeidung
•
•
•
Pilot Task Analysis: Flight Guidance & Collision Avoidance
Zuordnung von Darstellungselementen (Information Entities) zu den Tasks
– Flight Guidance (PFD, HSI, DMAP,…)
– Collision Avoidance (HTAWS, HSI,…)
Ableitung von 3D-konformalen synthetischen Elementen
Visuelle Erweiterung der Flugumgebung als Unterstützung für den Piloten
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Franz Viertler 10
Lehrstuhl für Hubschraubertechnologie
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Technische Universität München
Subtask definition
nach G.D. Padfield
Franz Viertler 11
Lehrstuhl für Hubschraubertechnologie
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Technische Universität München
Franz Viertler 12
Lehrstuhl für Hubschraubertechnologie
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Technische Universität München
Franz Viertler 13
Lehrstuhl für Hubschraubertechnologie
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Technische Universität München
Franz Viertler 14
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Abb.: air-traffic visualization
(J. Ernst, F. Eisenkeil – Airbus D&S)
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Franz Viertler 15
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
3D-konformale Anzeigekonzepte für die Flugführung und
Kollisionsvermeidung
Inverse „T“ Pattern (Speed, Altitude, Vertical Speed, Heading)
Attitude Indicator
(Aircraft fixed)
Unclassified
Obstacles through
Sensor Information
Data Base
Obstacles (Terrain,
Buildings)
Navigation Aid – Route Arrows
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Franz Viertler 16
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
3D-konformale Anzeigekonzepte zur Hinderniserkennung (Video)
3D-konformale Anzeigekonzepte für die Flugführung und Kollisionsvermeidung
Franz Viertler 17
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Analysemethoden zur Bewertung von erweiterten
Anzeigekonzepten
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 18
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
• Messung der aktiven Pixel zur Display Clutter- / Occlusion-Analyse
-> Ableiten von Gestaltungskonzepten für die 3D-konformale Visualisierung
• Beurteilungen durch Piloten
– Untersuchung von Hindernis-Visualisierungen: „Sense and Avoid“
Szenarien
-> Time to Contact und Performance Messungen
– Untersuchung einer „Precision Hover Symbology“ zur Unterstützung
im Schwebeflug mit eingeschränkter Außensicht
-> Performance Messungen / Vergleich mit Referenz-Schwebeflügen
– Workload Messungen und Situation Awareness Bewertungen
-> NASA TLX und SART geplant
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 19
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Active Pixel Messungen – Display Clutter / Occlusion
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 20
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Active Pixel Ratio – Auswertungen
• Separiert in Farben
-> Zuordnung der
Informations-Elemente
• Vergleich der
prozentualen
Verdeckung
• Ermöglicht die Ableitung
von Anpassungen in der
Visualisierung
• Bsp: Terrain Darstellung
1) Outlines (links)
2) Grid (rechts)
-> Verdeckungsgrad bei
Grid höher
-> Grundsätzlich nimmt
Verdeckung mit
größerer VR ab (Fading)
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 21
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Sense and Avoid Scenarios – Obstacle Detection
• Vorgegebener Flugpfad soll geflogen werden
• Hindernissen (z.B. Baukran, Windkraftanlage,
Hubschrauber) ausweichen
• Variation der Sichtweiten (100m, 200m, 400m,
800m)
• Unterschiedliche Hindernis Visualisierungen
Hindernisse
HindernisVisualisierung im HMD
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 22
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Precision Hover Symbology
• Unterstützung im Schwebeflug
bei schlechten Sichtbedingungen
-> Referenzen in der Außensicht
stark eingeschränkt
• 3D-konformale Markierungen zur
Einhaltung von
– Höhe (vertical drift)
– Horizontale Position (lateral &
longitudinal drift)
– Heading
• Zwei Szenarien:
– in Bodennähe bei Landung
– Windenoperation bei
Windkraftanlage
• Unterschiedliche Sichtweiten
(Außensicht-Referenzen)
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
HindernisVisualisierung im HMD
Franz Viertler 23
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Precision Hover Symbology (Video)
Analysemethoden zur Bewertung von erweiterten Anzeigekonzepten
Franz Viertler 24
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Zusammenfassung
• 3D-konformale Anzeigen im HMD als
Resultat einer Task-Analyse
• Anpassung der Simulationsumgebung und
HMD Integration
• Analyse und Bewertungs-Methoden
– Auswertung des Verdeckungsanteils
anhand der aktiven Pixel
– Bewertung der Konzepte durch Piloten
in einer Studie
Slim Cockpit + HMD
Ausblick
• Reduzierte Head-Down
Instrumentierung (Slim Cockpit)
• Virtual Aircraft-Fixed Instruments
im HMD
Virtual Aircraft-Fixed Cockpit Instruments (DLR, H.-U. Doehler, J. Ernst)
Zusammenfassung und Ausblick
Franz Viertler 25
Lehrstuhl für Hubschraubertechnologie
Technische Universität München
Vielen Dank für Ihre
Aufmerksamkeit!
Franz Viertler 26