human spatial representations and spatial - ETH E

DISS. ETH NO. 22980
HUMAN SPATIAL REPRESENTATIONS AND SPATIAL MEMORY
RETRIEVAL
A thesis submitted to attain the degree of
DOCTOR OF SCIENCES of ETH ZURICH
(Dr. sc. ETH Zurich)
presented by
JULIA FRANKENSTEIN
Dipl. Psych., Eberhard Karls Universität Tübingen
born on 06.07.1979
citizen of Germany
accepted on the recommendation of
Prof. Dr. C. Hölscher
Dr. H. Spiers
Prof. Dr. H. A. Mallot
2015
!
Zusammenfassung
Um ihren Bedürfnissen (z.B. Nahrungssuche) in ihrer Umwelt gerecht zu werden, bewegen sich Menschen und Tiere durch ihre Umwelt. Um dies effektiv und reproduzierbar
organisieren zu können, müssen räumliche Erinnerungen gespeichert und situationsadäquat abgerufen werden können. Diese Arbeit beschäftigt sich damit, wie räumliches
Langzeitgedächtnis organisiert ist, wie es abgerufen wird und welchen Einflüssen es während des Abrufs unterworfen ist. Eine zentrale Frage, um die es in der Forschung zur
Raumkognition geht, ist, ob räumliches Wissen im Langzeitgedächtnis egozentrisch oder
allozentrisch abgespeichert wird. Mit meiner Dissertation möchte ich einen Beitrag zur
Klärung dieser Frage leisten. Ich möchte betonen, daß es wichtig ist, das Format, in
dem Wissen im Langzeitgedächtnis gespeichert wird und das Format, in welchem es im
Arbeitsgedächtnis abgerufen und mit der aktuellen Wahrnehmung in Einklang gebracht
wird, getrennt zu betrachten.
Bezüglich des Memorierens im Langzeitgedächtnis gehen viele Theorien von mindestens zwei Repräsentationsformaten aus, dem Routenwissen und dem Überblickswissen.
Während das Routenwissen eine Verknüpfung von Orten mittels zurückgelegter Wege
darstellt, und also den Weg, Landmarken und die damit verknüpften Richtungsentscheidungen zum Inhalt hat, kann das Überblickswissen als integriertes mentales Modell der
räumlichen Lage der Orte zueinander verstanden werden. Wege, Richtungsentscheidungen und Handlungsanweisungen sind nicht unbedingt Teil des Überblickswissens, und die
relative Lage der Orte zueinander ist nicht zwangsläufig Teil des Routenwissens. Viele
Umgebungen werden aus verschiedenen Quellen gelernt, beispielsweise ist es oft so, daß
fremde urbane Umgebungen sowohl aus dem Stadtplan als auch durch eigenes Navigieren erlernt werden. Wie sehen in diesem Falle die resultierenden Repräsentationsformate
aus, und in welcher Orientierung wird der entsprechende Referenzrahmen, in der die
Umgebung abgespeichert wird, memoriert? Dazu wurden in Experiment 1 Teilnehmer
gebeten, eine virtuelle Umgebung entweder von einer Karte, durch Hindurchlaufen oder
aus beiden Quellen zu lernen. Mittels einer Zeigeaufgabe fanden wir heraus, daß die
Umgebung nach dem Lernen der Karte in der Ausrichtung der Karte memoriert wur-
15
Zusammenfassung
de, und nach dem Lernen durch Navigation in der Orientierung, in der die Umgebung
zuerst exploriert wurde. Hatten die Versuchspersonen von beiden Quellen gelernt, so
speicherten sie die Umgebung in der Orientierung des zuerst gelernten Referenzrahmens
ab. Diese Orientierung wurde auch mit zunehmender Karten- und Navigationserfahrung
nicht geändert.
Im zweiten Experiment wurde getestet, ob es sich bei Routen- und Überblickswissen um zwei Facetten ein- und derselben Repräsentation handelt. Ist die zugrundeliegende Repräsentation für beide identisch, oder handelt es sich tatsächlich eher um
mehr oder weniger unabhängige Repräsentationsformate? Während sie sich mittels eines Head-mounted displays (einer Videobrille) in einem virtuellen Modell ihrer Heimatstadt Tübingen wiederfanden, wurden Versuchspersonen gebeten, mittels der Pfeiltasten
der Computertastatur Wegsequenzen zu ihnen bekannten Zielen innerhalb des Stadtzentrums einzugeben. Dabei waren die Probanden instruiert, für jede auf dem Weg liegende
Kreuzung anzugeben, ob sie geradeaus gehen oder abbiegen würden. Alle Versuchspersonen hatten zuvor an einem anderen Experiment teilgenommen, in welchem sie in dem
gleichen virtuellen Modell zu den in diesem Experiment genutzten Zielen zeigen sollten.
Hierbei ergab sich, dass die Probanden auf die Überblicksrepräsentation einer nordgerichteten Karte zurückgriffen (Frankenstein, Mohler, Bülthoff, & Meilinger, 2012). In
der Routenindikationsaufgabe durchliefen alle Teilnehmer zwei Bedingungen. In einer
der beiden Bedingungen sollten sie die Wegsequenz so eingeben, als würden sie den Weg
wirklich gehen, die zu treffenden Wegenscheidungen konnten also “geradeaus”, “links”
oder “rechts” umfassen. In der anderen Bedingung sollten die Versuchsteilnehmer die
Route so angeben, wie sie auf einer Karte oder aus der Vogelperspektive zu sehen wäre.
Dabei können neben “links” und “rechts” die Richtungsangaben “hoch” und “hinunter”
vorkommen. Wenn das Routenwissen und das Überblickswissen Facetten ein und derselben Repräsentation wären, sollten sich die Fehlerraten in beiden Bedingungen nicht,
nur im Rahmen des zusätzlichen Freiheitsgrades der Vogelperspektive oder nach einem
Zufallsmuster unterscheiden. Gleichzeitig sollte die Leistung der Probanden mit ihrer
Leistung im vorhergehenden Zeigeexperiment korreliert sein, die Höhe des Zeigefehlers
sollte also mit der Qualität der Leistung in der entsprechenden Routenaufgabe korrelieren. Tatsächlich aber machten die Versuchsteilnehmer in der Laufperspektive signifikant
weniger Fehler, obwohl sie in einem vorherigen Experiment gezeigt hatten, daß sie auch
über eine Kartenrepräsentation ihrer Heimatstadt verfügten, und Zeigefehler und Routenfehler korrelierten nicht. Wahrscheinlich stellen Routen- und Überblickswissen zwei
getrennte Raumrepräsentationen dar, und sind nicht nur zwei Aspekte oder Abrufstra-
16
tegien ein- und derselben Repräsentation.
Für das Experiment 3 wurde auf den Datensatz von Experiment 2 zurückgegriffen,
und die Fehlerverteilung analysiert. Dabei zeigte sich, daß die Versuchspersonen mehr
Kreuzungen vergaßen, an denen sie auf dem zu beschreibenden Weg geradeaus liefen,
und vergleichsweise weniger Kreuzungen vergaßen, die mit einer Richtungsänderung verknüpft waren. Diese Experimente und Ergebnisse aus Vorarbeiten legen nahe, daß räumliche Information in mehreren, parallel existierenden Formaten im Langzeitgedächtnis
abgespeichert sein kann, und aufgabenbezogen ökonomisch abgerufen wird.
In den Experimenten 4 und 5 wurden die Einflüsse, denen die Erinnerung von räumlicher Information- also Informationen aus dem Langzeitgedächtnis- beim Abruf im unterworfen ist, untersucht. Loomis, Klatzky & Guidice (2013) bezeichnen den Abruf und
die Integration räumlicher Information als “spatial image”, welches eine kurzlebige Repräsentation im Arbeitsgedächtnis darstellt.
Im Experiment 4 wird untersucht, welchen Einfluß Position und Blickrichtung der
Versuchsperson relativ zur abgefragten Zielregion auf die Verarbeitung räumlicher Information hat. Dazu wurden Versuchspersonen in Tübinger Restaurants und Bars gebeten, auf einem quadratischen Blatt Papier Orte im Zentrum Tübingens in ihrer korrekten
räumlichen Relation anzuordnen. Es stellte sich heraus, daß die Versuchsteilnehmer nicht
einfach einen Stadtplan wiedergaben (obwohl dies eine valide Strategie gewesen wäre),
sondern die Orte so anordneten, wie es entweder ihrer Blickrichtung oder der räumlichen
Relation zwischen Testort und Zielregion entsprach. Im Arbeitsgedächtnis wird räumliche Information also mit Umgebungsinformationen verknüpft, bzw. situationsadäquat
abgerufen und verarbeitet. Diese Verarbeitung (statt der bloße Abruf) der räumlichen
Information könnte etwas damit zu tun haben, daß die Versuchspersonen situativ orientiert sind, oder daß beispielsweise künftige Handlungen und Fortbewegung geplant
werden. Es könnte aber auch sein, dass visuelle (oder visualisierte) Umgebungsinformation und Navigationserinnerung aus dem Kurzzeitgedächtnis als zweite (und situativ
leicht zu validierende) Informationsquelle genutzt wird, welche Unsicherheiten und Unvollständigkeiten der Informationen aus dem Langzeitgedächtnis ausgleicht. Räumliche
Informationen und Navigationserfahrungen sind nicht nur abstraktes Wissen, sondern
dienen oftmals einem Zweck, beispielsweise der zielgerichteten Fortbewegung im Raum.
Es liegt in diesem Falle nahe, die Fortbewegung beziehungsweise Positionsänderung in
der Verarbeitung zu berücksichtigen. Diesen vermuteten Einfluss der Fortbewegung untersuche ich in einem weiteren Experiment. Um den Einfluss visueller Information (wie
in Experiment 4 getestet) vom Einfluss der eigentlichen Fortbewegung zu trennen, bat
17
Zusammenfassung
ich im Experiment 5 Probanden, eine Karte von ihrer Heimatstadt Freiburg anzufertigen, während sie sich entweder vorstellten, rückwärts sitzend in einer Straßenbahn
durch Freiburg zu fahren, oder tatsächlich rückwärts in der Straßenbahn fuhren. In
beiden Gruppen spiegelten die meisten der angefertigten Karten die Blickrichtung der
Probanden wider. Dies bedeutet, daß die Fortbewegungsrichtung gegenüber der visuellen Information keine oder zumindest eine deutlich untergeordnete Rolle spielt. Dies ist
insofern verwunderlich, als daß mit der Positionsveränderung auch das aktuelle spatial
image angepasst werden sollte. Allerdings handelte es sich bei der Straßenbahnfahrt weder um eine aktiv ausgeführte motorische Bewegung, noch um eine Navigation, welche
mit einer räumlichen Planung verbunden ist. Daher liess ich weitere Probanden in Freiburg eine Karte derselben Orte im Zusammenhang mit einer zeitlichen Planungsaufgabe
(Plan-a-day Task) anfertigen. Auch in diesem Falle zeigte sich, daß nicht die zeitliche
Planung und Wegeplanung, sondern die aktuelle Position relativ zum Zielraum entscheidend für die Ausrichtung der erstellten Karten war. Ich stelle daher die Vermutung
auf, daß auf Basis der aktuellen visuellen Wahrnehmungen die eigene Position aus der
sichtbaren Umgebung im Abgleich mit räumlichen Wissen aus dem Langzeitgedächtnis
verifiziert wird, und daß aktuelle visuelle Wahrnehmungen als valide Informationsquelle
zusätzlich zu Informationen aus dem Langzeitgedächtnis genutzt werden können. Dieses
Einbeziehen aktueller Informationen und der situativen Eigenorientierung während des
Abrufs fügt der Diskussion um egozentrische und allozentrische Repräsentationsformate
einen weiteren Aspekt hinzu. Während es Belege für auch eine rein allozentrische Repräsentation im Langzeitgedächtnis gibt, so gibt es viele Experimente, deren Ergebnisse
auf lediglich egozentrische bzw. nicht komplett allozentrische Repräsentationen hinweisen. Die in unseren Experimenten gefundenen Einflüsse im Arbeitsgedächtnis könnten
ein Hinweis darauf sein, daß rein allozentrische Repräsentationsformate im Langzeitgedächtnis hauptsächlich in Experimenten gefunden werden könnten, in denen zusätzliche
situative Einflüsse weitestgehend eliminiert werden.
Das letzte Experiment in meiner Dissertation beschäftigt sich mit der Frage, welche
Rolle Vorerfahrungen und Erwartungen für die Navigation in unbekannten Umgebungen
spielen können. In einer Fragebogenstudie sowie in einer Bildauswahlstudie fanden sich
Belege dafür, daß prototypischen Landmarken eine Funktion für die Raumgliederung
zugordnet wird, und daß aus diesen gelernten Verknüpfungen die eigene Position relativ zum Ziel vermutet werden kann. Diese Ergebnisse könnten ein Hinweis darauf sein,
daß eine unvollständige Karte mit Erwartungen basierend auf erlernten Erfahrungen
vorläufig vervollständigt werden kann.
18
Referenzen
Frankenstein, J., Mohler, B. J., Bülthoff, H. H., & Meilinger, T. (2012). Is the map in
our head oriented north? Psychological Science, 23 (2), 120–125.
Loomis, J. M., Klatzky, R. L., & Giudice, N. A. (2013). Representing 3D space in
working memory: Spatial images from vision, hearing, touch and language. In
S. Lacey & R. Lawson (Eds.), Multisensory Imagery (pp. 131–155). New York:
Springer.
19
Summary
To meet their needs (e.g., to find food and the way back to the nest or home), animals
and humans navigate through their environment. To plan their navigation efficiently
and to remember routes, spatial information must be stored and recalled in a way that
is appropriate to the situation and the task. This thesis presents experiments that
assess how spatial information is stored in long-term memory, and which influences
might be present during recall. One central question in research is whether spatial
knowledge is stored within an egocentric or allocentric reference frame1 in long-term
memory. However, this storing format in long-term memory must be differentiated from
the format of recall and processing, as the latter in particular might be influenced by
current perceptions and adaptations to the needs of the situation.
According to many current theories, spatial information in long-term memory is stored
in two different representation formats, route knowledge and survey knowledge. Within
route knowledge, the position of locations relative to routes navigated including landmarks and associated route direction changes are coded. The positions of locations
relative to other locations independent from routes are not part of route knowledge.
Survey knowledge can be understood as an integrated model of the spatial configuration
of locations, i.e., the relative position of locations is coded, but not necessarily the routes
between them - a close equivalent is a coordinate system. A lot of spatial knowledge is
learned from different sources, e.g., a non-familiar city is often navigated while using a
map. In this case, this environment is learned from both sources, through the map and
through navigation.
Interestingly, this scenario has - to our knowledge - not yet been investigated in depth,
and it remains unclear what resulting representation formats look like if an environment
was learned both from a map and via navigation. Therefore, Experiment 1 assesses
the properties of spatial memory (i.e., the reference frame and its orientation) of a
new environment that has been learned by a map only, by navigation only or from
1
A reference frame is defined here as a reference orientation or location relative to which locations
(and inherent spatial orientations) are represented.
21
Summary
both sources. For that, participants were asked to learn about a virtual environment
from the respective sources, and to perform a pointing task afterwards. The results
indicate that the format and orientation learned first determined the orientation of the
respective spatial memory, and that this orientation is not necessarily changed with
further experience.
The second experiment investigated whether route and survey knowledge are rooted
in the same representation (i.e., whether they are different strategies of accessing the
stored spatial information), or whether both are more or less independent representation
formats. Facing their hometown Tübingen in a head-mounted display (HMD, a kind of
video goggles enabling 3D vision of a virtual environment as well as cues like motion
parallax), participants were asked to indicate route sequences to familiar target locations,
i.e., to indicate the route’s continuation for every intersection along the route. All
participants had previously participated in an experiment asking them within the same
virtual model to point to the same targets. The results indicated that participants relied
on a north-oriented cognitive map (Frankenstein, Mohler, Bülthoff, & Meilinger, 2012).
Participants indicated routes in two conditions, imagining a bird’s-eye view or a walking
perspective. In the latter, the route could continue “left”, “right” or “straight on”. In the
bird’s-eye view condition, the route could go “left”, “right”, “up” and “down”. If route
knowledge and survey knowledge are different strategies for recalling spatial knowledge
based on one representation, error rates should not differ systematically between these
conditions, or vary either by chance or within the range of the different number of degrees
of freedom in route continuation coding. Furthermore, their pointing performance in the
previous experiment and related route errors should be correlated, i.e., the pointing error
between a starting point and a target should be correlated to the number of errors in the
indication of the respective route. However, participants made significantly fewer errors
in the walking perspective condition, despite relying on map knowledge in a previous
experiment involving the same targets, and pointing performance and route errors were
not correlated. These results suggest that survey knowledge and route knowledge are
independently stored representations, and not two aspects of the same representation.
For Experiment 3, data collected in Experiment 2 was analyzed with respect to the error distribution. We observed that intersections passed without a route direction change
were forgotten more often than intersections with route direction changes. These results
and results from other experiments reported in literature indicate that spatial knowledge of the same space could be stored in separate, parallel existing memory formats in
long-term memory, and that spatial knowledge is recalled according to the needs of the
22
task in an cognitively economic way.
Experiments 4 and 5 investigated situational influences on the recall of spatial information from long-term memory. Loomis, Klatzky & Guidice (2013) call the recall and
integration of spatial information “spatial image”, which is according to their theory a
short-living representation in working memory.
Experiment 4 investigates the influence of the position and viewing direction of the
navigator relative to the target region on spatial information recall. To frame it differently: Is the processing of spatial information (i.e., the spatial image) influenced by the
position of the navigator? Participants recruited in pubs and restaurants in Tübingen
were asked to arrange named tags representing familiar locations within Tübingen city
center in the correct spatial configuration on a sheet of paper. Even though this would
be a valid solution, participants did not just reproduce a city map. The resulting maps’
orientation reflected participants’ viewing direction or position relative to the target
area. Spatial information is recalled and processed to meet the needs of the situation,
including current perceptions and environmental information. Instead of just recalling
the spatial information in the orientation and reference frame it is stored, additional
processing might be useful for staying oriented or for planning future actions and locomotion. However, current visual information might be used as a second (and easily
validated) information source to reduce the uncertainty and incompleteness of information from long-term memory. Spatial information and navigation experiences are not
only “abstract” knowledge, but recall may serve in most cases a situative purpose like
navigation (i.e., goal-directed locomotion). It seems likely that the recall of spatial information is adapted to locomotion, and updated according to the changing position.
This supposed influence of locomotion is investigated in Experiment 5. To test the influence of the viewing direction (as assessed in Experiment 4) against the influence of
the locomotion direction, participants were asked to either imagine or physically travel
a route riding on a tram facing backwards while performing the task. The task consisted of arranging named magnets representing familiar locations within the city center
of their hometown Freiburg in the correct spatial configuration. In both groups, the
resulting maps’ orientation reflected the viewing direction rather than the direction of
locomotion. This means that changing the position plays an inferior role compared to
the visual information. At first glance, this seems to be surprising, as the spatial image
should be updated with the changing position. However, riding a tram is neither an
actively coordinated muscular motion, nor does it involve any planning or wayfinding
decisions. To test the influence of the latter aspect, another group of participants was
23
Summary
asked to map the same targets in the context of a plan-a-day task. The results showed
that the spatial-temporal planning was not responsible for the orientation of the maps.
They were oriented again according to participants’ position relative to the target area.
The results of Experiments 4 and 5 suggest that based on the actual visual perception of
the surroundings, the navigator’s position is verified by comparing this situative information with spatial information from long-term memory. Task-concurrent information
visually perceived may be used as a second valid source in addition to spatial memories
from long-term memory.
This strategy of including situative influences and actual information in recall may
add another aspect to the discussion about egocentric and allocentric reference frames
in spatial memory. While there is some evidence for pure allocentric representation
formats for survey knowledge in long-term memory, there are a lot of experimental results
finding egocentric or not purely allocentric reference frames. The influences observed
during recall may be a reason for these different experimental results. Experimental
performance might not only indicate the reference frame long-term memory is based
on, but additional strategies and influences during experimental performance (recall)
might influence the results found. Maybe purely allocentric representation formats can
be observed in particular in experiments eliminating additional situative influences (e.g.,
self-orientation) during recall.
The last experiment in my thesis focuses on the question of which role background
knowledge and expectations based on previous experiences in similar environments may
play for navigation in unknown environments. In a questionnaire and a related forced
picture choice task we found evidence that prototypical landmarks can serve to classify
regions within a building, and may be used by the navigator to infer his position within
a building as well as the proximity of the target. These results may be a first indication
that gaps in the cognitive map may preliminary be filled up with expectations based on
former experiences.
References
Frankenstein, J., Mohler, B. J., Bülthoff, H. H., & Meilinger, T. (2012). Is the map in
our head oriented north? Psychological Science, 23 (2), 120–125.
Loomis, J. M., Klatzky, R. L., & Giudice, N. A. (2013). Representing 3D space in
working memory: Spatial images from vision, hearing, touch and language. In
24
S. Lacey & R. Lawson (Eds.), Multisensory Imagery (pp. 131–155). New York:
Springer.
25