DISS. ETH NO. 22980 HUMAN SPATIAL REPRESENTATIONS AND SPATIAL MEMORY RETRIEVAL A thesis submitted to attain the degree of DOCTOR OF SCIENCES of ETH ZURICH (Dr. sc. ETH Zurich) presented by JULIA FRANKENSTEIN Dipl. Psych., Eberhard Karls Universität Tübingen born on 06.07.1979 citizen of Germany accepted on the recommendation of Prof. Dr. C. Hölscher Dr. H. Spiers Prof. Dr. H. A. Mallot 2015 ! Zusammenfassung Um ihren Bedürfnissen (z.B. Nahrungssuche) in ihrer Umwelt gerecht zu werden, bewegen sich Menschen und Tiere durch ihre Umwelt. Um dies effektiv und reproduzierbar organisieren zu können, müssen räumliche Erinnerungen gespeichert und situationsadäquat abgerufen werden können. Diese Arbeit beschäftigt sich damit, wie räumliches Langzeitgedächtnis organisiert ist, wie es abgerufen wird und welchen Einflüssen es während des Abrufs unterworfen ist. Eine zentrale Frage, um die es in der Forschung zur Raumkognition geht, ist, ob räumliches Wissen im Langzeitgedächtnis egozentrisch oder allozentrisch abgespeichert wird. Mit meiner Dissertation möchte ich einen Beitrag zur Klärung dieser Frage leisten. Ich möchte betonen, daß es wichtig ist, das Format, in dem Wissen im Langzeitgedächtnis gespeichert wird und das Format, in welchem es im Arbeitsgedächtnis abgerufen und mit der aktuellen Wahrnehmung in Einklang gebracht wird, getrennt zu betrachten. Bezüglich des Memorierens im Langzeitgedächtnis gehen viele Theorien von mindestens zwei Repräsentationsformaten aus, dem Routenwissen und dem Überblickswissen. Während das Routenwissen eine Verknüpfung von Orten mittels zurückgelegter Wege darstellt, und also den Weg, Landmarken und die damit verknüpften Richtungsentscheidungen zum Inhalt hat, kann das Überblickswissen als integriertes mentales Modell der räumlichen Lage der Orte zueinander verstanden werden. Wege, Richtungsentscheidungen und Handlungsanweisungen sind nicht unbedingt Teil des Überblickswissens, und die relative Lage der Orte zueinander ist nicht zwangsläufig Teil des Routenwissens. Viele Umgebungen werden aus verschiedenen Quellen gelernt, beispielsweise ist es oft so, daß fremde urbane Umgebungen sowohl aus dem Stadtplan als auch durch eigenes Navigieren erlernt werden. Wie sehen in diesem Falle die resultierenden Repräsentationsformate aus, und in welcher Orientierung wird der entsprechende Referenzrahmen, in der die Umgebung abgespeichert wird, memoriert? Dazu wurden in Experiment 1 Teilnehmer gebeten, eine virtuelle Umgebung entweder von einer Karte, durch Hindurchlaufen oder aus beiden Quellen zu lernen. Mittels einer Zeigeaufgabe fanden wir heraus, daß die Umgebung nach dem Lernen der Karte in der Ausrichtung der Karte memoriert wur- 15 Zusammenfassung de, und nach dem Lernen durch Navigation in der Orientierung, in der die Umgebung zuerst exploriert wurde. Hatten die Versuchspersonen von beiden Quellen gelernt, so speicherten sie die Umgebung in der Orientierung des zuerst gelernten Referenzrahmens ab. Diese Orientierung wurde auch mit zunehmender Karten- und Navigationserfahrung nicht geändert. Im zweiten Experiment wurde getestet, ob es sich bei Routen- und Überblickswissen um zwei Facetten ein- und derselben Repräsentation handelt. Ist die zugrundeliegende Repräsentation für beide identisch, oder handelt es sich tatsächlich eher um mehr oder weniger unabhängige Repräsentationsformate? Während sie sich mittels eines Head-mounted displays (einer Videobrille) in einem virtuellen Modell ihrer Heimatstadt Tübingen wiederfanden, wurden Versuchspersonen gebeten, mittels der Pfeiltasten der Computertastatur Wegsequenzen zu ihnen bekannten Zielen innerhalb des Stadtzentrums einzugeben. Dabei waren die Probanden instruiert, für jede auf dem Weg liegende Kreuzung anzugeben, ob sie geradeaus gehen oder abbiegen würden. Alle Versuchspersonen hatten zuvor an einem anderen Experiment teilgenommen, in welchem sie in dem gleichen virtuellen Modell zu den in diesem Experiment genutzten Zielen zeigen sollten. Hierbei ergab sich, dass die Probanden auf die Überblicksrepräsentation einer nordgerichteten Karte zurückgriffen (Frankenstein, Mohler, Bülthoff, & Meilinger, 2012). In der Routenindikationsaufgabe durchliefen alle Teilnehmer zwei Bedingungen. In einer der beiden Bedingungen sollten sie die Wegsequenz so eingeben, als würden sie den Weg wirklich gehen, die zu treffenden Wegenscheidungen konnten also “geradeaus”, “links” oder “rechts” umfassen. In der anderen Bedingung sollten die Versuchsteilnehmer die Route so angeben, wie sie auf einer Karte oder aus der Vogelperspektive zu sehen wäre. Dabei können neben “links” und “rechts” die Richtungsangaben “hoch” und “hinunter” vorkommen. Wenn das Routenwissen und das Überblickswissen Facetten ein und derselben Repräsentation wären, sollten sich die Fehlerraten in beiden Bedingungen nicht, nur im Rahmen des zusätzlichen Freiheitsgrades der Vogelperspektive oder nach einem Zufallsmuster unterscheiden. Gleichzeitig sollte die Leistung der Probanden mit ihrer Leistung im vorhergehenden Zeigeexperiment korreliert sein, die Höhe des Zeigefehlers sollte also mit der Qualität der Leistung in der entsprechenden Routenaufgabe korrelieren. Tatsächlich aber machten die Versuchsteilnehmer in der Laufperspektive signifikant weniger Fehler, obwohl sie in einem vorherigen Experiment gezeigt hatten, daß sie auch über eine Kartenrepräsentation ihrer Heimatstadt verfügten, und Zeigefehler und Routenfehler korrelierten nicht. Wahrscheinlich stellen Routen- und Überblickswissen zwei getrennte Raumrepräsentationen dar, und sind nicht nur zwei Aspekte oder Abrufstra- 16 tegien ein- und derselben Repräsentation. Für das Experiment 3 wurde auf den Datensatz von Experiment 2 zurückgegriffen, und die Fehlerverteilung analysiert. Dabei zeigte sich, daß die Versuchspersonen mehr Kreuzungen vergaßen, an denen sie auf dem zu beschreibenden Weg geradeaus liefen, und vergleichsweise weniger Kreuzungen vergaßen, die mit einer Richtungsänderung verknüpft waren. Diese Experimente und Ergebnisse aus Vorarbeiten legen nahe, daß räumliche Information in mehreren, parallel existierenden Formaten im Langzeitgedächtnis abgespeichert sein kann, und aufgabenbezogen ökonomisch abgerufen wird. In den Experimenten 4 und 5 wurden die Einflüsse, denen die Erinnerung von räumlicher Information- also Informationen aus dem Langzeitgedächtnis- beim Abruf im unterworfen ist, untersucht. Loomis, Klatzky & Guidice (2013) bezeichnen den Abruf und die Integration räumlicher Information als “spatial image”, welches eine kurzlebige Repräsentation im Arbeitsgedächtnis darstellt. Im Experiment 4 wird untersucht, welchen Einfluß Position und Blickrichtung der Versuchsperson relativ zur abgefragten Zielregion auf die Verarbeitung räumlicher Information hat. Dazu wurden Versuchspersonen in Tübinger Restaurants und Bars gebeten, auf einem quadratischen Blatt Papier Orte im Zentrum Tübingens in ihrer korrekten räumlichen Relation anzuordnen. Es stellte sich heraus, daß die Versuchsteilnehmer nicht einfach einen Stadtplan wiedergaben (obwohl dies eine valide Strategie gewesen wäre), sondern die Orte so anordneten, wie es entweder ihrer Blickrichtung oder der räumlichen Relation zwischen Testort und Zielregion entsprach. Im Arbeitsgedächtnis wird räumliche Information also mit Umgebungsinformationen verknüpft, bzw. situationsadäquat abgerufen und verarbeitet. Diese Verarbeitung (statt der bloße Abruf) der räumlichen Information könnte etwas damit zu tun haben, daß die Versuchspersonen situativ orientiert sind, oder daß beispielsweise künftige Handlungen und Fortbewegung geplant werden. Es könnte aber auch sein, dass visuelle (oder visualisierte) Umgebungsinformation und Navigationserinnerung aus dem Kurzzeitgedächtnis als zweite (und situativ leicht zu validierende) Informationsquelle genutzt wird, welche Unsicherheiten und Unvollständigkeiten der Informationen aus dem Langzeitgedächtnis ausgleicht. Räumliche Informationen und Navigationserfahrungen sind nicht nur abstraktes Wissen, sondern dienen oftmals einem Zweck, beispielsweise der zielgerichteten Fortbewegung im Raum. Es liegt in diesem Falle nahe, die Fortbewegung beziehungsweise Positionsänderung in der Verarbeitung zu berücksichtigen. Diesen vermuteten Einfluss der Fortbewegung untersuche ich in einem weiteren Experiment. Um den Einfluss visueller Information (wie in Experiment 4 getestet) vom Einfluss der eigentlichen Fortbewegung zu trennen, bat 17 Zusammenfassung ich im Experiment 5 Probanden, eine Karte von ihrer Heimatstadt Freiburg anzufertigen, während sie sich entweder vorstellten, rückwärts sitzend in einer Straßenbahn durch Freiburg zu fahren, oder tatsächlich rückwärts in der Straßenbahn fuhren. In beiden Gruppen spiegelten die meisten der angefertigten Karten die Blickrichtung der Probanden wider. Dies bedeutet, daß die Fortbewegungsrichtung gegenüber der visuellen Information keine oder zumindest eine deutlich untergeordnete Rolle spielt. Dies ist insofern verwunderlich, als daß mit der Positionsveränderung auch das aktuelle spatial image angepasst werden sollte. Allerdings handelte es sich bei der Straßenbahnfahrt weder um eine aktiv ausgeführte motorische Bewegung, noch um eine Navigation, welche mit einer räumlichen Planung verbunden ist. Daher liess ich weitere Probanden in Freiburg eine Karte derselben Orte im Zusammenhang mit einer zeitlichen Planungsaufgabe (Plan-a-day Task) anfertigen. Auch in diesem Falle zeigte sich, daß nicht die zeitliche Planung und Wegeplanung, sondern die aktuelle Position relativ zum Zielraum entscheidend für die Ausrichtung der erstellten Karten war. Ich stelle daher die Vermutung auf, daß auf Basis der aktuellen visuellen Wahrnehmungen die eigene Position aus der sichtbaren Umgebung im Abgleich mit räumlichen Wissen aus dem Langzeitgedächtnis verifiziert wird, und daß aktuelle visuelle Wahrnehmungen als valide Informationsquelle zusätzlich zu Informationen aus dem Langzeitgedächtnis genutzt werden können. Dieses Einbeziehen aktueller Informationen und der situativen Eigenorientierung während des Abrufs fügt der Diskussion um egozentrische und allozentrische Repräsentationsformate einen weiteren Aspekt hinzu. Während es Belege für auch eine rein allozentrische Repräsentation im Langzeitgedächtnis gibt, so gibt es viele Experimente, deren Ergebnisse auf lediglich egozentrische bzw. nicht komplett allozentrische Repräsentationen hinweisen. Die in unseren Experimenten gefundenen Einflüsse im Arbeitsgedächtnis könnten ein Hinweis darauf sein, daß rein allozentrische Repräsentationsformate im Langzeitgedächtnis hauptsächlich in Experimenten gefunden werden könnten, in denen zusätzliche situative Einflüsse weitestgehend eliminiert werden. Das letzte Experiment in meiner Dissertation beschäftigt sich mit der Frage, welche Rolle Vorerfahrungen und Erwartungen für die Navigation in unbekannten Umgebungen spielen können. In einer Fragebogenstudie sowie in einer Bildauswahlstudie fanden sich Belege dafür, daß prototypischen Landmarken eine Funktion für die Raumgliederung zugordnet wird, und daß aus diesen gelernten Verknüpfungen die eigene Position relativ zum Ziel vermutet werden kann. Diese Ergebnisse könnten ein Hinweis darauf sein, daß eine unvollständige Karte mit Erwartungen basierend auf erlernten Erfahrungen vorläufig vervollständigt werden kann. 18 Referenzen Frankenstein, J., Mohler, B. J., Bülthoff, H. H., & Meilinger, T. (2012). Is the map in our head oriented north? Psychological Science, 23 (2), 120–125. Loomis, J. M., Klatzky, R. L., & Giudice, N. A. (2013). Representing 3D space in working memory: Spatial images from vision, hearing, touch and language. In S. Lacey & R. Lawson (Eds.), Multisensory Imagery (pp. 131–155). New York: Springer. 19 Summary To meet their needs (e.g., to find food and the way back to the nest or home), animals and humans navigate through their environment. To plan their navigation efficiently and to remember routes, spatial information must be stored and recalled in a way that is appropriate to the situation and the task. This thesis presents experiments that assess how spatial information is stored in long-term memory, and which influences might be present during recall. One central question in research is whether spatial knowledge is stored within an egocentric or allocentric reference frame1 in long-term memory. However, this storing format in long-term memory must be differentiated from the format of recall and processing, as the latter in particular might be influenced by current perceptions and adaptations to the needs of the situation. According to many current theories, spatial information in long-term memory is stored in two different representation formats, route knowledge and survey knowledge. Within route knowledge, the position of locations relative to routes navigated including landmarks and associated route direction changes are coded. The positions of locations relative to other locations independent from routes are not part of route knowledge. Survey knowledge can be understood as an integrated model of the spatial configuration of locations, i.e., the relative position of locations is coded, but not necessarily the routes between them - a close equivalent is a coordinate system. A lot of spatial knowledge is learned from different sources, e.g., a non-familiar city is often navigated while using a map. In this case, this environment is learned from both sources, through the map and through navigation. Interestingly, this scenario has - to our knowledge - not yet been investigated in depth, and it remains unclear what resulting representation formats look like if an environment was learned both from a map and via navigation. Therefore, Experiment 1 assesses the properties of spatial memory (i.e., the reference frame and its orientation) of a new environment that has been learned by a map only, by navigation only or from 1 A reference frame is defined here as a reference orientation or location relative to which locations (and inherent spatial orientations) are represented. 21 Summary both sources. For that, participants were asked to learn about a virtual environment from the respective sources, and to perform a pointing task afterwards. The results indicate that the format and orientation learned first determined the orientation of the respective spatial memory, and that this orientation is not necessarily changed with further experience. The second experiment investigated whether route and survey knowledge are rooted in the same representation (i.e., whether they are different strategies of accessing the stored spatial information), or whether both are more or less independent representation formats. Facing their hometown Tübingen in a head-mounted display (HMD, a kind of video goggles enabling 3D vision of a virtual environment as well as cues like motion parallax), participants were asked to indicate route sequences to familiar target locations, i.e., to indicate the route’s continuation for every intersection along the route. All participants had previously participated in an experiment asking them within the same virtual model to point to the same targets. The results indicated that participants relied on a north-oriented cognitive map (Frankenstein, Mohler, Bülthoff, & Meilinger, 2012). Participants indicated routes in two conditions, imagining a bird’s-eye view or a walking perspective. In the latter, the route could continue “left”, “right” or “straight on”. In the bird’s-eye view condition, the route could go “left”, “right”, “up” and “down”. If route knowledge and survey knowledge are different strategies for recalling spatial knowledge based on one representation, error rates should not differ systematically between these conditions, or vary either by chance or within the range of the different number of degrees of freedom in route continuation coding. Furthermore, their pointing performance in the previous experiment and related route errors should be correlated, i.e., the pointing error between a starting point and a target should be correlated to the number of errors in the indication of the respective route. However, participants made significantly fewer errors in the walking perspective condition, despite relying on map knowledge in a previous experiment involving the same targets, and pointing performance and route errors were not correlated. These results suggest that survey knowledge and route knowledge are independently stored representations, and not two aspects of the same representation. For Experiment 3, data collected in Experiment 2 was analyzed with respect to the error distribution. We observed that intersections passed without a route direction change were forgotten more often than intersections with route direction changes. These results and results from other experiments reported in literature indicate that spatial knowledge of the same space could be stored in separate, parallel existing memory formats in long-term memory, and that spatial knowledge is recalled according to the needs of the 22 task in an cognitively economic way. Experiments 4 and 5 investigated situational influences on the recall of spatial information from long-term memory. Loomis, Klatzky & Guidice (2013) call the recall and integration of spatial information “spatial image”, which is according to their theory a short-living representation in working memory. Experiment 4 investigates the influence of the position and viewing direction of the navigator relative to the target region on spatial information recall. To frame it differently: Is the processing of spatial information (i.e., the spatial image) influenced by the position of the navigator? Participants recruited in pubs and restaurants in Tübingen were asked to arrange named tags representing familiar locations within Tübingen city center in the correct spatial configuration on a sheet of paper. Even though this would be a valid solution, participants did not just reproduce a city map. The resulting maps’ orientation reflected participants’ viewing direction or position relative to the target area. Spatial information is recalled and processed to meet the needs of the situation, including current perceptions and environmental information. Instead of just recalling the spatial information in the orientation and reference frame it is stored, additional processing might be useful for staying oriented or for planning future actions and locomotion. However, current visual information might be used as a second (and easily validated) information source to reduce the uncertainty and incompleteness of information from long-term memory. Spatial information and navigation experiences are not only “abstract” knowledge, but recall may serve in most cases a situative purpose like navigation (i.e., goal-directed locomotion). It seems likely that the recall of spatial information is adapted to locomotion, and updated according to the changing position. This supposed influence of locomotion is investigated in Experiment 5. To test the influence of the viewing direction (as assessed in Experiment 4) against the influence of the locomotion direction, participants were asked to either imagine or physically travel a route riding on a tram facing backwards while performing the task. The task consisted of arranging named magnets representing familiar locations within the city center of their hometown Freiburg in the correct spatial configuration. In both groups, the resulting maps’ orientation reflected the viewing direction rather than the direction of locomotion. This means that changing the position plays an inferior role compared to the visual information. At first glance, this seems to be surprising, as the spatial image should be updated with the changing position. However, riding a tram is neither an actively coordinated muscular motion, nor does it involve any planning or wayfinding decisions. To test the influence of the latter aspect, another group of participants was 23 Summary asked to map the same targets in the context of a plan-a-day task. The results showed that the spatial-temporal planning was not responsible for the orientation of the maps. They were oriented again according to participants’ position relative to the target area. The results of Experiments 4 and 5 suggest that based on the actual visual perception of the surroundings, the navigator’s position is verified by comparing this situative information with spatial information from long-term memory. Task-concurrent information visually perceived may be used as a second valid source in addition to spatial memories from long-term memory. This strategy of including situative influences and actual information in recall may add another aspect to the discussion about egocentric and allocentric reference frames in spatial memory. While there is some evidence for pure allocentric representation formats for survey knowledge in long-term memory, there are a lot of experimental results finding egocentric or not purely allocentric reference frames. The influences observed during recall may be a reason for these different experimental results. Experimental performance might not only indicate the reference frame long-term memory is based on, but additional strategies and influences during experimental performance (recall) might influence the results found. Maybe purely allocentric representation formats can be observed in particular in experiments eliminating additional situative influences (e.g., self-orientation) during recall. The last experiment in my thesis focuses on the question of which role background knowledge and expectations based on previous experiences in similar environments may play for navigation in unknown environments. In a questionnaire and a related forced picture choice task we found evidence that prototypical landmarks can serve to classify regions within a building, and may be used by the navigator to infer his position within a building as well as the proximity of the target. These results may be a first indication that gaps in the cognitive map may preliminary be filled up with expectations based on former experiences. References Frankenstein, J., Mohler, B. J., Bülthoff, H. H., & Meilinger, T. (2012). Is the map in our head oriented north? Psychological Science, 23 (2), 120–125. Loomis, J. M., Klatzky, R. L., & Giudice, N. A. (2013). Representing 3D space in working memory: Spatial images from vision, hearing, touch and language. In 24 S. Lacey & R. Lawson (Eds.), Multisensory Imagery (pp. 131–155). New York: Springer. 25
© Copyright 2025 ExpyDoc