17/03/2015 Tema 7: Técnicas de recogida de información J.F. Lukas Proceso de evaluación Descripción de la realidad que va a ser evaluada Comparar Referente Opinión, valoración Decisiones Prozeso de evaluación: ejemplo Realidad evaluada El alumno lee 10 palabras por minuto Referente Comparar Opinión, valoración Decisiones Velocidad lectora: 30 pal/min Lee despacio Ingresar al alumno en el grupo de los alumnos de lectura lenta 1 17/03/2015 Valoración de un dibujo teniendo en cuenta diferentes referentes Realidad que va a ser evaluada Punto de referencia Opinión, Valoración El dibujo Hay que mejorar el dibujo. ideal Idiográfico Recogida de informac ión de un dibujo realizado La situación Este dibujo, es peor que el Normativo anterior realizado anteriormente por el/la mismo/a alumno/a. Situaciones Criterial similares Entre todos los dibujos presentados éste es el mejor. Objetivos Es una imagen que recoge establecidos adecuadamente los detalles: Ámbitos de recogida de la información Recogida de la información Dominios que pueden ser evaluados Planificación Observ. Entrev. Docum. Cuest. Otro Objetivos Actividades previstas Aplicación Actividades realizada Satisfacción Procedimientos Conclusiones Enseñanza Conocimientos Actitudes Influencia en la institución Transferencia Cambios Modelo de Evaluación Libre de Objetivos de Scriven EFECTOS PERFIL DE NECESIDADES A 1ª B B 2ª C C 3ª A 4ª D E 5ª E F 6ª No buscados INTERVENCIÓN D Buscados No logrados VALORACIÓN Se cubren todas las necesidades? Los efectos no esperados son deseables? Los efectos no esperados cubren alguna necesidad? Implicaciones para el centro? F Qué cambios? 2 17/03/2015 Procedimientos para la Recogida de la Información: Criterios de Clasificación TÉCNICAS CUANTITATIVAS INSTRUMENTOS ESTADARIZADOS (pruebas objetivas, tests, etc.) (pruebas objetivas, tests, etc.) TÉCNICAS CUALITATIVAS (observación participante, entrevista en profundidad, etc) INSTRUMENTOS NO ESTANDARIZADOS ESTRATEGIAS PROCEDIMIENTOS OBSERVACIONALES (observación) (entrevista, observación participante) (observación, entrevista, cuestionario) INSTRUMENTOS DE ENCUESTA INSTRUMENTOS (tests, pruebas objetivas) MEDIOS AUDIOVISUALES Y DOCUMENTALES (vídeo, fotografía) (entrevista y cuestionario) TESTS Y PRUEBAS OBJETIVAS OTRAS TÉCNICAS Y ESTRATEGIAS (portafolios, historias de vida, etc) Procedimientos de Recogida de Información • • • • • • La Observación La Entrevista El Cuestionario Las Pruebas de Aprendizaje Los tests estandarizados Otros procedimientos – – – – – – – Las Escalas de Actitudes La Sociometría El Grupo de Discusión El Autoinforme Las Historias de Vida Los Documentos La Técnica Delphi Observación Entrevista a Jane Goodall Según Jane Goodall: • ¿Quién es el/la buen/a observador/a? • ¿El/la observador/a influye en el escenario? • ¿Quién es el/la buen/a investigador/a? 3 17/03/2015 Observación Modalidades de Observación y Registro Observación En función del nivel de sistematización del proceso No sistemática Sistemática Muy sistematizada En función de la fuente de datos •Directa •Indirecta En función del rol del/a observador/a Participante No participante En función del/a agente evaluador/a Auto-observación Hetero-observación Narrativos Notas de campo Diarios Registros anecdóticos Categoriales Listas de control Escalas valorativas Rúbricas Registro Pasos a Seguir en la Observación (I) 1. Elección del escenario 1. Acceso fácil 2. Buenas relacines con los/as informadores/as 3. Que da datos de interés 2. Acceso al escenario 1. Permiso, porteros/as, negociación 3. La primera entrevista 1. 2. 3. 4. Presentación del estudio El escenario no cambia Confidencialidad de los datos Notas de campo Pasos a Seguir en la Observación (II) 4. Aspectos a tener en cuenta en el campo 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Aparecer de modo pasivo (comodidad) La recogida de datos objetivo secundario Incomodidad inicial Cantidad de los datos Personas que quieren dirigir la investigación Tomar parte El/la investigador/a se tiene que adaptar Hablar de otros temas de interés No dar lecciones No dar por entendido Datos que no son verdaderos Conocer el significado de los términos de los/as informadores/as 4 17/03/2015 Planificación de la Observación Participante ¿Qué investigar? Problema y objetivos ¿Cómo investigar? Modo de observar ¿Dónde observar? Escenario ¿Qué observar? OBSERVACIÓN Perspectiva y alcance ¿Cuándo observar? Límites de tiempo ¿Qué registrar? Técnicas de registro ¿Cómo analizar? Técnicas de análisis Momentos del proceso de observación Observación descriptiva Observación Observación focalizada selectiva INICIO DEL PROYECTO FINAL DEL PROYECTO Tiempo dedicado a la observación (porcentaje) Distribución del tiempo en las fases de observación Preparación de la observación participante 100 50 Observación selectiva Observación focalizada Observación descriptiva 0 0 1 2 3 4 5 6 7 8 Serie de los momentos de observación 9 10 11 5 17/03/2015 Ejemplo de la información que puede recogerse en las notas de campo • • • • • Fecha: ¿Dónde se hizo la observación? ¿Quién estaba allí? ¿Cómo era el ambiente? ¿Qué tipo y modo de relaciones sociales se dieron? • ¿Qué tipo de actividades se realizaron? • Otro tipo de información descriptiva: Notas de campo • Cuando estamos en el escenario 1. 2. 3. 4. • Tomar notas tan pronto termine la observación Dibujar el diagrama del escenario Escribir y rescribir las notas Tomar notas en el mismo escenario Metodología de la transcripción 1. 2. 3. 4. 5. 6. 7. 8. 9. Datos de identificación Diagrama Márgenes amplios Punto y aparte Literalidad Utilización de sobrenombres Guardar las notas por triplicado Introducir los comentarios del observador Aunque sean incomprensibles recoger todas las expresiones posibles Ejemplo de notas de campo COLEGIO: C.P. Xxxxxx LUGAR: aula 5º A FECHA: 16-03-2003 PROFESORA: Maribel OBSERVADOR: Juan OBSERVACIÓN: Primera DURACIÓN: 15:00 16:00 ASIGNATURA: Ciencias Sociales TEMA: Geografía de Cataluña ACTIVIDAD: Dibujar y colorear el mapa 15:05 Se oye murmullo en el aula... La profesora ha gritado y ha dicho: “... Ea... Coger las mesas y poneros por grupos... Tu aquí ... Y vosotras, chicas, aquí juntas... Así...” 15:10 La profesora ha señalado la manera de componer los grupos. Un alumno extranjero (Amed) se ha quedado solo en su mesa. Por lo que parece se trata de una situación que la consideran como habitual tanto él como el resto de compañeros y que la aceptan tal cual. Cati parece que está enfadad y les dirige miradas rápidas a las niñas de su mesa. Es posible que la distribución hecha por la profesora se acepte en contra de su voluntad. El aula ha quedado configurada de la siguiente manera: 6 17/03/2015 Ejemplo de diagrama Pizarra A Rosa Pizarra B Cati Vanesa Mesa profes. Grupo 1 Grupo 3 Lina Elena Marta Nati Juan Susi Luci Sara Carla Grupo 2 Grupo 5 Pili Mireia Sole Zara Pablo Vero Karim Grupo 4 Amed Antoni Mourat Biblioteca Murales Esfera de la Tierra Puerta Murales Mapas Notas de campo tomadas en un aula intercultural. Los alumnos que son de otras etnias aparecen subrayados Anecdotario Anverso Persona:__________________ Edad:____________ Fecha:____ Hora:_____ Mes:______ Padres:______ Situación o contexto: Otros aspectos reseñables: Descripción objetiva del suceso: Reverso Reflexiones, interpretación y valoración subjetivas del/a observador/a ...................................................................................................... ...................................................................................................... ...................................................................................................... ...................................................................................................... ...................................................................................................... Rúbrica CATEGORÍAS 4 3 2 1 Rebatir Todos los contra-argumentos fueron precisos, relevantes y fuertes. La mayoría de los contraargumentos fueron precisos, relevantes y fuertes. La mayoría de los contraargumentos fueron precisos y relevantes, pero algunos fueron débiles. Los contra-argumentos no fueron precisos y/o relevantes. Entendiendo el Tema El equipo claramente entendió el tema a profundidad y presentó su información enérgica y convincentemente. El equipo claramente entendió el tema a profundidad y presentó su información con facilidad. El equipo parecía entender los puntos principales del tema y los presentó con facilidad. El equipo no demostró un adecuado entendimiento del tema. Uso de hechos/estadísticas Cada punto principal estuvo bien apoyado con varios hechos relevantes, estadísticas y/o ejemplos. Cada punto principal estuvo adecuadamente apoyado con hechos relevantes, estadísticas y/o ejemplos. Cada punto principal estuvo adecuadamente apoyado con hechos, estadísticas y/o ejemplos, pero la relevancia de algunos fue dudosa. Ningún punto principal fue apoyado. Información Toda la información presentada en el debate fue clara, precisa y minuciosa. La mayor parte de la información en el debate fue clara, precisa y minuciosa. La mayor parte de la información en el debate fue presentada en forma clara y precisa, pero no fue siempre minuciosa. La información tiene varios errores; no fue siempre clara. Estilo de Presentación El equipo consistentemente usó gestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia. El equipo por lo general usó gestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia. El equipo algunas veces usó gestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia. Uno o más de los miembros del equipo tuvieron un estilo de presentación que no mantuvo la atención de la audiencia. Organización Todos los argumentos fueron vinculados a una idea principal (premisa) y fueron organizados de manera lógica. La mayoría de los argumentos fueron claramente vinculados a una idea principal (premisa) y fueron organizados de manera lógica. Todos los argumentos fueron claramente vinculados a una idea principal (premisa), pero la organización no fue, algunas veces, ni clara ni lógica. Los argumentos no fueron claramente vinculados a una idea principal (premisa). 7 17/03/2015 Rúbrica Vídeo sobre las Rúbricas: http://www.youtube.com/watch?v=VcjxcFqi8U4 Las listas de control • Registrar la aparición o no de una conducta durante el periodo que dura la observación • Previamente hay que especificar las conductas a evaluar (por ejemplo los objetivos) y ubicarlas en un formato especialmente diseñado • Fácil manejo • Fotografía Alumno1 Objetivo 1 X Objetivo 2 Objetivo n Alumna 2 Alumna n X X X Las escalas de estimación • Gradúan la fuerza con la que aparece una conducta (“es capaz de escuchar las opiniones de sus compañeros/as”: 1-4) • Similares a las listas de control, pero admiten diversas categorías • Se basan en una observación estructurada o sistemática (las conductas a observarse han estipulado previamente) • Son más complejas que las listas de control ya que implican una discriminación más precisa • No incluyen comentarios ni interpretaciones por parte del/a profesor/a • Ofrece una información muy completa del estudiante 8 17/03/2015 Análisis de documentos (I) • Tipos de documentos – – – – – – Actas, circulares Informes, programas Políticas, leyes Cartas, diarios, conferencias Periódicos, revistas Películas, fotografías • Análisis del contenido – Cualitativo – Cuantitativo Es una técnica de recopilación de información destinada a obtener información mediante el estudio de documentos Análisis de documentos (II) • En los documentos se pueden encontrar, entre otros, los siguientes elementos: – Resultados pasados de la actividad de la entidad. – Tendencias pasadas que pudieran proyectarse hacia el futuro. – Indicadores económicos, sociales, laborales, etc. – Frecuencias de realización de las actividades y las transacciones. –… Análisis de documentos (III) • Ventajas – Técnica no intrusiva – Los datos tienen naturaleza permanente – Información longitudinal de bajo coste • Desventajas – Disponibilidad de documentos limitada 9 17/03/2015 Entrevista Entrevista de Jesús Quintero a Eduardo Punset (1:30-4:30) https://www.youtube.com/watch?v=Rhc1-VL0U6g Entrevista de Iñaki Gabilondo a J. L. Sampedro (1:45-6:20) https://www.youtube.com/watch?v=lyRpWlN54Xs Entrevista de Maialen Iriarte a Laura Mintegi (0:45-4:30) http://www.youtube.com/watch?v=0E_g9QhBvEw Entrevista • Confrontación interpersonal, en la cual el/la entrevistador/a formula al entrevistado/a preguntas con el fin de conseguir respuestas relacionadas con los propósitos de la evaluación Informal Tipos de entrevista •Entrevistas estructuradas Formal •Entrevistas semiestructuradas •Entrevistas no 10 17/03/2015 Planificación de la Entrevista A. Objetivo de la entrevista B. Muestreo de las personas que van a ser entrevistadas C. Desarrollo de la entrevista Contenido y naturaleza de las preguntas Organización y orden de la preguntas Relación entre el/la entrevistador/a y el/la entrevistado/a Modo de hacer las preguntas Registro de la información La presentación de la entrevista Explicación de la intención y de los objetivos Descripción y explicación del porqué y de la forma de elección de la persona entrevistada Explicación de la persona que va a dirigir la investigación Aclaración del anonimato y confidencialidad de la entrevista Momentos que componen la estructura de la entrevista MOMENTO INICIAL: Preguntas que no producen duda o discusión, como por ejemplo su comportamiento acutual, o preguntas relativas a la actividad o experiencia. Principalmente, preguntas de tipo descriptivo. MOMENTO INTERMEDIO: Interpretación, opinión y sentimientos de los comportamientos y acciones descritas previamente. En esta y en la siguiente fase se hacen las preguntas más comprometidas. Se ha creado el “rapport” adecuado y se ha conseguido avivar el interés del entrevistado/a. MOMENTO FINAL: Conocimientos y habilidades. Estas preguntas son más prudentes y pueden dejar en evidencia al entrevistado/a. Es necesaria una relación de confianza entre el/la entrevistador/a y el/la entrevistado/a y tener una clima de relación natural. 11 17/03/2015 Tipos de preguntas (Brandt, 1972) (1) a. Comparativas “¿Prefiere trabajar en un centro público o en un centro privado?” b. Recuerdo de sucesos pasados “¿Qué sucedió cuando ...?” c. Recuerdo de comportamientos pasados “¿Qué hizo cuando ...?” “¿Ha hecho previamente algo similar?” d. Reacciones afectivas “¿Se preocupa, se enfada cuando ...?” e. Causa-efecto “¿Por qué ...?” “¿Cuáles fueron las razones ...?” Tipos de preguntas (Brandt, 1972)(2) f. Sucesos, reacciones e Información complementaria “¿Qué hizo que su opinión cambiara?” g. Condicionales “¿Mostrarías tu apoyo a la directora?” “¿Puede dejarse en manos del alumnado la elección de los contenidos del curso?” h. De investigación “¿Por qué decidió revisar el currículum?” Cuestionario Un cuestionario es un conjunto de preguntas sistemáticas y ordenadas para intentar recoger información acerca de las características, opiniones, actitudes y percepciones de las personas. • Conjunto de preguntas estructuradas sobre un tema • Población o muestra • Poco tiempo y muchos sujetos • Se garantiza el anonomato de las respuestas • No responde el que lo redacta 12 17/03/2015 Pasos en la construcción I. II. Delimitación del problema. Objetivos Establecimiento del Marco Teórico I. Definición del Constructo II. Identificación de las Dimensiones III. Identificación de los Indicadores III. Redacción de Ítems IV. ... Redacción del cuestionario (1) 1. Las respuestas de los sujetos deben ofrecer la información que necesitamos. 2. El lenguaje utilizado debe facilitar la comprensión unívoca de las preguntas: • • • • • • Lenguaje claro y adecuado a los sujetos. Utilización de términos no ambiguos. Una idea en única en cada pregunta. Planteamiento no dirigido y no utilización de negaciones. Sin suposiciones implícitas. Formato simple. Redacción del cuestionario (2) 3. Elegir el tipo de respuesta más adecuada a cada situación. 1. Preguntas cerradas ¿Has aprendido mucho en esta asignatura? 2. Preguntas abiertas SI NO ¿Qué objetivos se persiguen con las actividades extraescolares? 3. Preguntas mixtas ¿Has dispuesto de suficientes recursos didácticos para llevar adelante las actividades del tema trabajado? SI NO Si tu respuesta es que NO, ¿explica por qué? 4. Decidir la posición de cada pregunta 5. Aplicación del cuestionario 13 17/03/2015 Cuestionario. Clasificación o Según el tipo de ítems se distinguen los cuestionarios cerrados, abiertos, mixtos, de elección múltiple, etc. o Según la escala de respuesta se distinguen los cuestionarios que buscan juicios categóricos y los que buscan juicios continuos. o Según el método de administración se distinguen los personales, por teléfono, por correo, por ordenador, etc. o Según el tipo de información requerida se distinguen los cuestionarios de información general y los cuestionarios específicos. Cuestionarios vía Internet • Zoomerang http://www.zoomerang.com/Login/index.zgi • Advanced Survey http://www.advancedsurvey.com/ • Free Online Surveys.com http://free-online-surveys.co.uk/ • Encuesta fácil http://www.encuestafacil.com/ Fases en la planificación de una prueba objetiva FASE 1: PLANTEAMIENTO DE LA PRUEBA FASE 2: ELABORACIÓN DE LA PRUEBA Identificación de los objetivos de la prueba. Selección y delimitación de contenidos. Elaboración de la tabla de especificaciones. Redacción de ítems. Revisión de los ítems por expertos. Confección del original de la prueba (3.1. Instrucciones. 3.2. Distribución de los ítems. 3.3. Hoja de respuestas). Revisión del original. Normas de corrección. Estudio preliminar o ensayo. Impresión definitiva. FASE 3: APLICACIÓN Y ORGANIZACIÓN DE LOS RESULTADOS Presentación del instrumento. Administración de la prueba. Corrección. Confección de la tabla de resultados. FASE 4: ESTUDIO EMPÍRICO DE LA PRUEBA Análisis estadístico. Validez y fiabilidad de la prueba. Análisis de ítems. Baremos. FASE 5: SÍNTESIS SOBRE EL ESTUDIO Resultados más significativos. Optimización de la prueba elaborada. Sugerencias para posteriores aplicaciones. 14 17/03/2015 Sociometría (1) Análisis de la evolución de los grupos y de la posición que ocupa cada individuo en los mismos, sin tener en cuenta el problema de la estructura interna de cada individuo. • La sociometría ofrece información de la estructura interna de los grupos. • Ofrece información cuantitativa sobre la cantidad de aceptaciones y rechazos que recibe cada sujeto. • Razones para su utilización: – Está probado que la posición del individuo en el grupo tiene influencia en su rendimiento. – El buen clima del grupo también tiene influencia. – Para formar los componentes de los grupos. Sociometría (2) • Por medio del sociograma: – La aceptación de un/a alumno/a dentro de su grupo. – El nivel de cohesión del grupo. – La existencia de líderes. – La identificación de alumnos/as aislados, es decir, los que no reciben ninguna aceptación. – La identificación de sujetos que son rechazados por todo el grupo. Test Sociométrico Colegio:________________________________ Nombre y apellidos:_______________________ Número:______ Edad:_______ Curso:_____ Fecha:______ 1.-¿Al lado de quién te gustaría estar sentado en el aula? 2.-¿Para jugar, para ir a una excursión, para ir al cine, ..., a quién de clase elegirías? 3.-¿Con quién de clase no te gustaría jugar o al lado de quién no te gustaría estar sentado? http://www.sociometry.ru/eng/sociometry/index.php 15 17/03/2015 Tabla Sociométrica 1 2 3 4 5 6 7 8 9 10 11 12 13 1 14 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 10 x 11 x 12 x 13 x 14 x 2 1 1 0 1 2 1 1 0 0 1 0 0 4 Sociograma chico 9 13 Chica 10 14 1 2 6 12 7 4 3 11 5 8 Psicograma 13 5 3 7 12 2 8 14 6 1 10 11 4 16 17/03/2015 Portafolios (1) • Colección de trabajos realizados por el/la alumno/a en un campo determinado. Mediante ellos tendremos la historia de sus esfuerzos, progresos y logros. Esta colección entre otros necesita de la participación del alumno/a en la elección de los contenidos del portafolios, los criterios para juzgar los méritos y pruebas para su autorreflexión. Definición de Portafolios (Klenowski, 2004) • “Un portafolios es una colección de trabajos que incluyen los logros individuales, tales como resultados de tareas genuinas, la evaluación del proceso, tests convencionales o muestras de trabajo; documenta los logros alcanzados a lo largo del tiempo. Generalmente el individuo elige el tipo de trabajo que le sirva mejor para expresar su éxito así como para demostrar su aprendizaje respecto a un objetivo particular como podría ser la certificación o la evaluación tanto sumativa como formativa. La autoevaluación es un proceso integral que implica tener capacidad de juicio para valorar la calidad del propio rendimiento así como las estrategias de aprendizaje. Igualmente la discusión y reflexión con los compañeros y tutores durante una entrevista, una conversación o una presentación, facilita la comprensión del proceso de aprendizaje. El desarrollo del portafolios implica por tanto documentar no sólo los logros conseguidos sino también las autoevaluaciones, las estrategias aplicadas y el análisis sobre las experiencias de aprendizaje, por lo que es mucho más que una simple colección de las tareas.” Portafolios (2) • Metacognición. • Utilizar el portafolios es un proceso de aprendizaje. • El/la alumno/a es el responsable de su aprendizaje permanente. • El portafolios no es la meta en sí misma, sino un medio para alcanzar el aprendizaje. • El proceso es tan importante como el producto. • La utilización del portafolios exige el uso de habilidades cognitivas y metacognitivas: observar, planificar, reflexionar, autoevaluar. • Se adecua a la evaluación formativa. 17 17/03/2015 Portafolios (3) • Hay distintos tipos de portafolios. • Portafolios de rendición de cuentas, para la evaluación sumativa, para la acreditación, para la selección, para la evaluación formativa, etc. • Todos los portafolios contienen evidencias del aprendizaje significativo. Normas para la utilización del Portafolios Es necesario... Si no... Determinar claramente lo que los/as alumnos/as deben presentar Portafolio= colección de trabajos de poco valor para el/a profesor/a Tener una tutorización mayor al principio Sensación de sucesión de imprevistos o falta de control Opción del centro: utilizarlo en más de una asignatura Poca efectividad Establecer normas claras: días de revisión, secciones, situación física, obligatoriedad, … Demasiada abundancia y falta de organización Seleccionar semanalmente algunos ejemplos (muestras) para que los últimos sean seleccionados más fácilmente. Acumulación de trabajos y poco aprendizaje en la selección significativa Tutorización y corrección continua No es posible la evaluación formativa La Calidad de la Información A B C 18 17/03/2015 Procedimientos para asegurar los criterios de calidad CRITERIOS CREDIBILIDAD Consiste en que las interpretaciones y los hechos ocurridos deben hacerse creíbles y aceptables. TRANSFERIBILIDAD Grado en el que se pueda dar algún tipo de transferencia entre contextos, dependiendo del grado de similitud entre ellos. DEPENDENCIA Estabilidad de los resultados y conocimiento de los factores que explicarían la variabilidad de los mismos en el caso de repetir el estudio. CONFIRMABILIDAD Garantía de que los datos, interpretaciones y conclusiones de una investigación no están sesgados por las opiniones, creencias o prejuicios del o de la investigadora. PROCEDIMIENTOS Observación persistente. Trabajo prolongado. Saturación. Triangulación: de tiempos, de espacio, de teorías, de investigadores o investigadoras, de métodos, múltiple. Recogida de material referencial. Comprobaciones con los y las participantes Juicio crítico de colegas. Muestreo teórico. Descripción exhaustiva. Recogida de abundante información. Identificación del status y el rol del o de la investigadora. Descripciones minuciosas de los y las informantes. Identificación y descripción de las técnicas de análisis y recogida de datos. Delimitación del contexto físico, social e interpersonal. Réplica paso a paso. Revisión por observadores externos. Métodos solapados. Descriptores de baja inferencia. Comprobaciones de los y las participantes. Recogida mecánica de datos. Triangulación. Explicar posicionamiento del o de la investigadora. Ejercicio de reflexión. Revisión por agentes externos. 19