Intervención del comportamiento en estudiantes universitarios a través de herramientas digitales

Universidad Nacional Autónoma de México
Facultad de Psicología

Introducción

Desde que se inicia nuestra vida escolar, se nos ha mostrado un sistema de valuación sumativo a través de calificaciones cuantitativas, producto de nuestros esfuerzos al interior del salón de clases, así como de las actividades adicionales realizadas en casa. Este sistema continúa cada año o semestre hasta el nivel educativo superior e incluso en estudios de posgrado, patrón que ha sido un paradigma académico y, al mismo tiempo, poco ayuda al empoderamiento en la toma de decisiones y procesos de autorregulación en los alumnos, pues el objetivo es ganar una calificación como si se tratara de una competencia, y no de una situación personal.

Es importante considerar que actualmente existen muchas vías para compartir información con los alumnos: la tecnología ofrece una amplia gama de maneras de estar en contacto, e incluso ha habido casos en que los profesores intentan mantener comunicación a través de redes sociales con sus estudiantes. Sin embargo, los esfuerzos no han producido un resultado significativo o estandarizado que permita su reproductibilidad eficiente, y han derivado en repositorios de documentos y tableros de anuncios (Gewerc, Montero y Lama, 2014).

Como docentes, es importante tener presente que preparamos a nuestros alumnos para su futuro profesional a través de nuestras mejores competencias y posibilidades, motivo por el cual compartimos con ellos la información que consideramos adecuada de manera que puedan actuar y entender sus acciones, así como su responsabilidad, tal como ocurrirá una vez que ellos terminen sus estudios universitarios.
De esta forma, es pertinente la aproximación sugerida por Adriana Gewerc, Lourdes Montero y Manuel Lama, quienes afirman que:

El nuestro (enseñanza, aprendizaje y procesos de evaluación) es un proceso continuo de consulta con respecto a la práctica, en la que tratamos de ser fieles a las premisas de la enseñanza centrada en los estudiantes que aprenden en colaboración con otros. Este enfoque de la enseñanza tiene como objetivo abordar la diversidad de los alumnos, fomentar su independencia y, mejorar las fortalezas de cada uno. […] los estudiantes se conciben como socios en el trabajo de alcanzar aprendizaje y quienes tienen la iniciativa y habilidad de reflexionar sobre sus propios procesos (2014, p. 56, traducción propia).

Desde esta perspectiva, el paradigma en torno a la obtención de calificaciones puede ser equiparado con la teoría económica clásica que considera que en tanto “seres humanos racionales”, en virtud de obtener los mejores beneficios se actúa en consecuencia de manera natural. Sin embargo, los nuevos enfoques económicos y psicológicos nos han dado a entender que en realidad actuamos de forma “irracional” en nuestra toma de decisiones, como lo estudia la Economía del Comportamiento (Thaler y Sunstein, 2009, pp. 17-39). A partir de esto, se sugiere una comparación con lo que ocurre al interior de los salones de clase, donde los estudiantes tratan de obtener una calificación, comparando esta con un bien económico, tal como lo es el salario o algún beneficio obtenido con su trabajo.

Estos conceptos y la literatura revisada para este documento provienen de distintas disciplinas y áreas del conocimiento, tal como lo son el Diseño, la Economía del Comportamiento, la Analítica del Aprendizaje, así como la Psicología Experimental. Bajo este marco, nuestro caso de estudio se desarrolla en función de explorar las posibilidades de intervenir el comportamiento de los alumnos a través de un punto de vista distinto de la manera en la que se ofrecen las calificaciones, pero sin modificar las rutinas educativas al interior y fuera del salón de clase; en palabras de Richard Thaler y Cass Sunstein (2009, p. 39), a través de un nudge [1].

Como acotación a lo anterior, es pertinente explicar que la Analítica del Aprendizaje o Learning Analytics (LA) es una disciplina emergente que se puede resumir de la siguiente manera:

como la recopilación, análisis y aplicación de datos acumulados para evaluar el comportamiento de las comunidades educativas. Ya sea a través del uso de técnicas estadísticas y modelos predictivos, visualizaciones interactivas o taxonomías y marcos de trabajo, su objetivo final es optimizar tanto el rendimiento de los estudiantes como del profesorado, refinar estrategias pedagógicas, racionalizar los costos institucionales, determinar el compromiso de los estudiantes con el material del curso, identificar estudiantes potencialmente problemáticos (y para alterar la pedagogía en consecuencia) para ajustar los sistemas de calificación mediante análisis en tiempo real, y permitir a los instructores juzgar su propia eficacia educativa (Larusson y White, 2014, p. 2, traducción propia).

Distintos casos de estudio han probado la utilidad del uso de la Analítica del Aprendizaje, para mejorar el conocimiento acerca de los alumnos y sus avances al interior de sus cursos o asignaturas. Algunos de esos ejemplos pueden ser encontrados en el trabajo de Billy Tak Ming Wong (2017), donde se compila una larga lista de hallazgos favorables desde esta disciplina emergente, aunque pocos explican a detalle la teoría desde la psicología que sustenta la influencia en el comportamiento de los alumnos.

Un número importante de artículos han sido escritos desde 2007 a 2016 en torno a LA y sus aplicaciones en la educación superior. Según apunta Wong (2017), en su investigación de más de 1.400 documentos, la mayoría sugiere la importancia en el uso de este enfoque alternativo, así como las interacciones entre alumnos, profesores y universidades. Aún más importante, los reportes de los resultados positivos y beneficios de quienes participaron en las intervenciones de LA son evidentes; incluso cuando se refieren a la percepción de los estudiantes o a los arrepentimientos en la toma de sus decisiones, estos estudios sugieren una reflexión importante por parte de los alumnos en torno a su comportamiento (Lavecchia, Liu y Oreopoulos, 2014, p. 16), de tal manera que, tanto los resultados cuantitativos como cualitativos pueden ser traducidos como avances significativos, a pesar de todas las probabilidades relacionadas a las distintas variables contextuales de los participantes (Wong, 2017, pp. 28-32).

Durante la investigación, se revisaron distintos artículos en los que el principal objetivo estuviera relacionado con el nuestro, esto es: la autorregulación y mejora de los indicadores de actividades que pudieran demostrar una modificación en el comportamiento favorable de los alumnos. Así, esta investigación fue originada desde dos aproximaciones distintas, la primera, basada en la economía del comportamiento, en donde se sugiere que no hay suficientes trabajos que favorezcan una relación entre esta y la educación, a pesar de que con ella se pueden generar mejoras en la toma de decisiones de los estudiantes (Lavecchia, Liu y Oreopoulos, 2014, p. 5), así como la aversión a la pérdida de la teoría prospectiva de Amos Tversky y Daniel Kahneman (1991), y por otro lado, desde una perspectiva propia que sugiere que los alumnos de nivel superior están suficientemente preparados para tomar decisiones por su beneficio y tomar seriamente sus responsabilidades si se les provee de la información suficiente y de manera oportuna, a través de un canal adecuado de información.

A su vez, se consideraron las problemáticas que se intentan abatir en las Instituciones de Educación Superior (IES) entre las que se encuentran una defectuosa eficiencia terminal, el abandono escolar y el bajo rendimiento en distintas asignaturas, razón por la que resultan importantes las intervenciones con herramientas basadas en LA, y, aunque no todas sus aplicaciones tienen los resultados esperados –incluso los que son ampliamente reconocidos y probados a través de sistemas complejos como Blackboard [2] (Dodge, Whitmer y Frazee, 2015)–, es importante no descartarlos y evaluar los resultados en cada intervención, así como los instrumentos empleados, de manera que se puedan mejorar en un proceso iterativo, y descartar aquellos que no favorecen los objetivos, o que puedan hacer perder al alumno su atención, tiempo o concentración en sus actividades, incluso aquellos que no representen información importante en la toma de sus decisiones.

También, es preciso señalar que en México, en la búsqueda por abatir los problemas planteados se han desarrollado sistemas de tutorías o acompañamiento para los estudiantes dentro del sistema educativo como parte de las políticas públicas y esfuerzos de las Instituciones de Educación Superior (IES), particularmente desde la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), con una perspectiva psicopedagógica o constructivista que centra su atención en el alumno (Romo López, 2011), aunque no se encontraron datos en torno al uso de herramientas digitales o aplicación de LA en este sentido. Es precisamente en este marco y bajo el modelo de intervención de consulta o de intercambio de información entre los diferentes agentes educativos que este texto tiene como propósito conjugar diversos enfoques en torno al acompañamiento escolar buscando el acercamiento de los alumnos y docentes por medio de la tecnología, apuntando a que, aquellos casos de éxito realizados desde la docencia e investigación educativa, puedan verse como soporte para esta investigación e intervención.

El planteamiento mostrado en este proyecto apunta a dos implementaciones de bajo costo, el cual se puede interpretar como las horas-hombre invertidas sin la necesidad de licencias o adquisición de un software particular, lo que permitiría su réplica en otros contextos de una manera sencilla o con ayuda de equipos de trabajo que se pueden encontrar al interior de cualquier universidad.

Diseño

El proceso de trabajo en este desarrollo está sustentado en la metodología del pensamiento de diseño o design thinking, a través de sus cinco pasos propuestos, a saber: (1) empatizar, (2) definir, (3) idear, (4) prototipar y (5) probar (Institute of Design at Stanford, 2018), con una iteración subsecuente a partir de los resultados obtenidos en la primera intervención. Si bien, la teoría indica que no hay un número de iteraciones definidos en virtud de mejorar el diseño, en este caso solo se realizó una iteración para contrastar los resultados obtenidos en cada aplicación.

La elección de esta propuesta metodológica estuvo basada en sus resultados y aplicaciones en distintas áreas del conocimiento, y no en las disciplinas relacionadas con el diseño de manera exclusiva. De igual manera, la intervención fue realizada en una Facultad de Diseño de una universidad privada en Ciudad de México, donde la misma metodología se imparte en cursos teórico-prácticos. Además, es bien sabido que esta metodología es perfectamente compatible con distintas disciplinas y aproximaciones a la economía del comportamiento (Chu, 2018).

Adicionalmente a este proceso, se realizó una recolección de datos, análisis estadísticos y contraste de la información basados en métodos cuantitativos y cualitativos, de manera que se pudieran obtener ambas perspectivas y resultados. Para el diseño del instrumento de recolección de datos se usaron conceptos y métodos propios de la Analítica del Aprendizaje, de manera que la medición de las variables estuviese estandarizada y homologada y así, se facilitara el análisis de los datos.

La implementación se explica a continuación a través de las fases de la metodología del pensamiento de diseño. Es preciso señalar que, debido al proceso de iteración, los pasos de prototipado y pruebas se dividen en dos fases, y los resultados se muestran contrastando ambos resultados.

Paso 1. Empatizar: el curso

Se eligieron ocho grupos de alumnos de la carrera de Diseño Gráfico, de los cuales cuatro funcionaron como grupo de control y a cuatro se les aplicó la intervención. Posteriormente se contrastó la información y analizó el resultado. La intervención fue aplicada en los semestres de verano de 2018 y primavera de 2019. Todos los grupos fueron de materias teóricas para diseño, tales como Semiótica y Retórica.

Cada uno de los cursos se impartió dos veces por semana en clases de 90 minutos por sesión, por 16 semanas con 16 a 22 alumnos por grupo y con 20 actividades regulares (10 artículos de corte académico y 10 mapas mentales de lecturas) por semestre, que representaron el 40% de su calificación final en cada curso, más una actividad entendida como “proyecto final” con un valor del 20% adicional, el 40% restante se dividió entre calificaciones obtenidas por exámenes y exposiciones.

Perfil del alumno: se recopiló información de 154 alumnos inscritos en los cursos, con un descarte de 22 que por razones particulares no concluyeron las materias, dado que los grupos se mezclan cada semestre, se evaluó al mismo número de alumnos en dos materias distintas durante los semestres de primavera y verano del mismo año, y a grupos de nuevos alumnos al año siguiente. Los grupos se componen predominantemente de mujeres (85%) y edades entre 19 a 21 años, todos mexicanos sin una clara distinción de grupos minoritarios, considerando que es una universidad privada de corte religioso. Es importante apuntar que una generación completa de alumnos de esta licenciatura ronda los 40 estudiantes.

Paso 2. Definir

Los cursos teóricos en carreras de diseño difieren tanto en su estructura como enseñanza de las otras asignaturas dentro del plan de estudios, lo que implica distintos tipos de trabajo al que los estudiantes están habituados y que practican la mayor parte del día, pues están acostumbrados a tareas más prácticas, creativas y técnicas. A partir de esto, es importante considerar alternativas para incentivar a los alumnos a encausar sus esfuerzos para obtener calificaciones adecuadas y adquirir el conocimiento que se imparten en los cursos, mismos que les serán útiles para mejorar sus habilidades discursivas y defender sus artefactos diseñados no solo desde la perspectiva teórica, sino de manera argumentativa y del discurso visual.

Los grupos para el levantamiento de información fueron los siguientes:

Hipótesis

La hipótesis de la investigación se planteó de la siguiente manera:

a. El concepto de “aversión a la pérdida” o loss aversion [3] de la Teoría Prospectiva (Tversky y Kahneman, 1991, p. 1047) se puede evidenciar en la educación superior de una manera similar a como es entendido en la economía del comportamiento, si se presenta a los estudiantes a través de una herramienta visual que les permita ver y entender cómo se “pierde la calificación”.

b. Los estudiantes que tienen acceso a sus calificaciones durante todo el semestre pueden tomar mejores decisiones en torno a su propio rendimiento y entrega de trabajos, mejorando su autorregulación.

c. El acceso a su propia información permite a los estudiantes tener mayor confianza en su proceso de toma de decisiones y reduce la percepción de incertidumbre acerca de sus esfuerzos, además de incentivar la toma de acción y entrar en contacto con su profesor de manera habitual.

Diseño de la investigación

El experimento fue diseñado para medir variables del sistema de evaluación, asistencia y entrega de actividades de los alumnos. Esta información y trabajos fueron seleccionados para medir los esfuerzos de los alumnos y analizarlos a través de los resultados obtenidos. Toda la información recolectada fue integrada en hojas de cálculo de Microsoft Excel, graficadas y comparadas durante el semestre, y el análisis estadístico final se realizó con la herramienta IBM SPSS Statistics, de manera que fuera posible determinar mediante el cálculo de análisis de varianza (ANOVA) las diferencias entre grupos de control y grupos intervenidos.

Las variables analizadas se determinaron a partir del syllabus diseñado para la materia, cuya evaluación general se dividía en los siguientes rubros:

Tanto para los grupos de control, como para los de intervención, las evaluaciones tuvieron las mismas características. No obstante, solo se analizaron tres rubros que representaban el 60% del total de las calificaciones por estudiante, proyecto final (PF), ensayos académicos (L) y mapas mentales de lecturas (M). Tanto L como M, constaban de 10 calificaciones totales que representaban 10 actividades individuales, siendo así la carga teórica más pesada en términos de tiempo y esfuerzo realizado por los alumnos durante el semestre, pues ambas actividades suman un total del 40% total de su asignatura final.

Aunque se evaluaron las otras actividades descritas en el syllabus, no representaron el objeto de estudio de este proyecto, dado que la intención era comprobar si se podía mejorar la cantidad y calidad de entregas de las actividades que representaran un mayor esfuerzo de manera constante.

Paso 3. Idear: tratamiento

El experimento, intervención e iteración fueron desarrollados con la creencia de que los estudiantes reaccionarían de una manera similar a como se sugiere en la Teoría Prospectiva en relación con la aversión a la pérdida (Tversky y Kahneman, 1991, p. 1054). Para ello, el estudiante tendría que estar sujeto a un cambio de paradigma en torno a ganar una calificación a través de su trabajo y esfuerzo y, por el contrario, considerar que desde el inicio del curso empezaban con la calificación más alta posible y, en función a sus decisiones, esta se podría perder e ir bajando gradualmente. El sistema de calificaciones se considera de 5 a 10, siendo el 5 no aprobatorio, 6 el mínimo aprobatorio y 10 de excelencia, con la posibilidad de no obtener calificación alguna o cero, en caso de no presentar sus trabajos, también es importante señalar que las calificaciones no necesariamente se dieron en números enteros sino con dos decimales, por lo que calificaciones iguales o por encima de cinco décimas equivalían al siguiente número superior entero a la hora de obtener el promedio definitivo, es decir, 9,5 o 9,51 sería en realidad un 10 de calificación final, así como un 9,49 sería en realidad 9. De esta manera los estudiantes no ganan una calificación, pero tienen la posibilidad de perder un porcentaje con cada trabajo y actividad evaluada.

En el estricto sentido de las evaluaciones, los estudiantes sí obtuvieron una calificación con cada trabajo, lectura, examen, entre otros, pero la percepción de cómo se logró se interpreta de manera distinta; con cada calificación ellos solo pudieron perder una fracción de su calificación máxima posible con la que ya contaban. Tal como en los experimentos de economía del comportamiento, cada entrega o ejercicio que se evalúa conlleva la intención de que traten de evitar la pérdida de un valor numérico que, en este caso, representa un bien simbólico determinante en su vida estudiantil.

Uno de los puntos más importantes fue considerar cómo es que este, difiere de los experimentos regulares de la economía del comportamiento dado el tiempo de aplicación del experimento e intervención, pues los estudiantes tuvieron conocimiento de su calificación definitiva o una aproximación muy cercana a ella antes del final de semestre, por lo que fue necesario, mantener dentro de lo posible, un estricto orden y cronograma de evaluaciones y asignación de las calificaciones correspondientes por parte del profesor, de manera que se pudiera provocar el efecto de aversión a la pérdida de manera constante durante el ciclo escolar.

Paso 4a. Prototipo: herramienta de seguimiento de calificaciones

La primera intervención fue diseñada en una hoja de cálculo personal por alumno, en la plataforma Google Documentos donde cada alumno podía acceder, pero sin privilegios de modificación o alteración, por la cual podían dar seguimiento a sus calificaciones finales y porcentajes de evaluaciones de cada tarea o actividad evaluada, y estaba directamente relacionada con el syllabus presentado por el profesor a inicio de semestre, por lo que los alumnos contaban con un cronograma de evaluaciones.

El archivo ofrecía a los alumnos su propia información, alimentada por una hoja de uso exclusivo del profesor en la cual asignaba sus calificaciones, y que actualizaba automáticamente los datos en las hojas personales. Al tiempo que los alumnos podían ver sus propios porcentajes y promedio, también podían ver un comparativo de sus calificaciones en contraste con su grupo, pudiendo así ubicar su rendimiento contrastándolo con sus pares. Asimismo, tenían acceso a un espacio donde el profesor dejaba notas o información en relación con sus calificaciones o sugerencias, pero no permitía la interacción a través de la misma hoja, lo que obligaba al alumno a que, en caso de duda, se contactara por otro medio con el docente.

El archivo personal de seguimiento de cada alumno fue diseñado con la siguiente información (Figura 1):

1. Nombre del estudiante y grupo.
2. Indicador de inasistencias (acorde al reglamento universitario, los alumnos no pueden tener más del 20% de
   inasistencias, lo que representaba
   6 inasistencias).
3. Calificación final presentada a través de una gráfica de dona con la calificación en porcentaje (0 a 100).
4. Tabla de calificaciones donde se representaban todas las actividades evaluables durante el curso.
5. Un histograma donde se representaba la calificación conservada en contraste con la calificación perdida.
6. Un histograma donde se representaba la calificación conservada en contraste con la calificación promedio del grupo.
7. Un histograma con la calificación inicial en contraste con la calificación conservada
8. Un área de comentarios sin interacción, la cual sólo podía ser alimentada por el profesor.

Para las gráficas presentadas se eligieron dos colores, verde y rojo por sentido común. El archivo personal se podía entender como un tablero similar a un Balance Score Card (BSC) con el único propósito de mostrar algunas gráficas relacionadas con las calificaciones personales y de grupo, pero sin la opción de que pudieran ver los datos de sus pares de manera personal. La opción de usar un BSC también ha sido evaluada en otros proyectos de investigación donde su uso ha sido positivo (Wyne y Reeves, 2015). También Elsa Cardoso y otros argumentan acerca del uso de los BCS como un soporte extraño al proceso de aprendizaje, pero que es útil en ciertos casos, como en estudiantes de contabilidad (Cardoso, Santos, Costa, Caçador, Antunes y Ramos, 2016).

Como la literatura revisada apunta, el uso más común de los BSC o los tableros de control de LA, es con fines administrativos (como lo sugieren Cardoso et al., así como Wyne y Reves), de manera que se pueda analizar y evaluar a los estudiantes, así como docentes y personal administrativo (Cardoso et al., 2016, p. 42; Wyne y Reeves, 2015, p. 8), pero no como herramienta propia para conocimiento de los estudiantes, de manera que pudieran acceder a información inmediata acerca de sus actividades y calificaciones, o como una herramienta de prospección de sus evaluaciones. Esto es abordado por Linda Corrin y Paula De Barba cuando sugieren que no es clara la habilidad de los estudiantes para interpretar estos tipos de retroalimentaciones o beneficios para su aprendizaje (Corrin y de Barba, 2014).

Es importante aclarar que en ninguna de las intervenciones se utilizó un sistema de gestión de aprendizaje o LMS (Learning Management System). El archivo en Google Drive fue usado en combinación con carpetas personales por alumno para que hicieran entrega de sus archivos y trabajos en formato PDF o de Google Documents. La elección de Google Drive permitió además obtener información adicional acerca de las actividades de los estudiantes, la fecha y hora en la que subían sus trabajos, diferentes versiones de archivos de entregas y la posibilidad de dejar comentarios en sus archivos, así como las calificaciones, sin la necesidad de imprimir.

Además, a esta implementación se creó y aplicó un cuestionario a final del semestre de manera que se pudiera conocer la percepción del uso de esta herramienta, obteniendo información cualitativa directa de los alumnos y sus interacciones, sus preocupación y estados de ánimo, así como su punto de vista en relación con la utilidad de este tipo de interfaces.

Paso 4b. Iteración del prototipo

A partir de la experiencia de la implementación previa, se realizaron cambios en el instrumento de medición, así como en el diseño y formato de la herramienta a la cual se le puso el nombre de monui (segunda conjugación del verbo moneo en latín que significa: amonestar, pronosticar, presagiar, recordar, aconsejar, advertir y/o enseñar), de manera que se pudiera recopilar más información analizando las mismas variables, y facilitando el acceso a los alumnos a través de un sitio web responsivo que podían revisar en sus dispositivos móviles (Figura 2). La misma herramienta era usada por los docentes de manera que pudieran incluir las calificaciones y contar con información particular de cada alumno.

Las características adicionales que se incluyeron en esta iteración para los alumnos fueron:

1. Mejor acceso desde dispositivos móviles.
2. Vista de calificaciones por materia (posibilidad de tener la misma herramienta en distintas asignaturas del semestre).
3. Subir sus tareas en formatos PDF o Word con un registro de fecha y hora.
4. Acceso a sus tareas guardadas.
5. Comentarios del profesor a cada una de las tareas guardadas con fecha y hora de captura.
6. Vista de gráficas de rendimiento (Figura 3).
   a. Calificación actual (al momento del acceso).
   b. Lista de criterios de evaluación de la asignatura.
   c. Lista de calificaciones según los criterios de evaluación.
   d. Gráfica de calificaciones (pérdida de puntos) según los criterios de evaluación.
   e. Gráfica de promedio de la materia en contraste con el promedio del grupo.

Para los profesores, la herramienta también tuvo mejoras, entre las cuales están (Figura 4):

1. Acceso por medio de dispositivos móviles.
2. Gestión de asignaturas a impartir.
   a. Creación de criterios de evaluación.
3. Gestión de grupos por asignatura.
4. Gestión de alumnos por grupo.
5. Calificar a alumnos de manera individual.
   a. Revisión de tareas subidas a la plataforma.
   b. Agregar comentarios.
6. Visualización de las siguientes gráficas:
   a. Gráfica y listado de promedio de calificación por grupo.
   b. Visualización de las mismas gráficas a las que tienen acceso los alumnos.

A su vez, todas las interacciones de los alumnos dentro del sitio web fueron registradas por medio de dos códigos de rastreo, uno capturado por Google Analytics, y otro por la herramienta Matomo. En ambos casos, todos los registros de interacción fueron capturados de manera anónima con un número de identidad asignado por alumno.

Esta herramienta fue desarrollada en el lenguaje de programación PHP con una conexión a una base de datos en MySQL, misma que sirvió para la captura de información de uso de la plataforma, la cual fue contrastada con los datos obtenidos de los sistemas de analítica tanto de Matomo como de Google Analytics. Este desarrollo fue implementado en un servicio de hosting privado, y con certificado de seguridad SSL.

Resultados

Paso 5. Probar

Los resultados se describen y explican por grupo, y la información se presenta en tablas para un fácil análisis y comparación entre ellos. En todos los casos se analizaron las mismas variables y se agruparon como figura en la Tabla 3.

Adicionalmente a las variables de calificaciones medidas, también se hizo un análisis en torno a la asistencia (AST) a clase. Los datos obtenidos están expuestos en la Tabla 4.

Se considera que no hubo una diferencia significativa en términos de la asistencia a clase entre los grupos de control e intervención, siendo mayor en el segundo. Si bien esto no se puede relacionar con el uso de la plataforma de manera directa, es importante señalar que la asistencia, en el caso de este estudio, jugaba un papel importante, pues los alumnos debían cubrir con un mínimo del 80% de asistencia para acreditar el curso de manera regular por disposición de la universidad, y hasta un 60% como mínimo para tener derecho a presentar una evaluación extraordinaria.

En cuanto a las variables de entrega de ensayos “L1 … L10”, los datos obtenidos pueden observarse en la Tabla 5.

A pesar de que se muestra un decremento en las calificaciones de la variable L, sí hay una diferencia significativa entre ambos grupos en algunos de los trabajos presentados, lo que a su vez se representa con el incremento en el porcentaje de entregas tanto en tiempo como con mayor antelación por parte de los alumnos, situación que se infiere como una mejor planificación de aquellos que entregaban a tiempo y quienes adelantaban sus trabajos entre uno y dos días previos a la fecha asignada (Tabla 6 y Gráfico 1).

Con relación a la variable M (mapas mentales de lecturas), la información obtenida puede observarse en la Tabla 7.

La relevancia de esta medición se evidencia con el notable aumento de entregas por parte de los alumnos (Tabla 8), así como una mejora significativa en las calificaciones obtenidas (Tabla 7), a partir de una reducción del porcentaje de “no entregas” y el aumento en la recepción de trabajos con antelación, ya fuese de uno y dos días a más de tres días.

El aumento en la entrega de trabajos asociados a la variable M tuvo como resultado un incremento en la calificación final de los alumnos, pues incluso con calificaciones cercanas a la media del grupo de control (6,88), los promedios obtenidos se incrementarían al no estar calculados con valores de cero (Tabla 8 y Gráfico 2).

En lo que respecta a la última variable supervisada que corresponde al 20% de la calificación total asignada al rubro PF, los valores obtenidos figuran en la Tabla 9.

La información obtenida no arroja un cambio significativo entre los grupos.

En la iteración o segunda intervención, también se obtuvo información adicional en torno al número y constancia de revisiones por parte del docente, así como el acceso a la plataforma por parte de los alumnos para dar seguimiento a sus notas. Esta información se contrasta con el número de evaluaciones o revisiones esperadas según la calendarización informada a los alumnos a través del syllabus, representada en el Gráfico 3.

En el Gráfico 3 se muestra la cantidad de veces que los alumnos entraron a la plataforma para dar seguimiento a sus calificaciones, y aunque estas no fueron entregadas exactamente de acuerdo con la planificación inicial, se nota una similitud entre las mediciones, es decir: los alumnos mostraron interés y tuvieron acceso a su información cada vez que el docente alimentó el sistema con las notas correspondientes, lo que sugiere un aprovechamiento de la plataforma implementada.

Análisis Cualitativo

Los datos muestran que hubo un decremento significativo en un comportamiento no deseado de los estudiantes, lo que mejoró la cantidad de trabajo entregados durante el semestre. Empero, las calificaciones obtenidas y analizadas bajo estas variables no necesariamente sugieren un aumento en la calificación final en todas las variables, como se muestra en las Tablas 10 y 11.

Si bien se nota una diferencia entre las intervenciones, es importante señalar el incremento de notas bajas o mejorables en contraste con el incremento que tuvieron las regulares, buenas y excelente entre la segunda y primera intervención, así como un incremento en la decisión de no entregar los trabajos asignados. Se infiere que esa decisión está asociada a la dificultad que representaban dichas actividades (Tabla 10 y Gráfico 4).

En cuanto a la calidad en las entregas de la variable M (Tabla 11), al contrario que la variable anterior, las calificaciones buenas y regulares tuvieron un aumento en la segunda intervención, y en ambos casos la reducción de la falta de entregas de los alumnos fue claramente disminuida en más de un 16%. Empero, las calificaciones consideradas como excelentes, así como en la gráfica de la variable L, también se reducen en la segunda intervención y las calificaciones mínimas y mejorables se incrementan, lo que sugiere una intención de entregar más tareas sin considerar su calidad (Gráfico 5).

En relación con los datos obtenidos a través del cuestionario realizado a los alumnos a final de semestre, se obtiene la información de la primera intervención detallada en las Tablas 12, 13 y 14.

Los resultados de la iteración se pueden ver en las Tablas 15, 16 y 17.

Discusión

Es importante aclarar que lo que este documento intenta evidenciar es la efectividad y alcance del método de evaluación propuesto a través de una herramienta digital simple, y no así a los alumnos o a la universidad en donde se realizó la intervención. Si bien la producción de las herramientas no fue compleja en términos técnicos o tecnológicos, lo que se pretendió comprobar fue la teoría llevada a la práctica en un ambiente controlado y que no requiriera una inversión económica considerable para su implementación, dado que no se contó con recursos particulares para este proyecto.

Existieron algunas limitaciones en el estudio dado que no se realizó una estratificación de la muestra. En algunos casos los alumnos que participaron en la intervención pudieron contar con becas o créditos educativos que podrían representar una variación, dado el interés particular por mejorar sus calificaciones. Dicha situación sería similar en materias en las que no se utilizó el archivo correspondiente o el uso de la plataforma digital.

Dentro de la literatura revisada no se logró encontrar un trabajo equivalente en relación con el marco teórico. Sin embargo, existen trabajos similares al presentar estadísticas a los alumnos, pero las estrategias implementadas son mezcladas con elementos de gamificación, lo que representa un modelo de análisis distinto y no se reportaron los beneficios del uso de la herramienta de manera tangible, como en el caso de Cardoso y otros (2016), y en ninguno se encontró una iteración del proceso con resultados contrastados.

Durante la recopilación de información de los grupos de control (en especial los grupos de verano 2017), en el mes de septiembre ocurrió en Ciudad de México un terremoto, lo que recortó en promedio 3 semanas de actividades académicas y modificó los parámetros de evaluación de los alumnos, pero no así el número de calificaciones en las variables medidas. Sin embargo, se conservan los datos, aunque existe la posibilidad de un sesgo en los grupos de control 1 y 2, pero no así en los grupos 3, 4, 5, 6, 7 y 8. Para los grupos de intervención e iteración no ocurrieron eventos que pudieran modificar la captura de información.

Uno de los resultados que consideramos más interesantes para futuras intervenciones o experimentos fue lo referente al proceso de autorregulación que reportaron algunos alumnos, incluso en actividades que podrían considerarse contrarias a lo esperado, como decidir no entregar trabajos a pesar de la pérdida que representaba. De manera particular, hubo casos en los que cuando ocurrió dicho comportamiento se explicó que la decisión fue tomada para cumplir sus obligaciones en otras asignaturas, lo cual, en determinado momento, representaba una mayor carga de trabajo, y, por lo tanto, sugiere también un proceso de autorregulación.

Es importante considerar también que, a diferencia de otros experimentos, en este caso hubo un análisis cualitativo final, para conocer los estados de ánimo y sensaciones provocadas por el uso de estas herramientas, pues el propósito de la intervención no sólo radicaba en un cambio de comportamiento, sino que, a su vez, buscaba no provocar efectos indeseados, estrés o ansiedad en los alumnos de manera que su efectividad se viera opacada por cualquier posible afectación negativa. De igual forma, es importante apuntar que la participación en la intervención y uso del archivo de seguimiento de calificaciones fue totalmente voluntaria y a través de un consentimiento informado por escrito, de esta forma, los alumnos pudieron abandonar en cualquier momento su uso o participación, y que, estando informados desde el primer día de ello, ninguno optó por abandonar su uso.

Conclusiones

Considerando la información recopilada y analizada en este ejercicio e intervención, es importante replicar el modelo de trabajo en otros programas académicos, carreras y grupos, en orden de confirmar los resultados con muestras distintas y mayor aleatoriedad. Es indispensable remarcar los resultados inesperados, especialmente aquellos porcentajes notablemente significativos y que están relacionados con el esfuerzo realizado por los alumnos y no así con la calificación obtenida.

Uno de los principales objetivos de la intervención fue ofrecer a los estudiantes una herramienta que apoyara de manera indirecta su aprendizaje, que pudiera ser usada para tomar mejores decisiones acerca de sus calificaciones y consecuencias de su rendimiento. El resultado muestra una mejora significativa en dos aspectos particulares, la entrega de trabajos subió de manera inesperada pero no así las calificaciones de dichas entregas pues en la iteración, se nota un claro aumento de entregas y una disminución de la calidad de estas.

En relación con las hipótesis planteadas, podemos concluir lo siguiente:

a. El concepto de “aversión a la pérdida” de la Teoría Prospectiva: acorde a los resultados y la información obtenida del cuestionario final, consideramos que es posible trasladar el concepto de aversión a la pérdida al campo educativo, dado que, algunos de los estudiantes encontraron a través de esta intervención una motivación para realizar sus actividades de una manera continua en función de no perder un valor significativo de su calificación, incluso cambiando sus actividades rutinarias. También se puede relacionar este concepto con la sensación de ansiedad o estrés reportados por el uso de la herramienta. Particularmente en el grupo de iteración, se muestra un aumento significativo en el número de tareas entregadas pero una disminución de su calidad en función de no perder más puntos, incluso cuando algunas entregas tuvieron notas mínimas.

b. Mejores decisiones y entrega de trabajos: con más del 70% en la percepción de los estudiantes, consideraron que el conocer sus calificaciones durante todo el semestre fue factor decisivo para mejorar su rendimiento tanto en el grupo de intervención y el de iteración; con la información recopilada y los resultados, se infiere que la mayoría tuvieron una mejora significativa y modificaron su autorregulación y comportamiento.

c. Mayor confianza en toma de decisiones, la percepción de incertidumbre y contacto con su profesor: la información recopilada en el cuestionario final, sugiere que más de tres cuartas partes de los participantes se sintieron motivados a contactar a su profesor para obtener mayor información acerca de sus calificaciones y rendimiento, también el 100% consideró que la utilidad de conocer sus evaluaciones durante todo el semestre ayudó a la entrega de tareas y trabajos, y más de la mitad reportó sensaciones, sentimientos y estados de ánimo favorables, incluso motivación y confianza durante el tiempo que usaron la herramienta, pues tenían la certeza de sus resultados de manera inmediata.

Los resultados obtenidos de esta investigación dan pie a la mejora continua del instrumento de medición y recopilación de información, si bien los resultados en la intervención y la iteración son similares, algunos efectos no deseados fueron evidenciados, tal como la entrega de tareas con poca calidad, pero en mayor número. Es importante desarrollar nuevos parámetros de control que puedan favorecer la autorregulación de los alumnos y al mismo tiempo incentivarlos para mejorar la calidad. También es importante contar con un seguimiento a detalle de cada alumno para reducir cualquier sensación negativa que se pueda asociar al uso de este tipo de herramientas ■

REFERENCIAS

• Cardoso, E., Santos, D., Costa, D., Caçador, F., Antunes, A. y Ramos, R. (2016). Learning scorecard: monitor and foster student learning through gamification. Knowledge Engineering and Knowledge Management. 10180, pp. 55-68. Bologna: Springer Nature. DOI: https://doi.org/10.1007/978-3-319-58694-6_5
• Chu, G. (2018, junio). Design thinking in the age of behavioral economics. [En línea]. Recuperado de https://www.quirks.com/articles/design-thinking-in-the-age-of-behavioral-economics
• Corrin, L., y de Barba, P. (2014). Exploring students’ interpretation of feedback delivered through learning analytics dashboards [pp. 629-633]. En B. Hegarty, J. McDonald y S.-K. Loke, Rhetoric and Reality: Critical perspectives on educational technology. Dunedin: University of Melbourne. Recuperado de https://melbourne-cshe.unimelb.edu.au/research/research-projects/edutech/learning-analytics-dashboards
• Dodge, B., Whitmer, J. y Frazee, J. P. (2015). Improving undergraduate student achievement in large blended courses through data-driven interventions. The 5th International Conference on Learning Analytics and Knowledge, pp. 412-413.
• Gewerc, A., Montero, L., y Lama, M. (2014). Collaboration and Social Networking in Higher Education. Comunicar, XXI(42), pp. 55-62.
  DOI: http://dx.doi.org/10.3916/C42-2014-05
• Institute of Design at Stanford. (2018, 10 26). An Introduction to Design Thinking. PROCESS GUIDE. Recuperado de https://www.evansville.edu/changemaker/downloads/Process Guide for Design Thinking.pdf
• Larusson, J. A. y White, B. (2014). Learning Analytics. From Research to Practice. Nueva York: Springer.
• Lavecchia, A. M., Liu, H. y Oreopoulos, P. (2014). Behavioral Economics of Education: Progress and Possibilities. Cambridge: National Bureau of Economic Research. DOI:10.3386/w20609
• Romo López, A. (2011). La tutoría: una estrategia innovadora en el marco de los programas de atención a estudiantes. México D. F.: Asociación Nacional de Universidades e Instituciones de Educación Superior.
• Tversky, A. y Kahneman, D. (1991, noviembre). Loss Aversion in Riskless Choice: A Reference-Dependent Model. The Quarterly Journal of Economics, 106(4), pp. 1039-1061.
• Thaler, R. H., y Sunstein, C. R. (2009). Nudge. Improving decisions about health, wealth, and happiness. Nueva York: Penguin Random House.
• Wong, B. T. M. (2017). Learning analytic in higher education: an analysis of case studies. Asian Association of Open Universities Journal, 12(1), pp. 21-40. DOI: https://doi.org/10.1108/AAOUJ-01-2017-0009
• Wyne, M. F., y Reeves, J. (2015). Business Intelligence Dashboard for Academic Program Management. 122nd ASEE Annual Conference & Exposition. Seattle: American Society for Engineering Education.

Notas

1.   El concepto de “nudge” que en su traducción se entiende como “pequeño empujón”, lo plantean los autores como cualquier aspecto que permita incidir en una elección y alterar el comportamiento de las personas de una manera predecible, pero sin prohibir otra opción o cambiar algún incentivo económico, esto a través de intervenciones fáciles y económicas, considerando en todo sentido que no son órdenes ni mandatos. (Volver)

2.   Blackboard es un LMS (Learning Management System o Sistema de gestión del aprendizaje) que permite la interacción entre profesores y alumnos para desarrollar cursos en línea, evaluaciones y análisis del uso y compromiso de los alumnos entre otros aspectos, uno de los LMS más conocidos es Moodle. (Volver)

3.   La aversión a la pérdida, a la tendencia de las personas a tener más en cuenta una pérdida que una ganancia de la misma magnitud, Tversky y Kahneman lo apuntan de esta manera: “la desesperación que puede producir la pérdida de una suma considerable de dinero nos parece mayor que la satisfacción que podríamos obtener al ganar la misma cantidad” (Tversky y Kahneman, 1991, p. 1054, traducción propia). (Volver)

Cantidad de veces que se ha leído este artículo: [wpstatistics stat= pagevisits time=total id=6512]

SECCIÓN DEBATES
Como parte de la discusión académica, invitamos a debatir con las ideas presentadas en este artículo. Si su contribución respeta las reglas del intercambio académico y comprobamos fehacientemente su procedencia, será publicada en línea sin referato. Puede enviarnos su reflexión aquí.

Cómo citar este artículo (Normas APA):

García Arano, C. y Verdejo Manzano, M. E. (2020, mayo – octubre). Intervención del comportamiento en estudiantes universitarios a través de herramientas digitales. [En línea]. AREA, 26(2). Recuperado de https://www.area.fadu.uba.ar/area-2602/garcia-arano-verdejo-manzano2602/