https://doi.org/10.5565/rev/qpsicologia.2167

Estudiantes de grado realizando control de calidad como Aprendizaje-Servicio

Pre-graduate Students Performing Quality Control as Service-Learning

Carme Viladrich
Eduardo Doval
Eva Penelo
Joan Aliaga
Rebeca García-Rueda

Universitat Autònoma de Barcelona

Ariadna Angulo-Brunet

Universitat Oberta de Catalunya

Albert Espelt

Universitat Autònoma de Barcelona

CIBER de Epidemiología y Salud Pública, España

Resumen

El aprendizaje-servicio (ApS) combina la instrucción académica con un servicio comunitario. Aunque minoritario en la formación en metodología de las ciencias sociales y de la salud, presentamos el proyecto docente que aplica el ApS a la asignatura Psicometría del grado en Psicología de la Universidad Autónoma de Barcelona (UAB). Durante los nueve cursos analizados, hemos formado a 2589 estudiantes mediante un aprendizaje basado en problemas (ABP), valorando la calidad de 91 test psicológicos, educativos o logopédicos diferentes. Los resultados muestran alta retención (97-100 %), éxito y rendimiento (83-97 %), predominando las actividades autónomas, y elevada satisfacción con la programación docente. Los informes del estudiantado han beneficiado a la comunidad UAB, la editorial Hogrefe-TEA y el Consejo General de la Psicología de España. Concluimos que el ApS favorece el desarrollo personal, profesional, social y comunitario, comprometiendo a las nuevas generaciones, beneficiando la profesión y siendo sostenible y aplicable a otras asignaturas.

Palavras-chave: Aprendizaje-servicio; Aprendizaje basado en problemas; Innovación educacional; Universidades

Abstract

Service-learning combines academic instruction with service to the community. Although minority in training in methodology of social and health sciences, we present the teaching project applying service-learning to the subject Psychometrics of the degree in Psychology at the Autonomous University of Barcelona (UAB). During the nine academic years analyzed, we have trained 2589 students through problem-based learning (PBL), assessing the quality of 91 different psychological, educational, or speech-language pathology tests. The results show high retention (97-100 %), success and performance (83-97 %), mainly through autonomous activities, and high satisfaction with the follow-up of the teaching program. Student reports have benefited, at different times, the UAB community, the Hogrefe-TEA test publisher and the General Council of Psychology of Spain. We conclude that the service-learning experience favors personal, professional, social and community development, is socially committed, professionally involves the new generations while benefiting the profession, being sustainable and applicable to other subjects.

Keywords: Service-learning; Problem-based learning; Educational innovations; Universities

Introducción

El Aprendizaje-Servicio (ApS) es una forma de enseñanza que combina el aprendizaje teórico con la satisfacción de alguna necesidad social (European Observatory of Service Learning in Higher Education [EOSLHE]; Cayuela et al., 2020). Se trata de una forma de enseñanza que en la actualidad está integrada institucionalmente (Lorenzo et al., 2019; Pérez-Pérez et al., 2019), con una sólida base conceptual bien documentada científicamente (García y Lalueza, 2019), con sus costes y beneficios identificados en distintos ámbitos de aplicación (Cayuela et al., 2020; Fitch, 2007; Lorenzo et al., 2019; Redondo-Corcobado y Fuentes, 2020; Salam et al., 2019) e incluso con disponibilidad de instrumentos para su evaluación (Santos-Pastor et al., 2020).

El ApS se ha aplicado ampliamente en ámbitos tan variados como la enfermería, la economía, la formación de profesorado, los servicios sociales, las ciencias naturales y las ingenierías (Rutti et al., 2016), en los que la adquisición de competencias sustantivas y transversales encaja fácilmente con la misión docente de la universidad encaminada a favorecer la empleabilidad (Pineda-Herrero et al., 2018), y con la misión de compromiso social o tercera misión de la universidad (Lorenzo et al., 2019; Pérez-Pérez et al., 2019). También favorece el contacto directo o mediado del estudiantado con agentes sociales externos a la academia. Sin embargo, las experiencias son escasas en el ámbito concreto de la formación en metodología de las ciencias sociales y de la salud, una formación que por sus contenidos entronca más directamente con la segunda misión de la universidad, la de investigación. De las pocas experiencias se puede citar la de Barbara Schober et al. (2016), quienes han propuesto un modelo de enseñanza de la metodología denominado Viena E-Lecturing que las autoras enmarcan en la tercera misión de la universidad, en tanto que la transferencia de conocimiento formaría parte de esta misión. Sin embargo, desde nuestro punto de vista, su modelo no se basa en el ApS sino en la aplicación concreta de unas determinadas bases pedagógicas para la enseñanza de la metodología de la investigación que, de acuerdo con Sarah Lewthwaite y Melanie Nind (2016), consisten en hacer visible la investigación, aprender haciendo, y reflexionar sobre la investigación.

Hasta donde sabemos, la experiencia de ApS más clara en el campo de la formación en metodología es la de Boyd F. Richards et al. (2020), quienes tutorizaron a 15 docentes de diversas facultades del ámbito de la salud de una misma universidad asistentes a un curso de formación continuada. Dentro de las actividades del curso, Richards y sus colegas propusieron al estudiantado actuar en la revisión de tres artículos sometidos a publicación. Esta experiencia incorpora de forma natural las tres bases pedagógicas antes mencionadas en tanto que quienes participan, interactuando con un contexto que transciende a la academia, adquieren un conocimiento profesionalizador a través de una tarea real y significativa para un determinado entorno social. En las conclusiones se valora muy positivamente tanto la formación como el servicio realizado, y se destacan como aspectos a mejorar la difícil adaptación de los criterios generales de revisión que son objeto de la formación a cada tipo particular de manuscrito y también la falta de valoración formal de la experiencia. Este mismo tipo de formación y servicio se ofrece también en la Universidad McGill dirigido a estudiantes de distintos niveles de formación que manifestaron opiniones muy positivas (Macdonald et al., 2021).

A pesar de estas experiencias exitosas, la adopción del modelo ApS para la formación metodológica de estudiantes de grado presenta varias barreras. En primer lugar, porque los estudios de grado están más encaminados a formar profesionales en el ámbito aplicado que en el de investigación; en segundo lugar, por la disonancia entre la importancia que las facultades dan a esta formación y el menor valor que le atribuye el estudiantado y, en tercer lugar, debido al gran tamaño de los grupos formados por estudiantes que realizan esta formación de manera obligatoria. Además, disponer de datos sobre la efectividad y la sostenibilidad del ApS a lo largo de sucesivas promociones facilitaría la valoración de este modelo educativo novedoso con vistas a su posible adopción por otras instituciones.

Para allanar este terreno, en este trabajo nos planteamos dos objetivos. En primer lugar, pretendemos mostrar que esta posibilidad existe describiendo nuestro modelo ApS de enseñanza de Psicometría en una asignatura metodológica obligatoria de los estudios de grado en Psicología en España. En segundo lugar, nos planteamos valorar la serie temporal de datos de evaluación del proceso y de los resultados a lo largo de nueve años. Estos datos incluyen indicadores comparativos de resultado académico y de la formación de competencias que facilitan la empleabilidad, así como datos de satisfacción con la formación por parte del estudiantado. Adicionalmente, se discuten también los costes y beneficios de la puesta en práctica del proyecto y de su sostenibilidad.

La asignatura

El proyecto docente de la asignatura de Psicometría de la Universitat Autònoma de Barcelona (UAB) se diseñó en el año 2011 con el cambio docente que supuso la implantación del Plan de Bolonia (Agencia Nacional de Evaluación de la Calidad y Acreditación [ANECA], 2005). La asignatura se situó en el quinto cuatrimestre de los estudios de grado en Psicología, cuya duración es de 8 cuatrimestres, y en su programación afrontamos tres retos. El primero es de conocimiento y deriva del hecho que los instrumentos de medida psicológicos, los test, suelen ser productos con base científica, por lo que las futuras personas usuarias necesitarán disponer de los conocimientos y competencias para tomar decisiones informadas sobre su posible selección y uso (Fonseca-Pedrero y Muñiz, 2017). El segundo reto es educativo, porque el estudiantado percibe menos valor en la formación metodológica que en la impartida en asignaturas con contenido netamente psicológico, lo que comporta que su implicación sea muy laboriosa (Schober et al., 2016). El tercero es un reto de servicio comunitario, alineado con la promoción que los colegios profesionales de la psicología europeos hacen para difundir revisiones de la calidad de los test psicológicos, educativos y logopédicos independientes de las empresas editoras de test (Consejo General de la Psicología de España [COP], European Federation of Psychologists’ Associations [EFPA]). Con estas revisiones independientes se añade información adicional al manual del test, promoviendo de esa manera una mejora en la selección y uso de los test en el ámbito profesional que redunde a favor de una mejor evaluación de las personas a las que se les aplican dichos test (por ejemplo, pacientes, alumnado, trabajadores de empresas, etc.), en definitiva, un beneficio social.

Para dar respuesta a estos tres retos, una de las evidencias de aprendizaje consiste en que el estudiantado utilice tanto los conocimientos que está adquiriendo en la asignatura como los adquiridos en cursos anteriores, aplicándolos a la redacción de un informe sobre la calidad de un test siguiendo el modelo español de evaluación de test (Hernández et al., 2016; Prieto y Muñiz, 2000). Cada año, los informes que el profesorado considera de nivel excelente son publicados con la doble finalidad de que las personas usuarias de los test tengan acceso al menos a una revisión independiente de los mismos y de que el estudiantado tenga reconocida su autoría. Las entidades beneficiarias de los informes publicados han sido, hasta ahora, la comunidad UAB, la editorial Hogrefe-TEA y el COP en España (Viladrich et al., 2021b). De esta manera, la asignatura está orientada hacia el ApS.

Concretamente, cada curso académico organizamos unos 60 equipos de trabajo de 3 a 6 estudiantes que evalúan, mediante un informe pautado, uno de los test (entre 8 y 11 cada curso) propuestos por el profesorado. Para ello, los equipos disponen de un libro de texto con los contenidos de la asignatura desarrollados y del soporte presencial del profesorado durante un mínimo de dos horas semanales. El curso se supera obteniendo una calificación de apto en un examen con preguntas de respuesta múltiple sobre los contenidos de la asignatura, además de una calificación de apto en el informe.

Durante las ocho primeras semanas del curso, cada equipo redacta un borrador del informe, cumplimentando las partes relacionadas con cada tema del programa de la asignatura y siguiendo una metodología de aprendizaje basado en problemas (ABP). Después de recibir retroalimentación del profesorado, cada equipo dispone de otras cuatro semanas para redactar la versión definitiva que someterá a evaluación como evidencia de aprendizaje y a concurso para su posible publicación. El informe ganador, único para cada test, es el mejor evaluado entre los informes emitidos para cada test, siempre que alcance una calidad cercana a la profesional. Fuera del proceso de evaluación de la asignatura, tras una segunda retroalimentación del profesorado, los equipos ganadores actualizan sus informes que son enviados, únicamente en formato impreso, a las instituciones beneficiarias proporcionándoles un servicio para la mejora de la selección y uso de los test. La combinación del ApS con estrategias de ABP ha sido clasificada por Kerrissa Heffernan y Richard Cone (2001) como aprendizaje-servicio basado en problemas (problem-based service-learning, citado en Kim y Lee, 2022).

Método

Participantes

Participaron 2589 estudiantes que cursaron la asignatura de Psicometría, obligatoria de quinto semestre del grado en Psicología de la UAB, durante nueve cursos académicos (2011–2019) con una mediana de 307 estudiantes por curso (rango 139–332), formando un total de 560 equipos de trabajo. El estudiantado tiene una edad promedio de 20 años y el 78 % son mujeres. Participaron también 7 profesoras y 5 profesores, con experiencia docente entre menos de 1 año y más de 30 años, formando equipos de entre 5 y 7 docentes por curso y manteniéndose en el proyecto entre 1 y 9 años.

Instrumentos

Los indicadores utilizados se empezaron a publicar en la UAB a partir de la implantación del Plan de Bolonia (ANECA, 2005) de forma simultánea al inicio de nuestro proyecto docente.

Resultados académicos

Utilizamos tres indicadores a partir de los datos que publica oficialmente la UAB para cada asignatura y titulación: la retención, porcentaje de estudiantes que se han presentado a evaluación entre las personas matriculadas; el rendimiento, porcentaje de estudiantes matriculadas que han superado la asignatura; y el éxito, porcentaje de estudiantes presentadas que han superado la asignatura (UAB, n. d.-c).

Competencias transversales

Extrajimos la descripción de las evidencias de evaluación previstas en las guías docentes de todas las asignaturas obligatorias del grado en Psicología programadas el curso 2019/20 del depósito digital de documentos de la UAB (UAB, n. d.-a). La codificación de estas descripciones por competencias se explica en el apartado de procedimiento.

Calidad de la formación

Por una parte, analizamos los resultados de la encuesta de satisfacción del estudiantado que proporciona la UAB de forma estándar para cada asignatura. En ella se pide en seis preguntas el grado de acuerdo del estudiantado respecto a frases que describen aspectos deseables de organización, sistema de evaluación, carga de trabajo y utilidad de lo aprendido en la asignatura. La escala de respuesta es ordinal con cinco anclajes (0 = Totalmente en desacuerdo a 4 = Totalmente de acuerdo). Al final se incluyen dos preguntas abiertas sobre puntos fuertes y puntos débiles (UAB, n. d.-b). Por otra parte, el profesorado redacta sus reflexiones sobre el funcionamiento y los resultados del curso y ambos contenidos se tratan en los consejos de curso para identificar puntos de mejora y acordar cambios de los que se levanta acta. Finalmente, se valoraron también los reconocimientos académicos recibidos por el proyecto.

Transferencia

Desde el 2011, el profesorado de la asignatura mantiene un documento con la lista acumulativa de los test que se han evaluado en cada curso, junto con datos sobre los equipos participantes, la publicación de los informes y las instituciones beneficiarias. Analizamos las 91 entradas de este documento, así como las publicaciones de informes del mismo tipo realizadas por el Consejo General de la Psicología (COP, n.d). Los datos sobre la calidad de los informes se han publicado en otro trabajo (Viladrich et al., 2021a). Respecto a la aceptación, se ha recabado información sobre el número de consultas realizadas a los informes de los test de la docimoteca de la UAB.

Diseño y procedimiento

Se ha utilizado un diseño longitudinal de muestreos sucesivos con grupos de personas diferentes. Todos los datos relativos a los indicadores de proceso y resultados fueron recopilados entre los días 12 y 26 de mayo de 2020, procediendo a continuación al vaciado y codificación de los datos de tipo verbal. Con la finalidad de valorar las competencias transversales que se trabajan durante los estudios conducentes a la titulación, codificamos las evidencias de aprendizaje descritas en las guías docentes en tres categorías ordenadas de mayor a menor grado de autonomía, reflexión y trabajo en equipo implicados en su desarrollo. La codificación se acordó entre dos de las autoras una vez resueltas las discrepancias. Una de ellas ejercía el cargo de coordinadora de la titulación de Psicología en ese momento.

Resultados

Resultados académicos

Durante el periodo de 2011 hasta 2019, la asignatura retuvo entre el 97 % y el 100 % del estudiantado, con un éxito de entre el 84 % y el 97 % y un rendimiento de entre el 83 % y el 96 %. En la Figura 1 se presenta la serie de datos de rendimiento en relación con otras series que pueden utilizarse como referencia, puesto que comparten aspectos organizativos o de contenido, pero no utilizan la metodología ApS. La serie de Psicometría se mantiene por encima del promedio de la titulación de Psicología en la UAB así como de las demás asignaturas obligatorias del mismo departamento, con pocas excepciones. Además, en general, ocupa valores intermedios en relación con otras asignaturas obligatorias que se evalúan durante el mismo cuatrimestre.

Competencias transversales

En la Figura 2 se presenta el tipo de competencias transversales que se evalúan en la asignatura de Psicometría en comparación con las restantes asignaturas obligatorias que se evalúan en el grado en Psicología de la UAB según las guías docentes del curso 2019/20. A la izquierda puede observarse que, a medida que avanzan los cuatrimestres, las actividades más autónomas tienen mayor peso en la evaluación. La asignatura de Psicometría, situada en el cuatrimestre 5, muestra la distribución típica entre las de su curso, más próxima al cuatrimestre 6. A la derecha de la figura, en la distribución por áreas de conocimiento, puede observarse que las asignaturas de facultad y aquellas de áreas aplicadas como la Psicología Social y la Psicología Evolutiva y de la Educación muestran mayor presencia de actividades más autónomas, reflexivas y colaborativas. En cambio, en las áreas en las que se imparten contenidos mayoritariamente teóricos, se evalúa con evidencias de aprendizaje más cerradas. En este sentido, puede observarse que la distribución de evidencias de aprendizaje de la asignatura de Psicometría se parece más a la de las asignaturas aplicadas que a la de las teóricas. Por otra parte, además de la asignatura de Psicometría, solo una asignatura de facultad y anual impartida durante los cuatrimestres 5 y 6, utilizó el formato ApS.

Calidad del proceso

En la Figura 3 se presenta la puntuación media en cada uno de los seis ítems de valoración de la satisfacción del estudiantado respecto a la asignatura de Psicometría. En cada ítem, la media es consistente en el tiempo, sin cambios bruscos ni una tendencia a lo largo del tiempo. En el curso 2017/18 todos los ítems muestran una peor puntuación media. El ítem que valora el acuerdo con haber seguido la programación docente es el que obtiene siempre una puntuación más elevada (3,5 puntos sobre 4), mientras que la más baja se encuentra en el acuerdo en considerar que la carga de trabajo está bien dimensionada (1,9 puntos sobre 4), seguida de la utilidad percibida de lo aprendido que raya de forma estable los 2 puntos sobre 4.

Las opiniones de estudiantes y profesorado, incluidas en las actas de los consejos de curso (Facultad de Psicología, UAB, comunicación personal, 26 de mayo, 2020), están polarizadas entre lo motivador y lo demandante del formato ABP. Particularmente, se percibe como doble trabajo el aplicar los conocimientos a contestar un examen y a elaborar un informe. Asimismo, los recursos invertidos en profesorado, espacios docentes y materiales se valoran sistemáticamente como dimensionados a la baja por parte del profesorado y, en cambio, las opciones de actualización permanente y de contacto con la profesión se valoran como gratificantes. Otro importante indicador de calidad es el reconocimiento institucional del proyecto. Por una parte, el proyecto ha sido reconocido como buena práctica docente en dos convocatorias competitivas de proyectos de innovación docente de la UAB (Doval, 2016, 2020) y recientemente ha sido dotado con mayores recursos de profesorado. Por otra parte, en el curso 2019/20 la Comisión de Test del Consejo General de la Psicología de España nos invitó a liderar la octava edición de la evaluación de test editados en España (Viladrich et al., 2021a).

Transferencia

Desde el inicio del proyecto hasta 2019, nuestro estudiantado ha evaluado 91 test diferentes. Entre ellos, 64 informes (un 70 %) han sido premiados y publicados en la docimoteca de la UAB donde acompañan el material de los test y, entre éstos, un 84 % han sido consultados ya con acceso al informe de evaluación. Además, más de 20 han sido enviados a la editorial Hogrefe-TEA y otros 11 se han utilizado en la publicación de los informes de la octava edición de la evaluación de test editados en España (Viladrich et al., 2021a), de acceso libre en el sitio web del COP (COP, n. d.).

Por otra parte, hemos presentado en diversos foros estudios de calidad de los informes basándonos en la comparación de las evaluaciones del estudiantado con las emitidas por especialistas (Angulo-Brunet et al., 2020; Viladrich, Doval, Aliaga et al., 2014; Viladrich, Doval y Penelo, 2014; Viladrich et al., 2021b). Regularmente, hemos observado un elevado grado de acuerdo entre las valoraciones cuantitativas de estudiantes y especialistas. En cambio, al comparar los textos escritos, hemos identificado una mayor dependencia del estudiantado, tanto del material teórico impartido en la asignatura, como de los textos valorativos presentes en la documentación de los test.

Discusión

Los objetivos de este trabajo han sido mostrar que la formación en metodología de las ciencias sociales y de la salud mediante ApS en grupos grandes que cursan estudios de grado es posible, y que puede desarrollarse con éxito de manera sostenible. A continuación, discutimos las características de la asignatura de Psicometría de la UAB en el marco de las clasificaciones dentro de la metodología ApS, los resultados obtenidos durante nueve años con su impartición, y su transferibilidad a otras instituciones académicas. Tratamos cuatro temas, a saber, la caracterización de nuestra experiencia como ApS y, sucesivamente, el grado en que hemos alcanzado los tres retos que nos habíamos planteado inicialmente sobre el conocimiento, la valoración de la formación y el servicio a la comunidad.

Control de calidad como ApS

En relación con las experiencias europeas recogidas por el Observatorio Europeo de ApS en la Educación Superior (Cayuela et al., 2020), nuestro proyecto tiene un perfil común por cuanto se dirige a estudiantes de grado, es parte de los contenidos de un curso obligatorio en el que participan más de 50 estudiantes y podría integrarse en el objetivo de desarrollo sostenible de proveer a la sociedad de una educación de calidad. La originalidad del proyecto radica en el hecho de situar al estudiantado de grado en el papel de valorar la calidad de un producto ya publicado, algo que lo convierte en pionero en dicho observatorio. Este rol del estudiantado en la evaluación es también una diferencia crucial con las experiencias en universidades americanas en las que el estudiantado ayuda a mejorar publicaciones científicas en fase de preparación (Macdonald et al., 2021; Richards et al., 2020). Por otra parte, según la clasificación de Alanah Fitch (2007) nuestro proyecto es un caso en que la agencia beneficiaria o el profesorado tienen el control del tema y de la calidad final del producto, que es un informe en nuestro caso, correspondiendo al estudiantado únicamente el análisis del problema que se le ha asignado. Ello tiene ventajas para la institución beneficiaria en tanto que facilita el ajuste a los tiempos y la credibilidad del producto final (Fitch, 2007). Por otro lado, también tiene ventajas para el estudiantado porque relaciona estrechamente su trabajo con los contenidos del curso y atenúa la posible frustración derivada de recibir comentarios externos poco empáticos (Sherman y McDonald, 2009). Otros aspectos profesionalizadores, como por ejemplo la gestión de la demanda por parte del estudiantado (Carter, 2011), son difíciles de encajar tanto en nuestro caso como en otras experiencias del mismo tipo (Macdonald et al., 2021; Richards et al., 2020). Con todo, los datos publicados por Luis Cabedo et al. (2017) muestran que la metodología ABP, que también se utiliza en nuestra experiencia, podría conllevar una mayor adquisición de las competencias relacionadas con la responsabilidad social que el formato ApS por sí solo.

Conocimiento

Hasta donde sabemos, en este trabajo se publican por primera vez resultados académicos de un proyecto de ApS aplicado a la metodología de las ciencias sociales y de la salud. Las experiencias similares como la de Mary Ellen Macdonald et al. (2021) y de Richards et al. (2020) tienen pendiente este reto. El rendimiento académico de nuestro estudiantado se ha mantenido a un nivel muy elevado a lo largo de toda la década, y ha sido igual o superior a otras experiencias similares en cuanto a organización o contenidos que se imparten con metodologías no ApS en nuestro entorno. Aunque nuestros datos son globales y no permiten atribuir este éxito de forma específica al componente ApS de nuestra asignatura, al menos permiten concluir que la sensación de interferencia entre el ApS y el aprendizaje de conocimientos teóricos que se han manifestado en los consejos de curso de la UAB y se han observado también en estudios anteriores (Sherman y McDonald, 2009; Willard-Schmoe et al., 2013), no se traduce en nuestro caso en resultados académicos desfavorables.

Otro aspecto destacable es que en esta asignatura se forma una competencia directamente relacionada con la profesión, ya que la capacidad para valorar el soporte científico en que se basan las interpretaciones de los resultados de los test es imprescindible en el ejercicio de la profesión de psicología en diversos ámbitos (Fonseca-Pedrero y Muñiz, 2017). Puesto que alcanzar un nivel de apto en esta competencia es un requisito para superar la asignatura, podemos afirmar que nuestro estudiantado muestra al menos un nivel suficiente en un 83 % de los casos en la promoción menos exitosa, llegando en algunas promociones hasta un 96 %.

Además, ofrecemos al estudiantado la posibilidad de desarrollar competencias transversales que facilitarán su empleabilidad. Efectivamente, entre las competencias deseables para personas tituladas en Pedagogía, Psicología y Psicopedagogía (Pineda-Herrero et al., [2018] a partir de los datos de la encuesta “Universitat i Treball a Catalunya” de la Agència de Qualitat Universitària de la Generalitat de Catalunya), nuestro proyecto contribuye fundamentalmente a desarrollar la formación teórico-práctica, la competencia instrumental de comunicación y la competencia interpersonal de trabajo en equipo. Las dos últimas se encuentran entre las más valoradas tanto por personas tituladas como por empleadoras. Con todo, la primera podría ser incluso más relevante, ya que la formación teórica y práctica es la que presenta una mayor brecha perceptiva entre personas tituladas y empleadoras, de manera que las empleadoras le dan mucha importancia y las tituladas menos.

Valoración de la formación

Nuestro estudiantado se muestra satisfecho con los aspectos organizativos y de evaluación del curso. En cambio, a pesar de nuestros intentos, no hemos conseguido una valoración positiva en otros aspectos. Uno de los hándicaps que compartimos con otras experiencias de ApS (Sherman y MacDonald, 2009; Willard-Schmoe et al., 2013) es la carga de trabajo percibida como elevada. Ello podría atribuirse en nuestro caso a la comparación con otras asignaturas del grado que, por no utilizar metodología ABP, se desarrollan con un menor porcentaje de trabajo autónomo. Este aspecto quizás podría ajustarse mejor pidiendo que el estudiantado reporte una estimación del tiempo real dedicado a cada actividad (Miguel Valero, comunicación personal, 17 de marzo, 2016) aunque se trata de algo que nos resulta difícil de conseguir según consta en las actas de los consejos de curso (Facultad de Psicología, UAB, comunicación personal, 26 de mayo de 2020). En cuanto a la utilidad percibida de lo aprendido, no nos satisface el “aprobado” escaso que nos dan las valoraciones del estudiantado. Tal como hemos avanzado, este es un reto difícil, ya que la formación metodológica es vista como menos valiosa que la sustantiva en nuestro ámbito (Schober et al., 2016).

Servicio comunitario

Los informes publicados son de interés para la comunidad. Concretamente, 12 de los test evaluados en nuestra asignatura se encuentran entre los 25 más utilizados por la profesión según nuestros últimos datos (Muñiz et al., 2020; Viladrich et al., 2021a). Sumando los publicados en la docimoteca y los publicados en acceso libre por el COP, el resultado es que en la Facultad de Psicología de la UAB están disponibles informes independientes de dos tercios de los test más utilizados profesionalmente. Además, ocho de cada 10 de los test provistos de informe han sido utilizados en nuestra facultad. Unos resultados relativamente buenos que, a su vez, pueden sugerir futuros test a evaluar.

Por otra parte, nuestra productividad como servicio público se cuantifica en algo más de dos de cada tres test que evaluamos. El hecho de que entre un 83 % y un 96 % de nuestro estudiantado tenga éxito en la asignatura y, en cambio, solo se publiquen los informes de un 70 % de los test evaluados nos sugiere varias reflexiones. En primer lugar, el dato indica que se puede superar la asignatura mostrando conocimientos suficientes aun sin realizar un informe excelente, lo cual consideramos razonable, puesto que en cada curso participan más de 300 personas con distintos grados de interés e implicación en el proyecto. En cambio, teniendo en cuenta que sobre cada test se emiten unos seis informes elaborados por equipos diferentes, el hecho de que no siempre se alcance al menos un informe con la calidad suficiente para publicarse sugiere que habría que ofrecer al estudiantado apoyo adicional y, además, alinear mejor la rúbrica de evaluación con el objetivo de servicio. En este sentido, una opción sería incluir reconocimiento específico por la realización del servicio, tal como se ha sugerido en experiencias anteriores (Sherman y MacDonald, 2009; Willard-Schmoe et al., 2013). Otra línea de acción consistiría en emular a Robert L. Williams (2017), cuando después de 15 años se sigue proponiendo para el siguiente curso el objetivo de que “el estudiantado valore igualmente el contenido del curso que sus calificaciones” (p. 221).

En lo que respecta al profesorado, el proyecto nos induce a actualizar continuamente nuestra docencia en función de la evolución de la sociedad en nuestro ámbito (e.g., cambios en los estándares internacionales y españoles, requerimientos del estudiantado), así como nos ayuda a mantener la cohesión de grupo y el crecimiento profesional (e.g., elaboración de trabajos de difusión, reconocimiento institucional). Los aspectos de crecimiento profesional eran reclamados desde hace años en los trabajos sobre ApS (Fitch, 2007) y han sido reconocidos como importantes también en otras experiencias publicadas durante la última década (Willard-Schmoe et al., 2013) como una manera de ampliar el interés del profesorado en implementar proyectos ApS en sus materias. Tanto el ABP como el ApS buscan formar al estudiantado en una dimensión laboral, buscando situaciones y contextos profesionalizadores reales (Iranzo-García et al., 2022).

Finalmente, consideramos que el nuestro es un modelo de ApS sostenible y transferible. Respecto a la sostenibilidad, el formato ABP sin clases teóricas permite dedicar muchos más recursos de profesorado al acompañamiento de grupos reducidos de estudiantes que desarrollan su trabajo de forma autónoma. Además, aunque completar el informe que se propone en el modelo español de evaluación de test, requiere conocimientos profundos y la retroalimentación presencial es lo ideal (Viladrich et al., 2021a); algunas partes pueden también realizarse a distancia e incluso podrían desarrollarse tutoriales facilitadores que podrían llegar a ser utilizados también por otras personas (Fonseca-Pedrero y Muñiz, 2017). En cuanto a los materiales, continuamente están disponibles nuevos test o bien actualizaciones de los existentes, de manera que se reduce la posible repetitividad de la tarea. El coste económico de los materiales de los test, que actualmente es oneroso porque la mayoría solo están disponibles mediante compra, podría adaptarse al objetivo formativo si parte importante de estos materiales estuvieran disponibles en la red mediante suscripción, como ya actualmente están los manuales publicados por la editorial Hogrefe-TEA.

El camino para la exportación del modelo a otras universidades españolas y europeas está abierto, puesto que, en varias de ellas, una parte del profesorado está de acuerdo en el potencial formativo de la tarea de revisión de test (Hidalgo y Hernández, 2019; Vermeulen, 2019). Por otra parte, puede ofrecerse como servicio a grupos de investigación con otros fines como, por ejemplo, valorar la calidad de los instrumentos de medida psicológicos para estudios de meta-análisis, contribuyendo así a reducir la proliferación de protocolos ad hoc y facilitando así la comparabilidad de resultados en este ámbito (Lorente et al., 2020).

Limitaciones

Por el tipo de trabajo de que se trata, consideramos los datos aportados como suficientemente informativos y extensos en el tiempo como para resultar convincentes. Sin embargo, es una limitación a destacar el hecho de que los indicadores de resultados que hemos utilizado empezaron a estar disponibles con la implantación del Plan de Bolonia al mismo tiempo que se inició nuestra experiencia. Precisamente, los grandes cambios en la formación superior relacionados con este nuevo plan podrían proveer explicaciones alternativas a nuestros resultados. Metodológicamente hablando, lo más aconsejable sería incluir en el futuro comparaciones con otros formatos docentes o datos de una serie temporal interrumpida, algo a tener en cuenta en caso de que otra institución vaya a adoptar este modelo. Por otra parte, creemos que sería útil desarrollar indicadores más específicos para este tipo de formación en concreto, así como valorar su sensibilidad a los ajustes que sistemáticamente realizamos curso tras curso después de evaluar los resultados.

Conclusiones

Una experiencia ApS como la nuestra, combinada con una metodología activa de ABP, que potencia profesionalmente al estudiantado, es un terreno que vale la pena explorar porque (a) tiene todas las ventajas del ApS, a saber, desarrollo personal, profesional, social y comunitario; (b) es un aporte neto al cumplimiento de la tercera misión de la universidad; (c) da voz a las nuevas generaciones sobre aspectos de la profesión a la que se van a dedicar en el futuro, lo que permite generar ideas que de otra forma no se habrían producido y que benefician al conjunto de la profesión; (d) es sostenible porque los materiales de los test se renuevan continuamente y (e) es escalable a otras instituciones de nuestro entorno con el encargo de enseñar asignaturas básicas o aplicadas de evaluación psicológica, educativa y logopédica en las que se utilizan test que pueden ser sometidos a control de calidad.

Financiación

Proyecto de innovación docente 2020MQD. Institut de Ciències de l’Educació de la Universitat Autònoma de Barcelona (ICE-UAB).

Octava evaluación de test editados en España. Comisión de test del Consejo de la Psicología de España.

Conflicto de intereses

No tenemos conflictos de intereses.

Agradecimientos

Agradecemos a la Universitat Autònoma de Barcelona y al Consejo General de la Psicología de España su contribución a la financiación de este proyecto docente. A la Facultad de Psicología de la UAB su apoyo financiero e institucional y a Jordi Rodríguez su indispensable gestión desde el Espai de Suport i Innovació Docent de nuestra facultad. A Remei Prat, Elena Ripollés, Salomé Tárrega, Joan Pons, Marina Bosque, Jennifer Morata y Montse Vall-llovera su contribución al proyecto, formando parte del equipo docente en algún momento de su desarrollo. El proyecto docente ha sido reconocido por el ICE-UAB como proyecto de innovación docente 2020 (modalidad A).

Referencias

Agencia Nacional de Evaluación de la Calidad y Acreditación. (2005). Libro blanco del título de grado en psicología. https://www.aneca.es/documents/20123/63950/libroblanco_psicologia_def.pdf/41c6627e-9c61-25d4-0b5a-5cedb4fae9dc?t=1654601757042

Angulo-Brunet, Ariadna; Doval, Eduardo; Penelo, Eva; Aliaga, Joan; Espelt, Albert; García-Rueda, Rebeca, & Viladrich, Carme. (2020, noviembre). Test reviewing as service-learning: from faculty to professional beneficiaries. 13th Annual International Conference of Education, Research and Innovation, Conferencia online. https://doi.org/10.21125/iceri.2020.0984

Cabedo, Luis; Gamez-Perez, Jose; Segarra, Mercè; López Crespo, Pablo; Izquierdo Escrig, Raul; Royo González, Marta; Moliner Miravet, Lidón, & Guraya, Teresa. (2017). La metodología de aprendizaje basado en proyectos (ABP) aplicada a asignaturas de ciencia de los materiales en ingeniería en la red idm@ti. Material-ES, 1(2), 25–28.

Carter, Lori. (2011). Ideas for adding soft skills education to service learning and capstone courses for computer science students. Proceedings of the 42nd ACM Technical Symposium on Computer Science Education - SIGCSE ’11, 517. https://doi.org/10.1145/1953163.1953312

Cayuela, Ana; Alonso, Marta; Ballesteros, Carlos, & Aramburuzabala, Pilar. (2020). 2019 Annual report of the European observatory of service-learning in higher education. European Observatory of Service-Learning in Higher Education. https://www.eoslhe.eu/

Consejo General de la Psicología de España. (n. d.). Evaluación tests editados en España. https://www.cop.es/test/

Doval, Eduardo. (2016). Saber i ofici psicomètric: avaluació de manuals de tests a l’assignatura Psicometria del grau de Psicologia [Proyecto de innovación docente]. Universitat Autònoma de Barcelona. https://www.uab.cat/doc/ResolucioProjectesInnovacio2016

Doval, Eduardo. (2020). Aprenent psicometría tot avaluant un test: una adaptació a l’estructura ABP [Proyecto de innovación docente]. Universitat Autonònoma de Barcelona. https://www.uab.cat/doc/resolucio2020_uab

Fitch, Alanah. (2007). Service-Learning: An oxymoron in the physical sciences? Or: 10 years of service learning: Where to? En Patricia Ann Mabrouk (Ed.), Active Learning (Vol. 970, pp. 100–108). American Chemical Society. https://doi.org/10.1021/bk-2007-0970.ch008

Fonseca-Pedrero, Eduardo, & Muñiz, José. (2017). Quinta evaluación de tests editados en España: Mirando hacia atrás, construyendo el futuro. Papeles del Psicólogo, 38(3), 161–168. https://doi.org/10.23923/pap.psicol2017.2844

García, David, & Lalueza, José Luis. (2019). Procesos de aprendizaje en aprendizaje-servicio universitario: una revisión teórica. Educación XX1, 22(2), 45–68. https://doi.org/10.5944/educxx1.22716

Heffernan, Kerrissa, & Cone, Richard. (2001). Course organization. En Campus Compact (Ed.), Introduction to service-learning toolkit: Readings and resources for faculty. Campus Compact.

Hernández, Ana; Ponsoda, Vicente; Muñiz, José; Prieto, Gerardo, & Elosua, Paula. (2016). Revisión del modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 37(3), 192–197.

Hidalgo, Maria Dolores, & Hernández, Ana. (2019). Sexta evaluación de tests editados en España: resultados e impacto del modelo en docentes y editoriales. Papeles del Psicólogo, 40(1), 21–30. https://doi.org/10.23923/pap.psicol2019.2886

Iranzo-García, Emilio; Escribano, Jaime; Jardón, Paula; Ruescas, Ana Belén; Fansa, Ghaleb, & Arnal, Vicent. (2022). Aprendizaje basado en Proyectos (AbP) y Aprendizaje-Servicio (ApS) en áreas rurales con espacios naturales protegides: el proyecto ‘GEODIDACT RINCON’. VIII Congreso de Innovación Educativa y Docencia en Red, Universitat Politècnica de València. https://doi.org/10.4995/INRED2022.2022.15819

Kim, Eudeok, & Lee, Yoon-Jung. (2022). Serve as you learn: Problem-based service-learning integrated into a product innovation and management class. International Journal of Costume and Fashion, 18(2), 29–43. https://doi.org/10.7233/ijcf.2018.18.2.029

Lewthwaite, Sarah, & Nind, Melanie. (2016). Teaching research methods in the social sciences: Expert perspectives on pedagogy and practice. British Journal of Educational Studies, 64(4), 413–430. https://doi.org/10.1080/00071005.2016.1197882

Lorente, Sonia; Viladrich, Carme; Vives, Jaume, & Losilla, Josep-Maria. (2020). Tools to assess the measurement properties of quality of life instruments: A meta-review. BMJ Open, 10(8), Artículo e036038. http://dx.doi.org/10.1136/bmjopen-2019-036038

Lorenzo, María del Mar; Ferraces, María José; Pérez, Cruz, & Naval, Concepción. (2019). El profesorado universitario ante el aprendizaje-servicio: variables explicativas. Revista de Educación, 386, 37–60. https://doi.org/10.4438/1988-592X-RE-2019-386-426

Macdonald, Mary Ellen; Eslamiamirabadi, Negin; Liu, Kevin; Saini, Manav Preet Singh, & Sofronas, Marianne. (2021). Harnessing group peer review for graduate training: What can peer review teach us? Gerodontology, 38, 2–4. https://doi.org/10.1111/ger.12536

Muñiz, José; Hernández, Ana, & Fernández-Hermida, José Ramón. (2020). Utilización de los test en España: el punto de vista de los psicólogos. Papeles del Psicólogo, 41(1), 1–15. https://doi.org/10.23923/pap.psicol2020.2921

Pérez-Pérez, Cruz; González-González, Hugo; Lorenzo-Moledo, Mar; Crespo-Comesaña, Julia; Belando-Montoro, María R., & Costa París, Ana. (2019). Aprendizaje-servicio en las universidades españolas: un estudio basado en la percepción de los equipos decanales. RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa, 25(2), Artículo 4. https://doi.org/10.7203/relieve.25.2.15029

Pineda-Herrero, Pilar; Ciraso-Cali, Anna, & Armijos-Yambay, Mary. (2018). Competencias para la empleabilidad de los titulados en Pedagogía, Psicología y Psicopedagogía: un estudio comparativo entre empleadores y titulados. Revista Española de Pedagogía, 76(270), 313–333. https://doi.org/10.22550/REP76-2-2018-06

Prieto, Gerardo, & Muñiz, José. (2000). Un modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 77, 65–72.

Redondo-Corcobado, Paloma, & Fuentes, Juan Luis. (2020). La investigación sobre el aprendizaje-servicio en la producción científica española: una revisión sistemática. Revista Complutense de Educación, 31(1), 69–83. https://doi.org/10.5209/rced.61836

Richards, Boyd F.; Cardell, Elizabeth M.; Chow, Candace J.; Moore, Kathryn B.; Moorman, Krystal L.; O’Connor, Meghan, & Hart, Sara E. (2020). Discovering the benefits of group peer review of submitted manuscripts. Teaching and Learning in Medicine, 32(1), 104–109. https://doi.org/10.1080/10401334.2019.1657870

Rutti, Raina M.; LaBonte, Joanne; Helms, Marilyn Michelle; Hervani, Aref Agahei, & Sarkarat, Sy. (2016). The service learning projects: Stakeholder benefits and potential class topics. Education + Training, 58(4), 422–438. https://doi.org/10.1108/ET-06-2015-0050

Salam, Maimoona; Awang Iskandar, Dayang Nurfatimah; Ibrahim, Dayang Hanani Abang, & Farooq, Muhammad Shoaib. (2019). Service learning in higher education: A systematic literature review. Asia Pacific Education Review, 20(4), 573–593. https://doi.org/10.1007/s12564-019-09580-6

Santos-Pastor, María Luisa; Cañadas, Laura; Martínez-Muñoz, Luis Fernando, & García-Rico, Luis. (2020). Diseño y validación de una escala para evaluar el aprendizaje-servicio universitario en actividad física y deporte. Educación XX1, 23(2), 67–93. https://doi.org/10.5944/educxx1.25422

Schober, Barbara; Brandt, Laura; Kollmayer, Marlene, & Spiel, Christiane. (2016). Overcoming the ivory tower: Transfer and societal responsibility as crucial aspects of the Bildung-Psychology approach. European Journal of Developmental Psychology, 13(6), 636–651. https://doi.org/10.1080/17405629.2016.1231061

Sherman, Ann, & MacDonald, Leo. (2009). Service learning experiences in university science degree courses. Innovative Higher Education, 34(4), 235–244. https://doi.org/10.1007/s10755-009-9110-7

Universitat Autònoma de Barcelona (UAB). (n. d.-a). Dipòsit digital de documents de la UAB: Guies docents, Facultat de Psicologia. https://ddd.uab.cat/search?cc=procur&p=109&f=author

Universitat Autònoma de Barcelona (UAB). (n. d.-b). Enquesta de satisfacció d’assignatura de la UAB. https://www.uab.cat/doc/QuestionariEnquestaAssignatures

Universitat Autònoma de Barcelona (UAB). (n. d.-c). Seguiment de titulacions: Grau en Psicologia, Psicometria. https://siq.uab.cat/siq_public/titulacio/2502443/assignatura/102569/

Vermeulen, Karin. (2019). English version of the COTAN review system. Testing International, 41, 9. https://www.intestcom.org/page/12

Viladrich, Carme; Doval, Eduardo; Aliaga, Joan; Espelt, Albert; García-Rueda, Rebeca; Penelo, Eva; Tárrega, Salomé; Ripollès, Elena, & Prat, Remei. (2014). Aprendices de certificadores en psicometría: una experiencia ABP con grupos grandes. Revista del CIDUI, 2, 1–9. https://www.cidui.org/revistacidui/index.php/cidui/article/view/523/504

Viladrich, Carme; Doval, Eduardo, & Penelo, Eva. (2014, julio). Student versus expert test reviews: What can we learn from them? VI European Congress of Methodology. Utrecht, Holanda.

Viladrich, Carme; Doval, Eduardo; Penelo, Eva; Aliaga, Joan; Espelt, Albert; García-Rueda, Rebeca, & Angulo-Brunet, Ariadna. (2021a). Octava evaluación de test editados en España: una experiencia participativa. Papeles del Psicólogo, 42(1), 1–9. https://doi.org/10.23923/pap.psicol2020.2937

Viladrich, Carme; Doval, Eduardo; Penelo, Eva; Aliaga, Joan; Espelt, Albert; García-Rueda, Rebeca, & Angulo-Brunet, Ariadna. (2021b, julio). Eighth edition of the Spanish evaluation of test quality: A service-learning experience. 9th European Congress of Methodology. Valencia, España.

Willard-Schmoe, Ella; Duffy, John J.; Reynaud, Emmanuelle, & Barrington, Linda. (2013, junio). Student experiences in service-learning: Engineering vs. sciences. ASEE Annual Conference & Exposition, Atlanta, Georgia. https://doi.org/10.18260/1-2--22483

Williams, Robert L. (2017). Retrospective integration of research conducted on a multi-section educational psychology course over a fifteen-year period. Innovative Higher Education, 42(3), 207–224. https://doi.org/10.1007/s10755-016-9383-6

Carme Viladrich

Profesora catedrática de universidad numeraria de la Unitat de Metodologia de les Ciències del Comportament de la UAB.
carme.viladrich@uab.cat
http://orcid.org/0000-0002-7464-1455

Eduardo Doval

Profesor catedrático de universidad numerario de la Unitat de Metodologia de les Ciències del Comportament de la UAB.
eduardo.doval@uab.cat
http://orcid.org/0000-0001-8416-160X

Eva Penelo

Profesora catedrática contratada de la Unitat de Metodologia de les Ciències del Comportament de la UAB.
eva.penelo@uab.cat
http://orcid.org/0000-0001-6796-7660

Joan Aliaga

Profesor asociado laboral de la Unitat de Metodologia de les Ciències del Comportament de la UAB.
joanmarti.aliaga@uab.cat
http://orcid.org/0000-0001-9067-8488

Rebeca García-Rueda

Profesora asociada laboral de la Unitat de Metodologia de les Ciències del Comportament de la UAB (hasta 2020). Técnica superior laboral de la Unitat d’Avaluació i Certificació del Servei de Llengües de la UAB.
rebeca.garcia@uab.cat
http://orcid.org/0000-0002-8804-6008

Ariadna Angulo-Brunet

Profesora asociada laboral/Colaboradora docente de la Unitat de Metodologia de les Ciències del Comportament de la UAB (hasta 2023). Profesora agregada de los Estudis de Psicologia i Ciències de l’Educació de la UOC.
aangulob@uoc.edu
http://orcid.org/0000-0002-0583-1618

Albert Espelt

Profesor agregado laboral de la Unitat de Metodologia de les Ciències del Comportament de la UAB.
albert.espelt@uab.cat
http://orcid.org/0000-0002-8625-4356

Formato de citación

Viladrich, Carme; Doval, Eduardo; Penelo, Eva; Aliaga, Joan; García-Rueda, Rebeca; Angulo-Brunet, Ariadna, & Espelt, Albert. (2025). Estudiantes de grado realizando control de calidad como Aprendizaje-Servicio. Quaderns de Psicologia, 27(2), e2167. https://doi.org/10.5565/rev/qpsicologia.2167

Historia editorial

Recibido: 06-05-2024
1ª revisión: 19-07-2024
Aceptado: 07-11-2024
Publicado: 29-08-2025