El proyecto docente de la asignatura de Psicometría de la Universitat Autònoma de Barcelona (UAB) se diseñó en el año 2011 con el cambio docente que supuso la implantación del Plan de Bolonia (Agencia Nacional de Evaluación de la Calidad y Acreditación [ANECA], 2005). La asignatura se situó en el quinto cuatrimestre de los estudios de grado en Psicología, cuya duración es de 8 cuatrimestres, y en su programación afrontamos tres retos. El primero es de conocimiento y deriva del hecho que los instrumentos de medida psicológicos, los test, suelen ser productos con base científica, por lo que las futuras personas usuarias necesitarán disponer de los conocimientos y competencias para tomar decisiones informadas sobre su posible selección y uso (Fonseca-Pedrero y Muñiz, 2017). El segundo reto es educativo, porque el estudiantado percibe menos valor en la formación metodológica que en la impartida en asignaturas con contenido netamente psicológico, lo que comporta que su implicación sea muy laboriosa (Schober et al., 2016). El tercero es un reto de servicio comunitario, alineado con la promoción que los colegios profesionales de la psicología europeos hacen para difundir revisiones de la calidad de los test psicológicos, educativos y logopédicos independientes de las empresas editoras de test (Consejo General de la Psicología de España [COP], European Federation of Psychologists’ Associations [EFPA]). Con estas revisiones independientes se añade información adicional al manual del test, promoviendo de esa manera una mejora en la selección y uso de los test en el ámbito profesional que redunde a favor de una mejor evaluación de las personas a las que se les aplican dichos test (por ejemplo, pacientes, alumnado, trabajadores de empresas, etc.), en definitiva, un beneficio social.

Para dar respuesta a estos tres retos, una de las evidencias de aprendizaje consiste en que el estudiantado utilice tanto los conocimientos que está adquiriendo en la asignatura como los adquiridos en cursos anteriores, aplicándolos a la redacción de un informe sobre la calidad de un test siguiendo el modelo español de evaluación de test (Hernández et al., 2016; Prieto y Muñiz, 2000). Cada año, los informes que el profesorado considera de nivel excelente son publicados con la doble finalidad de que las personas usuarias de los test tengan acceso al menos a una revisión independiente de los mismos y de que el estudiantado tenga reconocida su autoría. Las entidades beneficiarias de los informes publicados han sido, hasta ahora, la comunidad UAB, la editorial Hogrefe-TEA y el COP en España (Viladrich et al., 2021b). De esta manera, la asignatura está orientada hacia el ApS.

Concretamente, cada curso académico organizamos unos 60 equipos de trabajo de 3 a 6 estudiantes que evalúan, mediante un informe pautado, uno de los test (entre 8 y 11 cada curso) propuestos por el profesorado. Para ello, los equipos disponen de un libro de texto con los contenidos de la asignatura desarrollados y del soporte presencial del profesorado durante un mínimo de dos horas semanales. El curso se supera obteniendo una calificación de apto en un examen con preguntas de respuesta múltiple sobre los contenidos de la asignatura, además de una calificación de apto en el informe.

Durante las ocho primeras semanas del curso, cada equipo redacta un borrador del informe, cumplimentando las partes relacionadas con cada tema del programa de la asignatura y siguiendo una metodología de aprendizaje basado en problemas (ABP). Después de recibir retroalimentación del profesorado, cada equipo dispone de otras cuatro semanas para redactar la versión definitiva que someterá a evaluación como evidencia de aprendizaje y a concurso para su posible publicación. El informe ganador, único para cada test, es el mejor evaluado entre los informes emitidos para cada test, siempre que alcance una calidad cercana a la profesional. Fuera del proceso de evaluación de la asignatura, tras una segunda retroalimentación del profesorado, los equipos ganadores actualizan sus informes que son enviados, únicamente en formato impreso, a las instituciones beneficiarias proporcionándoles un servicio para la mejora de la selección y uso de los test. La combinación del ApS con estrategias de ABP ha sido clasificada por Kerrissa Heffernan y Richard Cone (2001) como aprendizaje-servicio basado en problemas (problem-based service-learning, citado en Kim y Lee, 2022).

Participaron 2589 estudiantes que cursaron la asignatura de Psicometría, obligatoria de quinto semestre del grado en Psicología de la UAB, durante nueve cursos académicos (2011–2019) con una mediana de 307 estudiantes por curso (rango 139–332), formando un total de 560 equipos de trabajo. El estudiantado tiene una edad promedio de 20 años y el 78 % son mujeres. Participaron también 7 profesoras y 5 profesores, con experiencia docente entre menos de 1 año y más de 30 años, formando equipos de entre 5 y 7 docentes por curso y manteniéndose en el proyecto entre 1 y 9 años.

Los indicadores utilizados se empezaron a publicar en la UAB a partir de la implantación del Plan de Bolonia (ANECA, 2005) de forma simultánea al inicio de nuestro proyecto docente.

Se ha utilizado un diseño longitudinal de muestreos sucesivos con grupos de personas diferentes. Todos los datos relativos a los indicadores de proceso y resultados fueron recopilados entre los días 12 y 26 de mayo de 2020, procediendo a continuación al vaciado y codificación de los datos de tipo verbal. Con la finalidad de valorar las competencias transversales que se trabajan durante los estudios conducentes a la titulación, codificamos las evidencias de aprendizaje descritas en las guías docentes en tres categorías ordenadas de mayor a menor grado de autonomía, reflexión y trabajo en equipo implicados en su desarrollo. La codificación se acordó entre dos de las autoras una vez resueltas las discrepancias. Una de ellas ejercía el cargo de coordinadora de la titulación de Psicología en ese momento.

Durante el periodo de 2011 hasta 2019, la asignatura retuvo entre el 97 % y el 100 % del estudiantado, con un éxito de entre el 84 % y el 97 % y un rendimiento de entre el 83 % y el 96 %. En la Figura 1 se presenta la serie de datos de rendimiento en relación con otras series que pueden utilizarse como referencia, puesto que comparten aspectos organizativos o de contenido, pero no utilizan la metodología ApS. La serie de Psicometría se mantiene por encima del promedio de la titulación de Psicología en la UAB así como de las demás asignaturas obligatorias del mismo departamento, con pocas excepciones. Además, en general, ocupa valores intermedios en relación con otras asignaturas obligatorias que se evalúan durante el mismo cuatrimestre.

En la Figura 2 se presenta el tipo de competencias transversales que se evalúan en la asignatura de Psicometría en comparación con las restantes asignaturas obligatorias que se evalúan en el grado en Psicología de la UAB según las guías docentes del curso 2019/20. A la izquierda puede observarse que, a medida que avanzan los cuatrimestres, las actividades más autónomas tienen mayor peso en la evaluación. La asignatura de Psicometría, situada en el cuatrimestre 5, muestra la distribución típica entre las de su curso, más próxima al cuatrimestre 6. A la derecha de la figura, en la distribución por áreas de conocimiento, puede observarse que las asignaturas de facultad y aquellas de áreas aplicadas como la Psicología Social y la Psicología Evolutiva y de la Educación muestran mayor presencia de actividades más autónomas, reflexivas y colaborativas. En cambio, en las áreas en las que se imparten contenidos mayoritariamente teóricos, se evalúa con evidencias de aprendizaje más cerradas. En este sentido, puede observarse que la distribución de evidencias de aprendizaje de la asignatura de Psicometría se parece más a la de las asignaturas aplicadas que a la de las teóricas. Por otra parte, además de la asignatura de Psicometría, solo una asignatura de facultad y anual impartida durante los cuatrimestres 5 y 6, utilizó el formato ApS.

En la Figura 3 se presenta la puntuación media en cada uno de los seis ítems de valoración de la satisfacción del estudiantado respecto a la asignatura de Psicometría. En cada ítem, la media es consistente en el tiempo, sin cambios bruscos ni una tendencia a lo largo del tiempo. En el curso 2017/18 todos los ítems muestran una peor puntuación media. El ítem que valora el acuerdo con haber seguido la programación docente es el que obtiene siempre una puntuación más elevada (3,5 puntos sobre 4), mientras que la más baja se encuentra en el acuerdo en considerar que la carga de trabajo está bien dimensionada (1,9 puntos sobre 4), seguida de la utilidad percibida de lo aprendido que raya de forma estable los 2 puntos sobre 4.

Las opiniones de estudiantes y profesorado, incluidas en las actas de los consejos de curso (Facultad de Psicología, UAB, comunicación personal, 26 de mayo, 2020), están polarizadas entre lo motivador y lo demandante del formato ABP. Particularmente, se percibe como doble trabajo el aplicar los conocimientos a contestar un examen y a elaborar un informe. Asimismo, los recursos invertidos en profesorado, espacios docentes y materiales se valoran sistemáticamente como dimensionados a la baja por parte del profesorado y, en cambio, las opciones de actualización permanente y de contacto con la profesión se valoran como gratificantes. Otro importante indicador de calidad es el reconocimiento institucional del proyecto. Por una parte, el proyecto ha sido reconocido como buena práctica docente en dos convocatorias competitivas de proyectos de innovación docente de la UAB (Doval, 2016, 2020) y recientemente ha sido dotado con mayores recursos de profesorado. Por otra parte, en el curso 2019/20 la Comisión de Test del Consejo General de la Psicología de España nos invitó a liderar la octava edición de la evaluación de test editados en España (Viladrich et al., 2021a).

Desde el inicio del proyecto hasta 2019, nuestro estudiantado ha evaluado 91 test diferentes. Entre ellos, 64 informes (un 70 %) han sido premiados y publicados en la docimoteca de la UAB donde acompañan el material de los test y, entre éstos, un 84 % han sido consultados ya con acceso al informe de evaluación. Además, más de 20 han sido enviados a la editorial Hogrefe-TEA y otros 11 se han utilizado en la publicación de los informes de la octava edición de la evaluación de test editados en España (Viladrich et al., 2021a), de acceso libre en el sitio web del COP (COP, n. d.).

Por otra parte, hemos presentado en diversos foros estudios de calidad de los informes basándonos en la comparación de las evaluaciones del estudiantado con las emitidas por especialistas (Angulo-Brunet et al., 2020; Viladrich, Doval, Aliaga et al., 2014; Viladrich, Doval y Penelo, 2014; Viladrich et al., 2021b). Regularmente, hemos observado un elevado grado de acuerdo entre las valoraciones cuantitativas de estudiantes y especialistas. En cambio, al comparar los textos escritos, hemos identificado una mayor dependencia del estudiantado, tanto del material teórico impartido en la asignatura, como de los textos valorativos presentes en la documentación de los test.

En relación con las experiencias europeas recogidas por el Observatorio Europeo de ApS en la Educación Superior (Cayuela et al., 2020), nuestro proyecto tiene un perfil común por cuanto se dirige a estudiantes de grado, es parte de los contenidos de un curso obligatorio en el que participan más de 50 estudiantes y podría integrarse en el objetivo de desarrollo sostenible de proveer a la sociedad de una educación de calidad. La originalidad del proyecto radica en el hecho de situar al estudiantado de grado en el papel de valorar la calidad de un producto ya publicado, algo que lo convierte en pionero en dicho observatorio. Este rol del estudiantado en la evaluación es también una diferencia crucial con las experiencias en universidades americanas en las que el estudiantado ayuda a mejorar publicaciones científicas en fase de preparación (Macdonald et al., 2021; Richards et al., 2020). Por otra parte, según la clasificación de Alanah Fitch (2007) nuestro proyecto es un caso en que la agencia beneficiaria o el profesorado tienen el control del tema y de la calidad final del producto, que es un informe en nuestro caso, correspondiendo al estudiantado únicamente el análisis del problema que se le ha asignado. Ello tiene ventajas para la institución beneficiaria en tanto que facilita el ajuste a los tiempos y la credibilidad del producto final (Fitch, 2007). Por otro lado, también tiene ventajas para el estudiantado porque relaciona estrechamente su trabajo con los contenidos del curso y atenúa la posible frustración derivada de recibir comentarios externos poco empáticos (Sherman y McDonald, 2009). Otros aspectos profesionalizadores, como por ejemplo la gestión de la demanda por parte del estudiantado (Carter, 2011), son difíciles de encajar tanto en nuestro caso como en otras experiencias del mismo tipo (Macdonald et al., 2021; Richards et al., 2020). Con todo, los datos publicados por Luis Cabedo et al. (2017) muestran que la metodología ABP, que también se utiliza en nuestra experiencia, podría conllevar una mayor adquisición de las competencias relacionadas con la responsabilidad social que el formato ApS por sí solo.

Hasta donde sabemos, en este trabajo se publican por primera vez resultados académicos de un proyecto de ApS aplicado a la metodología de las ciencias sociales y de la salud. Las experiencias similares como la de Mary Ellen Macdonald et al. (2021) y de Richards et al. (2020) tienen pendiente este reto. El rendimiento académico de nuestro estudiantado se ha mantenido a un nivel muy elevado a lo largo de toda la década, y ha sido igual o superior a otras experiencias similares en cuanto a organización o contenidos que se imparten con metodologías no ApS en nuestro entorno. Aunque nuestros datos son globales y no permiten atribuir este éxito de forma específica al componente ApS de nuestra asignatura, al menos permiten concluir que la sensación de interferencia entre el ApS y el aprendizaje de conocimientos teóricos que se han manifestado en los consejos de curso de la UAB y se han observado también en estudios anteriores (Sherman y McDonald, 2009; Willard-Schmoe et al., 2013), no se traduce en nuestro caso en resultados académicos desfavorables.

Otro aspecto destacable es que en esta asignatura se forma una competencia directamente relacionada con la profesión, ya que la capacidad para valorar el soporte científico en que se basan las interpretaciones de los resultados de los test es imprescindible en el ejercicio de la profesión de psicología en diversos ámbitos (Fonseca-Pedrero y Muñiz, 2017). Puesto que alcanzar un nivel de apto en esta competencia es un requisito para superar la asignatura, podemos afirmar que nuestro estudiantado muestra al menos un nivel suficiente en un 83 % de los casos en la promoción menos exitosa, llegando en algunas promociones hasta un 96 %.

Además, ofrecemos al estudiantado la posibilidad de desarrollar competencias transversales que facilitarán su empleabilidad. Efectivamente, entre las competencias deseables para personas tituladas en Pedagogía, Psicología y Psicopedagogía (Pineda-Herrero et al., [2018] a partir de los datos de la encuesta “Universitat i Treball a Catalunya” de la Agència de Qualitat Universitària de la Generalitat de Catalunya), nuestro proyecto contribuye fundamentalmente a desarrollar la formación teórico-práctica, la competencia instrumental de comunicación y la competencia interpersonal de trabajo en equipo. Las dos últimas se encuentran entre las más valoradas tanto por personas tituladas como por empleadoras. Con todo, la primera podría ser incluso más relevante, ya que la formación teórica y práctica es la que presenta una mayor brecha perceptiva entre personas tituladas y empleadoras, de manera que las empleadoras le dan mucha importancia y las tituladas menos.

Nuestro estudiantado se muestra satisfecho con los aspectos organizativos y de evaluación del curso. En cambio, a pesar de nuestros intentos, no hemos conseguido una valoración positiva en otros aspectos. Uno de los hándicaps que compartimos con otras experiencias de ApS (Sherman y MacDonald, 2009; Willard-Schmoe et al., 2013) es la carga de trabajo percibida como elevada. Ello podría atribuirse en nuestro caso a la comparación con otras asignaturas del grado que, por no utilizar metodología ABP, se desarrollan con un menor porcentaje de trabajo autónomo. Este aspecto quizás podría ajustarse mejor pidiendo que el estudiantado reporte una estimación del tiempo real dedicado a cada actividad (Miguel Valero, comunicación personal, 17 de marzo, 2016) aunque se trata de algo que nos resulta difícil de conseguir según consta en las actas de los consejos de curso (Facultad de Psicología, UAB, comunicación personal, 26 de mayo de 2020). En cuanto a la utilidad percibida de lo aprendido, no nos satisface el “aprobado” escaso que nos dan las valoraciones del estudiantado. Tal como hemos avanzado, este es un reto difícil, ya que la formación metodológica es vista como menos valiosa que la sustantiva en nuestro ámbito (Schober et al., 2016).

Los informes publicados son de interés para la comunidad. Concretamente, 12 de los test evaluados en nuestra asignatura se encuentran entre los 25 más utilizados por la profesión según nuestros últimos datos (Muñiz et al., 2020; Viladrich et al., 2021a). Sumando los publicados en la docimoteca y los publicados en acceso libre por el COP, el resultado es que en la Facultad de Psicología de la UAB están disponibles informes independientes de dos tercios de los test más utilizados profesionalmente. Además, ocho de cada 10 de los test provistos de informe han sido utilizados en nuestra facultad. Unos resultados relativamente buenos que, a su vez, pueden sugerir futuros test a evaluar.

Por otra parte, nuestra productividad como servicio público se cuantifica en algo más de dos de cada tres test que evaluamos. El hecho de que entre un 83 % y un 96 % de nuestro estudiantado tenga éxito en la asignatura y, en cambio, solo se publiquen los informes de un 70 % de los test evaluados nos sugiere varias reflexiones. En primer lugar, el dato indica que se puede superar la asignatura mostrando conocimientos suficientes aun sin realizar un informe excelente, lo cual consideramos razonable, puesto que en cada curso participan más de 300 personas con distintos grados de interés e implicación en el proyecto. En cambio, teniendo en cuenta que sobre cada test se emiten unos seis informes elaborados por equipos diferentes, el hecho de que no siempre se alcance al menos un informe con la calidad suficiente para publicarse sugiere que habría que ofrecer al estudiantado apoyo adicional y, además, alinear mejor la rúbrica de evaluación con el objetivo de servicio. En este sentido, una opción sería incluir reconocimiento específico por la realización del servicio, tal como se ha sugerido en experiencias anteriores (Sherman y MacDonald, 2009; Willard-Schmoe et al., 2013). Otra línea de acción consistiría en emular a Robert L. Williams (2017), cuando después de 15 años se sigue proponiendo para el siguiente curso el objetivo de que “el estudiantado valore igualmente el contenido del curso que sus calificaciones” (p. 221).

En lo que respecta al profesorado, el proyecto nos induce a actualizar continuamente nuestra docencia en función de la evolución de la sociedad en nuestro ámbito (e.g., cambios en los estándares internacionales y españoles, requerimientos del estudiantado), así como nos ayuda a mantener la cohesión de grupo y el crecimiento profesional (e.g., elaboración de trabajos de difusión, reconocimiento institucional). Los aspectos de crecimiento profesional eran reclamados desde hace años en los trabajos sobre ApS (Fitch, 2007) y han sido reconocidos como importantes también en otras experiencias publicadas durante la última década (Willard-Schmoe et al., 2013) como una manera de ampliar el interés del profesorado en implementar proyectos ApS en sus materias. Tanto el ABP como el ApS buscan formar al estudiantado en una dimensión laboral, buscando situaciones y contextos profesionalizadores reales (Iranzo-García et al., 2022).

Finalmente, consideramos que el nuestro es un modelo de ApS sostenible y transferible. Respecto a la sostenibilidad, el formato ABP sin clases teóricas permite dedicar muchos más recursos de profesorado al acompañamiento de grupos reducidos de estudiantes que desarrollan su trabajo de forma autónoma. Además, aunque completar el informe que se propone en el modelo español de evaluación de test, requiere conocimientos profundos y la retroalimentación presencial es lo ideal (Viladrich et al., 2021a); algunas partes pueden también realizarse a distancia e incluso podrían desarrollarse tutoriales facilitadores que podrían llegar a ser utilizados también por otras personas (Fonseca-Pedrero y Muñiz, 2017). En cuanto a los materiales, continuamente están disponibles nuevos test o bien actualizaciones de los existentes, de manera que se reduce la posible repetitividad de la tarea. El coste económico de los materiales de los test, que actualmente es oneroso porque la mayoría solo están disponibles mediante compra, podría adaptarse al objetivo formativo si parte importante de estos materiales estuvieran disponibles en la red mediante suscripción, como ya actualmente están los manuales publicados por la editorial Hogrefe-TEA.

El camino para la exportación del modelo a otras universidades españolas y europeas está abierto, puesto que, en varias de ellas, una parte del profesorado está de acuerdo en el potencial formativo de la tarea de revisión de test (Hidalgo y Hernández, 2019; Vermeulen, 2019). Por otra parte, puede ofrecerse como servicio a grupos de investigación con otros fines como, por ejemplo, valorar la calidad de los instrumentos de medida psicológicos para estudios de meta-análisis, contribuyendo así a reducir la proliferación de protocolos ad hoc y facilitando así la comparabilidad de resultados en este ámbito (Lorente et al., 2020).

Por el tipo de trabajo de que se trata, consideramos los datos aportados como suficientemente informativos y extensos en el tiempo como para resultar convincentes. Sin embargo, es una limitación a destacar el hecho de que los indicadores de resultados que hemos utilizado empezaron a estar disponibles con la implantación del Plan de Bolonia al mismo tiempo que se inició nuestra experiencia. Precisamente, los grandes cambios en la formación superior relacionados con este nuevo plan podrían proveer explicaciones alternativas a nuestros resultados. Metodológicamente hablando, lo más aconsejable sería incluir en el futuro comparaciones con otros formatos docentes o datos de una serie temporal interrumpida, algo a tener en cuenta en caso de que otra institución vaya a adoptar este modelo. Por otra parte, creemos que sería útil desarrollar indicadores más específicos para este tipo de formación en concreto, así como valorar su sensibilidad a los ajustes que sistemáticamente realizamos curso tras curso después de evaluar los resultados.

Una experiencia ApS como la nuestra, combinada con una metodología activa de ABP, que potencia profesionalmente al estudiantado, es un terreno que vale la pena explorar porque (a) tiene todas las ventajas del ApS, a saber, desarrollo personal, profesional, social y comunitario; (b) es un aporte neto al cumplimiento de la tercera misión de la universidad; (c) da voz a las nuevas generaciones sobre aspectos de la profesión a la que se van a dedicar en el futuro, lo que permite generar ideas que de otra forma no se habrían producido y que benefician al conjunto de la profesión; (d) es sostenible porque los materiales de los test se renuevan continuamente y (e) es escalable a otras instituciones de nuestro entorno con el encargo de enseñar asignaturas básicas o aplicadas de evaluación psicológica, educativa y logopédica en las que se utilizan test que pueden ser sometidos a control de calidad.