EVALUACIÓN DE HABILIDADES SOCIOEMOCIONALES Y TRANSVERSALES: UN ESTADO DEL ARTE


Save this PDF as:
 WORD  PNG  TXT  JPG

Tamaño: px
Comenzar la demostración a partir de la página:

Download "EVALUACIÓN DE HABILIDADES SOCIOEMOCIONALES Y TRANSVERSALES: UN ESTADO DEL ARTE"

Transcripción

1 EVALUACIÓN DE HABILIDADES SOCIOEMOCIONALES Y TRANSVERSALES: UN ESTADO DEL ARTE

2 Título: Evaluación de habilidades socioemocionales y transversales: un estado del arte Autor: María del Carmen Huerta, Consultora, Experta internacional en educación y progreso social Editores: DIALOGAS, Adelante, Agcid Chile, MESACTS y CAF-banco de desarrollo de América Latina Las ideas y planteamientos contenidos en la presente edición son de exclusiva responsabilidad de su autor y no comprometen la posición oficial de las instituciones editoras.

3 Evaluación de habilidades socioemocionales y transversales: un estado del arte 3 Antecedentes Históricamente ha existido un reconocimiento implícito de que las competencias transversales y socioemocionales (CTSE) juegan un papel importante en la educación de los individuos. Filósofos, psicólogos, sociólogos y pedagogos han destacado desde hace tiempo que la educación debe abarcar múltiples dimensiones, incluyendo el desarrollo cognitivo y el socio-emocional. La idea de que el aprendizaje y el logro en la vida en general requiere de competencias blandas, no cognitivas, o CTSE fue originalmente desarrollada por psicólogos en el siglo pasado 1. Esta idea, sin embargo, fue retomada y elaborada por economistas, especialmente por James Heckman y sus colegas alrededor del año La creciente atención recibida por parte de economistas y de organismos internacionales como la Corporación Andina de Fomento (CAF), el Banco Mundial, el Banco Interamericano de Desarrollo (BID) y la Organización de Cooperación y Desarrollo Económico (OCDE) ha impulsado las discusiones políticas contemporáneas en torno a la importancia de promover las CTSE. En América Latina, la publicación del reporte Desconectados del BID en 2012 así como la publicación del reporte Más Habilidades para el Trabajo y la Vida de la CAF en 2016 tuvieron un impacto importante en la región. Los autores de Desconectados destacan que las escuelas en América Latina no están desarrollando las competencias que los niños y jóvenes necesitan para tener éxito en el trabajo y enfrentar las demandas que requiere la sociedad (Bassi et al., 2012). Asimismo, hacen un llamado urgente a focalizar esfuerzos en mejorar tanto la calidad como la relevancia de los sistemas educativos; y subrayan que sólo así se podrá mitigar la desconexión existente entre escuela y mercado laboral. De igual forma, el reporte de la CAF señala que América Latina necesita incrementar sus esfuerzos en el desarrollo de un conjunto de habilidades que permita a los jóvenes navegar y adaptarse a los entornos cambiantes de los años por venir (CAF, 2016). En esta nota no se presenta una definición de las CTSE ya que no se dispone de una definición única a nivel regional. En seminarios anteriores se ha visto que acordar una definición que describa el conjunto de competencias-habilidades que no son académicas es un gran desafío dado que cada entidad participante se focaliza en distintas competencias (ver Tabla A.1 en el Anexo). La MESACTS ha decidido utilizar el término competencias transversales y socioemocionales para poder cubrir los intereses de las diferentes entidades. La evidencia internacional muestra la importancia que las CTSE tienen en el aprendizaje y los logros presentes y futuros de los individuos. Por ejemplo, tienen una asociación positiva con realizar y finalizar estudios universitarios, el nivel de salarios, el estado de salud física y mental y con el bienestar subjetivo, entre otros (Busso M, et al., 2017; OECD, 2015; Durlak et al., 2015; Goodman et al., 2015; Lippman et al., 2015; Bassi, M., et al., 2012, Heckman J. y T.D Kautz, 2012). Esta evidencia está basada principalmente en estudios empíricos y longitudinales en países desarrollados (por ejemplo, Alemania, Australia, Estados Unidos, Reino Unido). En América Latina la evidencia es escasa, pero los pocos estudios ratifican la importancia de estas competencias en los resultados educativos y laborales (CAF, 2016; Cunningham et al., 2016; Marchioni, 2016; Acosta et al., 2015; Bassi et al., 2012). 1 Por ejemplo, Harris (1940), Bowles y Gintnis (1976, 2000, 2002) y Goldsmith et al (1997). 2 Incluyendo Heckman (2000, 2011); Heckman, Urzua y Sixtrud (2006); Borghans et al (2008); Almlund et al (2011); Heckman y Kautz (2012).

4 4 La Tabla 1 presenta algunos de los estudios que han medido las CTSE. Estos incluyen estudios transversales internacionales y nacionales. Al pie del a tabla se citan algunos estudios longitudinales que han incluido escalas que se han utilizado para estudiar estas competencias. Algunos de estos estudios han recopilado información desde la primera infancia, otros se han enfocado en los jóvenes y adultos. La mayoría mide múltiples dimensiones de las CTSE pero los constructos medidos y los instrumentos de medición varían de un estudio a otro. En los países participantes de la Mesa Regional de Cooperación Técnica sobre Competencias Transversales y Socioemocionales (MESACTS) 3 han surgido importantes iniciativas para definir, medir y promover las CTSE. Aunado a ello, varios países han desarrollado e implementado algún tipo de evaluación para medir dichas competencias (ver Tabla 1 y Tabla A.2 en el Anexo). Estos métodos de evaluaciones difieren entre países en las competencias evaluadas, la población objetivo, los instrumentos de medición y los fines evaluativos. Es claro que hay experiencias e información dentro de la región que merecen ser compartidas antes de comenzar o continuar con iniciativas de medición. TABLA 1 Estudios internacionales y nacionales midiendo CTSE ESTUDIO COBERTURA POBLACIÓN OBJETIVO CTSE METODOLOGÍA FUENTE Estudios transversales Evaluación FEPBA (Finalización de estudios primarios en la Ciudad de Buenos Aires) (2014) Argentina Alumnos en grado 7 Los cinco grandes: Responsabilidad Apertura a nuevas experiencias Extraversión Inestabilidad emocional Amabilidad Autoreportes Unidad de Evaluación Integral de la Calidad y Equidad Educativa (UEICEE) Evaluación Jóvenes en Acción Colombia Jóvenes de años Autoconocimiento Autoestima Autoconfianza Resiliencia Manejo emociones Perseverancia Proyecto de vida Adaptabilidad Empatía Toma de decisiones Iniciativa Comunicación asertiva Gestión de conflictos Gestión del tiempo Responsabilidad Trabajo en equipo Actitud en el trabajo Liderazgo Autoreportes DPS Competencias ciudadanas Colombia Estudiantes de grado 3, 5 y 9 Identificación, regulación y expresión de emociones Empatía Autoreportes: Cuestionario de Acciones y Actitudes Ciudadanas, prueba Saber Ministerio de Educación Continúa 3 MESACTS (Mesa Regional de Cooperación Técnica sobre Competencias Transversales y Socioemocionales) es un espacio de cooperación técnica e intercambio de experiencias con el fin de contribuir a consolidar los procesos de fortalecimiento de las competencias transversales y socioemocionales en las políticas públicas de los países participantes. La mesas está conformada por entidades públicas de los siguientes países: Argentina, Colombia, Costa Rica, Chile, El Salvador, México, Paraguay, Perú y Uruguay; y las organizaciones internacionales OIT/CINTERFOR, OEI, BID, Fundación SES y Liga Iberoamericana de Organizaciones Sociales Para mayor información consultar;

5 Evaluación de habilidades socioemocionales y transversales: un estado del arte 5 ESTUDIO COBERTURA POBLACIÓN OBJETIVO CTSE METODOLOGÍA FUENTE Competencias Personales y Sociales República Dominicana Jóvenes de años, beneficiarios del programa Juventud y Empleo Liderazgo Comportamiento ante conflicto Autoestima Habilidad para relacionarse Organización-Orden Empatía-Habilidad de Comunicación SENNA 1.0 Brasil Estudiantes de 11 a BIG Five: apertura, 17 años adaptados al contexto escolar responsabilidad, extraversión, amabilidad, estabilidad emocional Control interno Aristas (evaluación nacional de logros sistema educativo) Encuesta CAF STEP Desconectados Estudio de Competencias Socioemocionales Estudios longitudinales Uruguay 10 ciudades en 10 países (2015) Bogotá, Buenos Aires, Caracas, La Paz, Lima, México DF, Montevideo, Panamá, Quito, San Pablo 10 países de ingreso medio o bajo, incluyendo Bolivia y Colombia ( ) Chile(2008) y Argentina (2010) 5 ciudades (Bogotá) en 2019 Estudiantes de 6to y 3er año de educación primaria y 3er año de educación media Individuos entre 15 y 55 años de edad Individuos entre 15 y 64 años residentes en zonas urbanas Individuos de años residentes en zonas urbanas Niños de 10 y 15 años Motivación y autoregulación Habilidades interpersonales Habilidades intrapersonales Conductas de riesgo (educación media) Personalidad (Inventario de personalidad de 10 ítems basado en los 5 Grandes Factores) Autoeficacia (escala de 10 ítems) Consistencia de intereses y perseverancia de esfuerzo (8 ítems de Grit) Personalidad y comportamiento (Big Five Short Inventory, 3 ítems de Grit y 2 ítems de Hostile Attribution Bias), Preferencias ante el riesgo (7 preguntas) Autoeficacia (12 preguntas) Habilidades sociales (12 preguntas) Habilidad meta-cognitiva (12 preguntas). Mente abierta (apertura a experiencias), Desempeño de tareas (responsabilidad) Involucrarse con los demás (extraversión), Colaboración (empatía, cooperación) Regulación emocional (estabilidad emocional) Competencias compuestas (autoeficacia, pensamiento crítico, meta cognición) Encuesta individual: auto-s Encuesta individual: auto-reporte Encuesta individual: auto-reporte Encuesta individual: auto-reporte Encuesta individual: auto-reporte Encuesta individual: auto-reporte Encuesta individual, reportes de maestros y padres de familia Banco Inter- Americano de Desarrollo Instituto Ayrton Senna (Primi et al., 2016) INEEd CAF com/es/temas/i/ investigacionpara-el-desarrollo/ encuesta-caf/ Banco Mundial worldbank.org/ index.php/catalog/ step/about Banco Inter-Americano de Desarrollo OCDE org/education/ ceri/study-onsocial-andemotional-skillsthe-study.htm Australia (Growing up in Australia: Longitudinal study of Australian Children (LSAC)); Canada (National Longitudinal Survey of Children and Youth (NLSCY)); Dinamarca (Danish Longitudinal Survey of Children (DALSC)); Alemania (NEPS (National education panel on early education and schooling)); Irlanda (Growing up in Ireland); Corea (Panel Study of Korean Children (PSKC)); Paises Bajos (Pre-COOL); Perú, Etiopía, India y Vietnam (Niños del Milenio, Young Lives); Nueva Zelanda (Competent Children: Competent Learners y Growing Up In New Zealand); Noruega (Behaviour Outlook Norwegian Development Study (BONDS)); Reino Unido (National Child Development Study (NCDS), 1970 British Cohort Study (BCS70), Millennium Cohort Study (MCS), Effective Provision of Pre-School Education (EPPE) Project, Growing up in Scotland (GIS) Study, Avon Longitudinal Study of Parents and Children (ALSPAC)); Estados Unidos (Abecedarian Programme, Chicago Child Parent Centres, Early Childhood Longitudinal Studies (ECLS), Head Start Impact Study, High/Scope Perry Preschool Project, NICHD Study of Early Child Care and Youth Development) Fuente: BID (2016), Instrumentos para la medición de las habilidades de la fuerza de trabajo, Nota Técnica No.IDB-TN-1070, División de Mercados Laborales e Inclusión Social, BID, Washington. Primi, R. et al. (2016), Development of an Inventory Assessing Social and Emotional Skills in Brazilian Youth, European Journal of Psychological Assessment, Vol. 32, pp Para los países MESACTS, documentos en Basecamp.

6 6 Instrumentos de medición de las CTSE Medir las CTSE es crucial para poder identificar las necesidades de desarrollo y poder promover las prácticas adecuadas para su aprendizaje. Este ejercicio de medición es complejo ya que sólo se pueden medir de manera indirecta usando autoreportes, informes de observadores o personas que conocen al individuo a evaluar; registros administrativos sobre el comportamiento del individuo (e.g. ausencias, retardos, suspensiones por conducta) o pruebas de desempeño estandarizadas tipo PISA (Marchioni, 2016). En la mayoría de los países de la OCDE, las evaluaciones de la CTSE tienden a ser a través de estándares de desarrollo o rúbricas (OCDE, 2015). Estas evaluaciones se basan en las observaciones de los maestros o formadores de capacitación sobre el comportamiento cotidiano de los estudiantes o jóvenes. El objetivo es ayudar al individuo a identificar sus fortalezas y debilidades y ayudarlo en su aprendizaje y desarrollo. Por otro lado, hay pocos instrumentos de medición desarrollados para un uso a mayor escala en encuestas nacionales o internacionales. De hecho, hay pocos países de la OCDE, donde el desarrollo de medidas psicométricamente válidas está alineado para su uso dentro de los sistemas de evaluación y rendición de cuentas (Darling y Lippman, 2015). La falta de medición a gran escala de las CTSE explica la falta de información en los sistemas de recolección de datos nacionales. Esto limita las sugerencias que se pueden hacer para mejorar las acciones de los distintos contextos de aprendizaje. Existen distintos instrumentos de medición de las competencias transversales y socioemocionales. Estos pueden agruparse a grosso modo en mediciones por rúbricas o por escalas psicométricas. Ambos tienen ventajas y desventajas. La selección depende de los objetivos evaluativos que se tengan, los cuales pueden incluir: Diagnóstico y valoración individual/grupal del estado de las habilidades socioemocionales. Mejora de prácticas educativas o de formación. Conocimiento del estado actual de las competencias y de la influencia de los entornos de aprendizaje en su desarrollo. Evaluación de programas o intervenciones - investigar si estos últimos están teniendo un impacto positivo o no en el desarrollo de las CTSE de la población beneficiaria. Rendición de cuentas (accountability) - respaldar las decisiones políticas de acuerdo con el desempeño de escuelas, distritos escolares, municipios, etc. Investigación cuantitativa y/o cualitativa con el fin de avanzar el conocimiento sobre el desarrollo de estas competencias.

7 Evaluación de habilidades socioemocionales y transversales: un estado del arte 7 Mediciones por rúbricas Las rúbricas son guías o instrumentos para evaluar las competencias adquiridas por los estudiantes y jóvenes en programas de capacitación. Este tipo de instrumentos están basados en la observación de comportamientos y conductas. El desempeño de los individuos se mide a partir de criterios preestablecidos que permiten calificar el nivel de dominio de las competencias que están siendo evaluadas. Las rúbricas pueden ser de dos tipos: 1. Holísticas: proporcionan una puntuación única. Son útiles cuando se evalúa globalmente una tarea o competencia; pero, no proporcionan información detallada. 2. Analíticas: proporcionan puntajes para varios criterios diferentes que se están evaluando por lo que brindan comentarios más detallados sobre el desempeño. Las rúbricas analíticas, por lo general, se presentan en forma tabular (ver Tabla 2) y están compuestas de: Una descripción de la competencia que se está evaluando tomando en cuenta las diferentes dimensiones de la misma y sus respectivos indicadores Una escala de calificación que indica diferentes niveles de desempeño, desde el menos aceptable hasta el ejemplar Una descripción de cada nivel de desempeño para cada criterio. TABLA 2. Ejemplo de la estructura de una rúbrica DIMENSIONES INDICADORES ESCALA DE CALIFICACIÓN 1 (POBRE) 2 (BUENO) 3 (MUY BUENO) 4 (EXCELENTE) Aa Descripción Aa1 Descripción Aa2 Descripción Aa3 Descripción Aa4 A B Ab Descripción Ab1 Descripción Ab2 Descripción Ab3 Descripción Ab4 Ac Descripción Ac1 Descripción Ac2 Descripción Ac3 Descripción Ac4 Ba Descripción Ba1 Descripción Ba2 Descripción Ba3 Descripción Ba4 Bb Descripción Bb1 Descripción Bb2 Descripción Bb3 Descripción Bb4 Bc Descripción Bc1 Descripción Bc2 Descripción Bc3 Descripción Bc4 Fuente: Alsina M, J. (2013). Rúbricas de evaluación de competencias. Cuadernos de docencia universitaria, nº 26. Barcelona: ICE-UB/Octaedro. El uso de rúbricas tiene numerosas ventajas: específica y permite comunicar los criterios utilizados para evaluar el desempeño esperado de los individuos; ayuda a que los individuos mismos identifiquen el progreso en su aprendizaje y donde se encuentran respecto al máximo nivel deseado; permite ajustar las prácticas de aprendizaje de acuerdo con los niveles de desempeño; facilita la interacción entre el docente/ formador y el estudiante/ persona en formación; y reduce la subjetividad de la evaluación. Por otro lado, la confiabilidad y validez de las rúbricas pueden ser deficientes debido a una serie de factores. Por ejemplo, dificultad de compresión de los distintos elementos de la rúbrica (definición

8 8 de la competencia y sus dimensiones, los criterios de desempeño, los descriptores de los niveles de desempeño); diferenciación ambigua entre los distintos niveles o grados que conforma la escala de evaluación. Aunado a ello, el diseño y validación de este tipo de herramientas es un proceso que requiere contar con la aportación de expertos y puede tomar mucho tiempo su elaboración. TABLA 3. Ejemplos de rúbricas para evaluar las CTSE en países participantes de la MESACTS y en países miembros de la OCDE PAÍS RÚBRICAS POBLACIÓN OBJETIVO CTSE EVALUADAS FUENTE Chile Costa Rica Uruguay Rúbricas de certificación Chile Valora Rúbricas utilizadas en el Programa Empléate Valoración de las competencias de los estudiantes: Nuevas pedagogías para el aprendizaje profundo. Mayores de 18 años que tengan experiencia laboral, cesantes y personas que buscan trabajo por primera vez Jóvenes años Estudiantes de primaria y secundaria, que atienden a centros educativos que participan en la Red Comunicación Trabajo en Equipo Resolución de Problemas Iniciativa y Aprendizaje Permanente Efectividad Personal Conducta Segura y Autocuidado. Pensamiento crítico Autoconfianza Organización y planificación Comunicación Trabajo en equipo Toma de decisiones Resolución de conflictos Manejo de emociones Pensamiento creativo Respeto Manejo y ampliación del capital social Creatividad, Colaboración, Ciudadanía, Comunicación, Pensamiento crítico Carácter Chile Valora cl/wp-content/ uploads/2016/06/ Catologo-de- Competencias.pdf Ministerio del Trabajo empleo-formacion/ empleate.html Documentación Eurosocial Red Global de Aprendizajes language/es/progresionesde-aprendizaje-en-sea/ Canadá (Columbia Británica) EUA (Estado de Illinois) Escocia Estándares de desempeño desarrollados por el Ministerio de Educación para uso voluntario en las escuelas. Estándares de desarrollo social y emocional que describen lo que los estudiantes deben saber y poder hacer al principio de la escuela primaria y hasta finales de la escuela secundaria. Forman parte de los Estándares de Aprendizaje de Illinois. Estándares de desarrollo del Curriculum para la Excelencia. Se usan para ayudar a planificar el aprendizaje y evaluar el progreso de los niños en cada área del plan de estudios, incluyendo el área de desarrollo socioemocional. Kindergarten a grado 10 con cuatro niveles: grados K-3, grados 4-5, grados 6-8, grados 9-10 Kindergarten a grado 12 con 5 niveles: grados K - 3, grados 4-5, grados 6-8, grados 9-10, grados Pre-escolar a grado 10 con 5 niveles de acuerdo al grado escolar Comunicación Pensamiento creativo Pensamiento crítico Identidad personal y cultural Conciencia personal y responsabilidad Responsabilidad social Tres grandes metas: Desarrollar habilidades de autoconciencia y autogestión para lograr el éxito escolar y de vida. Utilizar la conciencia social y las habilidades interpersonales para establecer y mantener relaciones positivas. Demostrar habilidades de toma de decisiones y comportamientos responsables en contextos personales, escolares y comunitarios Comunicación Resiliencia Colaboración/ empatía Creatividad Responsabilidad social Gobierno de Colombia Británica gov.bc.ca/competencies Consejo de Educación del Estado de Illinois Pages/Social-Emotional- Learning-Standards.aspx Departamento de Educación de Escocia scot/documents/healthand-wellbeing-eo.pdf

9 Evaluación de habilidades socioemocionales y transversales: un estado del arte 9 Mediciones por escalas psicométricas Hoy en día, existe un gran número de mediciones por escalas psicométricas para medir las CTSE (la Tabla 4 presenta una lista no exhaustiva). Sin embargo, los instrumentos de medición utilizados no fueron desarrollados ni recopilados con el objetivo de medir las CTSE. Por ejemplo, el cuestionario de fortalezas y debilidades o el inventario de los grandes cinco (Big Five), comúnmente utilizados, fueron originalmente desarrollados para diagnóstico clínico. A pesar de ello, ambos han sido utilizados en un gran número de estudios poblacionales con otros fines de investigación. Desafortunadamente, los investigadores sólo pueden modelar lo que se ha medido y por ello mucha de le evidencia existente está basada en este tipo de medidas. TABLA 4. Instrumentos de medición por escalas psicométricas INSTRUMENTO POBLACIÓN OBJETIVO CTSE METODOLOGÍA ESTUDIOS Inventario de los cinco grandes (BIG Five) (Tupes and Christal (1958, 1961) Cuestionario de fortalezas y dificultades (SDQ) (Goodman, 1997 Escala de auto-estima (Rosenberg, 1965) Escala de locus de control (Rotter, 1966) Escala de autoeficacia (Schwarzer y Jerusalem, 1995) Escala de Egoresilencia de Block e Kremen Escala de Resiliencia de Wagnild y Young Escala de Autoeficacia en el manejo de las emociones negativas Adultos Niños de 3 a 16 años de edad Niños de 10 años en adelante Adultos Apertura a nuevas experiencias Responsabilidad, Involucrarse con los demás (extraversión), Colaboración (empatía, cooperación) Regulación emocional (estabilidad emocional), Problemas emocionales, Problemas de conducta, Problemas de hiperactividad/ inatención Problemas de pares Comportamiento prosocial 10 ítems, Rosenberg LAWSEQ 12 ítems Distintas escalas: 4 ítems de Rotter CARALOC: 16 ítems Escala tipo Likert 10 ítems Escala tipo Likert 14 ítems Escala tipo Likert 25 ítems Escala tipo Likert 19 ítems Autoreportes CAF (2015) FEPBA (2014) German Socioeconomic Panel (Alemania) CentER Saving Study (Países Bajos) National Child Development Study (NCDS58, Reino Unido) Autoreportes adolescentes años; Reportes padres y maestros de niños de 4 a 16 años Autoreportes Autoreportes CAF (2014) Autoreportes Autoreportes Autoreportes British cohort study (BCS70 Reino Unido) Millennium Cohort Study (Reino Unido) Noruega Dinamarca Jóvenes en Acción (Colombia) Belgium Longitudinal Research in Secondary Education (LOSO) Switzerland Transition from Education to Employment (TREE) British cohort study (BCS70 Reino Unido) Millennium Cohort Study (Reino Unido) Early Childhood Longitudinal Study (ECLS-K, EUA) British cohort study (BCS70 Reino Unido) NLSY79 (National Longitudinal Study of Youth, EUA) Early Childhood Longitudinal Study (ECLS-K, EUA) Jóvenes en Acción (Colombia) MinEduc Perú MinEduc Perú Jóvenes en Acción (Colombia) MinEduc Perú Continúa

10 10 INSTRUMENTO POBLACIÓN OBJETIVO CTSE METODOLOGÍA ESTUDIOS Escala de Autoeficacia en el manejo de las emociones positivas Escala tipo Likert 16 ítems Autoreportes Jóvenes en Acción (Colombia) MinEduc Perú Coping Escale (COPE) Escala de Determinación/Grit (Duckworth y Quinn, 2009) Adultos Niños de 10 a 15 años Escala tipo Likert 60 ítems Perseverancia Pasión por metas a largo plazo Autoreportes Jóvenes en Acción (Colombia) MinEduc Perú Autoreportes CAF (2015) STEP Varios estudios en los EUA Nota: Otras escalas que han sido utilizadas y validadas en otros estudios internacionales incluyen: Inventario de Cociente Emocional (Bar-On, 1997), Activos socio-emocionales y la escala de resiliencia (Sears), Evaluación de fortalezas estudiantiles de Devereux (LeBuffe, Shapiro, Naglieri, 2009). Los métodos más comunes para evaluar las CTSE utilizando mediciones con escalas psicométricas son las encuestas de autoreporte o las encuestas respondidas por otros informantes generalmente el personal docente, los formadores, los padres de familia o incluso los pares. Ambos tienen ventajas y desventajas por lo que es necesario considerar una serie de criterios antes de optar por uno de ellos. La literatura sugiere que los autoreportes pueden ser uno de los métodos con mayores ventajas para medir constructos psicológicos. Las personas entrevistadas son capaces de responder preguntas sobre ellos mismos dando respuestas verdaderas y precisas (Duckworth, 2015). Además de ser confiables, son fáciles de implementar y son menos costosos. Por otro lado, las limitaciones de los autoreportes radican en los posibles sesgos de respuesta, los cuales reducen la validez de las mediciones. Estos incluyen: Interpretación errónea por parte del participante, esto puede ser especialmente difícil para individuos con bajos niveles de comprensión lectora y con poca o ninguna experiencia en responder autoreportes. Sesgo de referencia: el marco de referencia utilizado para hacer juicios puede diferir entre los participantes Sesgo de aceptación social: los participantes pueden proporcionar respuestas deseables pero no correctas Sesgo por fingir sistemáticamente la respuesta: la posibilidad de inflar o reducir deliberadamente las puntuaciones en los cuestionarios. Sesgo de aquiescencia: estar de acuerdo con las preguntas del cuestionario independientemente del contenido Muchos estudios miden las CTSE a través de entrevistas dirigidas a un informante que conoce bien al individuo como una alternativa al autoreporte. Esto es común cuando la población objetivo incluye niños pequeños (menores de 10 años) ya que éstos no pueden dar auto descripciones que sean válidas y confiables. Algunos estudios complementan la información recopilada a través de los autoreportes con los reportes de otros informantes. Las ventajas de estos últimos es que pueden ofrecer una valoración más objetiva sobre las CTSE que los individuos mismos (Dodorico, 2008). Sin embargo, este tipo de mediciones sufren de muchos de los sesgos de respuesta que afectan los autoreportes. Aunado a ello, se consideran menos prácticos y eficientes, y más costoso que entrevistar al individuo bajo estudio (Dodorico, 2008).

11 Evaluación de habilidades socioemocionales y transversales: un estado del arte 11 El uso de múltiples métodos para mejorar la validez de los constructos es una alternativa recomendable (Duckworth, 2015; Dodorico, 2008). Además, el uso de métodos múltiples puede conducir a la obtención de datos más ricos, especialmente si se implementa una estrategia de triangulación. Sin embargo, recopilar información de múltiples informantes no es fácil; requiere de tiempo, dinero y recursos adicionales. Existen otros métodos que pueden ayudar a reducir los sesgos antes mencionados, como el uso de escenarios hipotéticos ( anchoring vignettes ) (OCDE, 2015). Principales desafíos en la medición y evaluación de dichas competencias Ninguna medida es perfecta (Duckworth, 2015). Todas tienen ventajas y desventajas. Sin embargo, esto no debe frenar los esfuerzos por medir este tipo de competencias. Existen muchas preguntas sin responder. La medición de las CTSE es necesaria para permitir a los responsables de políticas públicas, al personal docente y de formación, a los investigadores comprender el estado actual de las CTSE entre los niños y jóvenes de la región; para identificar, definir, priorizar y alinear las competencias que se requieren promover y desarrollar; para poder desarrollar experiencias y prácticas de enseñanza adecuadas para este tipo de competencias; y para tener mejores herramientas que permitan a las escuelas, centros de capacitación y familias movilizar el desarrollo de estas competencias. Los desafíos para llevar a cabo mediciones rigurosas de las CTSE incluyen: Definir cuales CTSE se deben medir tomando en cuenta la evidencia a nivel internacional y nacional. Definir los objetivos evaluativos y seleccionar los instrumentos y métodos de medición. Seleccionar medidas que cumplan con criterios de calidad: propiedades psicométricas sólidas (confiablidad y validez), cobertura de las dimensiones de las CTSE previamente identificadas, medidas que sean válidas en contextos con diversidad. Enfrentar la reticencia de personal docente y de los padres de familia a las evaluaciones en general. Conducir un análisis apropiado de la información y difundir los resultados de las mediciones obtenidas. Planear en el diseño de intervenciones para promover las CTSE una evaluación que mida el estado de las CTSE pre y post intervención Tomar en cuenta la falta de recursos en el diseño de la evaluación. Adicionalmente, los elementos que pueden dificultar el trabajo de los países participantes de la MESACTS para promover las CTSE representan de igual modo un desafío para la medición. Esto es, habrá que movilizar esfuerzos que permitan enfrentar la limitada visión de Estado, la falta de continuidad en las políticas públicas, la escasez de recursos y el statu quo para poder avanzar en la agenda de medición.

12 12 Referencias Acosta, P., Muller, N., y Sarzosa, M. A. (2015), Beyond qualifications: returns to cognitive and socioemotional skills in Colombia, Documento de trabajo N 7430, World Bank Policy, Washington, D.C. Almlund, M., Duckworth,A., Heckman, J.J y Kautz, T. (2011), Personality,Psychology and Economics. In Handbook of the Economics of Education, edited by E. A. Hanushek, S. Machin, and L.Woessman, Amsterdam: Elsevier, Vol. 4, 1. Alsina M, J. (2013). Rúbricas de evaluación de competencias. Cuadernos de docencia universitaria, nº 26. Barcelona: ICE-UB/Octaedro. Bassi, M., M. Busso. S. Urzua y J. Vargas (2012), Desconectados. Habilidades, educación y empleo en América Latina, Banco Interamericano de Desarrollo (BID), Washington. BID (2016), Instrumentos para la medición de las habilidades de la fuerza de trabajo, Nota Técnica No.IDB-TN-1070, División de Mercados Laborales e Inclusión Social, BID, Washington. Borghans, L., Duckworth, A. L., Heckman, J. J., y B. ter Weel (2008), The economics and psychology of personality traits. Journal of Human Resources, Vol. 43, No.4, pp Bowles, S. and Gintis, H. (2000), Does Schooling Raise Earnings by Marking People Smarter? en Arrow, K Bowles, S. y Durlauf, S. (Eds), Meritocracy and Economic Inequality. Princeton: Princeton University Press, pp Busso M, et al., (2017), Aprender mejor, Políticas públicas para el desarrollo de habilidades, Banco Interamericano de Desarrollo, Washington. CAF (2016), Más habilidades para el trabajo y la vida: Los aportes de la familia, la escuela, el entorno y el mundo laboral, Reporte de Economía y Desarrollo, CAF. handle/ /936/red sep.pdf?sequence=5&isallowed=y Carter, A. S., Briggs-Gowan, M. J., Jones, S.M., y Little, T. D. (2003), The Infant Toddler Social and Emotional Assessment (ITSEA): Factor structure, reliability, and validity, Journal of Abnormal Child Psychology, Vol. 31, No. 5, pp Cunningham, W., Torrado, M. P., y Sarzosa, M. (2016), Cognitive and non-cognitive skills for the Peruvian labor market: addressing measurement error through latent skills estimations. (Documento de trabajo N 7550). Washington, D.C.: World Bank Policy Research. Darling-Churchill, K. E., y Lippman, L. (2016), Early childhood social and emotional development: Advancing the field of measurement. Journal of Applied Developmental Psychology, Vol. 45, pp:1 7, Dodorico, J. (2008), Measuring Personality Constructs: The Advantages and Disadvantages of Self- Reports, Informant Reports and Behavioural Assessments, ENQUIRE, Volume 1, No 1, pp.1-18.

13 Evaluación de habilidades socioemocionales y transversales: un estado del arte 13 Duckworth, A. L., y Yeager, D. S. (2015), Measurement matters: Assessing personal qualities other than cognitive ability for educational purposes. Educational Researcher, 44(4), pp Duckworth, A. y P. Quinn (2009), Development and Validation of the Short Grit Scale (Grit S), Journal of Personality Assessment, Vol. 91, No. 2, pp , Durlak, J. A., Domitrovich, C. E., Weissberg, R. P., Gullotta, T. P. (Eds.). (2015). Handbook of social and emotional learning: Research and practice. New York, NY, Guilford. Goldsmith, A., Veum, J. y Darity, W. (1997), The Impact of Psychological and Human Capital on Wages. Economic Inquiry, 35, pp Goodman A. et al, (2015), Social and emotional skills in childhood and their long-term effects on adult life. A review for the Early Intervention Foundation, Cabinet Office, UK. wp-content/uploads/2015/03/eif-strand-1-report-final1.pdf Halle, T. G., y Darling-Churchill, K. E. (2016), Review of measures of social and emotional development. Journal of Applied Developmental Psychology, Vol. 45, pp Harris, D. (1940). Factors affecting college grades: A review of the literature, Psychological Bulletin, 37, Heckman, J. (2000), Policies to foster human capital. Research in Economics 54, no. 1: 3-56 Heckman J. (2011), Integrating Personality Psychology into Economics. Working Paper National Bureau of Economic Research Heckman, J., J. Stixrud y S. Urzua (2006), The Effects of Cognitive and Non-cognitive Abilities on Labor Market Outcomes and Social Behavior, Journal of Labor Economics, 2006, vol. 24, no Heckman J. y T.D Kautz (2012) Hard Evidence On Soft Skills, Working Paper 18121LeBuffe, P. A., & Naglieri, J. A. (2003). The Devereux Early Childhood Assessment Clinical Form (DECA-C): A measure of behaviors related to risk and resilience in preschool children. wpcontent/ uploads/deca-c-info-pak.pdf). LeBuffe, P. A., V. B., Shapiro, y J. A Naglieri. (2009), The Devereux Student Strengths Assessment (DESSA), Lewisville, NC: Kaplan Press. Lippman, L. et al. (2015), Key Soft Skills that foster Youth Workforce Success: Toward a Consensus across Fields, Workforce Connections, Child Trends Marchioni, C. (2016), Habilidades no cognitivas en América Latina. Una medición desde pruebas estandarizadas, Documento de trabajo N 2016/04 10/201, CAF. OCDE (2015), Skills for Social Progress: The Power of Social and Emotional Skills, OCED, Paris. Primi, R. et al. (2016), Development of an Inventory Assessing Social and Emotional Skills in Brazilian Youth, European Journal of Psychological Assessment, Vol. 32, pp /a

14 14 Anexo TABLA A.1 Competencias Sociales y Transversales CHILE COLOMBIA JEA COSTA RICA ECUADOR MÉXICO (CONSTRUYE T) Comunicación Comunicación asertiva Comunicación asertiva Comunicación efectiva Trabajo en Equipo Trabajo en equipo, empatía, gestión de conflicto Trabajo en equipo Trabajo colaborativo Colaboración y Conciencia social Iniciativa y Aprendizaje Permanente (Aplica en su trabajo nuevos aprendizajes para su desarrollo personal y laboral, adaptándose a un entorno cambiante.) Adaptabilidad iniciativa Adaptación al cambio El actuar con iniciativa Pensamiento y actuación creativa Efectividad Personal (Ejecuta su trabajo de forma responsable y autónoma y trabaja con base en una planificación previa) Responsabilidad, puntualidad, gestión del tiempo, planificación Organización y planificación Planificación de acciones Perseverancia Perseverancia Conducta Segura y Autocuidado Autoestima Inteligencia emocional Auto-regulación Resolución de Problemas Toma de decisiones Capacidad de análisis y toma de decisiones Autoconocimiento Autoconocimiento, motivación y plan de vida Gestión del desarrollo personal Auto-conocimiento Resiliencia Resiliencia Liderazgo Presentación personal y servicio Identificación oportunidades Fuente: Dialogas (2017), Informe Final Recopilación de Antecedentes y Análisis FODA lo8, CAF (2016); OECD (2017)

15 Evaluación de habilidades socioemocionales y transversales: un estado del arte 15 PERÚ URUGUAY CAF OECD Trabajo en equipo Habilidades de relacionamiento Empatía Extraversión: Amistoso, Sociable, Confiado en sí mismo, Aventurero, Extraversión: sociabilidad, Entusiasta asertividad y energía Amabilidad: Indulgente, No demandante, Altruista, Buen trato, Colaboración: empatía, confianza, Modesto, Empatía, Cooperación. cooperación Adaptabilidad Tolerancia Mentalidad de crecimiento Apertura: Imaginativo, Artístico, Entusiasta, Intereses diversos, Curiosidad, Valores no convencionales Apertura a las experiencias: curiosidad, tolerancia y creatividad Perseverancia Perseverancia académica Responsabilidad: Perseverancia, Autocontrol, Establecimiento de Desempeño de tareas: orientación metas, Ambición, Ética del trabajo, al logro, responsabilidad, Organización autocontrol, persistencia Autorregulación de emociones Regulación emocional Conductas internalizantes Estabilidad emocional: Ansiedad, Locus de control, Autoestima, Autoeficacia, Optimismo, Depresión / Trastornos de ansiedad Regulación emocional: resistencia al estrés, optimismo, control de emociones Autorregulación metacognitiva Autoeficacia académica Autocontrol Habilidades en redes sociales Autoeficacia: Auto-concepto optimista, Atribución interna del éxito Determinación-Grit: Consistencia de intereses, Perseverancia en el esfuerzo Habilidades compuestas: autoeficacia, pensamiento crítico, autoreflexión, metacognición Motivación intrínseca Valoración de la tarea Tolerancia al riesgo

16 16 TABLA A2. Resumen estado del Arte de las CTSE en países participantes MESACTS PAÍS CTSE PRINCIPAL FORTALEZA PROGRAMAS O ACTIVIDADES EVALUACIONES Chile Colombia Costa Rica Comunicación Trabajo en Equipo Resolución de Problemas Iniciativa y Aprendizaje Permanente Efectividad Personal Conducta Segura y Autocuidado. Comunicación Solución problemas y conflictos Toma de decisiones Pensamiento crítico Manejo de emociones Trabajo inter-institucional (Chile Valora, SENCE y Min Educación) Creación de una mesa nacional intersectorial de competencias transversales. Autoconocimiento, Implementación motivación y plan de vida de programas de Organización y planificación capacitación que Comunicación asertiva incluyen el desarrollo de CTSE Inteligencia emocional Trabajo en equipo Capacidad de análisis y toma de decisiones Catálogo de Competencias Transversales para la Empleabilidad Manual de formación sociolaboral y herramientas de apoyo a la empleabilidad FOSIS Rúbricas para evaluar competencias en el Catálogo de Competencias Transversales para la Empleabilidad Evaluación del Programa de Empleabilidad Juvenil Producción de documentos Distintas iniciativas: que promueven las CTSE: competencias cátedra de la Paz, Marco ciudadanas en las Nacional de Cualificaciones, evaluaciones de niños materiales pedagógicos: desde el 3 al 9 grado; Habilidades para la vida en evaluación del impacto el programa Jóvenes en de Jóvenes en Acción en Acción desarrollar CTSE Programa Empléate Manual de Habilidades Socioemocionales para el Trabajo Piloto del manual de Habilidades socioemocionales para el Trabajo Evaluación de indicadores de avance en el Programa Empléate utilizando rúbricas para cada habilidad socio emocional Evaluaciones de parte de los estudiantes sobre el proceso Ecuador El Salvador México Paraguay Gestión del desarrollo personal Comunicación efectiva Identificación de oportunidades Pensamiento y actuación creativa Planificación de acciones Trabajo colaborativo El actuar con iniciativa Adaptación al cambio Colaboración Conciencia social Perseverancia Auto-regulación Toma responsable de decisiones Auto-conocimiento Liderazgo Autoestima Resiliencia Fortalecimiento de la Educación Técnica en educación secundaria Articular distintas instancias a nivel nacional y local, para implementar un programa con jóvenes que incluye el desarrollo de CTSE Programa integrado de manera oficial al currículo formal de educación media superior Programas sociales con componentes de apoyo al desarrollo de CTSE El programa NEO Programa Jóvenes con Todo, el cual incluye un módulo de habilidades y competencias para la vida y el trabajo Programa ConstruyeT: seis lecciones semanales dentro del aula que imparten todos los docentes, usando 20 minutos del tiempo de clase. Seis cursos pautados con materiales para alumnos y docentes (12 manuales) e intensos programa de capacitación: docentes, tutores y directores Programa Tenondera, el cual incluye un módulo de desarrollo humano: plan de vida y capacidades de liderazgo, autoestima y resiliencia. Estudio de evaluación del Programa de Empleabilidad Juvenil El nuevo programa se encuentra en proceso de evaluación. Evaluación de proceso: consistencia interna, percepción de avance de la implementación Varios proyectos de investigación: pertinencia del diseño, calidad de la implementación, impacto en el desarrollo de las HSE. Continúa

17 Evaluación de habilidades socioemocionales y transversales: un estado del arte 17 PAÍS CTSE PRINCIPAL FORTALEZA PROGRAMAS O ACTIVIDADES EVALUACIONES Perú Uruguay Autorregulación de emociones Perseverancia Trabajo en equipo Adaptabilidad Tolerancia. Incorporación de las competencias transversales en el curriculum de secundaria a nivel nacional Elaboración de un marco de evaluación con base en revisión sistemática de antecedentes internacionales y nacionales, y con insumos de expertos, docentes y estudiantes. Posibilidad de cruzar los datos con variables a nivel del contexto familiar, entorno escolar, convivencia y participación en el centro, desempeños en matemática y lectura. Sistema de medición de competencias, con base en escalas, herramientas de observación y rúbricas. Indicadores concretos sobre el desarrollo de competencias transversales. Estrategias de desarrollo profesional docente Competencias Socioemocionales para el empleo en curriculum nacional y piloto proyecto Educación emprendedora en Cajamarca Sistema de medición de competencias, con base en escalas psicométricas desarrolladas y validadas en el país Observatorio socioemocional: espacio para la divulgación de experiencias en educación socioemocional Red de investigación en habilidades socioemocionales: encuentros interinstitucionales para compartir y fomentar investigación y prácticas en la temática Estrategias para evaluar CTSE para la empleabilidad. Kit rúbricas para evaluar el desarrollo de CTSE para la empleabilidad. Evaluación de competencias socioemocionales en la escuela: propuestas: evaluar a partir de tareas auténticas, hacer partícipe a los estudiantes de las evaluaciones, e incluir procesos de retroalimentación. Aristas: Evaluación Nacional de Logros Educativos en 6º año de primaria (2017) y 3r año de media (2018) Habilidades no-cognitivas y desempeños en matemática entre los estudiantes uruguayos evaluados en PISA 2012 Fuente: Dialogas (2017), Informe Final Recopilación de Antecedentes y Análisis FODA lo8

18

19

20 Este proyecto forma parte de: Entidad Coordinadora: Seminario organizado con el apoyo de: