LA EVALUACIÓN DE LA CAPACITACIÓN CULTURAL

No hay quinto malo [1997] Ricardo Escobedo. Museo Pantaleón Panduro

José Luis Mariscal Orozco

Tochtli Promoción Cultural Tuxpan A.C.

DATOS DEL AUTOR

NOMBRE: José Luis Mariscal Orozco.
INSTITUCIÓN: Tochtli Promoción Cultural Tuxpan A.C.
PÁGINA WEB DE LA INSTITUCIÓN: http://www.geocities.com/tochtliac
CORREO ELECTRÓNICO: mariscal21@yahoo.com

RESUMEN:

En este documento se discute sobre la importancia de la evaluación de los programas y proyectos de capacitación cultural para el mejoramiento de los mismos. A la vez se plantea un modelo metodológico que puede servir de guía para aquellas personas que coordinan y evalúan la capacitación cultural.

INTRODUCCIÓN

"Soy fulanito de tal y me dedico a la gestión cultural".  Es muy raro escuchar esta presentación en México, pero cada vez más común.  Tal vez, la cuestión no es que existen hoy en día más gestores culturales que antes, sino que también  dichos personajes están en la búsqueda y conformación de una identidad cuya actividad profesional esta luchando por ser reconocida en la sociedad mexicana. 

            Como en todas las profesiones, la Gestión de la cultura, ha llevado un proceso de formación y reconocimiento social de su labor apoyado  por todas esas experiencias, conocimientos y emociones que lo promotores han aprendido y reproducen a través del tiempo.

            Así pues, esfuerzos como el del Sistema Nacional de Capacitación Cultural del Consejo Nacional para la Cultura y las Artes (CONACULTA), ayuda  a la formación y profesionalización de esta noble labor, ayudando a sus participantes en la estructuración, reflexión y actualización de nuevas y viejas concepciones, herramientas y métodos en gestión cultural.

                 La intención principal de elaborar este documento, responde básicamente a la necesidad de dos cuestiones: por un lado  sistematizar la experiencia que viví durante el tiempo que estuve prestando mis servicios en la Casa Echavarria de la Universidad de Guadalajara y por otro aportar en la discusión sobre la metodología de evaluación en procesos de capacitación cultural.

Desde la creación de la Dirección de Capacitación Cultural del CONACULTA en el 2001,  se ha dado un auge de la capacitación en México, que van desde diplomados, cursos, seminarios, talleres, pero... ¿El esfuerzo que se realiza brinda los frutos esperados?. En este sentido, “los coordinadores de capacitación, no evalúan ni dan seguimiento a los alumnos y mucho menos hay una reflexión sobre si lo que se hace está bien hecho y si responde a las necesidades de lo asistentes[1]".

            Durante la Segunda Reunión Nacional de Coordinadores Estatales de Capacitación, realizada del 2 al 4 de mayo de este año en la ciudad de Campeche, Campeche, una de las conclusiones de las mesas de trabajo, fue la necesidad primordial de que los coordinadores tengan elementos para evaluar la capacitación, no sólo para saber si lo que se hizo fue bueno, sino también para dar seguimiento a los procesos que desata la capacitación en los alumnos y en su momento incidir en el proceso de aprendizaje para poder cerrar aquellos procesos que quedan inconclusos.

De esta manera la evaluación puede servir para:

  • Conocer si las ofertas de formación responden a las necesidades reales de capacitación de los promotores y gestores culturales.
  • Saber si un proyecto es eficaz y eficiente.
  • Detectar nuevas inquietudes para poder canalizarlas.
  • Detectar problemas durante la ejecución del proyecto y rectificarlos a tiempo.
  • Mejorar las ofertas de capacitación.
  • Sistematizar las experiencias y crear nuevas metodologías, concepciones y teorías.
  • Los perfiles (conocimientos, actitudes y habilidades) de los promotores culturales en activo.
  • En la medida de lo posible, puede servir para realizar manuales de procedimiento sobre la organización de ofertas de capacitación dirigida a neófitos en el tema.
  • Crear información que sirva de fuente para la creación de programas curriculares de gestión cultural a nivel superior y postgrado.

EL PROCESO DE EVALUAR

            En general, la evaluación puede ser vista de dos maneras:

·        Como una fase del proyecto, la cuál se realiza después de la ejecución del mismo y se hace una investigación para saber si lo que se hizo se hizo bien.

·        Como un proceso, el cuál se desarrolla de manera conjunta desde la planeación, ejecución y finalización del proyecto.

Existe gran variedad de definiciones sobre lo que es  evaluación; haciendo una encontramos por ejemplo: “es una serie de procedimientos destinados a comprobar si se han obtenido los objetivos propuestos” (Ander Egg, 1985: p.18). Así también, Stufflebeam y Shinkfield definen la evaluación como “el enjuiciamiento sistemático de la valía o el mérito de un objeto”(1987: p.19).

            Por otro lado, Ventosa afirma que

"Evaluar consiste en la recogida de interpretación sistemática de una información con vistas a emitir un juicio de valor que facilite la toma de decisiones de cara a la mejora de lo evaluado (programa, curso, actividad...)"  (2000: p.83).

            Ernesto Cohen y Rolando Franco ponen un énfasis importante en la revisión de la eficacia y la eficiencia, por lo que la definen de la siguiente manera:

"...la evaluación es una actividad que tiene por objeto maximizar la eficacia de los programas de obtención de sus fines y la eficiencia en la asignación de recursos para la consecución de los mismos" (2000, p.77).

La definición que retomaré para este texto, será la de la UNESCO, en la que la evaluación es un

"...proceso permanente que se inicia desde el momento de identificar el problema que da origen al programa (...) y se realiza con la finalidad de generar información, conocimiento y aprendizaje dirigidos a alimentar la toma de decisiones oportunas y pertinentes para garantizar la eficiencia, la eficacia y la calidad de los procesos, los resultados y los impactos de los programas, todo ello en función del mejoramiento de las condiciones de vida de sus poblaciones beneficiarias" (1999: p.55).

            Existen diferentes tipos de evaluaciones, según las necesidades de información que se requieran, aquí retomaré tres grandes tipos:

  • Evaluación del diseño, conceptualización y planeación.
  • Evaluación de la instrumentalización y seguimiento.
  • Evaluación de los resultados.

Evaluación del diseño, conceptualización y planeación.

            Este tipo pretende hacer una revisión sobre el diagnóstico en que está basado el proyecto y la forma en como está conceptualizado y planificado. Ésta va dirigida principalmente a la fase previa de la operatividad y nos permite saber si el proyecto que se propone realmente responde a una necesidad real, delimitada, estudiada y comprendida, y cómo son instrumentadas las acciones y estrategias para la solución de la problemática o situación que se desea cambiar o solucionar. A ella entonces, pertenecen tres subtipos de evaluación:

a)     Evaluación del estudio o proyecto de investigación.

b)     Evaluación del diagnóstico.

c)      Evaluación del diseño y conceptualización.

Evaluación de la instrumentalización y seguimiento.

            En este tipo de evaluación, las indagaciones se centran en el desarrollo operativo del proyecto, esto es, en la acciones llevadas a cabo y en el ambiente que se va propiciando.

            A ésta, corresponden los siguientes subtipos:

a)      Evaluación de cobertura.

b)      Evaluación de implementación.

c)      Evaluación del ambiente organizacional.

d)      Evaluación del rendimiento del personal.

Evaluación de los resultados.

            En este último tipo, se encuentran todas las evaluaciones  que se concluyen al cierre o finalización del proyecto, el cuál nos permite saber cuáles son los resultados que surgieron a partir de la intervención en la situación o problema.

            Las evaluaciones correspondientes a este tipo son:

a)     Evaluación de la eficacia.

b)     Evaluación de la eficiencia.

c)      Evaluación de la efectividad.

d)     Evaluación del impacto.

MODELO PARA LA EVALUACIÓN DE LA CAPACITACIÓN CULTURAL

            La presente ponencia presente pretende ser un acercamiento a la creación de una propuesta de evaluación de la capacitación cultural, la cual tiene como objetivo brindar a los coordinadores de capacitación neófitos en el tema, alternativas para que puedan evaluar y dar seguimiento a sus proyectos acuerdo a sus necesidades e intereses.

            ¿Qué importancia tiene esta propuesta?.  De entrada, tiene dos propósitos fundamentales: el primero, es sistematizar la metodología utilizada en estos dos años y medio de experiencia en el ámbito de la evaluación de la capacitación cultural, de tal manera que sirva como una autorreflexión de lo realizado, y en la medida de lo posible mejorarlo para posteriores aplicaciones.

            El segundo propósito, es compartir la experiencia con todas aquellas personas que realizan proyectos de capacitación en todo el país, ya que una de las necesidades más urgentes en este ámbito, es precisamente la evaluación y sistematización de las acciones culturales, y en especial de la capacitación.

Metodología de la evaluación

            La evaluación de la capacitación, se distingue un poco de la evaluación de proyectos sociales en general, ya que ya que se le agrega el análisis de tres cuestiones importantes en la formación académica: Las habilidades, las actitudes y los conocimientos del alumno antes y después de la capacitación.

            Las habilidades son todas aquellas destrezas que el alumno es capaz de hacer de acuerdo al perfil del egresado que se planeaba formar. Por otro lado, las actitudes tienen que ver con la visión, disposición  y forma de relacionarse del alumno hacia el área en el que se capacita, dicho aspecto es importante ya que no basta saber que hacer y cómo hacer, sino también como lo miro y como me relaciono.  Por último, son los conocimientos antes y después de la capacitación.

            Específicamente, en lo que se refiere a la capacitación cultural, es importante tomar en cuenta la autoidentificación del alumno como actor cultural antes y después de la capacitación, ya que se da el caso de que antes de tomar el curso o diplomado, se identificaba simplemente como bailarín, maestro o empleado, y después se autoidentifica ya como un promotor o gestor cultural, esto es, se nombra y cataloga como agente cultural preparado y le da existencia, valoración y sentido a lo que hace como una profesión y no como un simple pasatiempo.

Tipo de evaluación

            Cómo ya se ha mencionado en el marco teórico, existen una multitud de tipos de evaluación, por lo que se tendrá que escoger el tipo o tipos de evaluación que se desea implementar según las necesidades, recursos y tiempos que se requiera y tenga.

            A continuación se presenta una complementaria enfocada a la evaluación de la capacitación especificando técnicas a utilizar y a quien se puede dirigir.


EVALUACION DE LA CAPACITACION

TIPO

FASE

SUBTIPO

CUESTIONES A EVALUAR

TÉCNICA

DIRIGIDA A

EVALUACIÓN DEL DISEÑO, CONCEPTUA-LIZACIÓN Y PLANIFICACIÓN

Estudio o investigación previa

Evaluación del estudio previo

- Definición de indicadores

- Metodología utilizada

- Técnicas de investigación

- Documental

- Entrevista

Organizador

Diagnóstico

Evaluación del diagnóstico

- Descripción y explicación del problema, situación u oportunidad

- Sistematización de la información

- Inventario de los recursos disponibles

- Viabilidad del proyecto

- Definición de necesidades, amenazas y oportunidades

- Documental

- Entrevista

Organizador

Planificación

Evaluación del diseño y conceptualización

- Relación entre acciones y solución de problemas

- Formulación de objetivos

- Establecimiento de prioridades y estrategias

- Diseño del proyecto

- Marco teórico conceptual en el que está basado

- Documental

- Entrevista

Organizador

- Grupo de discusión

- Entrevista

- Cuestionario

Alumno

- Entrevista

- Cuestionario

Instructor

EVALUACIÓN DE LA INSTRUMENTA-LIZACIÓN Y SEGUIMIENTO

Ejecución

Evaluación de la cobertura

- Población objetivo: Determinación, perfil, alcances y límites.

- Conocimiento, difusión y participación del proyecto en la población objetivo

- Documental

- Entrevista

- Cuestionario

- Encuesta

- Análisis de contenido

- Observación

Organizador

Alumno

Población

Medios de comunicación

Evaluación de la implementación

- Previsión de los recursos, instrumentos, medios y tiempos necesarios

- Estrategias de solución de problemas

- Documental

- Entrevista

- Matriz de análisis estructural

- Cuestionario

- Observaciones

Organizador

Alumno

Instructor

Evaluación del ambiente organizacional

- División del trabajo

- Dinámica organizacional de los actores

- Observaciones

- Entrevista

- Cuestionario

- Sociograma

- Grupo de discusión

Organizador

Alumno

Evaluación del rendimiento del los actores

Desempeño de los actores

- Observaciones

- Examen

- Gráficas de seguimiento

- Simulaciones

- Documentos finales

- Documental

- Cuestionario

Alumno

- Observaciones

- Cuestionario

- Entrevista

Instructor

- Observaciones

- Cuestionario

- Entrevista

- Graficas de seguimiento

Organizador

EVALUACIÓN DE LOS RESULTADOS

Finalización o cierre

Evaluación de la eficacia

- Logros cualitativos y cuantitativos de los objetivos

- Relación entre las metas alcanzadas y el tiempo previsto, respecto de las metas previstas de resultado y tiempo real

- Relación entre acciones realizadas y logros de los objetivos

- Observaciones

- Documental

- Graficas de seguimiento

Organizador

- Cuestionario

- Entrevista

- Grupo de discusión

Alumnos

- Cuestionario

- Entrevista

Instructor

Evaluación de la eficiencia

- Resultados alcanzados con relación a los costos y tiempos planificados

- Estrategias de rectificación de ejecución del presupuesto

- Graficas de seguimiento

- Cuestionario

- Entrevista

Organizador

Evaluación de efectividad

- Relación existente entre las metas de resultado alcanzados y las metas de resultado planificadas

- Gráficas de seguimiento

- Entrevista

- Cuestionario

Organizador

Evaluación del impacto

- Cambio de los indicadores de la situación o problema

- Surgimiento de nuevas necesidades

- Resultados no esperados

- Examen

- Graficas de seguimiento

- Cuestionario

- Entrevista

- Simulaciones

- Observaciones

- Documental

- Grupo de discusión

- Grupos cuasi experimentales

- Seguimiento de casos

Alumno

- Graficas de seguimiento

- Cuestionario

- Entrevista

Organizador

- Graficas de seguimiento

- Análisis de contenido

Medios de comunicación


El objeto

            Lo primero que se debe identificar en la evaluación es el objeto de estudio.           Para ello, proponemos la identificación de tres actores involucrados en el proceso de aprendizaje:

1.      El alumno.

2.      El organizador.

3.      El instructor.

Así, cada uno de ellos evaluará a los otros y a su vez realizará una autoevaluación.

Las técnicas

Debido al tamaño del documento propuesto en este congreso, no será posible hacer una revisión de las diferentes tipos de técnicas que se pueden implementar, así que sólo las enumeraré:

  1. Revisión de documentos.
  2. Observaciones.
  3. Entrevista.
  4. Cuestionario.
  5. Grupo de discusión
  6. Análisis de contenido.
  7. Encuesta.
  8. Matriz de análisis estructural.
  9. Sociograma.
  10. Graficas de seguimiento.
  11. Exámenes
  12. Simulaciones
  13. Grupos cuasi experimentales

La ejecución

            Una vez que hemos planeado y diseñado nuestro proyecto de evaluación, el siguiente paso es llevarlo acabo. Sin embargo, el  proyecto inicial no es un modelo rígido e inflexible, ya que constantemente durante la ejecución podremos hacer ajustes en dos sentidos, por una parte de la metodología de la evaluación, pero también, sobre el desarrollo mismo de la capacitación cultural, no es necesario terminar la capacitación para después hacer los cambios.

            Holcomb (Ídem: 92), identifica tres pasos cruciales en el proceso evaluativo:

  1. Antes de la capacitación: Se debe instruir y aconsejar a los que van a ser capacitados con el único fin de prepararlos para la capacitación, explicar la dinámica a desarrollar, los criterios de evaluación, las especificaciones disciplinarias, etc. (sesión introductoria).
  2. Durante: En este periodo se deberán ir solucionando las problemáticas que se vayan presentando y que han sido detectadas en la evaluación.
  3. Después: Un vez finalizado el programa y llegado a las conclusiones correspondientes, será necesario recompensar y reconocer en la medida que las posibilidades lo permitan a los actores involucrados en el programa de capacitación.

            En lo que se refiere a la experiencia aquí sistematizada, el proceso se puede graficar de la siguiente manera:

            Del programa de capacitación se crea un proyecto de evaluación que en sí mismo contendrá tres etapas: el diseño y planeación, la ejecución del mismo y al final las conclusiones. El proyecto de evaluación nos dará elementos para poder hacer los cambios necesarios para el mejoramiento del programa. De esta manera, en la etapa de la ejecución, en base a los datos que se van presentando se pueden hacer cambios coyunturales, esto es rectificar o modificar acciones  tanto del diseño de la evaluación, como del desarrollo del programa de capacitación, esto, para poder cumplir de la mejor manera los objetivos y metas propuestos  en la curricula, por lo que dichas modificaciones son sólo en cuanto a las estrategias que se desarrollan durante el programa y que se pueden hacer durante el desarrollo del mismo.

            En cambio, las conclusiones nos proporcionan información para hacer cambios estructurales tanto al proyecto de evaluación, como al programa de capacitación, esto es, no solamente estrategias para corregir, sino también modificación y/o creación de contenidos, objetivos, metas y cualquier otro aspecto del proyecto para la mejor atención de la problemática a la que pretenden  atender, todo esto, después de terminar el programa con miras a una segunda edición.

            Para finalizar esta parte, cabe mencionar dos aspectos que se deben tomar en cuenta durante la ejecución:

  • El control de las herramientas de recolección de datos. Hay que estar siempre al pendiente de las herramientas que utilizamos, diseñarlas con mucho cuidado y hacer sus modificaciones correspondientes, si hay oportunidad, sería muy bueno hacer algunas pruebas previas. Tienen que estar muy claras y detalladas, fáciles de comprender tanto para las fuentes como para los sistematizadores, en este sentido, en el momento en que se esté diseñando la herramienta, se deberá estar pensando al mismo tiempo en la forma en que se sistematizará, ya que de nada valdrá tener una buena herramienta a la cual se nos dificulte en sobre manera la sistematización e interpretación de la información.
  • La sistematización de la información. Algo que nos sucede a la mayoría de los que hacemos investigación (y que somos desidiosos) es que dejamos todo hasta el final y cuando necesitemos  hacer conclusiones se nos acumula el trabajo y en algunos casos se pierden de vista algunos detalles que en su momento eran importantes[2]. Por ello será importante ir sistematizando la información que se preste, sobre todo las transcripciones, ya que mucha de esa información será necesaria para hacer los cambios coyunturales y además le da al evaluador una visión amplia y específica de todo lo que sucede durante el programa de capacitación, y con ello, puede enriquecer y profundizar algunos aspectos tanto los que se tomaron en cuenta como los que no.

Transmisión de la experiencia.

            El último paso  y  uno de los más importantes en el proceso de evaluación, es  la difusión de los resultados o como algunos le llaman, la transmisión de la experiencia.

            La importancia de la transmisión de la experiencia radica en la necesidad,

de realizar retroalimentación con cuatro actores principalmente:

a)     Alumnos: Para que conozcan lo que se concluyó sobre su desempeño y que vean reflejadas sus opiniones y reflexiones, para que de esta manera sientan que el esfuerzo que realizaron (al participar en la evaluación) no fue en vano y que ello sirve para la mejora de los programas de capacitación en los cuáles fueron partícipes.

b)     Instructores: De igual manera que los alumnos, pueden ver reflejadas sus inquietudes y observaciones entorno a la experiencia que tuvieron con respecto al curso impartido, pero también enterarse de las observaciones que tanto alumnos como organizadores hicieron sobre su intervención, para que de esta manera, puedan mejorar su rendimiento en una próxima participación.

c)      Instituciones participantes: Es importante hacer saber a las instituciones participantes de la capacitación, los resultados que se obtuvieron con los programas de capacitación, ya que de ello depende (no en todos los casos) que se conozca de manera objetiva el trabajo realizado, así los resultados pudieran servir para hacer notar los  problemas surgidos dentro de la organización y desarrollo de los cursos y pensar en posibles soluciones que vayan dentro de la normatividad de la institución, por ejemplo, los problemas administrativos y financieros, se pueden buscar soluciones alternas a los problemas detectados y que influyeron en el mejor desarrollo del proyecto o también, si las actividades de esta índole son nuevas en el organismo, la creación de un manual de procedimientos que pueda facilitar tanto los trámites y el buen desarrollo los proyectos.

d)     Colegas: Otra cuestión importante es el  compartir con otras personas con labores similares a las nuestras, las metodologías, enfoques, conceptos y resultados obtenidos en nuestro estudio, para así enriquecer nuestro trabajo y de la misma manera, ayudar a otros que inician.

            Las formas y formatos  de transmisión son muy diversas, y van directamente relacionadas con los recursos, tiempo y propósitos de la misma, así pues, podemos hacerlo con un simple documento o una página de internet donde vengan los resultados de la evaluación. 

José Luis Mariscal Orozco

Cuitzeo, Jalisco, México.

Julio de 2002

FUENTES CONSULTADAS

 Ander Egg, Ezequiel.

________  (1987) ¿Qué es la Animación Sociocultural?. Hvmanitas. Argentina.

________ (1987) La práctica de la Animación Sociocultural. Instituto de Ciencias Sociales Aplicadas / Hvmanitas.  Argentina. 

Arnaz, José A. (2001) La planeación Curricular. Trillas. México.

Baca Urbina, Gabriel. (1995) Evaluación de Proyectos. Mac Graw Hill, México.

Cohen, Ernesto y Franco, Rolando. (2000) Evaluación de Proyectos Sociales. Siglo XXI. México.

Dieterich, Heinz. (1996)  Nueva guía para la investigación científica. Ariel. México.

Escamilla, Amparo y Blanco, Ángeles. (2002) Glosario de términos educativos de uso más frecuentes. Profes.net : http://www.profes.net/varios/glosario/principal.htm México.

Galindo Cáceres, Luis Jesús.

_______ (1997) Sabor a ti: Metodología cualitativa en investigación social. Universidad Veracruzana. México.

______ (1998) Técnicas de investigación en sociedad, cultura y comunicación. CONACULTA / Addison Wesley Longman. México.

Guédez, Víctor. (2001)“La Formación del Gestor Cultural” en Antología de lecturas del Diplomado en Gestión Cultural: Perspectivas de la Gestión. CONACULTA. México.

Holcomb Jane.(2001)Cómo evaluar fácilmente la capacitación. PANORAMA. México.

Ibarra López, Armando Martín.( 2002) El desarrollo curricular: una propuesta cadémica-administrativa para la educación superior. Inédito. México.

Jara H., Oscar. (1997) Para sistematizar experiencias. IMDEC. México.

Mitchell, Garry.(1995) Manual del Capacitador. Grupo Editorial Iberoamérica. México.

Olive, León. Multiculturalismo y Pluralismo. Piados / UNAM. México, 1999.

Orridge Martin. (2001) 75 maneras de hacer divertida la capacitación. PANORAMA. México.

Quezada Castillo Rocío.(1991) Guía para evaluar el aprendizaje teórico y práctico.LIMUSA. México.

Reza Trosino, Jesús Carlos.(2000) El capacitador hábil. PANORAMA. México.

Santillán Güemes, Ricardo. Capacitar en Cultura. Subsecretaría de cultura de la Provincia de Buenos Aires. Argentina, SF.

Tamayo y Tamayo, Mario. (2000) El proceso de la investigación científica.  LIMUSA. México.

Testimonios Orales

  • Blanca Brambila Medrano, Coordinadora general del Diplomado.19 de noviembre de 1999. Entrevistador: José Luis Mariscal Orozco.
  • José Antonio Mac Grego Campuzano. 1 de mayo de 2002. Mesas de trabajo/ Reunión Nacional de Coordinadores de Capacitación Cultural.

UNESCO. (1999) Gestión integral de programas sociales orientada a resultados. FCE / UNESCO. Argentina.

Ventosa, Víctor J. (2001) Desarrollo y Evaluación de Proyectos Socioculturales. Editorial CCS. España.



[1] Blanca Brambila, coordinadora del diplomado en gestión de proyectos culturales de la Universidad de Guadalajara 3 de mayo de 2002. Campeche, Campeche.

[2] Eso me pasó durante la sistematización de la edición 1999, una vez aprendido de la experiencia lo corregí con la edición 2000 y los resultados fueron maravillosos.


Buscar en esta seccion :