Cómo Comunicar los Resultados de una

Evaluación

Traducido por PREVAL – Octubre del 2002

Lynn Lyons Morris

Carol Taylor Fitz-Gibbon

Mary E. Freeman

Centro para los Estudios de Evaluación,

Universidad de California, Los Angeles

SAGE PUBLICATIONS Newbury Park / Berverly Hills / London / New Delhi

Capítulo 1 ¿Quién necesita saber qué, y cuándo? Usted no desea que los resultados de sus esfuerzos de evaluación no sean utilizados. Toda esa cantidad de trabajo no debería terminar sepultada en un archivador, mientras que las deficiencias de un programa en problemas continúa, o las fortalezas de un programa eficaz no se dan a conocer. Las evaluaciones se realizan por una serie de razones, pero en última instancia el principal propósito es proporcionar información para la toma de decisiones. Si bien muchos se han lamentado del impacto de una evaluación en esta área, afortunadamente existen pasos concretos que usted puede tomar para incrementar las posibilidades de que sus resultados ejerzan cierta influencia sobre el complejo rompecabezas del desarrollo de programas y la elaboración de políticas.

En primer lugar, usted debe considerar el proceso completo de la toma de decisiones y a los actores más influyentes en el programa que usted está evaluando. También debería tomar conciencia de los diferentes puntos potenciales en sus procesos de toma de decisiones, en los cuales podría resultar de ayuda la información. Un único informe final normalmente no alcanza para satisfacer los propósitos, ni tampoco puede usted puede evitar que exista preocupación sobre sus informes y demorar la comunicación hasta que haya recolectado y analizado todos sus datos. En lugar de ello, la atención centrada en un informe eficaz y la comunicación deben ser continuas durante todo el proceso de evaluación, desde las primeras etapas de planificación hasta haber completado sus últimos compromisos. La dimensión de la eficacia significa también que usted tiene que reportar diferentes tipos de información a diferentes individuos o grupos de maneras distintas y en momentos distintos de la evaluación. Quién quiere saber qué cosa y cuando necesita de esa información son preocupaciones clave para la planificación, pero facilitar la utilidad de su trabajo requiere aún más. Este volumen se detiene en tres reglas fundamentales de los informes que aumentarán las probabilidades de que sus resultados de evaluación sean utilizados y no ignorados:

La información tiene que ser comunicada a los usuarios potenciales adecuados

Los informes deben tratar temas que los usuarios perciban como importantes

Los informes deben ser presentados a tiempo para que sean útiles y de una manera tal que sean claramente comprensibles para los usuarios a los que están dirigidos.

Este capítulo proporciona algunas sugerencias prácticas para identificar y comunicar con sus usuarios primarios de evaluación y sus audiencias más importantes. Algunos de estos consejos pueden sonar un tanto “políticos”. Lo son. No existe una evaluación que esté libre de consideraciones políticas. Algunas de las sugerencias sobre una comunicación eficaz son consejos bastante estandarizados y sin duda los habrá escuchado antes. Pero aunque le sean familiares, es muy importante recordárselos.

Antes de centrarnos en las potenciales audiencias de su evaluación y los mensajes, es sin embargo importante para usted que tome en cuenta con claridad las responsabilidades y expectativas de su propio papel como evaluador. El Papel del Evaluador La naturaleza del papel del evaluador con respecto al programa determinará el contenido y el formato de sus planes de comunicación. El Paquete del programa de evaluación, del cual este libro es un componente está dirigido primariamente a las personas que han sido designadas como evaluadores de programa. Esto significa que su responsabilidad primaria es la de recolectar y comunicar información sobre la eficacia de un programa, en oposición a la recolección de información sobre la calidad del desempeño de un individuo específico. ¿A quién comunicar esta información, qué comunicar, cuando y cómo? Identificar estas respuestas específicas será una importante preocupación desde su primer contacto con los auspiciadores de esta evaluación. El volumen 2 en el paquete, cómo centrar el enfoque de una evaluación por Brian M. Stecher y W. Alan Davis, sugiere cómo tratar estas actividades de vital importancia de la planificación inicial. A través de estos intercambios con los auspiciadores y otras audiencias o usuarios clave, un evaluador intentará aclarar la naturaleza y la oportunidad de la información que necesita y preparará el escenario para un proceso de comunicación continuo y eficaz.

Tempranamente en el proceso de planificación de la evaluación y también en el momento específico de planificar una evaluación eficaz, usted debe identificar tanto a aquellas personas que podrían tener mayor interés en los resultados de la evaluación, y también cuál podría ser ese interés. Tenga en cuenta, sin embrago, que

usted encontrará más personas con interés que tiempo, energía y recursos para atender esos intereses de manera eficaz. Una distinción útil que hay que tener en mente cuando identifique audiencias para su trabajo es la que se establece entre usuarios primarios y usuarios secundarios. Los usuarios primarios son aquellos individuos específicos cuyas necesidades de información usted tiene el encargo de satisfacer. El auspiciador de la información y/o aquellos que requieren la evaluación son obviamente usuarios primarios. Estos individuos podrían representar un Consejo Directivo, un Gerente General, un Director de Programa, un Agente de Financiamiento, u otras instancias de decisión del programa o diseñadores de políticas. Los usuarios primarios también pueden incluir a personal clave del programa o a aquellos que son una parte interesada directa en el programa. La mayor parte de su energía de información y comunicación debería entonces estar dirigida hacia esos usuarios primarios. Estos son los individuos que en su opinión deberían utilizar los resultados de su evaluación, y que representan su principal audiencia.

Los usuarios o audiencias secundarias son otros individuos o grupos que podrían estar afiliados al

programa de alguna manera o tener un interés en el programa y su evaluación. Usted podrá tal vez consultar con estos individuos a medida que desarrolla sus planes, o querrá incorporar sus intereses y perspectivas en su recolección datos, y también tal vez sea buena idea divulgar sus resultados entre ellos. Pero estos no son sus clientes primarios. Los grupos comunitarios, el personal, los participantes, otras organizaciones interesadas en el programa, los legisladores, grupos de intereses especiales, y una gama de otras personas que dependen de su situación específica podrán ser vistas como usuarios secundarios.

El papel del evaluador y las audiencias a las que atiende varía con cada encargo, pero algunas similitudes

en responsabilidades y expectativas por lo general se clasifican en dos categorías distintas. Lo más probable es que su papel se semeje a uno de los dos siguientes tipos generales:

(1) su tarea de evaluación puede caracterizarlo como asistente o asesor para los planificadores o

desarrolladores del programa. Durante las primeras etapas de operación de un programa, se le podrá pedir que escriba y monitorée las actividades del mismo, periódicamente compruebe progresos en los resultados o los cambios de actitud como vigile con respecto a problemas potenciales e identifique áreas en las que el programa necesita mejorar. En esta situación, usted funciona como solucionador de problemas, cuya tarea principal a veces puede no estar bien definida. Se le podrá requerir o no que produzca un informe final por escrito al final de sus actividades. Una parte importante de su papel, sin embargo, es la retroalimentación continua, verbal o escrita a los desarrolladores del programa, a sus gerentes y/o su personal, a medida que usted descubre información sobre la implementación del programa, sus defectos y sus logros. Si este papel laboral un tanto difuso se semeja a las expectativas de su encargo actual, entonces probablemente estará actuando como un evaluador formativo.

(2) Usted tiene la responsabilidad de producir una declaración sumativa sobre los efectos generales y los logros de determinado programa. En este caso, probablemente estará preparando un informe final en versión resumida que será presentado a los diseñadores de políticas de programa y/o sus gerentes (por ejemplo, una agencia de financiamiento, un gerente corporativo, funcionarios distritales o estatales, legisladores). Se le podrá pedir que describa el programa, produzca un enunciado que se refiere a los logros con respecto a los objetivos anunciados en el programa, alerte sobre resultados no esperados, y posiblemente establezca comparaciones con un programa alternativo. Mientras que el grueso de su trabajo podría significar escribir este informe final, sus resultados deberán comunicarse sobre una base informal a lo largo de toda la evaluación. Si ese papel se semeja a las expectativas de su encargo actual, entonces sin duda está actuando usted como un evaluador sumativo.

Además de las distinciones entre los papeles formativo y sumativo, también hay factores relacionados sobre si usted está llevando a cabo sus responsabilidades como evaluador interno o externo. Un evaluador interno es una persona que ya es empleada o asociada de la organización o programa que está siendo evaluado. Si usted es un evaluador interno, probablemente ya le sean familiar el personal asociado con el programa, y también sus objetivos. Esta familiaridad puede simplificar mucho las tareas de comunicación inicial si usted ya ha establecido buenas relaciones con el personal clave y sus usuarios primarios. Sin embargo, un evaluador interno puede tener algunas desventajas también, si es que las relaciones ya existentes no han sido productivas o cordiales.

Por su parte, un evaluador externo, es una persona que no tiene un interés particular en el programa o la

organización. Muchas veces se le contrata como resultado de un proceso de licitación. Los evaluadores pueden no estar familiarizados con el personal y sus interrelaciones, o con otros usuarios potenciales. Si bien los auspiciadores de la evaluación pueden haber conocido al evaluador personalmente o a través de trabajos anteriores. Una importante tarea inicial de comunicación para un evaluador externo es identificar al personal clave del programa y a los usuarios primarios y empezar a desarrollar una buena relación de trabajo con ellos. Estas relaciones podrán ser cruciales para ayudarle a reforzar su credibilidad, confiabilidad, y a la vez la utilidad y el impacto de la evaluación.

Una vez que se haya esclarecido su relación con el programa, usted puede iniciar el desarrollo de sus

planes de comunicación. El comprender a las audiencias primarias y sus necesidades es una consideración crucial en el desarrollo de planes eficaces.

Comprendiendo a sus audiencias primarias Conozca a sus audiencias Muchas evaluaciones tienen diversas audiencias o personas en una posición interesada en los resultados de la evaluación. No debe ignorar a ninguno de estos usuarios potenciales durante los procesos de planificación y reporte. El no identificar correctamente a uno o más de sus usuarios primarios es un error común, que puede tener repercusiones serias, por ejemplo:

A solicitud del consejo municipal de una pequeña comunidad, se contrata un evaluador para conducir una evaluación sobre un programa de prevención de abusos de drogas, auspiciado por la policía local para escuelas secundarias. Sin consultar con la policía involucrada en el programa, el evaluador procede a diseñar la evaluación y a reportar la evaluación requerida por los miembros del consejo. Cuando el evaluador finalmente hace entrega de los resultados de la evaluación en una reunión del consejo municipal, la policía manifiesta con vehemencia su oposición a las recomendaciones de que se eliminen ciertas actividades del programa y se expandan otras, alegando que ellos no tuvieron ninguna injerencia en la planificación de la evaluación. No refleja sus prioridades, según dicen, y están reacios a apoyar las recomendaciones. Al pasar por alto a un grupo de usuarios primarios en una etapa crítica de la planificación y subvaluando su importancia como usuarios de la evaluación, el grupo que tenía mayores posibilidades de beneficiarse con la evaluación había sido alienado.

Un evaluador también puede identificar a una audiencia demasiado amplia. Tal vez, por ejemplo, usted

haya presentado un informe final al Comité de Planificación de un programa, que sin duda es usuario primario de su información. Pero no ha tomado usted especialmente en cuenta al presidente del comité, un individuo con una larga experiencia y mucha influencia dentro del comité y un respetado líder de opinión del grupo. Sin su apoyo no se llevará a cabo ninguna acción. Un enfoque más sabio habría sido el de reunirse individualmente con el presidente para revisar sus resultados y discutir sus implicancias, antes de la reunión general del comité. Esta acción habría reconocido su status dentro del grupo y lo habría alertado tanto a usted como al presidente sobre resultados potencialmente controvertidos antes de que se distribuyan de manera general.

Identificar sus audiencias reales – a veces a pesar de los pronunciamientos oficiales – es un aspecto

crucial si usted espera que sus resultados sean utilizados. En gran medida y la credibilidad de sus resultados depende de haber identificado correctamente e incorporado a los usuarios primarios en sus planes de evaluación.

Averigüe qué información necesitan los usuarios y por qué la necesitan Elabore una lista de lo que desean saber las personas y por qué desean hacerlo. Para ser eficaces, los informes tienen que ser adaptados a los problemas reales percibidos por administradores y por los agentes en la práctica. Nuevamente, su propia credibilidad y la credibilidad de sus resultados aumentará su usted identifica acertadamente o al menos reconoce los mayores temas que afronta el personal de un programa.

Antes de empezar a recolectar datos, y sin duda antes de acometer el informe final, averigüe qué consideran las instancias de decisión como criterios aceptables para el éxito del programa. Estos criterios podrán o no coincidir con los suyos propios, pero en última instancia la decisión será de ellos y usted deberá utilizar criterios que ellos encuentren adecuados. En términos de los usuarios ¿a qué nivel se espera que el programa tenga éxito? Usted puede preguntarles bastante directamente: “¿Esto les dirá lo que ustedes desean saber?” Con este enfoque usted estará en una posición mucho más segura para interpretar y presentar sus resultados de manera que resulten relevantes y confiables para los usuarios.

Por una serie de razones, esto parece ser mucho más fácil de lo que es en realidad:

Diferentes usuarios quieren diferente información – incluso para contestar la misma pregunta -. Una

agencia de financiamiento puede aceptar sólo datos válidos y confiables de ensayos efectuados para demostrar que un programa de capacitación de personal ha sido eficaz, mientras que el personal que participa en un programa de capacitación encontraría que informes anecdóticos y respuestas de entrevistas o cuestionarios serían una evidencia muy válida y creíble de los efectos del programa. Otras audiencias podrán requerir ambos tipos de información.

Algunos usuarios no saben lo que necesitan. En programas en los que las evaluaciones son obligatorias debido a requerimientos legales, por ejemplo, los clientes de la evaluación o el personal del programa pueden ver esta evaluación simplemente como una prueba que hay que soportar, no necesariamente como un proceso que llevará a información útil y a decisiones bien pensadas. Si los usuarios no están dispuestos a comprometerse con algún criterio para medir el éxito antes de que se inicie la evaluación, es poco probable que aceptarán o utilizarán sus recomendaciones finales. Algunos evaluadores formativos consistentemente se enfrentan a la tarea de ayudar a los clientes a definir no sólo los objetivos del programa, sino también las necesidades específicas de información proveniente de evaluación.

Algunos usuarios esperan que la evaluación apoye un punto de vista específico. Estos usuarios ya han decidido en sus mentes cuales son las fortalezas y debilidades del programa, y esperan que la evaluación sólo confirme su opinión. Los resultados de la evaluación, sin embargo, podrían no apoyar sus opiniones preconcebidas. En estos casos es vital que el evaluador identifique las opiniones tempranamente, de manera que pueda anticiparse a potenciales desavenencias y diseñar procedimientos de evaluación que las tomen en cuenta. El alertar a los usuarios sobre el hecho de que usted encuentre discrepancias entre sus suposiciones a medida que surgen estos resultados, en lugar de consignar no sólo en el informe final, hará que los usuarios sean más receptivos. De hecho, un informe de evaluación eficaz no contendrá sorpresas, especialmente con respecto a los temas principales. Todos los temas cruciales habrán sido discutidos con el personal del programa y las instancias de decisión desde el principio, mucho antes de llegar a la etapa del informe final. Si la evaluación no trae estos temas a relucir tempranamente, el evaluador perderá credibilidad.

Para algunos usuarios, las necesidades de información cambien durante el curso de la misma. No es

poco común que una evaluación formativa esté ya muy encaminada antes de que los usuarios identifiquen información que les gustaría recibir. Algunos capacitadores, por ejemplo, podrían mencionar que los operadores de computadoras en un programa piloto de capacitación parecen estar aprendiendo un nuevo sistema de procesamiento de datos, pero los operadores han desarrollado una fuerte aversión hacia este sistema. Usted puede cambiar sus planes de evaluación para incluir algunos indicadores de actitud. Si bien no puede constantemente cambiar sus planes de evaluación, intente reservar una pequeña porción de sus recursos para adecuarse a requerimientos inesperados de información que aparezcan durante la implementación del programa.

Si usted desea que los usuarios escuchen con cuidado cuando usted empieza a divulgar sus resultados tendrá que prestar atención a lo que ellos desean saber. Por ejemplo, el director estatal de servicios juveniles ha estado promoviendo un proyecto para aumentar el número de hogares permanentes que deseen adoptar niños para cuidado temporal. El desea saber si este proyecto ha alentado a los padres adoptivos a quedarse con los niños sobre una base más permanente. Como parte esencial del informe final, el evaluador analiza la tasa de delincuencia entre los niños adoptados y los niños bajo cuidado temporal. Sin poder contener su impaciencia, el director no logra ver cómo se relaciona esta información con el éxito del programa. Finalmente, pregunta: “¿Y eso

qué, los padres temporales se están quedando con sus niños durante más tiempo como resultado de este programa o no?”.

Sea cuidadoso para evitar dar a las instancias de decisión una información que se semeje a la que ellos

requieren pero no sea exactamente lo que piden. Por ejemplo, el administrador de una agencia federal podría necesitar saber cuántos miembros de su personal estarían dispuestos voluntariamente a participar en una prueba de uso de drogas cuando entre en efecto un nuevo programa para detectar la drogadicción. En este caso, usted no puede simplemente entregarle la información sobre el número de trabajadores en su personal que apoyan las pruebas de drogadicción. El apoyar las pruebas de drogadicción no es exactamente lo mismo que presentarse como voluntario para participar en una de ellas.

Trate de entender el punto de vista del usuario Si usted tiene la intención de influir sobre una audiencia, conozca sus motivaciones y sus idiosincrasias, y diseñe sus planes de información de acuerdo a ellas. Elija un estilo y una forma de redactar su informe que tome en cuenta su punto de vista, y anticípese al tipo de decisiones que podrían desencadenar reacciones negativas hacia su informe. Los maestros, por ejemplo, trabajan bajo limitaciones estrictas de tiempo. Con frecuencia se quejan (con alguna justificación) de que se les pide que asistan a reuniones sobre temas que son de poca importancia inmediata para ellos. Desafortunadamente, las sesiones de informes de evaluación, suelen caer en esta categoría. Además, muchos maestros han desarrollado actitudes negativas hacia casi cualquier decisión tomada en “la oficina central” por “todos esos empleados de escritorio que no tienen nada mejor que hacer que diseñar más papeles que nosotros debamos llenar”. Si usted tiene planeado reportar la información de su evaluación a individuos que tienen este tipo de actitud, ajuste sus estrategias de información para acomodarse. Algunas de las siguientes acciones podrían funcionar bien: Actitud No quiero ir a ninguna reunión que me haga perder el tiempo No me gusta la oficina central

Adaptaciones del reporte

Distribuya su información en un memorando o un folleto atractivo o eficiente.

Afiche la información en un tablero de anuncios ubicado de manera central.

Informe sus resultados rápidamente durante una reunión regular programada de profesores.

Reúnase con una persona por división y permita que estos individuos reporten a los otros en su unidad.

Pida a los administradores al personal que decidan cuál es el momento más conveniente para una reunión.

Haga que los administradores de las unidades locales presenten información a sus colegas.

Haga que un administrador y un representante de personal reporten los resultados conjuntamente.

A través de su modo de actuar y de su plan de informes, demuestre que usted está al tanto de las implicancias

que pueden tener sus resultados sobre la vida de su audiencia. Preste atención a su atuendo y a su estilo de lenguaje. Vístase como espera que también se vista su audiencia, y hábleles en su idioma. Tome en cuenta sus objeciones y debata abiertamente con ellos cualquier riesgo que los resultados de la evaluación podrían implicar para ellos. Presente el informe a tiempo para que sea útil La oportunidad de un informe de evaluación puede ser crucialmente importante si usted espera que la información sea utilizada. Presente sus resultados de manera tal que coincidan con el marco temporal de la toma de decisiones. Si la información llega demasiado temprano, podría perder impacto. Si llega demasiado tarde, se habrá convertido en obsoleta y probablemente no tendrá ningún impacto. Es más probable que se implementen cambios poco después de haberse completado la evaluación, cuando el personal del programa y los

administradores todavía están en un estado de ánimo flexible y auto analítico. Si se entrega el informe seis meses después de haber completado la evaluación, el personal apenas recordará el nombre del evaluador y las viejas rutinas se habrán consolidado nuevamente y se habrá dejado pasar una excelente oportunidad para el cambio.

Por ejemplo, tal vez encontrará usted que en el personal de ayuda financiera de una universidad comunal está descontento con un sistema computarizado de gestión de datos recientemente instalado. Al usarlo durante el semestre de otoño, descubrieron que el componente de gráficos del programa – una característica que al principio habían encontrado muy atractiva – terminó siendo demasiado compleja para utilizar. Usted incluye esta observación en sus resultados y entrega el informe final durante el verano. Entre tanto, basándose en que el personal inicialmente emitió una calificación favorable sobre el sistema, y de acuerdo a los plazos distritales para compras en primavera, los directores de ayuda financiera de otras cinco universidades comunales del distrito también pidieron este costosos sistema de gestión de datos. Con las cajas de un software de computadora poco satisfactorio ya en sus oficinas, su tardío informe de evaluación sólo puede resultar irritante.

Al mismo tiempo, es importante que el evaluador no presente la información prematuramente, antes de

haber recolectado suficientes datos para deducir conclusiones válidas, o antes de que los usuarios estén preparados para escuchar o actuar con respecto a estos resultados. Aquellos que encaran la evaluación deberían ser informados a lo largo del proceso. Eso se puede lograr con breves reuniones como llamadas por teléfono, resúmenes de una página o cartillas incluidas en un memorando, dependiendo de las preferencias del cliente.

Las decisiones mal informadas podrían ser inevitables cuando deben tomarse durante una crisis o en

situaciones ad hoc. Pueden ser evitadas si se sabe de antemano quién va a decidir qué cosa y cuando. Esta última recomendación nos trae a otra preocupación igualmente importante para comprender a sus

usuarios primarios, y tal vez secundarios y a los requerimientos de ambos: entender la oportunidad de sus requerimientos de información. Para lograrlo usted deberá familiarizarse con el cronograma probable de planificación y de toma de decisiones. La naturaleza de su proceso de toma de decisiones y los ciclos de toma de decisiones que se espera que ocurran. Esto le permitirá formular un plan óptimo de reporte que proporcionará información relevante en los momentos en que puede resultar más útil. Al ser sensible a las necesidades de sus usuarios, usted fijará el escenario para una relación de trabajo colectiva y establecerá una base para una buena comunicación. Un evaluador que muestra empatía y conocimientos y que establece una buena relación con el auspiciador y otros usuarios primarios, que escucha con atención que luego puede trasladar con exactitud y articular con claridad los requerimientos percibidos, se encuentra en buen camino para sentar las bases de la confianza sobre los resultados de su evaluación y la utilización de los mismos.

DESCRIPCIÓN DE LOS USUARIOS DE UNA EVALUACIÓN

Nombre de Individuo o grupo

Relación con el programa

Áreas primarias de preocupación

Fechas clave en el proceso de toma de decisiones

Características y preferencias personales

Informes requeridos (fecha y tipo)

Otros informes (fecha y tipo)

Figura 1: un instrumento desarrollado por Phyllis Jacobsen, para compilar información sobre usuarios potenciales de un informe de evaluación, sus requerimientos de informe y sus referencias.

Desarrollando un plan de reporte Queda claro que desarrollar un plan de comunicación eficaz es un emprendimiento complejo. Hay muchos factores que es necesario tener en mente a medida que uno desarrolla y organiza sus esfuerzos. Es una buena idea mantener una cartilla actualizada sobre sus usuarios probables, sus intereses, y los mecanismos propuestos de reporte. Las siguientes sugerencias también quedan ilustradas en la figura 1:

Haga una lista de sus usuarios primarios y de ser factible también de los usuarios secundarios a los que desea llegar. Quizás desee colocar en la lista las fechas en las que usted establece contacto con ellos. La cartilla puede convertirse en un recordatorio muy útil de cuánto tiempo ha pasado desde su último contacto (mantenerse en contacto es importante para alentar el uso de su trabajo).

Añada a la lista una muy breve descripción sobre lo que usted sabe sobre sus usuarios deseados: su relación con el programa, cualquier característica personal relevante, sus intereses particulares en la

evaluación, y su presencia sobre formas y estilos de comunicación.

Elabore un cuadro maestro de todas sus actividades de evaluación y marque cuidadosamente todas las fechas de entrega formales para los resultados de evaluación.

Considere otros puntos en el proceso de evaluación y en los planes de acción de sus usuarios en los que podría usted proporcionar información relevante. Si lo permiten los recursos, añada al cuadro cualquiera de estos puntos importantes de reporte. Podrían ser memorandos, informes interinos, reuniones o cualquier ocasión previsible cuando usted sienta que puede ser importante comunicarse con el personal del programa.

Utilizando la información del cuadro, organice una línea de tiempo de manera que usted pueda hacer un seguimiento de las fechas importantes de reporte. Esta línea de tiempo debería incluir todos los eventos planificados formales e informales del reporte, los usuarios clave a los que desea llegar en cada uno de ellos, las fechas en las que usted habrá completado los reportes.

Capítulo 2 Formas de Comunicar los Resultados de la Evaluación Una vez que usted se ha familiarizado con las audiencias primarias de su evaluación, con las dimensiones de su papel de evaluador y con las principales preguntas que deberá resolver su estudio, es el momento de considerar cómo transmitirá usted su mensaje. La comunicación es bi-direccional. Fluye entre el evaluador y aquellos que están involucrados en el programa. Al principio de un encargo, el evaluador debe tratar de recolectar tanta información como le sea posible por parte del agente financiador, de las personas de la agencia, de los planificadores y el personal del programa, y de cualquier otro usuario potencial. A medida que progresa la evaluación, sin embargo, el flujo de comunicación empieza a ir en la dirección contraria. El evaluador asume mayor responsabilidad de proporcionar información.

Tempranamente en las etapas de planificación, usted habrá decidido con bastante firmeza quién podría recibir la información y cuándo se necesitará la misma. Ahora deberá decidir cómo divulgar sus resultados. ¿Qué formas de comunicación serán las más eficaces? El siguiente conjunto de preguntas puede servirle de guía para cualquier mensaje o para el modo de entrega que usted elija. Desde el principio mismo, colóquese usted en el lugar del usuario y plantee las siguientes preguntas:

(1) ¿Hasta qué punto y de qué maneras específicas resulta relevante la información para los problemas reales y urgentes de usuario?

(2) ¿Hasta qué punto la información resulta práctica desde el punto de vista del usuario? (3) ¿Hasta qué punto la información resulta útil e inmediatamente aplicable a la situación del usuario? (4) ¿Qué información considerará confiable el usuario, y qué prácticas de reporte apoyarán esta credibilidad o

confiabilidad? (5) ¿Hasta qué punto la información resulta comprensible para los usuarios primarios?, ¿De qué maneras

podrían ajustarse las prácticas de reporte para que la información sea comprensible y también para otras audiencias?

(6) ¿Qué prácticas de reporte se deberá elegir para asegurarse que la información sea entregada a tiempo, de

manera tal que maximice su utilidad?

Directa o indirectamente los usuarios aplicarán estos criterios a sus informes y aceptarán o rechazarán su

información de acuerdo a ello. El capítulo anterior recomendaba que usted debía conocer sus audiencias y sus requerimientos de antemano. Con este conocimiento, usted podrá decidir qué tipos de información resultarán relevantes y prácticos para los usuarios pero incluso esto no es suficiente para facilitar el uso de sus resultados. Este capítulo ofrece algunas sugerencias específicas para diseñar informes de manera que sean accesibles, confiables y comprensibles. Estas cualidades se verán directamente afectadas por los medios y estilos de comunicación que usted decida emplear. Si su mensaje no es creíble o comprensible, inevitablemente no será utilizado.

Hay una serie de maneras en que usted puede divulgar sus resultados. Desafortunadamente demasiados

evaluadores recaen en el estándar, que suele ser un formato de informe técnico muy árido. Se asemeja a una disertación, y muchas veces también se lee como tal. Sin embargo, es bueno recordar que la forma estándar no es la única disponible, y sin duda no es la mejor alternativa para todas las audiencias y circunstancias. La figura dos enumera once audiencias potenciales distintas para sus resultados y sugiere que estas audiencias no todas desean que se les presente la información de la misma manera. Algunas audiencias pueden tener interés en sus resultados pero pueden no tener tiempo para estudiarlos en detalle. Otras pueden tener poco conocimiento sobre el programa o sobre prácticas de evaluación, de modo que les resultaría difícil comprender un informe técnico. Algunas audiencias sólo tienen un interés potencial o pasajero del programa, o un interés que definitivamente será aniquilado por un informe aburrido. Por lo tanto, es necesario que usted se tome el tiempo de adaptar el mensaje para el receptor, particularmente si el receptor es un potencial usuario primario de su evaluación.

Tal como muestra la figura 2, los usuarios primarios como las agencias de financiamiento, los administradores

del programa y a veces los comités de asesoría y los consejos de vigilancia requieren de mensajes más técnicos y detallados. Después de todos, ellos están tomando la cuenta y toman decisiones cruciales sobre la continuación del programa, y a sus ojos el informe debe estar completo y debe ser técnicamente lo más confiable posible. Esto no significa que vayan a leer un informe completo. A veces lo hacen. Pero incluso si no lo hacen, querrán saber que usted tiene a disposición el conjunto completo de resultados de manera que ellos puedan usarlo como fácil referencia.

Los informes influyentes e incluso los informes técnicos, muchas veces son breves y muy concisos. La

brevedad y la claridad son cruciales. Si se llega a leer un informe técnico en general, suele ser una lectura muy superficial hecha por los asesores administrativos y legislativos de personal, que son todos personas muy ocupadas. Un asistente jurídico me sugirió que para que la información de una evaluación sea lo más útil posible

para los miembros de la asamblea estatal el evaluador debería “escribir las conclusiones de su informe en una sola oración, en letra grande, en la mitad de una sola hoja de papel”.

POSIBLE FORMA DE COMUNICACIÓN

Resu

men

Eje

cu

tivo

Do

cu

men

to t

écn

ico

pro

fesio

nal

Art

ícu

lo p

op

ula

r

Co

mu

nic

ad

o d

e p

ren

sa

Co

nfe

ren

cia

de p

ren

sa

Reu

nió

n p

úb

lica

Ap

ari

ció

n a

nte

lo

s m

ed

ios

Taller

co

n e

l p

ers

on

al

Fo

lleto

, afi

ch

e

Mem

ora

nd

o

Dis

cu

sio

nes p

ers

on

ale

s

Discusiones personales Audiencia / Usuarios Agencias de financiamiento

FUENTE: adaptado de Anderson y Ball (1980, páginas 102, 103). Figura 2: formas de comunicar los resultados de una evaluación a diversas audiencias.

Quizás la parte más importante de su informe final no sea el grueso de los datos y análisis. Es más bien el resumen ejecutivo, que podría venir al principio o al final del informe. En unas cuantas páginas, a veces acompañadas de gráficos u organizadas alrededor de preguntas directas, un resumen ejecutivo enumera los principales resultados y las recomendaciones del estudio.

Otras audiencias podrían tener interés en sus resultados también, pero pueden no tener el tiempo, el

interés o la experiencia para comprender todos los detalles técnicos. Necesitan saber los puntos principales y saber cómo los resultados van a afectar sus vidas o cómo se aplican a sus áreas inmediatas de interés. Estos usuarios pueden incluir grupos comunitarios, clientes del programa o clientes potenciales. Los proveedores de servicios al programa, aquellos que implementan directamente el programa, probablemente preferirán una versión corta de los resultados dirigida a una persona no especialista. Por otro lado, los proveedores de servicios - que tienen un natural interés creado en el programa y en sus resultados de evaluación, apreciarían tener acceso a una copia completa del informe técnico. Obviamente los medios prefieren un resumen muy conciso y por escrito de los resultados, pero redactado en un estilo que se adecuaría a un periódico o a un informe televisivo.

Adapte su mensaje a su audiencia y también a su papel de evaluador. Podría usted ser un evaluador

formativo, un evaluador sumativo una combinación de ambos. Si bien cada tipo de evaluador desarrolla muchas de las mismas funciones, hay importantes distinciones en sus prácticas de reporte.

Agencias proveedoras

Administradores de programa

Miembros del directorio, del consejo de vigilancia y de la

gerencia

Comités de asesoría

Entes políticos (consejos municipales, legislaturas)

Grupos comunitarios

Clientes actuales

Clientes potenciales

Proveedores de servicios al programa (maestros, técnicos,

etc.)

Organizaciones interesadas en el contenido del programa

Medios

Comunicación Formativa

Si usted es un evaluador formativo mantenga una relación fluida pero constante con el programa durante el curso de su desarrollo y/o operación. Su reporte podría afectar importantes decisiones sobre cambios en el programa durante las etapas iniciales de planificación, cuando se instale el programa y cuando ya se está implementando completamente. No hay regla fija sobre los informes formativos, que no sean las acordadas por el evaluador o auspiciador o agente de financiamiento cuando se negocia el encargo de evaluación. Sin embargo, hay algunas prácticas comunes.

En primer lugar, un evaluador formativo reporta a los planificadores del programa y al personal que está familiarizado con el programa, en lugar de a los agentes de financiamiento, que pueden ser distantes y cuya única fuente de conocimiento sobre el programa podría ser el informe final. En muchos casos, el evaluador formativo es prácticamente un miembro del personal del programa, que reúne opiniones sobre modos más populares o eficaces de instalar el programa, conduciendo tal vez algunos experimentos cortos para responder a controversias que podrían surgir entre el personal, y manteniendo decisiones para ayudar a los planificadores del programa a diseñar un enfoque integral y racional de lo que debería estar haciendo el programa. En este contexto, resulta obvio que algunos resultados no deben divulgarse ampliamente. Podrían ser confidenciales, o podrían no revestir ningún interés para nadie que no sea el personal inmediato del programa.

Los intercambios de información entre el evaluador y los ejecutores puede ser frecuente, formal (tal como

una reunión programada), o informal (tal como una breve discusión espontánea en un pasadizo). La comunicación puede tomar un amplio rango de formas: informes escritos, llamadas por teléfono, pedidos de aclaración, revisión de versiones preliminares del informe, discusiones a lo largo de un almuerzo. La comunicación frecuente cara a cara entre el evaluador y el gerente del programa los ayuda a explorar cómo avanza la evaluación hasta ahora y cómo podrían ser los resultados finales. De esta manera se reduce la ansiedad del gerente, mientras que el evaluador valida evaluaciones que margen el programa.

Además, el evaluador formativo normalmente monitorea el programa, describiendo cuidadosamente el

programa tal como se está implementando haciendo evaluaciones periódicas de su desempeño, actitudes y otros resultados, o midiendo la ecuación de los planes originales a medida que se desenvuelven en el escenario del mundo real. Las actividades de monitoreo pueden requerir que el evaluador presente periódicos formales, ya sea oralmente ante un grupo o por escrito.

Considerando la importancia de la comunicación frente a frente y de los intercambios informales de

información en una conversación, que tiene lugar entre el evaluador y los miembros del personal sobre la evaluación, es esencial que el evaluador posea las necesarias destrezas interpersonales para ser capaz de comunicarse eficazmente. Algunas de estas destrezas son el tacto, una cualidad personal que resulta de la experiencia de trabajar con otras personas; un temperamento amigable, la habilidad de escuchar, una preocupación genuina y empatía. Muchos psicólogos y expertos de comunicación han escrito libros sobre “cómo” abordar estros temas. Entre las directivas que sugieren están las siguientes:

Practique escuchar activamente

Centre la retroalimentación en compartir ideas en información en lugar de dar consejos

Transmita a su audiencia que usted está viendo las cosas desde su punto de vista

Aliente las discusiones abiertas sobre alternativas

Construya sobre experiencias compartidas y experiencias comunes

Exhiba actitudes positivas, tales como:

Usted cree que las diferencias de opinión son positivas

Usted cree que la contraparte es un recurso de mucha ayuda

Usted cree en la confiabilidad de los demás

Sea sensible a los sentimientos de su audiencia Considere en detalle el leer alguno de estos textos si usted duda de sus destrezas interpersonales.

Por encima de todo, es importante que el evaluador esté disponible para el personal del programa cuando sienta la necesidad de comunicarse. Muchas veces sus preguntas tendrán una urgencia que si no es satisfecha, resultará en una credibilidad disminuida para el evaluador o par el valor de la evaluación misma.

Adicionalmente a las actividades de información informales usuales (reuniones, conversaciones,

discusiones) seria bueno que considere una gama de opciones más formales. En cualquier caso, es importante considerar la utilidad de algunas modalidades comunes de informes formativos: informes de implementación, informes interinos o de progreso, informes técnicos. Cualquiera de éstos puede constituir un documento por escrito, una exposición oral formal o a agenda de una reunión.

Informes de implementación

1La mayoría de los programas prescribe que ocurran ciertos eventos cruciales. Por

ejemplo, los participantes del programa deberían ser seleccionados de acuerdo a ciertos criterios, materiales en particular y métodos que deberían ser utilizados, y actividades que deberían ser complementadas en fechas específicas. Algunas veces, estos eventos importantes no ocurren en absoluto; otras veces ocurren de modo diferente, posiblemente mejor a lo originalmente planeado. A veces ocurren sin contratiempos tal como se ha planificado. En cualquier caso, los gerentes y planificadores del programa necesitan saber qué está ocurriendo y si el programa o los planes originales deberán ser modificados. Un informe de implementación proporciona este tipo de información.

En este tipo de reporte, un evaluador formativo establece y describe las actividades y los arreglos tal como han ido evolucionado, presentando sus resultados ya sea por escrito a través de discusiones con el personal del proyecto. Un informe de implementación debería tratar temas tales como:

¿Está el programa siendo implementado tal como se ha planeado y cómo espera la audiencia? ¿Los participantes reciben los materiales y servicios que fueron propuestos para ellos?

¿Cómo se desenvuelve una experiencia típica del programa?

¿Qué efectos han tenido los cambios sobre el programa, por ejemplo, sobre las actitudes del personal o los participantes?

¿Las operaciones son más o menos eficientes?

¿Cuáles son las fortalezas y debilidades de las operaciones del programa?

Los informes de evaluación formativos periódicos deben responder a las siguientes preguntas:

¿Qué cosa debía haber ocurrido desde el último informe?

¿Qué cosa ha ocurrido en realidad?

¿Cuáles son las razones para las discrepancias si es que existen?

¿Qué problemas han ocurrido?

¿Qué acciones podrán recomendarse, de ser necesario?

Cualquiera que sean las preguntas específicas, los informes periódicos sobre la implementación del programa deben ser oportunos, de manera que puedan tomarse medidas correctivas antes de que sea demasiado tarde para cambiar.

Informes de progreso. Los programas aspiran a lograr ciertos objetivos. Si bien estos objetivos forman parte de los productos finales esperados de un programa, no es sabio esperar hasta el final del programa antes devaluar el logro de estos objetivos. Un evaluador puede informar regularmente sobre el progreso con respecto a los objetivos generales del programa, indicando si se han alcanzado los objetivos específicos o hasta que punto se han complementado los componentes del programa. Los informes sobre el progreso de un programa pueden ser interpretativos, así como descriptivos. Es decir, pueden incluir proyecciones, basadas sobre el progreso actual, sobre la probabilidad de que un programa logre sus objetivos locales. Los gráficos pueden ayudar a relacionar los resultados actuales con los resultados finales. Por ejemplo, en el gráfico de tendencia en la figura 3, ilustra que el grupo A está haciendo más progresos hacia el objetivo del programa que el grupo B. Una lista añadida de objetivos que no han sido logrados aún van a alentar al personal a buscar las fallas en el programa y planear los cambios correspondientes.

Medir e interpretar el proceso será más fácil si el evaluador formativo ha ubicado o establecido un grupo

de control. En estos casos, tanto el grupo experimental como el de control pueden ser monitoreados regularmente, contrastado su progreso.

En general, los contenidos de un informe de progreso deberían contestar a preguntas tales como:

¿Qué instrumentos se utilizaron para medir el progreso?

¿Cuál era la relevancia y la calidad técnica de estos instrumentos?

¿Qué progreso se logró desde el último informe?

¿Esta tasa de progreso indica el éxito del programa?

¿Qué características del programa parecen promover u obstaculizar el proceso?

¿Qué recomendaciones podrían hacerse para alguna acción, si las hubiese?

1

Informes técnicos sobre temas individuales. Durante las primeras etapas del programa, un evaluador formativo puede conducir estudios piloto, entrevistas, visitas a las diferentes oficinas y experimentos cortos para responder a preguntas sobre temas particulares de interés. Por ejemplo, el personal y la gerencia pueden tener una diferencia de opinión sobre el tipo de procedimiento o las disposiciones del programa. ¿El enviar mensajes periódicos recordaría a los clientes que tienen que participar en los talleres de manejo del estrés? ¿O los mensajes periódicos añadirían simplemente costos innecesarios?

Objetivo del programa

0

20

40

60

80

1 2 3 4 5 6Po

rcen

taje

de e

stu

dia

nte

s

qu

e d

om

inan

el

80%

de

los

ob

jeti

vos

Figura 3: progreso de dos grupos de estudiantes de un programa durante un año escolar con respecto a un objetivo global de hacer que el 85% de los estudiantes dominen el 80% (170) de los 212 objetivos del programa.

Los resultados de un pequeño estudio piloto de uno o dos grupos que sirvan de muestra puede ayudar a responder este tipo de pregunta. Esos resultados podrían divulgarse a los gerentes del programa y al personal en una reunión periódica o a través de un pequeño resumen en un informe periódico.

Comunicación Sumativa

Es muy frecuente que los evaluadores sumativos encuentren que sus usuarios primarios sean los agentes de financiamiento del programa o los administradores del programa, y que estas audiencias suelan esperar un informe final técnico de tipo integral al final del proyecto. Estos informes describen y justifican el enfoque de evaluación, los instrumentos específicos y los procedimientos utilizados para implementarlo, y proporcionan una información integral y recomendaciones con respecto a todo el programa. El esquema descrito en el capítulo 4 de este volumen le será de ayuda para armar su informe, o se le puede pedir que también siga un formato similar al requerido por la agencia de financiamiento. Si el informe se debe someter a una publicación periódica, utilice el esquema recomendado por ésta. Es probable que también sea similar al que aparece en el capítulo 4.

El informe sumativo casi siempre se presenta por escrito y en forma detallada de manera que usted puede incluir todos los cuadros y gráficos que le parezcan apropiados para transmitir un mensaje claro y preciso. El capítulo III explica cómo puede usted armar estas ayudas visuales. Las ayudas visuales también serán útiles cuando deba usted presentar una versión condensada del informe final en una reunión pública o a los medios. Los cuadros y gráficos bien hechos y claros se pueden trasladar muy bien a transparencias informativas, folletos o ilustraciones de afiches que acompañen a una exposición oral. El agente de financiamiento también puede requerir que los materiales que acompañan el informe se presenten de manera tal que el público no especializado comprenda el mensaje de la evaluación.

Grupo A

Grupo B

Sep Oct Nov Dic Ene Feb Mar Abr

Consejo sobre el Mensaje de Evaluación

Sin importar si su papel es formativo o sumativo, o si su comunicación es formal o no lo es, los siguientes consejos

2 le ayudarán a realzar el impacto y el uso potencial de cualquier tipo de mensaje:

Relacione la Información con las Acciones o Decisiones Necesarias Si desea que sus informes de evaluación sean vistos como relevantes, necesitan indicar claramente las implicancias de los resultados para el trabajo de las personas. Las implicancias pueden parecerle obvias a usted pero pueden no serlo para los demás usuarios potenciales. No fuerce a sus usuarios a buscar en todo el informe tratando de relacionar los resultados y recomendaciones con sus intereses o con las decisiones que deben tomarse. Lo más probable es que no lo hagan. Si la evaluación fue conducida para ilustrar una decisión o un problema, entonces relacione el resultado directamente con una declaración sobre esa decisión o ese problema. Un enfoque es listar cada tema de decisión que debe ser tratado seguido un resumen de los resultados de la evaluación que se relacionan con dicho tema. Dependiendo de su papel y responsabilidad también querrá incluir su respuesta o recomendación para cada pregunta planteada. Esta técnica, ilustrada en la figura 4, proporciona un rápido resumen al lector ocupado.

Otra técnica que enfatiza la orientación hacia la acción es listar las implicancias a manera de causa – efecto, o en términos de si… entonces (cosa que muy pocos informes de investigación hacen). Señale de manera simple y directa lo que significan los resultados en términos de las acciones que deben implementarse, las decisiones de política que deben tomarse o cual será el resultado probable de varias alternativas. Las recomendaciones suelen sugerir un solo curso de acción. Sin embargo, en algunos casos podría ser más útil proporcionar alternativas de acción u opciones en lugar de recomendaciones únicas. Se podría presentar un resumen de los datos de tal manera que explique las ramificaciones de cada opción.

Querrá asegurarse de que estos análisis sumativos incluyan toda la información relevante, y que sus

recomendaciones u opciones sugeridas, si las incluye, sean razonables. Una manera de comprobar que la información que usted presenta es relevante es reuniendo a un grupo del personal del programa, particularmente a aquellos que podrían en última instancia utilizar el material, para que revisen sus resultados iniciales. No sólo pueden proporcionar datos sobre su claridad e interpretación, sino que el proceso también le permite añadir una perspectiva práctica al informe.

2

PREGUNTA DECISIVA ¿Debería el programa de Extensión de Oportunidades de la universidad Y contratar maestros adicionales a tiempo parcial para inglés como segunda lengua? RESUMEN DE LA INFORMACIÓN

Actual nivel de servicio: 4 maestros financiados por E.O. ayudan a 40 estudiantes de inglés como segunda lengua que asisten a dos sesiones individualizadas de tutoría por semana. Los tutores están trabajando el máximo de horas permisibles.

Distribución de las horas de tutoría: Inglés A 40% Matemáticas 8% Inglés B 20% Algebra 10 15% Inglés 101 5% Matemáticas avanzadas 12%

Costo del programa: 80 horas a $ 4.00 por hora 320 $ por semana o 1,280 $ por mes ($32 por estudiante).

El programa regular de tutoría universitaria no aceptará estudiantes adicionales. REQUERIMIENTOS

El servicio de exámenes en la universidad Y ha identificado a 60 estudiantes de inglés como segunda lengua que también califican para E.O.

Se ha encuestado al 70% de los estudiantes de E.O., para determinar su satisfacción con la tutoría disponible de E.O. Los resultados: existen _________________ suficientes tutores de E.O. que me ayudan cuando lo necesito

Siempre A veces Pocas veces Nunca 20% 40% 30% 10%

Deberían haber más tutores en __________________ inglés A y B Inglés 101 Matemáticas 101 Alg. 10/Matemáticas avanzadas 35% 30% 20% 15%

Las entrevistas con el director de tutoría y con los tutores indicaron que trabajan a plena capacidad. Todos los días se rechaza a un promedio de 5 estudiantes que requieren ayuda.

Figura 4: ejemplo de un informe de evaluación en un formato que relaciona la información de la evaluación con una acción que debe implementarse.

Haga que el informe sea confiable Si las personas no confían en los resultados de la evaluación, es obvio que no utilizarán la información. En los casos en que los resultados son controvertidos, es particularmente importante tratar los temas que involucra la credibilidad. La metodología técnicamente exacta puede realzar la credibilidad, pero igual o mayor influencia tendrá el estilo de interacción del evaluador y de sus reportes.

Metodológicamente, una evaluación resulta confiable si los datos son recolectados de manera que los usuarios potenciales los perciban como válidos, confiables y objetivos. La validez en este sentido no se refiere sólo a la validez técnica de un estudio de investigación científica, sino a una validez que refleja sensibilidad organizacional. El evaluador debe comunicar una clara comprensión de “lo que está sucediendo”, de cómo “funciona” la organización desde el punto de vista del usuario. Un análisis cuidadoso de los datos de múltiples fuentes añade validez a la evaluación. Los recuentos detallados de estudios cualitativos, las observaciones directas y las entrevistas indican que el evaluador comprende las experiencias de los usuarios y sus variados puntos de vista. El informe también puede referirse a los resultados de otros estudios, o a declaraciones de apoyo

de individuos respetados. La credibilidad mejora si el evaluador especifica, explica y justifica la metodología en términos que los usuarios puedan comprender fácilmente. Al mismo tiempo, esto revela el sesgo del evaluador, si existiese, y cualquier limitación que pueda tener su metodología. La clave es presentar un recuento directo, bien acabado, completo y con buen conocimiento. Las fortalezas y debilidades del programa deben ser tratadas en la misma medida.

Diversos volúmenes en este paquete ofrecen diferencias específicas sobre el diseño de evaluaciones

tanto cualitativas como cuantitativas que son válidas, confiables y objetivas. Especialmente útil debe resultarle el volumen III “Como diseñar un programa de evaluación”, el volumen IV “Cómo utilizar los métodos cualitativos en evaluación”, el volumen V “Cómo evaluar la implementación de un programa”.

El estilo personal de la interacción del evaluador puede mejorar la credibilidad o destruirla. Un oyente

activo, que no resulta amenazador y responde, es más confiable que uno que mantiene una lejana y fría cortesía y un desprendimiento académico, o peor aún, adopta una actitud arrogante. Este tipo de persona apenas si parece transmitirnos la idea de que sabe de qué se trata la vida de la práctica. Un evaluador debe ofrecer apoyo y nuevos conocimiento, explicando las implicancias de los resultados.

Tanto el contenido como el estilo de un informe debería, en la medida de lo posible, resolver

incertidumbres sobre los temas bajo estudio en lugar de transmitir estas incertidumbres a los usuarios. Presumiblemente, se contrató a un evaluador en primera instancia para reducir estas incertidumbres. Proporcione las conclusiones más sólidas posibles basándose en una comprensión explícita de las fortalezas y debilidades de los datos. Dele a la audiencia lo que ésta necesita Si usted espera que su audiencia absorba la información que más necesita, no la confunda abrumándola con otros datos tal vez interesantes pero no necesariamente vitales. Si un director de proyecto le pregunta lo que significa una desviación estándar, no cometa el error de llenar la pizarra con ecuaciones y gráficos estadísticos. Si usted le da demasiado a la audiencia, toda su información se puede volver confusa.

Es particularmente fácil violar esta regla cuando uno debe dirigirse a un grupo prestigioso, por ejemplo un comité legislativo. Probablemente se le enseñó cuando niño que a las personas en la autoridad hay que decirles todo. E incluso si no fue así, usted probablemente dedicó una buena parte de su vida al proyecto de donación, rechazando los peligros para el plan de evaluación y trabajando durante largas horas. Usted está ansioso tal vez de mostrar a la audiencia la claridad y brillante complejidad del plan de evaluación, las maniobras administrativas ingeniosas que salvaron la evaluación del desastre o el ingenio matemático que obviamente guió los análisis. ¡NO LO HAGA! Usted aburrirá a su audiencia a muerte y hará que todos sus resultados resulten indigeribles. Presente un informe atractivo y evocador que se adapte al estilo de la audiencia No existe razón alguna por qué un informe de evaluación debe ser aburrido, ni desde el punto de vista visual ni auditivo. Si su presupuesto lo permite, contrate un especialista gráfico para su informe. Lo mínimo que puede hacer un artista gráfico es sugerir diseños para una carátula que impresione, tomando en consideración la calidad del papel y el color que más se adapte a la naturaleza de su mensaje y a su audiencia. Los especialistas gráficos también pueden añadir claridad y fuerza a sus cuadros y gráficos. Pero pueden hacer mucho más que eso. Si a usted se le encarga divulgar información a un público más amplio, un artista gráfico le puede ayudar a diseñar afiches, folletos y trípticos que divulguen un mensaje fácilmente comprensivo.

No tema usar imágenes visuales como parte integrante de su estrategia de la recolección de datos. La fotografías, los videos y las películas pueden utilizarse como gran ventaja en algunas situaciones de evaluación. Pueden ilustrar los resultados que emergen de otros métodos más convencionales de recolección de datos. También pueden utilizarse para demostrar la implementación de elementos del programa o de los resultados. Al igual que cualquier otro método de recolección de datos las imágenes visuales también deben ser válidas, confiables, exactas, y deben ser interpretadas en términos de las ramificaciones políticas de lo que ilustran.

Sobre el medio escrito Esta sección se refiere especialmente a los esfuerzos de comunicar por escrito la información de la evaluación. Los principios en esta sección se aplican a memos, notas de prensa y comunicaciones por escrito que no sean los informes formales de evaluación. Pueden aplicarse también a las exposiciones orales formales e informales. Comience con la información más importante Al buscar datos leyendo una información, los lectores buscan primero los puntos más importantes. Después de haberse enterado de estas “verdades” más grandes, ya han mermado un marco que les permite colocar en su lugar las piezas más pequeñas y menos importantes del mensaje. Este principio se basa en el consejo familiar y sin embargo vital: “Dígales lo que les va a decir, luego dígales, y luego dígales lo que les ha dicho”.

Los informes de evaluación que siguen el esquema estándar suenan como disertaciones universitarias. Esta lealtad a los formatos científicos se basa, sin duda, en los deseos de los evaluadores de ser aceptados como investigadores genuinos. Si bien un esquema de disertación tiene muchos méritos, no proporciona a los lectores lo que quieren saber en el momento en que quieren saberlo.

David Ewing (1974, pág. 59 - 62) recomienda que una pieza redactada profesionalmente debería adecuarse a

cinco requerimientos: (1) ¿El párrafo o la sección especial especifica el tema del que trata el informe, memorando, carta u otro documento? (2) ¿Las primeras frases indican telegráficamente el principal mensaje que el autor desea enfatizar? (3) ¿Es importante para el lector saber por qué se ha escrito el documento?, esa razón queda clara? (4) Si el informe es largo y complejo, ¿la sección de apertura delinea el esquema organizativo que se seguirá? (5) Si el informe será enviado con una carta de introducción por alguna razón, ¿podría usted evitar resumir en la carta

las principales ideas, conclusiones y recomendaciones del informe?

Una buena manera de asegurar la concesión es imaginar ¿qué el lector no tendrá tiempo de leer todo el informe? Pretenda que alguna interrupción hará que su informe sea dejado del lado y tal vez nunca se vuelva a tocar. ¡Debe usted decir todo lo que le sea posible desde un principio!

He aquí algunas sugerencias específicas para proporcionar al lector un acceso fácil a las partes más importantes del informe:

Inicie el informe con un resumen claro

Enuncie los resultados de su evaluación desde el primer capítulo

Inicie cada capítulo, sub-sección o párrafo de su informe con el punto más importante que desea usted enunciar en esa sección. Siempre coloque los diamantes en la punta del montículo para asegurarse que sean vistos por sus lectores.

Resalte los puntos más importantes Ayude a su lector a determinar qué hechos son los más importantes. El colocar la información más importante primero, es una manera, pero hay otras maneras adicionales de hacerlo:

(1) Utilice títulos descriptivos para cada sección. Por ejemplo, el título “Aptitudes de la enfermeras” dice menos que “Aptitudes de las enfermeras hacia el programa”, que sigue diciéndole menos que “Las enfermeras están a favor del programa”. Los títulos en un informe cumplen la misma función que los títulos en un periódico. Los títulos descriptivos para una sección pueden descartar el interés y motivar al lector a segur leyendo. Los títulos interesantes e informativos conducirán al lector a lo largo de todo el informe hasta su conclusión, cuando de otra manera quizás no lo hubiera leído completo.

(2) Escriba el primer borrador de su informe utilizando todos los títulos de sección que pueda concebir; luego vuélvalo a leer y duplique el número de títulos.

(3) Trate de utilizar los títulos como un comentario a lo largo del capítulo, en forma paralela al texto:

ALUMNOS DE PRIMER GRADO DE CLOVERDALE A LA PAR CON EL PROMEDIO NACIONAL

El “alumno promedio de primer grado de Cloverdale” lega a la escuela sólo ligeramente menos bien preparado para comenzar su carrera académica que el “alumno de primer grado promedio de los Estados Unidos”. La aptitud de prelectura a nivel distrital fue de 48%.

(4) El espaciado y diagramación de un texto de informe pueden ser utilizados para resaltar la información. Considere este texto:

Las tres áreas del distrito muestran patrones bastante distintos de fortalezas y debilidades en las sub-pruebas. Para los estudiantes de South Side y de North Hill, los conceptos matemáticos fueron el tema más débil y la computación matemática era más fuerte con la lectura entre los dos. Para los estudiantes de Central City, por otro lado, todos los puntajes de lectura fueron más altos que los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas. Los estudiantes de North Hill tienden a tener puntajes más altos que los estudiantes de South Side en matemáticas, pero obtienen resultados similares en lectura. El reformateo mejora la facilidad de lectura.

Adición de un formato de esquema con puntos y más espacio en blanco Recuadros Cambios en el estilo de letra Subrayado Cambios en el estilo de letra

Las seis áreas del distrito muestran patrones un tanto distinto de fortalezas y debilidades en la sub-prueba:

Para estudiantes de South Side y North Hill, los conceptos matemáticos fueron la sub-prueba más débil y la computación matemática la sub-prueba más fuerte, los resultados de lectura estuvieron en medio de las dos.

Para los estudiantes de Central City, por otros lado,

todos los puntajes de lectura fueron más altos que los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas.

Los estudiantes de North Hill tienden a obtener puntajes más altos que los de South Side en matemáticas, pero resultados similares en lectura

Para los estudiantes de South Side y North Hill, los conceptos matemáticos fueron la sub-prueba más débil y computación matemática la más fuerte, con lectura entre las dos.

Para los estudiantes de Central City, por otro lado, todos los puntajes de lectura fueron superiores a los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas

Los estudiantes de North Hill tienden a obtener puntajes más altos que los estudiantes de South Side en matemáticas, pero muestran puntajes similares en lectura.

Para los estudiantes de NORTH HILL Y SOUTH SIDE, los conceptos matemáticos fueron la sub-prueba más débil, y la computación matemática la más fuerte, con los resultados de lectura entre los dos.

Haga que su informe sea legible Sin importar que su audiencia consiste en profesionales o personas especializadas, todas ellas son personas ocupadas. Por lo tanto, usted debería hacer que la lectura sea fácil, sin sacrificar exactitud. Considere estos lineamientos para ayudar a aumentar la facilidad de lectura:

(1) Antes de empezar a escribir, cree un lector imaginario. Por ejemplo, suponga que este lector es un miembro de la comunidad, alguien que no es profesional en el área del programa. A medida que redacta mantenga ésta personalmente.

(2) Si se siente adecuadamente desinhibido dicte la primera versión en borrador en una grabadora. Nuevamente, imagine que usted está explicando los diversos aspectos del programa a una persona interesada pero relativamente desinformada.

(3) Una vez que tenga un borrador, verifique el vocabulario para asegurarse de haber utilizado palabras familiares.

En lugar de Utilice Ofuscar oscurecer Configuración patrón Diferencial brecha Clasificación cruzada dicotómica tabla de 2 x 2 Utilizar usar Facilitar ayudar

La jerga es un lenguaje abreviado que se desarrolla entre especialistas y no es fácilmente comprensible para las personas extranjeras. La mayor parte de la jerga, si bien añade palabras al lenguaje, no lo mejora. Ernest Boyer (1978), presidente de la Fundación Carnegie una vez se quejó de que un manuscrito era demasiado técnico como para ser divulgado entre el público en general. Cuando la crítica llegó a oídos de un colega, la respuesta fue “supongo que tendremos que hacerlo inteligible para no expertos”.

Si debe utilizar un término poco familiar para sus lectores, defínalo con claridad. Esto puede hacerse en una nota

a pie de página, en un aparte, o como parte de un glosario (si el informe debe contener varios términos técnicos). La importancia de definir las palabras que probablemente sean poco familiares para sus lectores no debe subestimarse jamás.

(4) Utilice verbos tanto como sea posible. Generalmente, los verbos activos acortan las oraciones y aumentan su

impacto.

Ejemplo: Oración verbal pasiva: Los resultados de los pacientes del programa fueron más altos que los de los

pacientes en el grupo de control (20 palabras). Frase verbal activa: Los pacientes en el programa tuvieron resultados más altos que los pacientes en los grupos de control (17 palabras)

(5) Desglose el texto. A medida que vaya editando su informe, fíjese dónde hay palabras y frases innecesarias. Con

frecuencia la mejor edición es hecha por otra persona. Si usted tiene que hacerla por sí mismo, permita que pasen un día o dos entre la redacción y la edición.

(6) Acorte sus oraciones. El desgrosar un texto y utilizar verbos activos acortará algunas de sus oraciones. Las que son

demasiado largas deberán ser divididas.

Ejemplo: El grupo de asesoría comunitaria organizó programas mensuales informativos y también de

entretenimiento en los diversos lugares del proyecto desde septiembre hasta julio, pero no se reunió en diciembre (30 palabras) El grupo comunitario de asesoría organizó reuniones mensuales informativas y de entretenimiento en diferentes lugares del proyecto. Se reunieron cada mes entre septiembre y julio, con la excepción de diciembre (30 palabras)

(7) Escriba párrafos más cortos. No hay nada tan desalentador como ver una pared sólida de texto. A medida que edita

su material, trate de convertir estas paredes sólidas en párrafos más cortos. Las ideas que requieren de una discusión mas larga, por supuesto, no son fáciles de dividir. Pero si usted logra confinar los párrafos a una sola idea, aumentará la compresión de los lectores con respecto al material y reducirá el esfuerzo que ellos tienen que poner de su parte. Incluso los párrafos de una oración pueden ser eficaces.

(8) Personalice su texto. Trate de hacer que el texto suene menos como una póliza de seguros y más como una carta a un amigo. Por supuesto, usted tiene que juzgar o no si esa directiva es apropiada para su(s) audiencia(s). Algunas audiencias responderán bien a un enfoque casual y personal. Otras esperarán y desearán un documento formal. He aquí algunas maneras de personalizar su material:

Utilice los nombres en primera persona. Hasta hace poco el uso de “yo”, en lugar de “nosotros” en lenguaje escrito era considerado poco apropiado. De acuerdo a las tendencias más recientes, el referirse a usted mismo y a su audiencia como “él, ellos” suele sonar demasiado estilado y falso. Use contracciones. Las contracciones en el texto escrito tienden a hacer que el material suene más natural.

Se están utilizando cada vez más en el leguaje escrito “formal”, incluso en los informes anuales de la industria de los negocios.

Utilice un leguaje de todos los días. A medida que usted exprime su cerebro para saber cómo decir que un componente del programa está pasando por tiempos difíciles a menos que se haga cambios inmediatos, considere decirlo de esta manera: “el componente del programa está acercándose a tiempos difíciles a menos que se hagan cambios inmediatos”. Si a su audiencia no le importa la informalidad, sin duda entenderá el mensaje. Ewing (1974) reporta que frases como “arrancarle la alfombra bajo los pies” y “pifias desde la platea” se han encontrado incluso en informes técnicos al presidente de los Estados Unidos. Los términos casuales pero expresivos del lenguaje de todos los días pueden ser muy eficaces pero sólo si se usan con cierta medida.

Sobre la Exposición Verbal

Los evaluadores que ejercen su oficio en la práctica han descubierto unos cuantos principios que hacen más exitosa sus exposiciones verbales ante diversas audiencias de evaluación. Estos principios se encuentran resumidos a continuación. Haga que la exposición sea interesante y variada Una exposición verbal debería tener suficiente variedad como para mantener entretenida a la audiencia. Sólo una audiencia despierta podrá escuchar su mensaje. Por lo tanto, casi cualquier cosa que usted pueda hacer para capturar y mantener su atención, es válida. La reacción positiva que uno recibe con respecto a las exposiciones de evaluación aunque sea un poco interesantes refleja el carácter terriblemente aburrido que las audiencias esperan encontrar en estas exposiciones.

He aquí algunas técnicas para añadir interés a sus informes orales:

(1) Haga algo distinto. Esto puede significar algo distinto a lo que la audiencia está acostumbrada. El enfoque de conferencia es el método más común de exposición. Las audiencias que esperan una conferencia se despertarán ante la aparición de una media docena de diapositivas o transparencias. Algunos de los formatos de exposición más novedosos incluyen lo siguiente, aunque sin duda no se limitan a ello:

Escenas cómicas. No las descarte; las escenas cómicas pueden funcionar muy bien con muchos temas de evaluación.

Los shows audiovisuales con comentario.

Simposios o discusiones de panel que involucren a los actores más importantes del programa

Sesiones de preguntas y respuestas

(2) Varíe el formato. Cinco minutos de conferencia o cuatro minutos de conferencia con diapositivas, un minuto

de diapositivas sin comentario, cuatro minutos de preguntas y respuestas y un minuto final de resumen de conferencia – este escenario probablemente es mucho más interesante que quince minutos sólo de conferencia. Usted puede introducir la variedad de muchas maneras. Los métodos audiovisuales, por ejemplo, pueden incluir cualquiera de las cosas siguientes: números, citas, caricaturas y dibujos, fotografías y gráficos. Intente tener dos o más expositores. Tal vez podrían debatir o presentar interpretaciones opuestas del informe de evaluación. Y simplemente para introducir movimiento, trate de desplazar el foco de la exposición a diferentes lugares de la sala.

Haga lo que le resulte natural hacer Es importante que usted pueda exponer de manera fluida, confiada y cómoda. Si bien un poco de nerviosismo no le hará daño a nadie, si usted está todo tembloroso, la atención de la audiencia se enfocará en su persona y no en su mensaje. Usted se sentirá menos nervioso con un estilo de presentación que le resulte más natural. Sin importar cualquier otra cosa, aunque se diga en este capítulo. Muchas personas, por ejemplo, encuentran que es más fácil hablar a grupos cuando hay algo más que hacer que sólo hablar, como por ejemplo. Los shows de visuales o un equipo operativo. El conocer a las personas de su audiencia también ayuda a aliviar el temor. Sin embargo, si usted debe hacer una exposición ante extraños, trate de averiguar algo sobre ellos que le ayudará a verlos como personas similares a aquellas con las que usted ya ha tenido éxito en el pasado.

La práctica sin duda mejora su presentación. Quizás algunos amigos podrían hacer de críticos de su estilo de exposición. Las exposiciones audiovisuales complicadas necesitarán de varios ensayos, prestando atención al equipo y a la sala. Si usted le teme a una sesión de preguntas y respuestas, haga que amigos o colegas suyos le planteen las preguntas más difíciles que se les ocurran y luego critiquen sus respuestas. Aquí, sin embargo, una advertencia: si usted empieza con este tipo de práctica, tiene que continuarla hasta que se sienta cómodo. Un poco de práctica puede a veces aumentar su ansiedad. Haga que sus ayudas visuales sean grandes y simples Las ayudas visuales que acompañen las exposiciones verbales deben ser suficientemente grandes como para que la audiencia las vea. Se sorprenderá usted de cuántos oradores violan esta regla. Al diseñar una ayuda visual, averigüe dónde se sentará la persona que estará más lejos de la misma y diseñe la imagen de tal manera que esta persona pueda verla con claridad. Los cuadros llenos de números, a menos que sean muy grandes (del tamaño de la pared), no son eficaces para grupos grandes, si bien se pueden utilizar para exposiciones ante unas cuantas personas. Sin embargo, incluso en ese caso los cuadros deben ser suficientemente grandes como para que las personas puedan verlos aunque estén sentadas a varios pies de distancia.

No haga transparencias con un retroproyector a partir de material impreso a menos que utilice una máquina de escribir con tipos muy grandes, tal vez una máquina de escribir primaria. Sin embargo, usted puede utilizar una copia impresa, especialmente la de diez picas de una máquina de escribir primaria como para hacer diapositivas. Recuerde no poner demasiadas palabras en una diapositiva, de una a diez palabras son suficientes. La mayoría de las diapositivas que apoyan exposiciones orales contienen demasiada información: la audiencia no tiene tiempo suficiente para pensar en lo que está viendo. Al presentar una diapositiva o transparencia, dele a los espectadores unos cuantos momentos para explorarlas antes de seguir hablando. Igual las examinará, y podrían distraerse con respecto a lo que usted está diciendo. Involucre a la audiencia en su exposición Encuentre una manera de hacer que su audiencia actúe o responda durante su exposición. El involucrar a los estudiantes con el material es un principio básico de la enseñanza. Para involucrar a la audiencia puede ser algo tan sutil como haciéndolos reír como una broma de apertura o algo tan abierto como haciéndolos participar en un juego de roles. Por ejemplo, usted podría pedir a los maestros que hagan un juego de roles de su prueba de aptitud ante los padres con quienes se reunirán o al personal que haga un juego de roles ante el directorio.

He aquí algunas técnicas para involucrar a la audiencia:

Pida que alcen la mano en respuesta a sus preguntas; por ejemplo: “¿Cuántos de ustedes han trabajado en escuelas?” Esto también le ayuda a identificar mejor los antecedentes de su audiencia.

Pídales que predigan los resultados antes que usted los presente.

Pida a los miembros de la audiencia que agrupen sus asientos de una manera particular.

Pídales que ayuden a interpretar sus resultados. Incluso podría pedirles sugerencias sobre cómo presentar un informe escrito.

Incluya actividades de la audiencia en su exposición. Por ejemplo, entregue tarjetas a las personas para que escriban preguntasen ellas que deberán ser respondidas después de la exposición formal, u organice discusiones en grupo sobre algunos temas del informe.

Involucre a la audiencia en un enfoque defensa y ataque. Divida el grupo entre defensores y atacantes en posiciones neutrales. Cada grupo revisa el informe desde su perspectiva asignada y contribuye a un debate vivaz y equilibrado sobre los datos y resultados.

Pida a la audiencia que tome nota sobre la exposición en lugar de preparar resúmenes impresos para que se los lleven a casa. O haga que llenen los espacios en blanco que usted ha dejado en el material impreso para enfatizar también que usted desea que tomen nota de ese punto en particular.

Haga pruebas sobre el material que usted ha expuesto. Esto se puede hacer con más frecuencia de lo que usted cree.

Pida a alguien en la audiencia que lo ayude con los equipos.

Un último dato. No se disculpe por involucrar a la audiencia en su posición. Si usted adopta una actitud

contrita o da la impresión de estar infringiendo sus derechos, ellos podrían sentir que de veras lo está haciendo. A las personas no les importará participar si parece que usted sabe lo que está haciendo.

Sobre Audiencias Difíciles En algún momento u otro le tocará una audiencia difícil, que entiende con lentitud, que es escéptica o incluso hostil. Puesto que los métodos estándar de exposición muchas veces son inadecuados ante la adversidad, le ofrecemos los siguientes consejos. Haga que un usuario primario exponga el contenido del informe de otra persona Este principio, si se explica bien, puede consistir en cualquiera de las siguientes modalidades:

Hacer que un director exponga o co-exponga con usted los resultados de la evaluación a los miembros del personal.

Hacer que el director del programa informe sobre los resultados de evaluación al consejo directivo.

Hacer que el personal del programa exponga los resultados de la exposición a grupos interesados de la comunidad.

En realidad, usted podría organizar que los resultados de la organización se distribuyan de grupo en grupo a lo largo de la cadena oficial de mando en la organización. Por ejemplo, la figura 5 muestra el flujo de los resultados compartidos de una evaluación dentro de un distrito escolar. Este arreglo fuerza a cada miembro del personal distrital a mirar los resultados de la evaluación por lo menos dos veces: una vez cuando las recibe y otra vez cuando los transmite. Este enfoque sólo resulta eficaz, por supuesto, si la información llega con exactitud a los niveles más bajos. Si usted elige este enfoque, probablemente tendrá que dar capacitación y monitorear el sistema de comunicación.

Haga que otra persona presente la información Trate de ser realista sobre cuando puede y cuando no puede manejar la distribución de los resultados de evaluación usted mismo. Tal vez

No tenga usted acceso directo a la audiencia

Carezca de las habilidades necesarias para transmitir eficazmente la información (por ejemplo, tenga mucho temor a las exposiciones orales), o

Se vea usted involucrado en un conflicto de personalidad o ideología con miembros de la audiencia

En estas situaciones, encuentre a alguien que no tenga estas desventajas para que exponga la información. Recuerde que su principal objetivo es hacer que la audiencia comprenda y utilice la información de la evaluación. Información Información Información Información Información Información Información Figura 5: el flujo de la información de evaluación a lo largo de la cadena de mando de un distrito escolar.

Refuerce, refuerce, refuerce Un problema común con la información de evaluación si es que la audiencia la escucha una sola vez. A fin de que sea absorbida correctamente, debería ser escuchada con más frecuencia; debería ser reforzada; después de todo, usted no puede achacar a las audiencias el no haber utilizado la información de la evaluación si nunca la comprendieron. Usted puede hacer que las audiencias presten atención más de una vez siguiendo muchas de las sugerencias presentadas en este capítulo. Por ejemplo, si usted va a distribuir nueva información de evaluación a usuarios potenciales, si usted haría bien en incluir en su estrategia de informe una de las siguientes prácticas:

Entregue una versión preliminar de informe del usuario o usuarios primarios para su edición o revisión.

Presente un breve resumen del informe final a los usuarios primarios

Debata el informe privadamente con usuarios individuales

Haga una exposición verbal de los resúmenes de los resultados con ayudas visuales ante la audiencia que leerá el informe escrito.

Por indicación del usuario primario o del auspiciador de la evaluación, informe a los reporteros sobre resultados, de modo que la audiencia lea sobre ellos en los periódicos locales.

Retome los resultados en conversaciones sobre otros temas con la gente apropiada, a fin de relacionar sus resultados con las acciones que se discuten

Haga que una audiencia presente la información a otras audiencias.

El Evaluador Superintendente Consejo Escolar

Público

Directores del Programa

Superintendentes Auxiliares

Directores de Escuela

Maestros

Padres

Sobre el Trabajo con la Prensa Esta sección le dará algunos consejos sobre cómo hacer más fácil la vida de los reporteros y cómo hacer la presentación de su evaluación en los medios públicos de manera que se informe sobre ella correctamente. Note que algunas de estas sugerencias pueden aplicarse a cualquier audiencia. Capacite a los reporteros La mayoría de los reporteros no han tenido suficiente capacitación como para entender con facilidad los estudios de evaluación … Su, generalmente, alto grado de inteligencia se une a una innata curiosidad lo cual los hace receptores apropiados y agradecidos de la capacitación en el puesto de trabajo. Usted puede buscar a los reporteros por medio de talleres formales o por medio de discusiones de persona a persona.

Los talleres de capacitación formal no deberían ser sesiones de propaganda. Deberían atenderse estrictamente a los conceptos que los reporteros necesitan para entender de manera fácil e interpretar correctamente el tipo de información de evaluación que usted distribuye. Estas sesiones serán más concurridas y más eficaces si se organizan poco antes de la presentación de alguna información importante. Podría ir incluso ir tan lejos como organizar una sesión de capacitación para reporteros durante la hora anterior a que se inicie la conferencia de prensa. Considere, por ejemplo, el valor de discutir – inmediatamente antes de presentar los tests de puntaje estandarizado – sobre temas como éstos:

¿Qué son puntajes en percentiles?

¿Cómo se derivan los puntajes en percentiles?

¿Por qué es equivocada la afirmación “todos los niños deberían saber leer en este grado de estudios”?

¿Cuáles son algunas de las relaciones mejor conocidas entre los puntajes en los tests de aptitud y otros resultados que usted está investigando?

Si usted considera el número de personas, incluyendo los que trabajan en la práctica, las instancias de política, el público no especializado, que obtienen su información de los periódicos, la radio y la televisión, usted se dará cuenta de cuanta confusión se podría evitar con un taller de información con los representantes clave de los medios.

Aproveche también cualquier oportunidad que pueda encontrar para proporcionar una capacitación de persona a persona. Los reporteros que necesitan un informe con urgencia por lo general escucharán cualquier cosa para obtenerlo. Por lo tanto, las entrevistas pueden ser un escenario fructífero para otorgarles un poco de capacitación y aprender a través de ellos. Suponga, cuando está siendo entrevistado, que el reportero no sabe nada del tema que está discutiendo. Explique su jerga, y dele un mini curso sobre temas tales como:

Los beneficios y las dificultades de una asignación aleatoria de individuos a grupos de control

Test de significancia y lo que significa

Tests con referencias a criterios y normas – sus beneficios y limitaciones.

El uso de la tribulación en diseños cualitativos

Podrá usted ver los resultados de estas conversaciones reflejados en artículos de prensa más claros y en editoriales sobre aspectos no críticos y no sensacionalistas de su evaluación. El mejor beneficio que estas discusiones pueden tener es el desarrollo del mutuo respeto entre usted y la prensa. Las relaciones de cooperación sólo pueden mejorar la exactitud y la profundidad de las noticias de la evaluación que recibe el público. Redactar notas de prensa Las citas equivocadas por parte de los reporteros son muy comunes, y se deben usualmente a que el reportero no registró el comentario correctamente en primer lugar, o porque él o ella no tuvo tiempo para anotarlo y fue obligado(a) a reconstruir el comentario a partir de su memoria. Usted puede protegerse contra esta situación redactando notas de prensa y distribuyéndolas entre los reporteros antes de una conferencia de prensa o entrevista. Las notas de prensa deben ser claras, específicas y completas. Las notas de prensa bien redactadas harán que el “índice de exactitud de citas” de un reportero suba, y que su presión sanguínea disminuya.

Las notas de prensa deberán seguir la mayoría de las reglas presentadas anteriormente bajo “sobre los medios escritos”. El mejor consejo que debe recordar es el de colocar la información más importante al principio del artículo las citas son una buena manera de llamar la atención sobre los puntos más importantes en una nota de prensa. Por ejemplo:

Hoy el doctor John Jefferson dijo “estamos muy complacidos y entusiasmados sobre la eficacia del programa X. Un estudio de evaluación muestra que la tasa de recidiva entre los drogadictos que participan en el proyecto X es menor que aquella de los que no participan en el programa.”

La nota de prensa deberá incluir el nombre, la dirección, los números de teléfono (casa y oficina) de la

persona que debería ser contactada en caso de confusión, o si el reportero necesita más información. Si la noticia debe ser publicada para cierta fecha o quedará obsoleta después de cierto tiempo, esto debería mencionarse en forma notoria. La nota de prensa debería terminar con los signos ###, para dejar que el reportero o editor sepa que ha llegado al final de la nota de prensa, no sólo al final de la primera página.

El funcionario de relaciones públicas de su organización podría ser la persona apropiada para distribuir a

nota de prensa. Asegúrese de verificar la política antes de hacerlo usted mismo. La figura 6 es un ejemplo de una nota de prensa. Sea honesto con los reporteros Usted debe aspirar conscientemente a construir una reputación de credibilidad y franqueza con todas sus audiencias. Una persona cuyo trabajo es recolectar y compartir información nunca debe ser atrapada encubriendo o mintiendo. Esto es particularmente cierto cuando se trata de hablar con reporteros. Conteste con honestidad a las preguntas de los reporteros, si no puede hacerlo, dígales también con claridad por qué no puede hacerlo:

“El gerente general y consejo directivo están estudiando el informe en este preciso momento. Sería una violación de mi contrato el discutir el informe con la prensa antes de que ellos hayan tenido una oportunidad de revisarlo. El administrador del programa divulgará el informe al público y a la prensa dentro de una semana. Estará encantado de responder a cualquier pregunta que ustedes puedan tener para entonces.”

Este tipo de franqueza será aceptado aunque sea a regañadientes.

Muchas veces los reporteros plantean preguntas aparentemente simples, para las cuales desean también respuestas simples: “¿Por qué es que la tasa de crímenes violentos es más alta en las comunidades de las minorías que en las áreas de la población blanca?” o “¿Por qué no tiene éxito el programa X?” Su deseo inmediato será el de hacer una introducción a las respuestas a estas preguntas con varias horas de antecedentes. De ser posible, condense esas horas de información en un resumen de cinco minutos. Su resumen debería proporcionar al reportero una sensación de lo complejo de la situación. Si usted no conoce la respuesta a una pregunta o si no está familiarizado con la investigación en esa área, no dé a entender lo contrario. Si lo hace, encontrará sus débiles comentarios sobre generalidades impresos en la primera página del periódico local.

Usted debe aceptar que los reporteros están hablando con usted por una sola razón: para obtener una noticia.

Y para obtener una noticia que se pueda vender, tienen que plantear preguntas difíciles. Sus preguntas sobre quién, qué, dónde y cuándo, son fáciles de contestar, pues son las mismas preguntas que usted contestó en la evaluación:

¿A quién sirve el programa?

¿Cuáles son los efectos del programa? Los reporteros insistirán mucho en preguntas por qué. Estas preguntas, por supuesto, necesitarán respuestas complejas. En respuesta de todas sus preguntas, sin importar si son fáciles o difíciles, usted debe plantear respuestas honestas, fraseadas de una manera tal que los reporteros las puedan entender. En resumen, el ser honesto con los reporteros significa:

Ser abierto y honesto cuando responde a sus preguntas

Tratar no de despistarlos con una descripción simplista de una situación compleja

Evitar el engañar a los reporteros o dar respuestas falsas a sus preguntas, pues hacerlo puede tener consecuencias desastrosas

NOTA DE PRENSA

Contactar a: Doctora Ruth Pitts, 2 de mayo de 1988 Directora de Investigación y Evaluación. Difundir el 5 de Distrito Escolar Passell mayo de 1988 145 Oak Avenue Passell, Texas.

Teléfono (512) 413-1045 (oficina) (512) 825-4711 (casa) “Los estudiantes de Passell obtuvieron puntajes más altos en sus pruebas anuales de resultados que el año pasado.” El superintendente John Jefferson hizo este anuncio durante una conferencia de prensa especial. Los estudiantes de los diversos años de a escuela secundaria obtuvieron un promedio de dos a tres puntos percentiles más que el año pasado, y los estudiantes de primaria obtuvieron de tres a cinco puntos percentiles más. “No estamos completamente seguros de por qué es que nuestros estudiantes están obteniendo mejores resultados,” dijo Jefferson. “Pero creemos que el incremento se debe a los cambios que hemos implementado en nuestros cursos de lectura y matemáticas.” Durante el último año, los maestros y los especialistas de currículos escolares del distrito han estado revisando los cursos de lectura y matemáticas. Estas revisiones fueron requeridas por el consejo escolar en abril de 1987, en respuesta a las preocupaciones de los padres en los logros de lectura y matemáticas. Jefferson ofreció otra explicación para los puntajes mejorados. “Durante los últimos años, los estudiantes y maestros quizás no hayan tomado estas pruebas tan en serio como nosotros creemos que deben tomarse. Este año, sin embargo, la asistencia en los días de prueba fue más alta de lo que lo fue en los últimos cinco años,” dijo. La doctora Ruth Pitts, directora de investigación del distrito, añadió: “nuestro personal de investigación ha hecho un seguimiento de las pruebas. Realizamos visitas sin anunciar a 5% de as clases durante las pruebas, y encontramos que se estaban siguiendo con exactitud los procedimientos correctos para ellas.” Los estudiantes recibirán sus puntajes individuales a finales de mayo, acompañados de folletos que explican los puntajes. Se les pedirá que lleven estos folletos a casa de sus padres. Las pruebas fueron administradas a los estudiantes a mediados de abril. Los estudiantes de secundaria pasaron las pruebas secuenciales de Progreso Educativo (lectura, matemáticas, ciencias y estudios sociales). Los estudiantes de primaria y de los dos primeros años de secundaria dieron las pruebas de resultados de California (lectura y matemáticas).

Figura 6. Ejemplo de una nota de prensa.

Notas

1.Para una descripción más detallada de lo que se debe incluir en un informe formativo sobre la implementación de un programa léase cómo evaluar la implementación de un programa, volumen V de este paquete de evaluación de programa. 2. Muchos de los consejos en este capítulo fueron una contribución de dos evaluadores que se desempeñan en la práctica, Ann Moore Lee y Frida M. Holley.

Referencias

Boyer, E. (1978). Citado por George Neill en “Washington Report.” Phi Delta Kappan, 59(7). Ewing, D.W. (1974) Escribiendo para los resultados en el negocio, gobierno, y las profesiones. New York: John Wiley.