EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE … · 1 origen e historia de la evaluaciÓn / origin and...

1 ORIGEN E HISTORIA DE LA EVALUACIÓN / ORIGIN AND HISTORY OF EVALUATION PROCESS

2 EL CAMBIO DE PARADIGMA: DE LA CONFRONTACIÓN A LA COMPLEMENTARIEDAD / CHANGEOF PARADIGM: FROM CONFRONTATION TO COMPLEMENTATION

El paradigma positivista / The positivist paradigm

El paradigma alternativo: constructivista / The alternative paradigm: the contrustivist paradigm

3 EVOLUCIÓN DEL DISEÑO DE LAS EVALUACIONES / DESIGN EVOLUTION OF EVALUATIONS

Cambio en las metodologías y técnicas aplicadas / Methodological changes and applied techniques

4 EL CAMBIO DE PARADIGMA EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN PARA ELDESARROLLO / CHANGES IN THE PARADIGM OF THE EVALUATION OF COOPERATION TODEVELOPMENT POLICY

La supremacía del enfoque del marco lógico, en cuestión / The supremacy of the approach to logicalframe, in question

La concepción reticular en la evaluación de la política de cooperación al desarrollo: primerasreflexiones / The reticular conception in the evaluation of the evaluation of cooperation to developmentpolicy: preliminary considerations

5 BIBLIOGRAFÍA / BIBLIOGRAPHY

CCaarrmmeenn VVéélleezz MMéénnddeezz

Universidad de Sevilla

sumario//summary

__ EELL CCAAMMBBIIOO DDEE PPAARRAADDIIGGMMAA EENN EEVVAALLUUAACCIIÓÓNN DDEE PPOOLLÍÍTTIICCAASS PPÚÚBBLLIICCAASS:: EELLCCAASSOO DDEE LLAA CCOOOOPPEERRAACCIIÓÓNN AALL DDEESSAARRRROOLLLLOO**

__ CHANGES IN THE PARADIGM IN THE EVALUATION OF PUBLIC POLICIESTHE CASE OF COOPERATION/ CONTRIBUTION TO DEVELOPMENT

145

* Algunas de las ideas recogidas en este artículo fueron presentadas por la autora en el XI Congreso Internacionaldel CLAD celebrado en Guatemala en noviembre de 2006.

24_ANUARIO3-2007.qxd 29/11/2007 17:02 PÆgina 145

1 ORIGEN E HISTORIA DE LAEVALUACIÓN

El hecho de evaluar individuos yprogramas apareció, como mínimo, enel año 2000 a.C., cuando algunos

oficiales chinos dirigieron unas investigacionesde los servicios civiles, y en el siglo V a.C.,cuando Sócrates y otros maestros griegosutilizaron cuestionarios evaluativos como partede su metodología didáctica. (…) Entre 1887 y1898, Josph Rice estudió los conocimientosen ortografía de 33.000 estudiantes de unamplio sector escolar (…). Este estudio estágeneralmente reconocido como la primeraevaluación formal sobre un programaeducativo realizado en América”.

(Stufflebeam y Shinkfield, 2005: 33).

Al margen de referencias anecdóticas como lasde la cita que encabeza este epígrafe, lo ciertoes que la utilización de la ciencia social en elanálisis de políticas y servicios públicos no esnovedosa. Se ha llevado a cabo desde dife-rentes perspectivas y con la aplicación de dis-tintas metodologías, pero no es hasta los añosposteriores a la I Guerra Mundial cuando apa-recen los primeros esfuerzos evaluativos diri-gidos al análisis de programas de educación yformación profesional e iniciativas de salud pú-blica para reducir la mortalidad provocada porenfermedades infecciosas (Rossi y Freeman,1993, en Osuna y Máquez, 2000:6).

Ahora bien, la mayoría de los autores coincidenen datar el “nacimiento de la evaluación” en los

EVALUACIÓN DE POLÍTICAS PÚBLICAS

NUEVAS POLÍTICAS PÚBLICAS. Anuario multidisciplinar para la modernización de las Administraciones Públicas

146

Desde los orígenes de la evaluación de políticas públicasen los años 60 hasta la actualidad se ha producido uncambio de paradigma en la teoría de evaluación que havenido caracterizado por el paso del positivismo, comopensamiento científico dominante, al constructivismo.

Hablaremos de la teoría y de la práctica de la evaluación.Nos centraremos en el caso de la política de cooperaciónal desarrollo, donde existe gran tradición en planificacióny evaluación. Además, en España, la Dirección General dePlanificación y Evaluación de Políticas de Desarrollo (DGPOLDE) del Ministerio de Asuntos Exteriores yCooperación está en la actualidad inmerso en un procesode revisión de la Metodología de Evaluación de laCooperación Española.

Se propone, en esta reflexión sobre la adecuación de losmétodos de evaluación, la aplicación de un enfoque queconsidere la dimensión reticular de la política de ayudaal desarrollo. Se pretende, precisamente, identificar lasconexiones entre los distintos actores, objetivos y niveles,para poder analizar adecuadamente el éxito y bondad dela intervención pública, así como el grado de desarrolloinstitucional y la capacidad que tienen los agentes pararesolver sus conflictos e interrelacionarse.

From the beginnings of the evaluation of public policiesin the 1960's to the present day, there has been a changein the paradigm in the theory of evaluation that is charac-terised by the change from positivism, as the prevailingscientific thinking, to constructivism what has affected thecontents of these evaluations, their aims, methods andtechniques.

We will talk of the theory and practice of evaluation. We willfocus on the particular case of the policy of cooperation todevelopment, where there is a great tradition regarding theplanning and evaluation. Furthermore, in Spain, theGeneral Bureau of Planning and Evaluation ofDevelopment Policy (DG POLDE) under the Foreign Affairsand Cooperation Ministry is nowadays immersed in a pro-cess of revision of the Methodology of the Evaluation of theSpanish Cooperation.

In these considerations on the adequacy of the evaluationmethods, it is proposed the application of an approach thatconsiders the reticular dimension of the policy of help todevelopment. It is intended, in fact, to identify the connec-tions established between the different actors involved soas to be able to analyse appropriately the success and pu-blic intervention kindness as well as the degree of institu-tional development and the agents' ability to solve theirconflicts and relate with each other.

resumen//summary

PPaallaabbrraass CCllaavvee::- Evaluación.- Paradigma.- Análisis de redes.- Política de cooperación.

KKeeyy WWoorrddss::- Evaluation.- Paradigm.- Network analysis.- Cooperation policy.

ESTUDIOS

“


años 60 en Estados Unidos, coincidiendo con el in-terés por conocer los resultados de la puesta enmarcha de los programas sociales de la GranSociedad y de la Guerra contra la Pobreza, para losque se comprometía un importante volumen de fondosy que sin embargo tenían una reducida capacidadpara resolver los problemas a los que iban dirigidos1.

Fueron la expansión de los programas socioeconó-micos, la preocupación por el control del gasto públicoy el cambio ideológico, político y social experimentadodurante el siglo pasado los principales factores que im-pulsaron la aplicación de la evaluación al análisis depolíticas públicas (Osuna y Márquez, 2000: 5).

Así, en el análisis histórico elaborado por GeorgeManaus y Daniel Stufflebeam, basado en el trabajorealizado por Tyler, que establece cinco períodos bá-sicos en la evolución de la evaluación, se señala la dé-cada de los 60, denominada por estos autores laépoca del realismo, como el comienzo de la evalua-ción, pero no es hasta la siguiente década cuandoempieza a hablarse de la evaluación como profesión(época del profesionalismo). (Stufflebeam y Shinkfield,2005: 33).

Otros dos autores, Guba y Lincoln, clasifican la his-toria de la evaluación en 4 generaciones en funcióndel paradigma evaluativo predominante. Es la evalua-ción de tercera generación, la denominada por ellosla del juicio y valoración, la que se corresponde conesta época de nacimiento de la evaluación como pro-fesión. (Guba y Lincoln, 1986 y 1989).

Se puede llegar a establecer una correspondencia, reco-gida en la Figura 1, entre la segmentación temporal pro-puesta por Stufflebeam y Shinkfield y la realizada porGuba y Lincoln, siempre tomando como referencia lo ocu-rrido en el campo de la evaluación en Estados Unidos.

Figura 1. Evolución histórica de la evaluación

Para Stufflebeam y Shinkfield, las evaluaciones re-alizadas antes de los años 30, denominado porellos periodo pre-tyleriano, estaban centradas envalorar el resultado de los programas educativosen los alumnos a través de la aplicación de test2,encuestas, acreditaciones3 y comparaciones expe-rimentales.

Bustelo menciona algunos estudios en el siglo XIXy principios del siglo XX, recogidos en la obra deWeiss, que están en el origen de la evaluación deprogramas. Entre ellos: el realizado en 1833 por elfrancés Guerry sobre la influencia de la educaciónen la reducción del crimen; el desarrollado por

147

Carmen Vélez Méndez

ESTUDIOS

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO

1 En este sentido, el Acta de la Educación Elemental y Secundaria de 1965 incluía en su artículo I la obligación de realizar eva-luaciones sobre el logro de los objetivos de los proyectos financiados y sobre la congruencia entre resultados y objetivos, y asíconseguir evidencias científicas para los padres de los alumnos (House, 1993: 17).

2 Algunos autores, como Monnier, consideran la aplicación de los test de inteligencia de Alfred Binet en 1904, como el comienzode la sicología experimental y la introducción del experimentalismo como enfoque científico adoptado para la AdministraciónPública. (En Osuna y Márquez, 2000: 8).

3 Uno de los principales medios para evaluar actualmente los servicios educativos, la acreditación, comenzó en los últimosaños del siglo pasado en Estados Unidos. (Stufflebeam y Shinkfield, 2005: 33).

Fuente: Elaboración propia a partir de Stufflebeam y

Shinkfield, 2005 y Guba y Lincoln, 1989.


Depuit, en 1844, sobre la utilidad de las infraestruc-turas públicas; el del americano Cabot en 1912sobre la calidad de los diagnósticos médicos (com-parando los resultados de 3000 autopsias con losdiagnósticos previos realizados); y, en 1914,Codman intenta evaluar el desempeño de los ciru-janos a través de la medición del estado de los pa-cientes después de dejar el hospital. (Weiss, 1998,en Bustelo 2001: 73-75).

En esta época, se equiparaba a la evaluación con lainvestigación4, entendiéndola como una ciencia so-cial; debía ser objetiva y estar desprovista de valoresy los evaluadores investigadores debían aplicar pre-ferentemente diseños experimentales, consideradosel mejor método de las ciencias sociales.

Según el enfoque experimental, la acción públicase considera una ciencia donde es posible realizarexperimentaciones sobre la realidad, contrastandohipótesis previamente establecidas y determi-nando relaciones causales entre las variables previamente definidas (Campbell, Stanley, y Cook1966, 1979, 1993)5.

La evaluación se caracterizaba por la medición. Elevaluador es un técnico. Por eso Guba y Lincolnclasifican los estudios de evaluación realizados eneste período como la primera generación de eva-luaciones, la generación técnica, centrados en pro-gramas de intervención social en el campo de laeducación y la salud.

Para los investigadores americanos Guba y Lincoln,desde 1930 hasta 1945 aparece la generación dela descripción. Nace con Ralph Tyler, por lo quetambién se conoce a este período como la épocatyleriana (Stufflebeam y Shinkfield). Los evaluadoresdescriben las fortalezas y debilidades de los pro-gramas respecto a una serie de objetivos predeter-minados. A Tyler, al que algunos consideran elpadre de la evaluación, le encargaron dirigir la in-vestigación del famoso Eight-Year Study (Smith yTyler, 1942)6, en un contexto donde predominaba lafilosofía pragmatista lanzada por Rooselvet pararsacar a la economía americana del abismo en elque había caído tras la Gran Depresión7. Introdujoun modelo de evaluación basado en la compara-ción de los resultados obtenidos con los objetivospreestablecidos. Es el origen de la evaluación cen-trada en objetivos.

El siguiente periodo, desde 1946 hasta 1957, fueel conocido como época de la inocencia.Stufflebeam y Shinkfield también la llaman la épocade la irresponsabilidad social puesto que segúnellos existía una amplia complacencia a la hora deenjuiciar los graves problemas de la sociedadamericana de los años 40 y 50 (fundamentalmentepobreza y racismo); se pensaba que los pro-gramas sociales solucionarían de manera directalas necesidades existentes.

Las evaluaciones siguen respondiendo a las gene-raciones de la descripción y de la medición. Se re-



148

ESTUDIOS

4 Muchos han sido los autores que han analizado las principales diferencias entre evaluación e investigación, fundamental-mente con el objetivo de definir la evaluación como área diferenciada.

5 El modelo experimental parte de la construcción aleatoria de dos grupos de entre la población objetivo de una política o pro-grama, el grupo experimental al que se le aplica el programa y el grupo control, que no participa en el programa. La cuestiónes determinar si existe una relación que permita atribuir los impactos causados al programa desarrollado. Para ello se tomanmediciones de las variables seleccionadas en ambos grupos antes y después del desarrollo del programa, aislando aquellasexternas que puedan interferir en la evolución de los efectos. Las diferencias existentes entre los grupos permitirán determinarel éxito del programa y deslindar el efecto neto del programa de los efectos brutos.

6 Este estudio tenía como objetivo examinar la efectividad de ciertos currículos renovadores y estrategias didácticas que se es-taban empleando en 30 escuelas americanas: 15 progresistas y 15 tradicionales.

7 John Dewey y algunos otros intentaron contribuir a que la educación se convirtiera en un sistema dinámico e innovador, quea la vez se fuera renovando a sí mismo. Con el nombre de Educación Progresiva, este movimiento reflejó la filosofía del prag-matismo y empleó los instrumentos de la psicología conductista. (Stufflebeam y Shinkfield, 2005: 34).


copilaba información, se describían las actuacionespúblicas, y se medían sus resultados, pero no seofrecían recomendaciones para la mejora de losprogramas. Esta situación tuvo su reflejo, como se-ñalan Stufflebeam y Shinkfield, en la evaluacióneducativa, “los educadores escribían sobre la eva-luación y sobre la recopilación de los datos másimportantes, pero, al parecer, no traducían estosesfuerzos en intentos de mejorar los servicios edu-cativos”. (Stufflebeam y Shinkfield, 2005: 36).

La aplicación de la evaluación experimental era latónica predominante, y ello a pesar de que el mo-delo de evaluación tyleriana, que incluía compara-ciones internas entre los resultados y los objetivos,hacía innecesario recurrir a costosas y problemá-ticas comparaciones entre grupos de control ygrupos experimentales (Stufflebeam y Shinkfield,2005: 34 y 35).

La época del realismo, que cubre el período 1958-1972. Stufflebeam y Shinkfield ponen de manifiestocomo a partir de la época anterior se empezaron ademandar evaluaciones de grandes proyectos edu-cativos (creados tras el lanzamiento, por parte dela Unión Soviétca, del Sputnik I en 19578), finan-ciadas por estamentos federales.

Ello vino acompañado de un cambio en la metodo-logía de evaluación, pues se constató que con laaplicación de los métodos experimentales no seestaba dando respuesta a las demandas de losevaluados. Eran muy costosos, pues se trataba degrandes experimentos, y se necesitaba un largoperíodo de tiempo para que los resultados fueranvisibles, tanto que no eran operativos para la toma

de decisiones. Ahora la evaluación debía estar re-lacionada con conceptos como utilidad y rele-vancia, como puso de manifiesto Cronbach en unartículo publicado en 19639, poniéndose cada vezmás énfasis en los procedimientos y la ejecución yno sólo en los resultados, criticando así al modelotyleriano por su limitada orientación hacia la mejoradel proceso de toma de decisiones. En EstadosUnidos, el Nacional Study Committee on Evaluation(creado por el Phi Delta Kappa, Comité organizadopara valorar las evaluaciones educativas reali-zadas) “concluyó que la evaluación educacional“era víctima de una grave enfermedad” y reco-mendó el desarrollo de nuevas teorías y métodosde evaluación, así como nuevos programas parapreparar a los propios evaluadores”10. (Stufflebeamy Shinkfield, 2005: 39).

Las evaluaciones realizadas en esta época se co-rresponderían con la generación que los ameri-canos Guba y Lincoln denominan la del juicio y va-loración. Con la evaluación se pretende valorar elmérito o valor de los programas. El evaluador es unjuez; a la evaluación se le presupone no sólo unafunción positiva (describir lo que es) sino tambiénnormativa (establecer cómo debería ser el pro-grama o política). Empezaron a aparecer, por tanto,nuevas conceptualizaciones sobre la evaluación.

La época del profesionalismo, que incluye la evo-lución experimentada desde 1973 hasta el pre-sente. En estos años la evaluación “empezó a cris-talizar y a emerger como una profesión diferen-ciada de las demás” (Stufflebeam y Shinkfield,2005: 40). Este fue el inicio de la evaluación “comoindustria” y como profesión (Rossi y Freeman,

149


ESTUDIOS


8 El lanzamiento del satélite ruso fue interpretado por los americanos como un fracaso de su sistema de educación, por lo quepusieron en marcha numerosos programas educativos e instrumentos para su evaluación. (Monnier 1995, en Díez, 2001: 126).

9 En el marco de la evaluación de los currículos educativos, “Cronbach recomendó a los evaluadores que reconceptualizan laevaluación no como si se tratara de una carrera de caballos entre programas competidores, sino como un proceso consistenteen recoger y formalizar información que pueda ayudar a quienes elaboran los currículos”. Cronbach, L.J. 1963. Course impro-vement through evaluation. Teachers Collage Record, 64: 672-683, en Stufflebeam y Shinkfield, 2005: 37 y 38.

10 Las comillas están en el original.


1993). Antes, “la evaluación era una actividadmenor” (House, 1993: 15). “De manera progresiva,la evaluación se iba perfilando como una disciplinasocial con entidad y cuerpo teórico propio, prós-pera, floreciente y en continua expansión”. (Díez,2001: 121).

Ernest R. House considera que la evaluación esuno de los desarrollos de las sociedades capita-listas avanzadas, un intento de buscar una nuevaautoridad, la de la ciencia y la investigación social,para legitimar e informar las acciones del gobiernoen las sociedades en las que las instituciones tra-dicionales han perdido su poder legitimador comoconsecuencia del avance del capitalismo. La eva-luación es una nueva forma de “autoridad cultural”que respalda la toma de decisiones públicas. Estaes la razón que explica, para este investigador, elsurgimiento de la evaluación en los países capita-listas más avanzados, como institución, como dis-ciplina y como profesión, hecho que no ocurrehasta pasada la mitad del siglo XX, aunque la eva-luación existía antes de diversa forma. (House,1993: 12, 17 y 18). Así, la evaluación es una nuevaprofesión, que opera en las sociedades altamenteprofesionalizadas.

Vedung coincide en este planteamiento. Para él, “laevaluación de programas es una incorporación re-ciente a una cadena de intentos por parte de losgobernantes de utilizar el poder mental de acadé-micos y científicos para promover los intereses delEstado” (Vedung, 1997:17).

Uno de los factores que impulsaron el crecimientode la aplicación de la evaluación fue la adopción desistemas de presupuestación acordes con la plani-ficación. Este fue el caso de la utilización, por elDepartamento de Defensa, del SistemaPresupuestario y Gestión por Programas (PPBS:Programing, Planning and Budgeting System), cuyo

uso se generalizó en la década de los 70 a la mayorparte de las agencias federales americanas. La in-troducción de esta forma de planificación y presu-puestación también se produjo en otros países in-dustrializados: Public Expenditure Survey (PES) enReino Unido, Racionalización de la ElecciónPresupuestaria (RCB) en Francia, el Presupuestopor Programas en España, o sus equivalentes enAlemania y en los Países Bajos. (Díez, 2001: 120 yOsuna y Márquez, 2000: 3).

Esta utilización creciente de la evaluación se vio fa-vorecida por la creación de instituciones del tipo dela General Accounting Office (1921) en EstadosUnidos, y de la Audit Comisión o la National AuditOffice (1988) en el Reino Unido. En la Guía para laevaluación de políticas públicas (Osuna et al. 2000)también señalábamos como catalizadores la puestaen marcha de iniciativas encaminadas a modificarlos procesos internos y estructuras organizativas delas agencias públicas en aras a desarrollar en ellasla capacidad necesaria para la evaluación de polí-ticas. Entre ellas la Efificiency Strategy (1979) y laFinancial Management Initiative en el Reino Unido;la creación del Comité Interministerial de laEvaluación (CIME) y el Fondo Nacional para elDesarrollo de la Evaluación (FNDE) en Francia.

Por tanto, las distintas propuestas de reforma delas Administraciones Públicas, como proceso decambio institucional, han extendido el uso de laevaluación, favoreciendo el desarrollo de procedi-mientos, formas organizativas y culturales más fle-xibles, para conseguir actuaciones públicas máseficaces y eficientes en procesos de mayor trans-parencia democrática. (Osuna y Márquez, 2000: 6).

Tras su generalización en Estados Unidos, el uso dela evaluación se extiende a Canadá, y posteriormenteal resto del mundo: Inglaterra, norte de Europa,Australia, España y países latinos, Latinoamérica y



150

ESTUDIOS

11 En España, al igual que en el resto de países de la Unión Europea, se observa en la última década, un incremento en el nú-mero de evaluaciones motivada, fundamentalmente, por la obligación reglamentaria de realizar evaluaciones de los programas


Asia11. Ahora bien, el desarrollo de la evaluación desdela época del profesionalismo no ha sido constante.Hay algunos investigadores que consideran que losaños que van desde 1975 a 1985 podrían clasificarsecomo un periodo de crisis de la evaluación (Peters,1998 y Díez, 2000, entre otros). La generalización delEstado del Bienestar, con la consiguiente aparición defuertes déficits públicos por el incremento del gasto,intensificó el debate sobre el empleo de los recursospúblicos y sus resultados. Las limitaciones presupues-tarias provocaron una reducción en la financiación deprogramas públicos y consecuentemente del númerode evaluaciones demandadas, y las que se encar-gaban tenían objetivos e intereses diferentes: valorarla eficiencia y reducir el gasto público. La preocupa-ción principal de los gestores públicos era el recortepresupuestario y no la mejora de los programas(Viñas, 2005 y Díez, 2001: 121), lo que influyó en losdiseños evaluativos, más centrados en ofrecer resul-tados sobre la idoneidad de dar continuidad o no a losprogramas (evaluaciones sumativas) que en proponerrecomendaciones para su reformulación (evalua-ciones formativas).

Tras este período de “crisis” en la evaluación, la cons-tante preocupación por determinar cuál debe ser elpapel del sector público en la sociedad ha intensifi-cado el debate sobre el empleo de los recursos pú-blicos y sus resultados. La cuestión no es ya si elEstado debe o no intervenir, sino cómo. Algunos au-tores abogan por una nueva intervención del Estado,

donde eficiencia, eficacia y transparencia se con-vierten en sus expresiones más inequívocas (Román,1999). Ello, unido al interés creciente de lasAdministraciones por involucrar, al menos en el diseñode sus actuaciones, al beneficiario último de los ser-vicios que prestan, y a la obligación de informar al ciu-dadano del uso que se hace de sus aportaciones alEstado en forma de impuestos12, hace que la legitima-ción de la intervención pública pase ineludiblementepor garantizar la transparencia en la gestión y ejecu-ción de sus actuaciones. Se trata de una nueva formade hacer política. (Román, 2007).

Se volvió de nuevo, como se verá en el epígrafe si-guiente, a considerar la función normativa de la evalua-ción, a no despreciar los juicios de valor y a la búsquedadel diálogo entre los implicados en los programas paravalorar la puesta en marcha y los resultados de las po-líticas públicas, dando como resultado una nueva gene-ración de evaluaciones, las de la cuarta generación,como las denominan Guba y Lincoln.

En la actualidad no cabe duda de que la evaluaciónse ha configurado como una profesión, como docu-mentamos en otro artículo donde se analizan los indi-cadores que desde el lado de la oferta y desde el dela demanda ponen de manifiesto la progresiva confi-guración de un mercado evaluativo donde se constatala creciente profesionalización de la evaluación y suconfiguración como disciplina diferenciada de otras.(Vélez, 2006).

151


ESTUDIOS


cofinanciados con Fondos estructurales. Tras esta obligación reglamentaria se encuentra la preocupación lógica de los paísesmás desarrollados, que transfieren rentas a los menos desarrollados, por conocer los resultados que se consiguen. Es al calorde esta imposición donde empiezan a aparecer evaluaciones de programas en regiones como la andaluza, región Objetivo nº1 que ha recibido uno de los mayores porcentajes de recursos de los Fondos estructurales. (Vélez, 2000). Así, la implantaciónde este campo de investigación es relativamente reciente y además no está lo suficientemente extendido en la práctica de lagestión pública.

12 Para mayor profundización en esta idea del ciudadano como cliente de la Administración véase Richards S. (1994). El pa-radigma de cliente en la gestión pública en Gestión y Análisis de Políticas Públicas nº 1, pág. 5 a16 y, también en Gestión yAnálisis de Políticas Públicas Brugué Q., Amorós M. Y Gomá R (1994). La Administración Pública y sus clientes ¿Moda organi-zativa u opción ideológica? En Gestión y Análisis de Políticas Públicas, nº 1. Pág. 33 a 46, sobre la clientelización de las rela-ciones entre la Administración y sus administrados. Sobre la evaluación y el concepto de usuario de los servicios públicos véaseJenkins B. Y Gray A. (1994) Evaluación y el usuario: la experiencia de Reino Unido, en Gestión y Análisis de Políticas Públicas,nº 1. Pág.47-57.


2 EL CAMBIO DE PARADIGMA: DE LA CON-FRONTACIÓN A LA COMPLEMENTARIEDAD

Como se ha esbozado en el epígrafe anterior, desde losorígenes de la evaluación hasta la actualidad se ha pro-ducido un cambio de enfoque que, en consonancia conlo acontecido en el campo de las ciencias sociales, seha caracterizado por el paso del positivismo, como pen-samiento científico dominante, al constructivismo, loque ha afectado al contenido de la evaluación, a susfines y a los métodos y técnicas. Así, se puede esta-blecer una correlación entre el cambio de paradigma enlas ciencias sociales y la evolución de los enfoques se-guidos en evaluación en la que ha influido el perfeccio-namiento de las técnicas de investigación social y suempleo en el estudio de los problemas sociales, lo queha generado un desarrollo de la teoría de la evaluaciónproducto de aproximaciones realizadas desde distintasópticas con distintos objetivos.

Las diferentes aproximaciones realizadas en el campode la evaluación han sido asimiladas por la mayoríade los teóricos como cambio de paradigma en el sen-tido Kunhiano, es decir, un cambio de enfoque, unamanera diferente de entender la realidad y de plantearla evaluación13.

Los filósofos de la ciencia se han esforzado duranteaños en un largo debate epistemológico sobre qué esciencia y sobre cómo conducir mejor una investigación,enfrentando fundamentalmente dos paradigmas: el po-sitivista, que usa enfoques cuantitativos y experimen-tales para contrastar generalizaciones utilizando paraello el método hipotético-deductivo, y el constructivistabasado en la indagación fenomenológica, usando apro-

ximaciones cualitativas para entender de manera induc-tiva y holística el comportamiento humano (la realidad)en un contexto específico. (Patton, 1990: 35 y ss).

En el campo de las ciencias sociales Ormerod ponede manifiesto en su conocida obra de 1994, Por unanueva economía, cómo, desde finales del siglo XIX, sedeseaba incrementar la utilización de la precisión ma-temática, especialmente en las ciencias económicas,para así equipararlas en status y prestigio a las cien-cias físicas, todo ello desde una perspectiva mecani-cista del mundo, perspectiva que como afirmaOrmerod, es cada vez menos relevante y se de-muestra menos creíble (Ormerod, 1995: 21)14.

Parece que, impregnados del mismo deseo de loseconomistas, los evaluadores han intentando au-mentar la precisión matemática de sus evaluacionesequiparándolas a investigaciones. De hecho, algunosde los esfuerzos por configurar a la evaluación comouna disciplina seria e independiente han basado susargumentos contra esta premisa. En definitiva, al igualque en las ciencias sociales, en la teoría de evaluaciónpodemos encontrarnos con dos grandes paradigmas:el positivista o hipotético deductivo, y el constructivistao hipotético inductivo.

EL PARADIGMA POSITIVISTA

El positivismo, paradigma predominante en las cien-cias sociales durante los años 50 y 60, ha impregnadoel carácter y concepción de las primeras evaluaciones,que eran concebidas como investigaciones evalua-



152

ESTUDIOS

13 Para Kuhn un paradigma es una especie de amalgama de teoría y método que conjuntamente aporta algo que se asemejacasi a una visión del mundo, aportando una perspectiva general, una manera de descomponer la complejidad del mundo real.Es decir, son constructos teóricos que determinan que lo que es legítimo, importante y razonable, orientando las acciones enla práctica sin necesidad de plantear cuestiones epistemológicas esenciales. Esa es su principal ventaja, pues hace posible lapráctica, y también su principal inconveniente, pues la razón principal de la acción (de la investigación o de la evaluación) seconvierte en incuestionable, quedando escondida por las asunciones del paradigma (Patton, 1990: 37).

14 Según el enfoque mecanicista cartesiano, el mundo se ve como una máquina, aunque complicada, pero cuyo funciona-miento puede comprenderse desmontando y volviendo a unir sus piezas, a modo de la máquina construida en 1950 por BillPhillips, guardada en la London School of Economics, para enseñar a los estudiantes el funcionamiento de la economía. Unsistema se entiende desde este enfoque como la suma de las partes que lo integran. (Ormerod, 1995: 55-56).


tivas basadas en un modelo racional de consecuciónde los objetivos de los planes y políticas públicos.

El positivista utiliza la metodología convencional ba-sada en el descubrimiento y la verificación; es decir,parte de una primera fase en la que emergen las hi-pótesis, etapa más creativa del proceso, donde se es-tablece la teoría que luego será probada (corroboradao refutada) a través de la observación, utilizando paraello diferentes métodos (fundamentalmente estadís-ticos), para, a partir de la deducción, formular leyes decausa-efecto de aplicación generalizada.

Si el conocimiento que se produce no se correspondecon la realidad, es decir, si los resultados refutan lashipótesis de partida, se puede recurrir a un nuevo es-tudio, y así sucesivamente hasta que la teoría se pa-rezca a la realidad. Así, puede ocurrir que, durante loque Kunh denomina período de ciencia normal, en elque la investigación se lleva a cabo de acuerdo con elmodelo elaborado, los datos pongan de manifiestoque la teoría más apropiada es justamente la contrariaa la de partida, lo que podría interpretarse como resul-tados anómalos o inesperados15. Estas anomalías obien se obvian durante un determinado período detiempo o bien se tratan mediante el uso de hipótesisad-hoc. Es aquí donde radica una de las principaleslimitaciones del método, en centrar el estudio sólo enlas variables que pueden refutar o validar una teoríade partida.

Pero cuado existe un número suficiente de anomalíasse da lo que se conoce con el nombre de “crisis deparadigma” en el sentido Kunhiano, que hace cues-tionar las técnicas básicas usadas y las suposiciones

más fundamentales de toda la estructura teórica delparadigma. Esta crisis se resuelve con la adopción deuna nueva teoría o paradigma hasta que se alcanceuno que pueda generalizarse. Este es el proceso ite-rativo de prueba y error, al que Kunh denomina revo-lución científica, que da lugar a una nueva teoría16.

En definitiva, los positivistas son defensores de aplicarel método deductivo para conocer las leyes de causa-efecto que se dan en la realidad, aislando las varia-bles que pueden interferir en la verificación empíricade las hipótesis de partida para alcanzar así una te-oría generalizable, que en el caso de la evaluaciónsería la teoría del programa, actuando para ello de lamanera más neutral posible presuponiendo con ellolograr una mayor objetividad.

Por una parte, desde el paradigma positivista, la inves-tigación se debe llevar a cabo bajo condiciones contro-ladas, por lo que es necesario despreciar las variablesdel contexto para aislar las que pueden interferir en elanálisis de las causas y efectos que quieren demos-trarse y no minar el objeto de estudio. Con ello se creancondiciones similares a las de un laboratorio, lograndoaumentar la validez interna de la investigación, pero acosta de la validez externa, esto es, limitando las posi-bilidades de generalización de los resultados. Esta re-lación inversa entre validez interna y externa suele sercomún en la aplicación del paradigma positivista.

Por otra parte, otra de las premisas del paradigma po-sitivista es la necesaria objetividad de la investigación,que debe llevarse a cabo libre de valores, por lo quelas interferencias entre el evaluador y el evaluadodeben ser mínimas.

153


ESTUDIOS


15 Se presume que el paradigma adoptado es correcto y apropiado, y las partes de la naturaleza que no encajan satisfacto-riamente son simplemente ignoradas. La función general de un científico durante el período de ciencia normal se convierte en“resolución de rompecabezas”. Los resultados obtenidos pueden ser más o menos anticipados, así los problemas se con-vierten en rompecabezas debido a que poseen soluciones garantizadas, aseguradas por la propia potencia del paradigma,que aporta reglas apropiadas para la resolución de la investigación con éxito. Este estado lleva a progresos rápidos en la in-vestigación. (Blaug, 1985).

16 Así, para Kunh la historia de la ciencia está señalada por una serie de discontinuidades importantes, muy diferente a un pro-ceso de desarrollo continuado acumulativo como los inductistas pensaban.


La aplicación de este paradigma en evaluación partede la base de considerar la política pública como ob-jeto de investigación social, que puede ser sometidoa un proceso de experimentación continua (Díez,2001: 118, 123 y ss.). Se parte del convencimiento deque sólo mediante el uso de este método científico sepueden obtener evidencias que permitian resolver losproblemas sociales y mejorar los programas.

Sin embargo, esta postura positivista, defensora de unmodelo científico-neutral, es más propia de la investiga-ción que de la evaluación. De hecho, algunos autoreshan identificado la utilización del método científico expe-rimental como una de las claves en la diferencia entreevaluación e investigación evaluativa. Para los que de-fienden la utilización de los métodos experimentales enevaluación, ésta es la única forma de ofrecer evidenciasfundadas sobre lo que está ocurriendo con un pro-grama; los evaluadores no son más que investigadoresque deben aplicar un método riguroso a un problemapráctico. Identifican la calidad de las evaluaciones conla aplicación de técnicas cuantitativas.

Entre los defensores de estos métodos se encuentran,entre otros, Suchman, Campbell y Stanley. En la ac-tualidad son varias las asociaciones que defiendenesta postura. Entre ellas la Cochrane Collaboration(www.cochrane.org) y la Campbell Collaboration(www.campbellcollaboration.org). Son organizacionesinternacionales independientes, sin ánimo de lucro,dedicadas al análisis de los efectos de las políticas so-ciales, en el campo de la sanidad la primera (cuyonombre hace alusión al epidemiólogo inglés ArchieCochrane) y en el campo de la educación, bienestarsocial, crimen y justicia la segunda.

En España uno de los grupos más activos en estecampo es el de Meta-análisis de la Universidad deMurcia (www.um.es/facpsi/metaanalysis), en cuyo sitioweb reconocen que para realizar un meta-análisis serequiere la aplicación de los mismos estándares derigor científico demandados en el desarrollo de estu-dios de investigación empíricos, así como el uso demétodos estadísticos especiales.

EL PARADIGMA ALTERNATIVO: CONSTRUCTIVISTA

El fracaso en los procedimientos racionalistas o positi-vistas, que consideraban la política como una ciencia,para ofrecer resultados evaluativos útiles a los respon-sables políticos hace que empiece a perderse confianzaen la ciencia para solucionar los problemas sociales.Empezaron a surgir “nuevas demandas” de evaluación,nuevos requerimientos que estaban relacionados conla mejora de los programas durante su ejecución.

Esta desconfianza en la utilidad de las evaluacionesrealizadas desde el prisma del positivismo dio lugar,por tanto, a la aparición de nuevos enfoques evalua-tivos más centrados en los procesos y en el fomentode la participación en la evaluación de los implicadosen las políticas (los stakeholders, según la termino-logía anglosajona), en el marco de lo que se ha venidoa denominar un nuevo paradigma en evaluación.

Surge entonces lo que Guba y Lincoln denominan eva-luación de cuarta generación, la evaluación sensible yconstructivista. En esta generación se toma comopunto de partida las preocupaciones, cuestiones y opi-niones de los diferentes actores que pueden verseafectados por la evaluación, reconociéndose la plura-lidad de valores e intereses coexistentes en la sociedady su relevancia en la determinación de los propósitosde la evaluación, donde los parámetros de referenciapara la emisión de juicios de valor deben ser determi-nados a través de un procedimiento de diálogo contodos los implicados en un programa o política.

Fueron estos autores los que empezaron a hablar deeste nuevo paradigma en evaluación, al que denomi-naron en primera instancia naturalista, por defenderla realización de las evaluaciones en un entorno na-tural, en el que no hay cabida para la manipulación,aunque pasaron a llamarlo constructivista, aludiendo,entre otras razones, al paralelismo realizado por al-gunos autores entre evaluación naturalista y evalua-ción cualitativa, fundamentalmente los que partici-paron en el libro Naturalistic Evaluation editado porFetterman, que entienden que el concepto de evalua-



154

ESTUDIOS


ción naturalista es un término genérico que englobadistintos tipos de evaluaciones cualitativas. (Guba yLincoln, 1989: 178 y ss.). Sin embargo, muchos inves-tigadores siguen empleando el término naturalistapara hacer referencia a las corrientes pluralistas-cua-litativistas. (García, 2003: 27).

Para Guba y Linconln, el constructivismo no es simple-mente una reacción al paradigma positivista, no es unapostura reactiva sino preactiva, que parte de sus pro-pias asunciones (Guba y Lincoln 1989: 173), y no sólode carácter metodológico, sino lo que es más impor-tante, asunciones diferentes epistemológicas y ontoló-gicas. Por ello, Guba y Lincoln diferencian el debateentre paradigmas y entre métodos, técnicas y herra-mientas a utilizar, puesto que consideran que centrarla discusión en estos elementos es perder el reto realque supone el nuevo paradigma. Desde el punto devista ontológico supone una manera diferente de en-tender la realidad. Frente a la postura convencional,que considera que existe una única realidad, objetiva,que opera de acuerdo a leyes predeterminadas decausa-efecto, el paradigma constructivista parte de laexistencia de múltiples realidades no gobernadas porleyes causales predeterminadas, con lo que paraaprehenderla es necesario conocer las diferentes vi-siones que de ella se tiene. Desde el punto de vistaepistemológico el nuevo paradigma ofrece una formadiferente de relación entre el conocedor y el conoci-miento, entre el evaluador y la realidad, frente al para-digma positivista donde son entidades independientes(Guba y Lincoln 1989: 83-90).

En la base de este nuevo paradigma se encuentra laimportancia de reconocer qué es lo que los partici-pantes en un programa o política consideran rele-vante, y la necesidad de fomentar el intercambio deopiniones, valores y experiencias entre ellos a travésde la utilización de métodos participativos.

Así, el paradigma constructivista se basa en el reco-nocimiento de las realidades sociales y del comporta-

miento como construcciones mentales que puedenser discutidas, negociadas, puestas en común, refor-muladas y priorizadas, usando lo que Guba y Lincolnllaman dialéctica hermenéutica para interpretar los he-chos desde la perspectiva de los actores, verdaderosprotagonistas de la realidad.

Esta dialéctica hermenéutica parte de un proceso cí-clico de interacción entre los diferentes implicados enuna evaluación, entre los diferentes constructos, hastaque se llega a un acuerdo. La información a recopilarse va perfilando en un proceso continuo, buscando elconsenso para construir sistemáticamente el análisisde los datos. Por ello, cuando se aplica este para-digma la muestra de observaciones a realizar no seelige exclusivamente por su representatividad aefectos estadísticos, sino buscando un amplio alcancede fuentes de información, de grupos de interés, endefinitiva, de diferentes constructos mentales.

Los constructivistas no parten de una teoría preesta-blecida, ni de unas hipótesis de partida o preguntaspredeterminadas. Por el contrario, defienden su formu-lación contando con los implicados en el programa.Además, los resultados de la evaluación, según esteparadigma, se plasman en un informe de caso, dondelas conclusiones y recomendaciones emergen de losagentes clave, es decir, no son sólo las conclusionesdel evaluador o evaluadora.

Frente a la postura positivista, la aplicación del para-digma constructivista posibilita el examen de larealidad considerada desde diversas perspectivas,siendo la diferencia fundamental la preocupación poranalizar los procesos de aplicación de las políticaspúblicas y no exclusivamente sus resultados17.Además, para los defensores de este paradigma elanálisis del contexto en el que se forman los cons-tructos mentales es fundamental, puesto que el con-texto influye en el evaluando así como el evaluandoinfluye en el contexto, analizando la política desde unposicionamiento sistémico.

155


ESTUDIOS


17 Bustelo señala las diferencias entre este paradigma y el postpositivista, paradigma que asume que la realidad no puede sertotalmente comprendida, que no existe una única ley de causa-efecto, sino una multiplicidad de causas y efectos, y que es crí-tico con el experimentalismo, enfatizando los enfoques cualitativos, la teoría y el descubrimiento. (Bustelo, 2001).


Este paradigma es más acorde con la evaluación,puesto que la concibe como un proceso dinámico queparte de la posibilidad de que exista un cambio de di-rección en los programas, es decir, se entiende que losprogramas públicos pueden y deben, cambiar en fun-ción de la evolución de la complejidad de la realidaden la que el programa actúa y pretende modificar.

A modo de corolario, podemos resumir las principalesdiferencias entre ambos paradigmas en los siguienteselementos:

En el paradigma positivista el descubrimiento y laverificación son procesos separados, uno se centraen la formulación de la teoría, el otro en la observa-ción. En el paradigma constructivista, por el con-trario, son procesos inseparables, sinérgicos (Gubay Lincoln, 1989: 166).

El método inductivo, al contrario que el método hi-potético deductivo, no necesita del establecimientopredeterminado de las variables principales ni de ladefinición de hipótesis previas a la recolección dedatos. Los constructivistas parten sin explicitar apriori ninguna formulación teórica, con lo que no setrabaja con la finalidad de verificar las proposi-ciones iniciales. Se trata de conocimiento tácito,que no se explicita, un tipo de conocimiento que esdespreciado por los positivistas por su subjetividad.En palabras de Guba y Lincoln “los positivistas em-piezan sabiendo lo que no saben frente a los cons-tructivistas que enfrentan la evaluación obviando loque saben” (Guba y Lincoln, 1989: 175).

El positivismo trata de interpretar los datos sin más,como realidades; el contrustivista parte de la basede constructos mentales que pueden ser discutidosy negociados.

Frente al positivismo, el paradigma constructivistaminimiza el nivel de manipulación del fenómeno parasu análisis y reduce el nivel de restricción sobre la

medición del resultado, es decir, el grado en que lascategorías predeterminadas o variables son usadaspara descubrir el fenómeno estudiado. En el para-digma constructivista no se restringe los resultadosde la investigación a lo que debe ser y no se obviala influencia de factores externos donde sólo un con-junto limitado de variables son mensurables.

El método experimental, propio del paradigma po-sitivista, es más adecuado para valorar los efectoscausales de un programa en sus beneficiarios, y asípoder valorar la inferencia causal de una acción. Elparadigma constructivista es más adecuado paracapturar procesos y explorar las diferencias indivi-duales y los efectos sobre variables externas.

Ahora bien, aunque hay una tendencia natural a elegirdatos cuantitativos en el paradigma positivista frentea información de carácter cualitativo en el paradigmaalternativo, la elección de un paradigma u otro no estárelacionado con los datos e informaciones a recabar.

Por otra parte, los paradigmas hacen referencia a laforma de entender el mundo y no a las técnicasusadas. La aplicación de una u otra técnica no implicala adopción de un determinado paradigma. Lasmismas técnicas pueden ser usadas por positivistas yconstructivistas, la diferencia radica en el objetivo parael que se utilizan y la forma de usarlas, con lo que nopuede encuadrase a un evaluador en un determinadoparadigma sólo por las técnicas que utiliza18. Por tanto,la diferencia entre paradigmas no radica en la meto-dología, aunque lo cierto es que la elección de téc-nicas cualitativas parece más adecuada para la explo-ración, el descubrimiento y la utilización de la lógicainductiva (pues se parte de la observación de un fenó-meno específico a la construcción de tendencias ge-nerales) que las técnicas cuantitativas.

En cualquier caso, no hay que obviar que uno de losmotivos de peso en la elección de métodos y técnicassuele ser, desafortunadamente, los hábitos y las cos-



156

ESTUDIOS

18 Guba y Lincoln utilizan el ejemplo del martillo, herramienta que puede ser usada por un fontanero, carpintero o electricista,de modo que no puede enjuiciarse la profesión de una persona sólo por utilizar un martillo.


tumbres. Como apunta Patton, la rutina y la cegueraparadigmática constriñen la flexibilidad metodológicay la creatividad del evaluador. Algunos evaluadorestienden a elegir, por comodidad, las técnicas quesaben usar, o aquellas que más estatus científicopueden aportar (sobre todo aquellos más preocu-pados por su carrera académica que por la mejora dela acción de los poderes públicos), independiente-mente de su adecuación al contexto evaluativo. Es laformación, más que la experiencia, el factor que másinfluye en las posturas a favor o en contra de determi-nadas aproximaciones (Patton, 1990: 38).

Por esta razón, este autor prefiere hablar del para-digma de la elección, haciendo referencia a la selec-ción de los métodos más adecuados en cada evalua-ción (Patton, 1990: 39). Este autor defiende la ade-cuación metodológica al contexto y situaciónevaluativo frente a la ortodoxia como primer criteriopara valorar la calidad metodológica de una evalua-ción y aboga por el diseño de diferentes estrategiasde evaluación más que por la elección entre diversosparadigmas evaluativos.

No podemos afirmar que el constructivismo haya su-perado definitivamente al positivismo como paradigmapredominante en evaluación, sino que coexisten comoopciones teóricas, y al igual que ocurre en otroscampos de las ciencias sociales, la ausencia de un re-

ferente único ha desembocado en una pluralidad me-todológica. Así, en la práctica, el evaluador aplica pers-pectivas y procedimientos de distintos marcos para-digmáticos. (García García, 2003: 303 y ss).

3 EVOLUCIÓN DEL DISEÑO DE LASEVALUACIONES

Este cambio de paradigma en evaluación ha dadolugar, como no podía ser de otra manera, a una evo-lución en el diseño de las evaluaciones (esquemati-zado en la Figura 2), que se ha concretado en el pasode la función sumativa a la búsqueda de una finalidadformativa en el desarrollo de las evaluaciones; en elpredominio de la evaluación centrada en objetivos auna libre de objetivos; de la indiferencia de los ele-mentos del contexto político a la inclusión de los va-lores y de los elementos institucionales como factoresclave en el diseño y desarrollo evaluativo; en la con-cienciación de la importancia de las opiniones de losactores clave implicados en las políticas y programaspara emitir juicios de valor sobre lo evaluado; y en latendencia hacia la realización de evaluaciones inte-grales, con una visión holística de la política, en vezde evaluaciones parciales de un programa. Para ellose utiliza criterios y cuestiones de evaluación que am-plían la visión tradicional del control de resultados.

157


ESTUDIOS


Figura 2. Cambio de paradigma en la evaluación

Evaluación sumativa Evaluación formativa

Centrada en objetivos explícitos Libre de objetivos

Evaluación ajena al proceso político Evaluación inmersa en el proceso político (no es ajena

(ajena a los valores) a los valores)

Los implicados como agentes informantes Los implicados como protagonistas: evaluación

participativa

Evaluaciones parciales Evaluaciones integrales y holísticas


Si bien las primeras evaluaciones respondían a unamotivación reglamentaria, promovida por los financia-dores de los programas, en muchos países, como enel caso de España, se viene observando en los últimosaños un cambio de tendencia hacia la demanda deevaluaciones por motivaciones más relacionadas conel aprendizaje que con la rendición de cuentas a ins-tancia de parte.

Ello ha provocado que la función de la evaluaciónhaya basculado desde la vertiente sumativa a la for-mativa. La primera tiene como objetivo fundamentalofrecer conclusiones sobre la oportunidad de conti-nuar o suspender un programa y se suele llevar acabo una éste ha concluido. La evaluación formativatiene por objetivo proporcionar información para me-jorar el objeto evaluado y se suele realizar antes deponer en marcha el programa o durante su desarrollo.Es una evaluación orientada hacia el aprendizaje ins-titucional, utilizando la información para generar cono-cimiento que sirva al equipo técnico encargado degestionar e implantar los programas y políticas paramejorar el proceso de toma de decisiones. Además,fomenta la utilización de la evaluación por las institu-ciones, que no la perciben como un simple controlfinal de resultados sino como un proceso más com-pleto de análisis de una realidad más compleja quepretende ayudarles a ser mejores (Patton, 1997).

Se busca con la evaluación permitir a los responsa-bles de la puesta en marcha de las actuaciones pú-blicas incorporar las lecciones de la experiencia en suquehacer diario, contribuyendo de este modo a me-jorar la elaboración de estrategias regionales de des-arrollo. Así, la evaluación no sólo es importante por lainformación que suministra a todos aquellos intere-sados en conocer los resultados de la política, sinopor su efecto de retroalimentación en el proceso deelaboración de políticas públicas, donde sus conclu-siones y recomendaciones sirven de base para plani-ficaciones futuras. (Vélez, 2000).

Así, en coherencia con esta función sumativa de laevaluación, la tendencia en la realización de evalua-ciones ha sido la de priorizar la utilización de enfoques

participativos, donde los implicados pasan de seragentes informantes a protagonistas de la evaluación.Y ello por varios motivos:

Porque los programas se ejecutan en un contextodonde existen múltiples grupos de interés con de-mandas de información diferentes y, por tanto, pro-pósitos y cuestiones distintas para la evaluación.

Porque este enfoque fomenta y facilita la demo-cracia, sentando las bases para la cooperación y elconsenso sobre el programa y sobre lo que debeser evaluado.

Porque confiere legitimidad y abre el proceso deelaboración de políticas públicas, fomentando asílos procesos de gobernanza.

Porque forma a los implicados, que aprenden delprograma y de los procesos de evaluación: aumen-tando las capacidades institucionales y fomentandola apropiación del proceso de evaluación y sus re-sultados.

Según algunos autores, son evaluaciones para el em-poderamiento. Entre ellos, Fetterman, Kaftarian yWandersman, (1996) proponen un modelo de “autoe-valuación” donde el evaluador actúa como árbitro o fa-cilitador y donde juegan un importante papel los pro-fesionales de base de los programas y políticas (lostécnicos de nivel medio): la evaluación queda así enmanos del personal del programa. Se trata de una eva-luación participativa limitada, en el sentido de no contarcon otros actores clave relacionados con el evaluandoy que deben ser considerados en evaluación. Otro delos defensores de la aplicación de este tipo de enfo-ques es Cronbach, quien propugnaba la necesidad detrabajar conjuntamente con los responsables del di-seño, gestión y ejecución de los programas.

Otros enfoques acordes con esta visión participativa dela evaluación, encuadrados bajo la denominación deevaluaciones pluralistas han perseguido conseguir unamayor participación, reducir el poder de negociación delos que encargan la evaluación (Monnier, 1995). Tienen



158

ESTUDIOS


en común el reconocimiento de una pluralidad del sis-tema de valores en la sociedad y defienden que la uti-lidad de la evaluación radica en la credibilidad y legiti-midad política del proceso de evaluación por parte delos actores críticos más que en la metodología y rigortécnico (legitimidad científico-técnica).

Este cambio de postura, junto con las limitaciones enla formulación y diseño de las políticas, planes y pro-gramas, hace que los parámetros de referencia parala evaluación cambien. Como se ha comentado ante-riormente, la contrastación del cumplimiento de losobjetivos explícitos, siguiendo un enfoque tyleriano, hasido desde siempre la hipótesis de partida del trabajode evaluación. Este modelo parte de la existencia deobjetivos claros y medibles en la política o programaa evaluar; objetivos de referencia que permitirán con-cretar y delimitar los cambios buscados, siendo su co-nocimiento lo que orienta la elección de las variablesdependientes de análisis y los criterios a utilizar. Estetipo de evaluación se asocia normalmente con el en-foque hipotético-deductivo.

Sin embargo, la escasa calidad en la definición de losobjetivos de las intervenciones públicas, unido a la ne-cesidad de analizar no sólo los efectos previstos ymencionados, hace que se defienda el establecimientomás amplio de los parámetros de referencia para laemisión de juicios de valor a través de un proceso dediálogo con todos los implicados en la política y queno se centre la evaluación exclusivamente en los obje-tivos predefinidos. Como subraya Vedung, los obje-tivos de un programa no son los únicos criterios devalor permisibles en una evaluación (Vedung, 1997).

Y ello porque no siempre las hipótesis de causa efectoexplicitadas en los programas, cuando lo están, sonciertas. Así es, la inexistencia de objetivos cuantifi-cados e incluso cuantificables y la deficiente formula-ción de las intervenciones a realizar hace que debanbuscarse otros elementos de referencia para la eva-luación. Además, no cabe duda de que los objetivosiniciales pueden cuestionarse, bien a la luz del diag-nóstico realizado (pertinencia en el diseño), bien encoherencia con los cambios que la realidad haya ex-

perimentado (pertinencia en la ejecución). Este posi-cionamiento amplía la utilidad de la evaluación, al con-siderar la dimensión dinámica de los programas.

Ello no implica que los objetivos marcados en las po-líticas o planes dejen de importar. Todo lo contrario; lacuestión está en no dejar de lado ningún efecto, cola-teral, inducido, no deseado o no previsto, que puedaproducirse, y en considerar todas las necesidades deinformación de los implicados en las políticas. La apli-cación de este enfoque no centrado en objetivos y ba-sado en la teoría del programa ha venido impulsado,además, por la tendencia actual a diseñar y aplicarprogramas complejos cuya evaluación sólo puede lle-varse a cabo utilizando un marco teórico de referenciaacorde con la perspectiva sistémica de la realidad.

Evidenciamos así un cambio de enfoque, de la evalua-ción centrada en objetivos (como postulaba Tyler) a laevaluación libre de objetivos (como defendía Scriven,que proponía tomar como referencia para la evaluaciónlas necesidades fundamentales detectadas) pero ba-sada en la teoría de la política o del programa, comoya mencionaba Weiss a principios de la década de los70. Esta investigadora habla de las “teorías de cambio”de un programa, teorías que incluyen la “teoría del pro-grama” y la “teoría de la implementación”. La teoría delprograma hace referencia a las hipótesis que medianentre la realización de una actividad y la aparición delos resultados. Se trata de evaluar las relaciones causa-efecto establecidas previamente en el diseño del pro-grama. La evaluación siguiendo la teoría de valorar laimplementación hace referencia a la forma en que segestiona y se ponen en marcha las actividades. Es unaevaluación basada en el proceso.

Otro cambio en la postura evaluativa viene del lado delreconocimiento de la importancia del contexto socio-político en el que se desarrolla la evaluación. Seasume que la evaluación está inmersa en el procesopolítico, que no es ajena a los valores, que no sóloestá afectada por ellos sino que puede modificarlos,y que, consecuentemente, deben ser considerados enel trabajo de evaluación (Weiss, 1998). Varias son lasrazones que argumentan la mayoría de los evalua-

159


ESTUDIOS



dores para afirmar la naturaleza política de la evalua-ción (García, 2003: 27 y ss, Bustelo, 2001):

Las evaluaciones tienen como objeto de estudiopolíticas y programas públicos. La dinámica, losrasgos del contexto político en el que surgen y losprocedimientos, las estructuras y los actores queconforman este contexto inciden en su realización.

La evaluación constituye una actividad política,puesto que en que en ella se ven involucrados in-tereses políticos contrapuestos.

Las evaluaciones se realizan con el propósito de in-formar y, por tanto, influir, en el proceso de toma dedecisiones políticas. Además, como afirma Vedung,los resultados de las evaluaciones se utilizan enocasiones de manera instrumental para fines polí-ticos. (Vedung, 1997).

En la evaluación deben considerarse, por tanto, las es-pecificidades del contexto político en el que se desarrollala intervención a evaluar y las características de las ins-tituciones y agentes implicados en su diseño, gestión yejecución. La evaluación debe adaptarse a cada con-texto, a cada situación, si quiere fomentarse su utilidad.

Todo ello, unido a la importancia concedida a la eva-luación conjunta de las políticas y no a los efectos ais-lados de sus componentes (enfoque sistémico de laevaluación), hace que se demande la aplicación de unenfoque holística e integral:

Porque los programas no se diseñan ni ejecutan deforma aislada. Forman parte de un mosaico dondecada pieza juega un papel en los resultados finales deun proceso sociopolítico más amplio y complejo.

Porque la evaluación no debe considerarse la últimaparte del proceso de formación y ejecución de pro-gramas de intervención pública.

Porque la evaluación debe abarcar todos los ele-mentos relevantes del programa, para lo que se nece-sita la aplicación de una metodología pluralista, com-binando técnicas cualitativas y cuantitativas.

CAMBIO EN LAS METODOLOGÍAS Y TÉCNICASAPLICADAS

Este cambio de paradigma y la evolución en el diseñode evaluaciones se ha traducido en un cambio en lasmetodologías y técnicas empleadas. De la utilizaciónde técnicas acordes al enfoque deductivo cuyo funda-mento está en el empleo de técnicas cuantitativas, fun-damentalmente basadas en la utilización del métodoexperimental para determinar las principales hipótesisespecíficas de comportamiento antes de iniciar la re-cogida de datos, se ha pasado a la selección de téc-nicas propias de enfoques inductivos, principalmentetécnicas cualitativas de análisis orientados a explorar ydescubrir la lógica de las relaciones causales partiendode lo concreto para derivar en comportamientos gene-rales. Este tipo de evaluación se asocia normalmentecon la evaluación libre de objetivos puesto que noparte de hipótesis de causalidad preconcebidas.

La necesidad de valorar aspectos como el grado desatisfacción de la población objetivo y el cambio delas expectativas e identificar cómo los participantes enun plan (gestores, administradores, población benefi-ciaria y responsables últimos de su ejecución) tomansus decisiones, ha provocado que la metodología deevaluación haya evolucionado hacia un concepto másamplio en el que los aspectos cualitativos cobran cadavez mayor relevancia y las técnicas cuantitativastienden a integrarse como un elemento más del pro-ceso evaluador19.



160

ESTUDIOS

19 La ventaja de la evaluación de carácter cuantitativo es que permite medir reacciones o cuestiones en un grupo de variables(individuos, empresas, etc.) y, además, posibilita la agregación y tratamiento estadístico. Por su parte, la evaluación cualitativatiene la ventaja de producir una mayor riqueza de detalles sobre los grupos o variables, aunque sea de difícil agregación y es-tandarización.


El análisis top-down consiste básicamente en estimarqué hubiera ocurrido si el plan nunca se hubiera apli-cado. El impacto neto del plan se define como la dife-rencia entre las circunstancias reales (resultado fáctico)y la estimación de las que hubiesen sido de no haber ha-bido proyecto (resultado contrafáctico o contrafactual).

Como vemos, no existe un método de evaluación deimpactos único y como los planes no son iguales,cada evaluación es distinta. El alcance de la evalua-ción puede ir desde la descripción de los impactoshasta la búsqueda empírica de una causalidad entreacciones e impactos. En este sentido, la calidad de laevaluación de impacto no depende tanto del uso deun método en particular como de la utilidad de la in-formación generada.

La elección de la técnica más apropiada al objeto deevaluación está siempre condiciona por factores me-todológicos comunes tales como la necesidad de cla-sificar y cuantificar los objetivos; la determinación delmomento de la evaluación; y, la disponibilidad de in-formación. Todos estos condicionantes hacen queningún método proporcione por sí sólo una explica-ción suficiente de los impactos, aunque son útiles paraextraer indicios e identificar las tendencias y su direc-ción. De ahí que aboguemos por una pluralidad me-todológica que se adapte a la realidad objeto de eva-luación y donde los elementos del contexto jueguenun papel fundamental en la elección de los métodos.Por todo ello el enfoque de evaluación que propo-nemos se caracteriza por ser:

161


ESTUDIOS


Sin embargo, en la práctica evaluativa suelen combi-narse ambos enfoques. A través de la inducción seidentifican las cuestiones y variables a estudiar y luegose contrastan los resultados de forma deductiva. Así,la dicotomía cuantitativista frente a cualitativistas se halimado, y hoy no cabe duda de que la utilización devarias técnicas que permitan triangular la informaciónrecopilada y mejorar el análisis e interpretación de losdatos es la mejor alternativa.

En este sentido, la aproximación metodológica másapropiada combina el enfoque de arriba a abajo (top-down), que posibilita evaluar el impacto total y efectoneto de la intervención, con estudios “de abajo-arriba”(bottom-up), para analizar las relaciones de causa-lidad y determinar el impacto de cada medida especí-fica a través de la información recogida de los partici-pantes y beneficiarios del proyecto.

Top-DDown

Medir la diferencia entre la situación de partida y la final

tras la aplicación del programa.

Comparar los resultados con aquellos que se habrían

producido en caso de no aplicarse el programa.

Analizar el impacto global (pero no identifica la contribu-

ción de cada acción concreta).

Bottom-UUp

Proporcionar indicios sobre las relaciones causa-efecto.

Analizar el valor añadido neto usando información de los

beneficiarios/as (adicionalidad y efectos indirectos).

Identificar la contribución de la cada acción, pero no se

analizan los impactos más globales del programa.


Integral, donde la evaluación contempla todas lasetapas del diseño de políticas y programas pú-blicos.

Pluralista y participativa.Analítico y formativo.Orientado a la utilización de los resultados del pro-

ceso de evaluación.

Estos nuevos enfoques son totalmente pertinentespara la evaluación de la política de cooperación parael desarrollo, debido, como se comentará en el apar-tado siguiente, a sus particularidades y a las exigen-cias marcadas desde los organismos internacionales.

4 EL CAMBIO DE PARADIGMA EN LA EVALUA-CIÓN DE LA POLÍTICA DE COOPERACIÓN PARAEL DESARROLLO20

La política de cooperación para el desarrollo, al igualque otras políticas y programas, presenta elementosque la configuran como una realidad compleja y quedeben ser tenidos en cuenta al considerar su evalua-ción. Entre ellos los diferentes niveles de planificación(política de cooperación, estrategias sectoriales y ge-ográficas, planes operativos y proyectos de coopera-ción, entre otros), las diferentes áreas temáticas y sec-tores afectados (como, por ejemplo, desarrollo econó-mico en sentido amplio, defensa y seguridad, igualdadde género, educación, cultura, sanidad y medio am-biente), la multiplicidad de agentes implicados (admi-nistraciones públicas de los países donantes y de lospaíses receptores, cuyos sistemas políticos son cadavez más pluralistas y descentralizados, y organiza-ciones no gubernamentales y destinatarios civiles einstitucionales) y su aplicación a una gran diversidad

de contextos, generalmente variables e inestables.

Además, la eficacia del sistema de ayuda se en-cuentra condicionada por la confluencia de los efectosde otras políticas públicas sobre la consecución de losobjetivos de desarrollo. Entre ellas, las políticas nacio-nales de los propios países en vías de desarrollo y laspolíticas exteriores de los países donantes o de orga-nismos internacionales, con las que se debe buscar elaprovechamiento de sinergias para evitar que la faltade coherencia de estas políticas con los objetivos dela política de cooperación provoque un saldo globalnegativo sobre la eficacia del sistema de ayuda. Estabúsqueda de complementariedad queda recogida enla Ley de Cooperación Internacional para el Desarrollo,aprobada en 1998, donde se asume, en su artículo 4,la necesidad de promover la máxima coherencia entrela política de ayuda y el resto de políticas públicas conincidencia sobre los países en vías de desarrollo.

Esta compleja realidad sobre la que incide la políticade desarrollo encuentra también otras particulari-dades: colectivos destinatarios en situaciones de ex-trema pobreza, de difícil acceso y con problemáticasmultidimensionales; actuaciones con objetivos de na-turaleza diversa que, además de afectar a múltiplespolíticas y marcos superiores de programación,pueden ser contradictorios entre sí o con los pro-gramas de otros donantes que operan en el mismoámbito con otros criterios; ejecución en áreas geográ-ficas dispersas y dispares en las que la variable cul-tural se convierte en un factor crítico; y gestión de lasactuaciones compartida por un amplio y heterogéneogrupo de entidades locales, y de los países donantes.

Por otra parte, una de las características más rele-vantes de la estructura de relaciones internacionales



162

ESTUDIOS

20 Las ideas recogidas en este epígrafe se han extraído fundamentalmente, del artículo de José Antonio Alonso, “El desarrollocomo proceso abierto al aprendizaje”, publicado en The european journal of development research, 2004, y en las conclusionessobre las particularidades del sistema de ayuda que condicionan su evaluación alcanzadas en la mesa de expertos celebradaen Madrid el 20 de abril de 2006 para orientar la revisión de la Metodología de Evaluación de la Cooperación Española, pro-yecto en el que he trabajado en el marco de un Convenio firmado entre la Dirección General de Planificación y Evaluación delMinisterio de Asuntos Exteriores y el Instituto de Desarrollo Regional, Fundación Universitaria. En este proyecto también hantrabajado José Luis Ouna, Juan Murciano y Juan Carlos Sanz (Universidad de Sevilla e Instituto de Desarrollo Regional) y JoséAntonio González, Belén Sanz, Miriam Arredondo y Adán Ruiz (de la DG POLDE), entre otros.


en que se desenvuelve el sistema de ayuda al des-arrollo, y que la diferencia de otras políticas, es la asi-metría de la relación entre los países desarrollados ylos países receptores, originada por el hecho de quelas decisiones sobre la ayuda se asientan principal-mente sobre la libre voluntad de los donantes. Desdeel Sur, las organizaciones locales y los beneficiariossuelen adoptar un enfoque pragmático basado en cum-plir las expectativas de donantes y asegurar la conti-nuidad de la financiación del proyecto. (Alonso, 2004).

En consecuencia, en esta red algunos actores se ca-racterizan por tener un estatus privilegiado de poder,y otros por no gozar de la legitimidad para participaren el esquema de cooperación horizontal y exigir laevaluación de la ayuda. Por ello, se plantea la nece-sidad de buscar nuevas reglas para compartir la com-petencia en la toma de decisiones entre las distintasentidades políticas, instituciones y actores que la con-forman, y, así, buscar el equilibrio de la relación, aúnmás cuando desde instancias internacionales se pro-pone una estrategia de Asociación entre donantes yreceptores como elemento clave para el éxito de la co-operación para el desarrollo.

Los esfuerzos de los Estados para el diseño de susfuturas políticas de cooperación, y de sus correspon-dientes sistemas de evaluación, deberán por tantoorientarse hacia la armonización de criterios de inter-vención, objetivos e instrumentos con el fin de contri-buir a la consolidación de un compromiso común,entre donantes y receptores, por el desarrollo y la erra-dicación de la pobreza.

Como señala el Comité de Ayuda al Desarrollo (CAD),por necesidades de eficiencia, la ayuda precisaba unacolaboración con las autoridades centrales; ahora, escada vez más patente la importancia que cobran laparticipación de las poblaciones locales en su propiodesarrollo y la apropiación de las estrategias de des-arrollo para la consecución de los objetivos socioeco-nómicos. El CAD propone la asociación “como elmedio más adecuado para abordar los nuevos y com-plejos problemas de desarrollo”, lo que implica que las

poblaciones locales participen en el establecimiento delas estrategias de la cooperación, mediante un diálogoabierto entre las autoridades locales y la sociedad civily con los socios exteriores. (MAE 2000: 66 y ss).

Por todo lo anterior, la evaluación de las interrelacionesexistentes entre las intervenciones de cooperación, dela política exterior en general y de las políticas de des-arrollo locales, que afectan a un territorio, sector o co-lectivo, se convierte en una tarea insoslayable. Aúnmás cuando el beneficiario de la política, como apun-tábamos en otro artículo, no concibe a los programascomo unidades de programación independientes,sino como una pieza más del mosaico político.(Osuna, Vélez, Cirera y Murciano, 2006).

En este contexto no parece que sea muy oportunoaplicar un enfoque positivista de evaluación. Por elcontrario, dadas las características de la política decooperación al desarrollo y las exigencias y recomen-daciones del CAD hacia la asociación, el alineamiento,la armonización de criterios y la búsqueda de la apro-piación de las estrategias como elementos clave parael desarrollo socioeconómico, parece mucho más per-tinente aplicar un enfoque de evaluación basado en laparticipación, más acorde con el paradigma construc-tivista y con la denominada, por las autoras ameri-canas, evaluación de cuarta generación que se centreen la aplicación de una aproximación evaluativa:

Libre de objetivos, que se base en la teoría de losprogramas y políticas. “La negación de ciertosefectos no esperados –el impacto en colectivosque no sean el grupo meta- puede ser coherenteen organizaciones que sólo se preocupan por símismas, pero es cuestionable en proyectos pú-blicos”. (Gasper, 1999).

Que haga énfasis en los procesos y no sólo en losresultados.

Orientada hacia el aprendizaje y la apropiación(evaluación formativa), y que permita valorar sucontribución a los procesos de gobernanza y em-

163


ESTUDIOS



poderamiento de las organizaciones y territorios delos países receptores.

Que de respuestas satisfactorias a cuestiones rela-cionadas con la interacción de los elementos y es-tructuras de la red, aplicando para ello una aproxi-mación pluralista y enfoques participativos.

Que contemple y se inserte y contemple en el con-texto político y cultural de las intervenciones a evaluar.

Aún así, no existe un modelo único y universal quepermita evaluar, sin riesgos, un sistema tan complejo.Sin embargo, la comprensión de la realidad de la co-operación al desarrollo debe servir al menos paraacotar la realidad objeto de evaluación, identificandosus principales dimensiones.

LA SUPREMACÍA DEL ENFOQUE DEL MARCOLÓGICO, EN CUESTIÓN

En el campo de la cooperación para el desarrollo, laorientación positivista de la evaluación ha sido la tó-nica dominante, relegando a la evaluación de pro-cesos un papel secundario. Esto ha venido acrecen-tado por la aplicación de técnicas como la Gestión delCiclo del Proyecto y el Enfoque del Marco Lógico(EML), referente común para la planificación y evalua-ción de las actuaciones y para la representación de lateoría del programa implícita en un proyecto.

Si bien la aplicación del EML resulta útil en planifica-ción, como instrumento para la evaluación presenta al-

gunas limitaciones, sobre todo en situaciones com-plejas, donde existe una multiplicidad de agentes condiferentes intereses, lo que conlleva a la existencia deobjetivos múltiples, en ocasiones implícitos, y resul-tados no esperados21.

Es la matriz de planificación la base para la evaluación,donde los objetivos y resultados se traducen en indica-dores cuantitativos, sobre la base de un conjunto de su-puestos sobre las relaciones causales entre los obje-tivos, resultados, actividades e insumos, lo que posibi-lita su jerarquización. Es, en definitiva, el documentoque recoge el diseño del proyecto, la teoría del pro-grama. Como apunta Gasper (1999), pueden utilizarse“para ayudar a los planificadores a que consideren máscuidadosamente los modelos normativos y positivos decambio, aunque no sin herramientas complementarias”.

En la lógica vertical se presupone que si los recursosestán disponibles se podrán realizar las actividadesprogramadas, lo que debe producir los resultados es-perados, contribuyendo de este modo al logro del ob-jetivo específico previsto. A largo plazo, ello facilitaráel cumplimiento del objetivo global. La lógica hori-zontal se dedica a la elaboración de indicadores bajoel supuesto de que los fines son claros y las condi-ciones estables.

A pesar de que el EML fomenta el análisis de las inter-conexiones y los supuestos, distinguiendo niveles y je-rarquías entre objetivos, al plantearlos y considerarlosde manera excesivamente simplificada y rígida, esta-blece las relaciones causales como una secuencia li-neal, alejada en ocasiones de la realidad, donde nosuelen darse relaciones lineales entre los elementos de



164

ESTUDIOS

21 Gasper, sobre la base de un trabajo de Gosling y Edwards (1995: 117, citado en Gasper, 1999), reflexiona acerca de la per-tinencia de la utilización de las matrices de planificación en la evaluación de la ayuda de emergencia, concluyendo que la es-casez de tiempo, la ausencia de información fiable, las condiciones rápidamente cambiantes, la complicada relación entre losobjetivos de corto y largo plazo, la necesaria coordinación con un gran número y variedad de organizaciones diversas, los pro-blemas de comunicación y acceso, la escasez de personal, el trabajo en zonas cuya soberanía se encuentra en disputa, y élénfasis de la metodología en los resultados esperados, condiciona su uso en estos casos. Y ello sobre todo porque “la matrizdel EML precisa una trayectoria de más largo plazo, consenso sobre los objetivos y precisión sobre los efectos”, que en situa-ciones de emergencia compleja no se dan, por lo que no puede aplicarse un modelo lineal de predicción del cambio.


un nivel y los del siguiente. Un resultado puede requerirvarias actividades, y una actividad puede contribuir ala consecución de varios resultados, estando todo ellofuertemente condicionado por la influencia del con-texto. Como apunta Gasper, “la verdad es tan discu-tible, los actores y factores tan diversos y co-determi-nantes, que los juicios fidedignos sobre las relacionesde causa-efecto son muchas veces inalcanzables”.

El EML es útil para representar la teoría del programabajo el supuesto de que las relaciones causales quese dan se deben a la actuación de un actor o de unconjunto de actores, pero es necesario considerar laposición de cada actor en la cadena. Davies, R. iden-tifica al menos cinco tipos diferentes de actores quepueden relacionarse con una posición diferente en lacadena lógica representada por el EML: la organiza-ción responsable de ejecutar el programa, los socioscontrapartes de la organización responsable (sociosfrontera), los clientes finales o beneficiarios, los inter-mediarios y otros actores. (Davies, 2005). Además,al igual que existe una red de actores, existe una redde indicadores interconectados, que en el EML noaparecen relacionados, al menos para cada nivel.

Otro de sus principales inconvenientes es su excesivaorientación a la rendición de cuenta y a la determina-ción del grado de cumplimiento de los objetivos pre-diseñados en distintos niveles, en detrimento de unareflexión cualitativa sobre los procesos (Rodríguez-Carmona Velasco, 1999). Además, el EML “parece su-bestimar la consecución de objetivos de alto nivel porcaminos no planificados y los efectos no previstos”(Gasper, 1999), no considerando de este modo aque-llos efectos no esperados. Ello hace que no sea unatécnica adecuada en las evaluaciones libres de obje-tivos, donde los caminos no previstos y los efectos in-esperados son importantes.

Pese a todas estas limitaciones, el EML es el modeloimpuesto por la mayoría de organismos donantes, de-bido fundamentalmente a que su orientación sumativasatisface las necesidades de los donantes, quienesexigen su aplicación en las solicitudes de subven-

ciones públicas. Ello ha permitido que las ONG finan-cieras del Norte hayan adquirido un importante rol enla cadena de la ayuda, encargándose de formular laspropuestas en términos de marco lógico y atendiendolas exigencias de seguimiento y evaluación, supliendoasí la ausencia de capacidad para ello por parte delas organizaciones de base. En opinión de Rodríguez-Carmona, el EML “más que una metodología de eva-luación, constituye, en el fondo, un proceso de norma-lización de procedimientos de gestión de los pro-yectos”. (Rodríguez-Carmona, 1999).

Además, como señala este autor, no es una metodo-logía centrada en el análisis de capacidades, sino enel análisis de los problemas, sobre la base de unas re-laciones causa-efecto que no tienen por qué darse entodas las culturas.

Por otra parte, su concentración en resultados tiendea negar la importancia de construir redes de rela-ciones con otros actores de la cooperación, relegandoa un segundo plano aquellos objetivos relacionadoscon el fortalecimiento institucional de los receptoresde la ayuda al desarrollo. (Gasper, 1999).

Sin embargo, a pesar de todo lo expuesto, no deberestársele importancia a la aplicación de esta técnicapara la creación de una cultura de la planificación enel seno de las agencias de desarrollo, ni su utilidadpara la evaluación de proyectos cuando se consideracomplementariamente con otras herramientas de eva-luación y no como instrumento predominante.

En la segunda mitad de los años 90, y como res-puesta a las nuevas cuestiones de evaluación y encoherencia con el cambio de paradigma, ha surgidocon fuerza el discurso de la evaluación participativa.Entre las metodologías participativas aplicadas en laevaluación de las intervenciones de evaluación se en-cuentran el Monitoreo y Evaluación Participativa(MEP), el Marco de Desarrollo de Base (MDB) y la sis-tematización de experiencias. De éstas, tal vez la másinteresante, por su énfasis en el análisis de los pro-cesos y en la reconstrucción de experiencias sea la

165


ESTUDIOS



última, que consiste en la “interpretación crítica deuna o varias experiencias, que, a partir de su ordena-miento y reconstrucción, descubre o explicita la lógicadel proceso vivido, los factores que han intervenidoen dicho proceso, cómo se han relacionado entre síy por qué lo han hecho de ese modo”. (Jara, O. 1994,citado en Rodríguez-Carmona Velasco, 1999)22. Setrata, en definitiva, de aproximarse a la lógica del pro-grama a través de la experiencia de los actores impli-cados en él.

La evaluación de la ayuda al desarrollo, utilizando téc-nicas cualitativas y participativas, e integrando crite-rios que complementen a los clásicos de resultados eimpactos, como pueden ser la participación local y laalineación y coherencia con otras políticas23, puedegarantizar la eficacia de la ayuda y contribuir a la apro-piación de las estrategias de desarrollo y al fortaleci-miento de la sociedad civil de los países receptores24.La evaluación, si tiene el propósito de fortalecer la ca-pacidad del sistema democrático de generar condi-ciones de inclusión social, no puede ser entendidasimplemente como evaluación de eficacia y / o controlen el ámbito de la gestión pública (Cirera y Amaya,2007). Se debe huir de una concepción retrospectivade la evaluación, para entenderla como una filosofíaque debe imbuir la planificación de la política de coo-peración al desarrollo e integrarse en el ciclo político.

Para ello deben buscarse técnicas que permitan ana-lizar y evaluar las relaciones entre instituciones, ac-

tores, políticas, beneficiarios y territorios, tema al quededicaremos el epígrafe siguiente.

LA CONCEPCIÓN RETICULAR EN LA EVALUACIÓNDE LA POLÍTICA DE COOPERACIÓN AL DESARROLLO:PRIMERAS REFLEXIONES

Como una de las posibles alternativas a la utilizaciónde técnicas de evaluación acordes con en el para-digma positivista, se propone la aplicación de un en-foque de red para evaluar la ayuda al desarrollo. Conello se pretende contribuir a identificar las conexionesentre los distintos actores, para poder analizar adecua-damente el éxito y bondad de la intervención pública,así como el grado de desarrollo institucional y la ca-pacidad que tienen los agentes para resolver sus con-flictos e interrelacionarse.

La aplicación de este enfoque se basa en la concep-ción de la política de cooperación como una red depolíticas y programas25. Las políticas de cooperaciónsurgen de la interacción entre las diferentes organiza-ciones gubernamentales de los países donantes y re-ceptores de ayuda (local, regional o nacional) y unared de organizaciones de otro tipo (principalmente or-ganizaciones no gubernamentales tanto en los paísesdonantes como en los receptores). Esta forma de en-tender la formación y evaluación de las políticas pú-blicas es una nueva forma de gobernanza en materia



166

ESTUDIOS

22 Rodríguez-Carmona señala los siguientes pasos y elementos en la aplicación de este método de trabajo: Definición del ob-jetivo y ejes de la sistematización; Registro y ordenamiento de la información; Reconstrucción del proceso vivido (identificaciónde momentos clave); Participación de los actores locales; Visualización de procesos; Análisis, síntesis e interpretación críticadel proceso; Conceptualización de la práctica; Aprendizaje y generación de nuevos conocimientos; Difusión del aprendizaje; yEmpoderamiento local.

23 La Declaración de París para la Eficacia de la Ayuda estableció los criterios de alineamiento, armonización, apropiación,orientación a resultados y mutua rendición de cuentas.

24 “Padaki (1995), Honadle y Cooper (1990) y Marsden y Oakley (1990) son ejemplos de autores que sistemáticamente basansus recomendaciones para la evaluación de programas de desarrollo, no tanto en los productos y la provisión de servicios enel corto plazo, cuanto en los impactos sobre la capacidad y, por lo tanto, la adaptabilidad y viabilidad, incluyendo los efectossobre los comportamientos, capacidades, confianza y modos de trabajo, así como el fortalecimiento de organizaciones e ins-tituciones”. Gasper, Des (1999).

25 Para un mayor detalle sobre el concepto de “policy network” véase Zurbriggen C.


de cooperación, una manera de reconocer que las po-líticas de ayuda al desarrollo deben surgir de la inter-acción entre los principales actores de la cooperacióncomo única vía para garantizar la apropiación de losprocesos de desarrollo.

Como afirma González Laxe, “el nuevo concepto degobernanza ha servido de orientación para las re-formas de los Estados y para afianzar la cooperaciónpara el desarrollo durante los procesos de ajuste es-tructural” (González Laxe 2006)26. Por tanto, garantizarlas condiciones para la buena gobernanza y parasentar las bases de la gobernabilidad, son condi-ciones imprescindibles a considerar en la evaluaciónde la ayuda al desarrollo.

Teniendo en cuenta lo anterior y dadas las rigideces delEnfoque del Marco Lógico para modelizar las com-plejas relaciones que se dan en la realidad, a lo largode los últimos 10 años se han ido aplicando y desarro-llando nuevos métodos basados en el análisis de redessociales para analizar el entramado de relaciones exis-tentes en torno a un programa de actuación y para re-presentar la llamada teoría del programa, utilizando demanera complementaria el mapeo de estrategias pararecoger los elementos principales de las hipótesis cau-sales que subyacen en las políticas de cooperación.

Ahora bien, no existe en la actualidad un único mé-todo o aproximación que haya podido superar la su-premacía del Enfoque del Marco Lógico. Como afirmaDavies, R. J. (2005), existe un conjunto de enfoquesque en ocasiones comparten contenidos y perspec-tivas, de modo que puede hablarse de una aproxima-ción modular de la representación de teorías del

cambio, que proporcionan las bases para su aplica-ción en circunstancias específicas.

Frente a la existencia de una única relación lineal, talcomo se presupone en la aplicación del EML, Daviespropone la existencia de al menos tres perspectivas re-lacionadas de redes, centradas cada una en un conjuntodiferente de relaciones que tienen lugar a escala distinta:

En la organización encargada de implementar elprograma. El análisis de redes puede centrarse enlas relaciones entre los miembros de la organiza-ción (normalmente de carácter contractual laboral),entre los recursos, actividades, resultados y obje-tivos de la organización. A esta red la denominaRed Interna.

Entre la organización encargada de la implementa-ción del programa y los socios inmediatos con losque interactúa (que ejercen un papel de interme-diarios con los beneficiarios finales). El análisis deredes puede centrarse en este caso en la valora-ción de la naturaleza de las relaciones entre la or-ganización y los actores externos. Esto puede lla-marse Red Frontera (boundary network). Aquí lasrelaciones entre los actores es más compleja y nosiempre es explícita.

Entre todos aquellos actores con los que la orga-nización encargada de la implementación no tienerelaciones directas si no es a través de los inter-mediarios. Red Externa (outer network). En estetipo de red se trata de descubrir, entre otras cues-tiones, cuál es la tipología de relaciones, cuáles losobjetivos compartidos.

167


ESTUDIOS


26 Este autor recoge las cuatro dimensiones que para C. von Haldenwang que caracterizan a este nuevo concepto de gober-nanza: gobernanza económica, esto es, regular un orden económico de mercado, competitivo y no discriminatorio, que debefavorecer el crecimiento económico; gobernanza política, por medio de normas que instrumenten la participación de institu-ciones políticas, democráticas, legítimas, pluralistas y accesibles; gobernanza administrativa, mediante la cual se debe contarcon una administración pública eficiente, transparente, independiente y responsable; y gobernanza sistémica, por la que laspropias instituciones protegen los valores culturales, garantizan la libertad y la seguridad, y contribuyen a promover la igualdadde oportunidades. (C. von Haldenwang 2005, citado en González Laxe 2006).


En línea con el modelo de Marsh y Rhodes sobre lasredes de políticas, se debe prestar atención a las pe-culiaridades de las instituciones políticas, como los di-versos organismos del gobierno central o el ejecutivo,como factor necesario para entender la naturaleza delas relaciones entre los actores. (Marsh y Rhodes,1992, citado en Zurbriggen C.).

El seguimiento y la evaluación dependerán de lostipos de red existentes puesto que las cuestiones re-levantes serán distintas para cada tipo de red. Algunasde las consideraciones principales para el seguimientoy la evaluación son las siguientes:

Los objetivos deben ser considerados comoacuerdos sobre los objetivos, fundamentalmente enredes donde la toma de decisiones no está centra-lizada y existe un alto nivel de negociación sobreprioridades y objetivos.

Los actores son fuentes de información para de-tectar las diferencias de opinión y sus efectos. Esimportante determinar quién tiene y suministra la in-formación y quién tiene conocimiento sobre la es-trategia a seguir y los cambios deseados. Se debebuscar una mayor participación en el proceso deevaluación, otorgando mayor capacidad de controly refllexión.

Es necesario considerar que el rol de los actorespuede cambiar a lo largo del tiempo, es decir, quelas redes no son estables sino dinámicas, y puededarse un continuo trasiego de actores de un tipo dered a otra.

Como anunciábamos en el título del epígrafe, estasson unas primeras reflexiones sobre los enfoquespara la evaluación de la Política de Cooperación,donde la aplicación de una concepción reticular de lapolítica y la aplicación de técnicas que permitan, porun lado, analizar las relaciones entre las instituciones,entre los actores y entre los programas y políticas y,por otro, pasar de recopilar información de los bene-ficiarios sobre resultados a construir información

sobre los procesos vividos, pueda contribuir al enten-dimiento de la realidad de las interacciones que seproducen entre la política de ayuda al desarrollo y losimpactos que provoca, no sólo de carácter econó-mico, sino institucional relacionados con el fortaleci-miento de las capacidades de desarrollo de los pa-íses receptores de la ayuda y el desarrollo de nuevosmecanismos institucionales de gestión, seguimientoy evaluación propios.

5 BIBLIOGRAFÍA

Alonso, J.A. (2004). “El desarrollo como procesoabierto al aprendizaje”, en The european journal of de-velopment research.

Ballar, X (1992). ¿Cómo evaluar programas y servi-cios públicos? Aproximación sistemática y estudios decaso. Ministerio para las Administraciones Públicas,Madrid.

Bemelmans-Videc, M.L., B. Eriksen, y E.N.Goldenberg (1994). “Facilitating OrganizacionalLearning: Human Resource Management and ProgramEvaluation”. En F.L. Leeuw,, R.C. Rist, y R.C. Sonnichsen(eds.). Can Governments Learn? ComparativePerspectivas on Evaluation and OrganizacionalLearning. Páginas 145-87. Transaction Publishers. NewBrunswick.

Blaug, M. (1985): La metodología de la economía.Alianza Editorial, Madrid.

Boyle R. y Donald Lemaire (Edit.) (1999). BuildingEffective Evaluation Capacity. Lessons frompractice.Transaction Publishers, New Brunswick.

Bustelo Ruesta, M. (1999). “Diferencias entre eva-luación e investigación: una distinción necesaria parala identidad de la evaluación de programas”. EnRevista Española de Desarrrollo y Cooperación nº 4.Madrid. Páginas 9 a 29.



168

ESTUDIOS


Bustelo Ruesta, M. (2004). La evaluación de las po-líticas públicas de igualdad de género de los go-biernos central y autonómicos en España: 1995-1999.Tesis Doctoral, Universidad Complutense de Madrid.Defendida con fecha 2001. En línea:http://www.ucm.es/BUCM/tesis/cps/ucm-t25225.pdf

Cirera, A. y Amaya, P (2007). “Evaluación: la com-plejidad de su realidad pendular entre la política y laadministración”. En fase de publicación.

Davies, Rick (2004). “Scale, Complexity and theRepresentation of Theories of Change” en Evaluation.Enero 2004; 10: 101 – 121.

Díez López, M.A. (2001). La evaluación de la polí-tica regional: propuestas para evaluar las nuevas po-líticas regionales. Serie Tesis Doctorales. Universidaddel País Vasco.

García García, J.T. (2003). Desarrollo, diversificacióny construcción de modelos de evaluación: estrategiasreflexivas de afrontamiento desde la investigación so-cial aplicada. Tesis de Doctorado. Facultad deCiencias Económicas y Empresariales. Universidad deAlicante. Biblioteca Virtual Miguel de Cervantes.http://descargas.cervantesvirtual.com/servlet/SirveObras/01372719777915515312802/011816.pdf.

Gasper, D. (1999). “El Enfoque del Marco Lógicomás allá de los proyectos: el seguimiento y la evalua-ción de la ayuda humanitaria en emergencias com-plejas”. En Revista Española de Desarrrollo yCooperación nº 4. Madrid. Páginas 9 a 29.

Gasper, D. (2000). Evaluating the ´LogicalFramework Approach´. Towards Learning-orientedDevelopment Evaluation. Public Administration andDevelopment 20 (1), 17-28.

González Laxe, F. (2006). De la “performance” a laevaluación de las políticas públicas: primeras notas re-flexivas. En fase de publicación.

Guba, E.G. y Lincoln, Y.S. (1989). Fourth GenerationEvaluation. Sage Publications. Newbury Park,California.

House, E.R. (1993). Professional evaluation: socialimpact and political consequences. Sage Publications.Newbury Park, California.

Ministerio de Asuntos Exteriores. (2000). “El Comitéde Ayuda al Desarrollo de la Organización para laCooperación y el Desarrollo Económicos: Doctrina yActividades”. Secretaría de Estado para la CooperaciónInternacional y para Iberoamérica. Madrid.

Ministerio de Asuntos Exteriores (2005). PlanDirector de la Cooperación Española 2005-2008.Secretaría de Estado para la CooperaciónInternacional y para Iberoamérica. Madrid.

Ministerio de Asuntos Exteriores (2006). Plan Anualde Cooperación Internacional (PACI 2006). Secretaríade Estado para la Cooperación Internacional y paraIberoamérica. Madrid.

Ormerod, P. (1995). Por una nueva economía.Anagrama. Barcelona. España.

Osuna J.L. y C. Márquez (Dir.) y A. Cirera y C. Vélez(2000). Guía para la evaluación de políticas públicas.Instituto de Desarrollo Regional. Sevilla.

Osuna, J.L., C. Vélez, A. Cirera y J. Murciano (2006).“Programación y Evaluación Pública: un triángulocomplejo”. En Ekonomiaz, Revista Vasca deEconomía, nº 60. Páginas 76 a 97. Servicio Central dePublicaciones del Gobierno Vaso. Viztoria-Gasteiz.

Patton (1997). Utilization-Focused Evaluation.Tercera edición. Sage Publications. Newbury Park,California.

Patton, M.Q. (1990). Qualitative evaluation and re-search methods. Segunda edición. Sage Publications.Newbury Park, California.

169


ESTUDIOS



Pazos, M. y E. Zapico-Goñi (2002). “Program eva-luation in Spain: Taking Off at the Edge of the Twenty-First Century?”. En Furubo, J.E., R. Rist y R. Sandahl(eds.) (2002). International Atlas of Evaluation. Páginas201-306. Transaction Publishers. New Brunswick.

Peters, G.B. (1998). “El surgimiento, declive y resur-gimiento de la evaluación de políticas públicas en elgobierno americano”, en Gestión y Análisis dePolíticas Públicas, nº 11/12, páginas 12-28.

Rodríguez-Carmona Velasco, A. (1999). “El pro-blema de la evaluación en las ONG. Los enfoques al-ternativos de sistematización: un caso práctico enBolivia”. En Revista Española de Desarrollo yCooperación nº 4. Madrid. Páginas 83-101.

Shadish, W.J., Cook, T.D. y Levinton L. C. (1991).Foundations of Program Evaluation. Theories ofPractice. Sage Publications. Newbury Park, California.

Stufflebeam, D.L. y A. J. Shinkfield (2005).Evaluación sistemática. Guía teórica y práctica. Temasde educación, 4. Paidós. Ministerio de Educación yCiencia. Barcelona.

Vedung, E. (1997). Evaluación de Políticas Públicasy Programas. Madrid: Ministerio de Trabajo y AsuntosSociales. Instituto Nacional de Servicios Sociales.

Vélez, C. (2000). “La evaluación de las políticas pú-blicas en Andalucía: una realidad en proceso de gesta-ción”. En Cuadernos Económicos de Granada nº 11:Estrategia y tácticas de desarrollo regional y conver-gencia económica: urbanismo, coyuntura inmobiliaria ysistema financiero. Enero del año 2000. Páginas 53-68.

Vélez, C. (2006). “La evaluación: un nuevo yaci-miento de empleo” en E-valuación, Revista de laSociedad Española de Evaluación, nº 3, diciembre.Sevilla.

Vélez, C. (2006). Spain: Sociedad Española deEvaluación (SEE) en Segone, M. y Ocampo, A. (Edit.).

Creating and developing evaluation organizations: les-sons learned from Africa, Americas, Asia, Australasiaand Europe. Perú, DESCO-UNICEF y en línea:ht tp: / /www. ioce.net/download/case_studies/IOCE_EvalOrgPack_Jan2007.pdf

Vélez, C. (2006). Enfoques para la evaluación de laPolítica de Cooperación: una primera reflexión.Ponencia presentada en el XI Congreso Internacionaldel CLAD sobre la Reforma del Estado y de laAdministración Pública celebrado en la Ciudad deGuatemala (Guatemala), 7 - 10 de noviembre de 2006.En línea: http://www.clad.org.ve/siare/biblo/biblo_a.html

Weiss, C. (1991). Investigación evaluativa: métodosparla determinar la eficiencia de los programas de ac-ción. Trillas. México.

Zurbriggen C. “Las redes de políticas públicas. Unarevisión teórica”. Colección de documentos. En líneahttp://iigov.org/documentos/?p=1_0105 (2 julio 2006 )

Viñas, V. (2005). “Satisfacción del cliente, calidad yevaluación: un análisis crítico”. En Revista del CLAD.Reforma y Democracia, 32, 159-182



170

ESTUDIOS


Date post:	24-Sep-2018
Category:	Documents
Upload:	trandan
View:	217 times
Download:	0 times

EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE … · 1 origen e historia de la evaluaciÓn / origin and...

Documents