RESUMEN

Este trabajo realiza una caracterización global del desempeño de los programas públicos llevados a cabo en Chile para el período 1997-2018, los cuales corresponden a una evaluación ex post asociada a la línea de Evaluación de Programas Gubernamentales (EPG) que lleva adelante la Dirección de Presupuestos (Dipres) del Ministerio de Hacienda. Se identifican los aspectos críticos asociados a su gestión e implementación de acuerdo con los informes realizados por los paneles de expertos independientes que llevan a cabo las evaluaciones en forma anual. En particular, se hace un análisis de caso de los programas diseñados e implementados para las áreas de Seguridad y Salud para el período 2011-2018 en consideración de su relevancia en la agenda pública.

Finalmente, y sobre la base de los resultados del estudio, se proponen algunos lineamientos orientados a avanzar en un modelo evaluativo de programas gubernamentales de carácter mixto, con énfasis en metodologías cualitativas que permita potenciar una evaluación en profundidad / interpretativa.

ABSTRACT

This work carries out a global characterization of public program outcomes in Chile during 1997-2018, which correspond to an ex post evaluation of Government Program Evaluation (Evaluación de Programas Gubernamentales, EPG) reports carried out by the Budget Bureau (Dirección de Presupuestos, DIPRES), a division of the Treasury Ministry of Chile. Critical features associated with measures of management and implementation are identified, according to reports made by independent expert’s panels at an annual basis. Particularly, considering its gravitas within the public agenda, a case study analysis of programs designed and implemented on Health and Security during 2011-2018 is also carried out.

Finally, and based upon the findings of the analysis, general lineaments are proposed in order to proceed towards a mix model of government program evaluation, emphasizing qualitative methods that allows us to grow the depth and interpretation of such evaluations.

INTRODUCCIÓN

La confianza que logra tener la ciudadanía de un gobierno se asocia en forma significativa a las capacidades que demuestre este para brindar bienes y servicios de calidad que aseguren bienestar social. La eficiencia en el uso de los recursos públicos es un factor clave para el desarrollo social de los países que obliga a avanzar en gobiernos abiertos, trasparentes, con una rendición de cuentas permanentes hacia la ciudadanía que permita derribar la corrupción, la opacidad e ineficiencia de la gestión pública.

Si el gasto público adolece de eficiencia asignativa, solo se reproducirán presupuestos con estándares históricos, y no donde sería más útil y pertinente la inversión de dichos recursos. La eficiencia asignativa prioriza entre partidas de gasto alternativas, basándose en la evidencia y asigna el gasto a programas con tasas de retorno más altas (BID, 2018).

Lo fundamental es sostener que no se trata solo de eficiencia, también es fundamental abordar la evaluación del gasto público desde cómo este puede actuar como generador de equidad social. Vale decir, las reales posibilidades del gasto fiscal de gatillar condiciones redistributivas en la sociedad latinoamericana, y que permita desplegar un enfoque de derechos, especialmente en lo que dice relación con la igualdad de oportunidades (Cecchini, Filgueira, Martínez y Rossel, 2015). Ello es particularmente relevante, dado que en América Latina las políticas impositivas y de gasto público reducen la desigualdad en alrededor de un 5%, en las economías avanzadas la reducción es de un 38%.

Considerando que en la Región cerca del 30% del gasto público se asocia, entre otros, a transferencias condicionadas y programas sociales, resulta de vital importancia abordar los impactos de la eficiencia económica de estas intervenciones cuando existe, por ejemplo, corrupción, problemas serios en el diseño de los programas, focalización del gasto inadecuada, dificultades de implementación de los programas y, por cierto, baja capacidad gubernamental para lograr efectividad en el logro de bienestar social de tales iniciativas.

En este sentido, Stolk y Tesliuc (2010) plantean que las deficiencias en los procesos de asignación de recursos por vía de programas de protección social en países en desarrollo son importantes debido a la limitada capacidad administrativa, y a la ausencia de estrategias adecuadas de monitoreo y basadas en la evidencia para abordar los problemas.

Por tanto, la legitimidad de los gobiernos no se puede solo sustentar en su naturaleza democrática, también deben demostrar capacidad técnica para resolver cuestiones esenciales del bienestar de la población y, por ende, su propia eficiencia y eficacia es clave para la democratización y gobernabilidad social (Becerra, 2015).

Aunque frecuentemente se escuchan declaraciones respecto de la necesidad de evaluar los resultados de las políticas aplicadas, estas evaluaciones no suelen tener consecuencias importantes para los políticos y demás decisores públicos. Por esta razón, la evaluación de políticas y programas públicos es un asunto pendiente en varios países de América Latina (Freigedo et al., 2017).

Estudios recientes señalan que, en el caso del componente de evaluación de la gestión gubernamental en países de América Latina, se han registrado algunos avances –particularmente en el diseño de instituciones– que cumplan este rol y en lo que respecta a la elaboración de normativas, pero los avances en la realización y el uso de evaluaciones sigue siendo muy tenue (Kaufmann et al., 2015).

Si bien la región presenta experiencias heterogéneas de despliegue y madurez de sistemas evaluativos para sus intervenciones públicas, se constatan logros evaluativos en algunos o varios de los componentes de las tipologías de evaluación que se han diseñado para tales efectos.

Por tanto, las políticas públicas políticas –entendidas como el conjunto de decisiones y acciones racionales del gobierno para dar solución bajo una normativa definida, a diversos problemas públicos suscitados por las necesidades de las personas (Mballa, 2015)– al estar orientadas a maximizar el bienestar social y que ello involucra una cuantiosa destinación de recursos con altos costos de oportunidad, es fundamental que se sometan a evaluaciones rigurosas de costo/efectividad. De tal forma se va asegurando procesos de accountability de la función pública y se potencia el control ciudadano de las intervenciones estatales (Cruz, 2017).

Particularmente en Chile, durante las últimas tres décadas se ha desarrollado un amplio sistema de monitoreo y evaluación con una amplia cobertura vinculado con la gestión del presupuesto –con énfasis en el performance measurement– impulsado desde arriba hacia abajo, desde el Ministerio de Hacienda (MH), y más concretamente desde la División de Control de Gestión de la Dirección de Presupuestos (Dipres) (Lázaro, 2015).

La monitorización del rendimiento o performance measurement se desarrolla especialmente a partir de las reformas de gestión pública que se gestaron en el marco de la llamada Nueva Gestión Pública y del enfoque de Gestión para Resultados.

Las evaluaciones que ha llevado adelante la Dipres tienen varias líneas en las que varían los objetivos, el enfoque y la metodología a implementar: Evaluación de programas gubernamentales, Evaluación de impacto, Evaluación del gasto institucional, Evaluación de programas nuevos, Evaluación focalizada en ámbito (Dipres, 2015).

Desde 1997 este organismo público viene desplegando el sistema del Programa de Evaluaciones Gubernamentales (PEG), con un enfoque de evaluaciones de escritorio que siguen el modelo de análisis del marco lógico. En 2001 se incorporó un componente de evaluaciones de impacto retrospectivas. En 2009 se añadieron las Evaluaciones de programas nuevos, que son evaluaciones de impacto que se diseñan de forma prospectiva, desde el inicio de los programas, aplicando en lo posible métodos experimentales (Lázaro, 2015).

La experiencia evaluativa de programas gubernamentales llevadas a cabo en Chile ha sido bien ponderada por diversas instituciones internacionales y académicas. Se destaca su contribución a la toma de decisiones presupuestarias, mejoramiento de la gestión y la rendición de cuentas; aportando, de esta forma, al mejoramiento de la eficacia y eficiencia del gasto público.

Sin embargo, luego de más de 20 años de haber sistematizado y desplegado prácticas evaluativas de programas públicos, se observan déficits de capacidades gubernamentales para evaluar sus intervenciones. Al respecto, Irarrázaval y de los Ríos (2014, p. 9) afirman que:

Existe una alta fragmentación institucional del Estado en Chile, lo que promueve la existencia de políticas y programas que no necesariamente se coordinan y que, por tanto, dificultan o tornan más complejo el monitoreo y la evaluación; de igual forma –afirman– la centralización ha generado una distancia excesiva entre las decisiones de política, por una parte, y los ciudadanos y los beneficiarios de los programas por la otra, lo que ha producido una muy baja participación y apropiación de los resultados y usos de la información por parte de los ejecutores de los programas y los tomadores de decisión.

Del mismo modo, los indicadores de desempeño de los programas evaluados no han sido del todo satisfactorios, según se reporta en algunos trabajos, particularmente cuando se conocen los resultados cada año y son presentados por la autoridad política a la discusión presupuestaria al Parlamento.

Desde distintos ámbitos se ha venido escuchando la necesidad de evaluar el sistema de evaluación de programas gubernamentales. Las observaciones que se han hecho van en la dirección de relevar cierto sesgo economicista, los criterios políticos que inciden en la selección de programas, las duda en torno a si la evaluación tiene efectos reales en la continuidad de los programas de bajo rendimiento, entre otros. A nosotros nos parece que la información de desempeño y las caracterizaciones que de la información disponible se pueden derivar y, por cierto desde la experiencia de participación en dicha modalidad evaluativa por uno de los autores, puede aportar pistas en torno al sistema mismo de la evaluación, vale decir, en torno al sistema sus procesos y metodologías, como también en torno al enfoque que se ha seguido y las posibilidades de avanzar hacia enfoques que permitan complementar la visión evaluativa, por ejemplo de carácter cualitativos.

En consideración de ello, el objetivo central de este trabajo es realizar una caracterización global del desempeño de los programas evaluados en Chile desde 1997 a 2018, poniendo énfasis en tres líneas de programas de la última década; seguridad ciudadana y salud, los cuales coinciden con la percepción de la población que son áreas que requieren con urgencia resultados altamente efectivos y de calidad. De igual forma, partir de las evidencias generadas abrir algunas líneas de discusión y generar algunos que permitan poner en perspectiva los límites y posibilidades del desempeño de los programas públicos en Chile, tanto en sus procesos como enfoque metodológico¹.

Este estudio se organizó y operacionalizó en función de los siguientes objetivos específicos:

Describir el desempeño de los programas de la línea EPG para el período 1997-2018.

a. Identificar el grado de desempeño global de los programas evaluados sobre la base de los resultados de sus indicadores (eficiencia, eficacia, calidad, economía).

b. Analizar y caracterizar el desempeño de programas sociales asociados a los sectores de seguridad ciudadana y salud pública para el período 2011-2018.

c. Identificar nudos de gestión y limites metodológicos a asociados al proceso evaluativo de escritorio y proponer algunas consideraciones respecto a avanzar hacia metodologías de complementariedad, particularmente desde un enfoque cualitativo-interpretativo.

1. REVISIÓN TEÓRICA

La literatura especializada señala el proceso evaluativo como un procedimiento de análisis clave para cualquier esfuerzo intelectual o práctico. La evaluación, al ser un proceso de aplicación general a través del cual se determina el valor y mérito de las cosas, puede ser implementada en diversas áreas de estudio social. Este proceso se aplica con especial interés a las intervenciones gubernamentales planificadas política o administrativamente, las que son ejecutadas por medio de la implementación de políticas y programas públicos, y de la provisión de servicios públicos (Vedung, 2017).

Albi (2000), plantea que las políticas públicas tienen procedimientos de aplicación complejos y plantean dificultades políticas, económicas y burocráticas. Para Theodoulou y Kofinis (2004), el principal objetivo de la evaluación es obtener información sobre el desempeño de un programa o política pública, para apoyar la decisión de continuar, cambiar o terminar. En este sentido, el objetivo de la evaluación de políticas públicas es investigar si los medios político-administrativos empleados para resolver problemas sociales, efectivamente permiten alcanzar los resultados esperados y los objetivos asignados a la política en cuestión (Pinazo, 2016).

Para Kaufmann, Sanginés y García (2015, p. 22), los sistemas de monitoreo y evaluación constituyen:

El resultado de la aplicación de principios, procesos, procedimientos y prácticas operativas y administrativas para el desarrollo de un conjunto de herramientas integradas, con las cuales los gobiernos, los parlamentos, la sociedad civil, las organizaciones relacionadas con el quehacer público, los organismos multilaterales y las agencias nacionales de desarrollo, entre otros, cuentan para efectuar un seguimiento de los resultados que se dan en la implementación de las políticas públicas e iniciativas gubernamentales a través del tiempo.

Las ventajas de realizar evaluaciones de políticas y programas públicos son numerosas, así, por ejemplo, lo señala el estudio Committee for the Review Of Commonwealth/State Service Provision (2013):

a. Ayuda a definir y clarificar el cumplimiento de objetivos.

b. Hace que el desempeño sea transparente y permite que tanto ciudadanos como políticos valoren si se cumplen los objetivos de las políticas y programas a lo largo del tiempo.

c. Estimula la continua mejora del desempeño.

d. Promueve el uso eficiente de los recursos fiscales.

e. Potencia la coordinación de las políticas entre las distintas administraciones.

f. Facilita la comparación de resultados entre unidades que llevan a cabo las mismas actividades lo que incentiva la mejora del desempeño.

g. Identifica a las mejores prácticas que permite tener un marco referencial de aprendizaje.

Ciertamente la evaluación es un proceso complejo y, por tanto, no solo existe una única técnica para evaluar los programas y, de igual forma existen diversos enfoques. A ello hay que adicionar los contextos sociopolíticos de los sistemas de evaluaciones. En efecto, existen diversas aproximaciones a la evaluación de las iniciativas púbicas. En especial, según el contenido de la evaluación se identifican las evaluaciones del diseño, la evaluación de proceso o de gestión, la evaluación de resultados y la evaluación de impacto.

En años recientes, ha ido tomando impulso en la región las evaluaciones de las evaluaciones, es decir las metaevaluaciones. Pacheco (2010), citando a Scriven (1969), describe la metaevaluación como una actividad en la que se evalúa tanto a los evaluadores como a su trabajo y, en este aspecto, menciona que el evaluador tiene el deber ético de someterse a evaluación cuando su trabajo involucra el bienestar de otros. Autores como Coosky y Caracelli (2005) han definido la metaevaluación como la “revisión sistemática de evaluaciones para determinar la calidad de sus procesos y descubrimientos” (como se cita en Rosas y Sánchez, 2017, p. 2).

Debemos entender a la evaluación como un proceso generador de información, e indicadores relevantes, que permite, a través de distintas herramientas de análisis económico, relacionar los recursos, las actividades y los resultados a corto, mediano y largo plazo de los programas y servicios públicos para cuantificar y determinar si los mismos resultan eficientes o socialmente rentables (Albi y Ornubia, 2017).

Así planteada, la evaluación permite mejorar el nivel eficacia, eficiencia, equidad y calidad del programa o servicio público analizado. En consecuencia, es fundamental que las políticas públicas –operacionalizadas en programas– al estar orientadas a maximizar el bienestar social, se sometan a evaluaciones rigurosas de costo/efectividad. De tal forma que ello pueda ir asegurando procesos de accountability de la función pública y con ello se potencia el control ciudadano de las intervenciones estatales (Cruz, 2017).

Se trata de desplegar una cultura de evaluación, pues un gasto público sin evaluación no da garantías de rigor, calidad y efectividad. Al mismo tiempo, la evaluación es una forma de innovar en la gestión pública, como lo plantea Mariñez (2014) por su carácter más integral y participativo que las prácticas evaluativas rígidas.

Por otra parte, autores como Freigedo, Milanesi y Rak (2017), Pacheco (2010) y García (2009) destacan el componente político de las evaluaciones. Puesto que las políticas y programas públicos nacen del seno del proceso político, la evaluación se convierte en una herramienta de legitimación para los gobiernos. El gobierno legitima la evaluación, mientras que la evaluación le da legitimidad a la actuación gubernamental.

Ello implica dar importancia significativa al análisis institucional, las relaciones de poder, los intereses y valores que permean los procesos de formulación e implementación de políticas públicas. En definitiva, desde un abordaje multidisciplinar, multidimensional y procesual es posible configurar evaluaciones en profundidad (Carvalho, 2008).

2. MATERIALES Y MÉTODOS

La estrategia metodológica que sustenta el trabajo se asocia a realizar un proceso caracterización global del desempeño de los programas² evaluados desde 1997 hasta 2018 en el marco de la línea de Evaluación de Programas Gubernamentales (EPG), que implementa el Ministerio de Hacienda a través de la Dirección de Presupuesto mediante paneles de expertos³. Del mismo modo, se realiza un análisis específico al conjunto de programas evaluados correspondientes a las áreas de Seguridad Ciudadana y de Salud, ya que dichas áreas corresponden a preocupaciones esenciales de bienestar que se reconocen en diversos estudios en años recientes y que, por tanto, demanda de la ciudadanía intervenciones públicas eficientes y eficaces.

De acuerdo con la Dipres (2015), la Evaluación de Programas Gubernamentales se desarrolla considerando los siguientes focos o ámbitos:

a. Justificación. Se analiza el diagnóstico o problema que dio origen al programa y que este espera resolver (o contribuir a solucionar).

b. Diseño. Análisis del ordenamiento y consistencia del programa considerando sus definiciones de fin y propósito (objetivos), sus componentes y actividades para responder a ellos y los supuestos bajo los cuales se elaboraron las hipótesis del programa. Lo anterior considera la justificación inicial del programa y cómo han evolucionado estos elementos de diagnóstico.

c. Organización y Gestión. Análisis de los principales aspectos institucionales dentro de los cuales opera el programa, y de los principales procesos, instancias de coordinación e instrumentos de que este dispone para desarrollar sus actividades y cumplir su propósito.

d. El análisis se centra en la evaluación de la eficacia, eficiencia y economía del programa.

La línea de EPG, se centra en un análisis que parte del establecimiento de la matriz del marco lógico⁴ de la intervención para analizar después su justificación, su diseño, su organización y gestión, el grado de desempeño –definido en los mismos términos vistos para el sistema de indicadores–, y su sostenibilidad. Ello se traduce en una evaluación de escritorio, es decir, una metodología que se aplica para obtener los resultados deseados utilizando los menores recursos posibles y ocupando la menor cantidad de tiempo.

En síntesis, la evaluación de escritorio es la recolección de toda la información disponible para generar desarrollos descriptivos del programa y lograr identificar sus resultados y causas. Para que esta se realice de la manera más eficiente posible, la calidad de la información debe ser óptima a la evaluación. Como herramienta metodológica posibilita la sistematización de la información, facilitando el orden y simplificando la identificación de problemas en el diseño, en los procesos de gestión y en los resultados a nivel de procesos y productos (Guzmán, 2007).

La opción metodológica de este trabajo nos sitúa en cuanto agentes externos a las evaluaciones, y se asume que esta perspectiva permite una síntesis de hallazgos e inferencias evaluativas sobre el rendimiento del programa. Desde dicha posición se permite analizar la metodología implementada en la evaluación y controlar esta metodología para corregir deficiencias y potenciar las que han logrado buenos resultados.

A partir del resultado de las evaluaciones realizadas mediante paneles de expertos, los programas evaluados para el período aquí analizado han sido calificados según los efectos e implicancias en las siguientes categorías, las que han tenido variaciones a largo del periodo⁵.

Desde 2001 a 2010, las categorías de efectos eran las siguientes (Arancibia, 2018):

Ajustes menores.

• Modificaciones en el diseño y/o procesos de gestión interna del programa.
• Rediseño sustantivo del programa.
• Reubicación institucional.
• Finalización o reemplazo íntegro del programa.

A partir del año 2011 se modificó la clasificación de los programas en categorías más asociadas a los resultados de la evaluación:

• Buen desempeño: el programa presenta resultados positivos y significativos a nivel intermedio y final, así como también las dimensiones de diseño, gestión y producto.
• Desempeño suficiente: el programa tiene resultados positivos que dan cuenta de sus objetivos; sin embargo, presenta debilidades en alguna(s) de la(s) dimensión(es) evaluada(s).
• Desempeño insuficiente: el programa presenta resultados insuficientes y/o muestra debilidades en las dimensiones evaluadas que no le permiten dar cuenta de sus objetivos.
• Resultados no demostrados: la evaluación no entrega información suficiente que permita obtener resultados concluyentes respecto del desempeño del programa.

Desde el punto de vista de focalizar la meta-evaluación se consideró relevante abordar dos áreas de programas (seguridad y salud) de acuerdo con las categorías de análisis aplicadas desde 2011 y, a partir de sus efectos e implicancias identificar y analizar sus aspectos más críticos de desempeño.

3. RESULTADOS DEL ESTUDIO

3.1. Resultados de los procesos evaluativos de programas gubernamentales en Chile: período 1997-2018

Hasta el año 2018 la línea Evaluación de Programas Gubernamentales (EPG) que se implementa mediante paneles de profesionales externos al sector público, ha evaluado 584 programas públicos ejecutados por un número significativo de servicios pertenecientes a la casi totalidad de los Ministerios del Estado.

Gráfico 1. Distribución de programas evaluados por año

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Se puede observar que a lo largo del período se han evaluado una importante cantidad de programas públicos; número que se incrementó en forma importante a fines de la década del 2000. Período que es coincidente con el primer gobierno de la presidenta Michelle Bachelet que dio un impulso al proceso evaluativo en el marco de un interés general por conocer la calidad del gasto público. De hecho, se estableció como meta que durante su administración se alcanzara a evaluar el 50% de los programas públicos comprendidos en la Ley de Presupuestos (155 programas).

Gráfico 2. Ministerios participantes de la evaluación por Programas

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

En los años recientes se ha mantenido una cierta estabilidad en el número de Ministerios sometidos a procesos evaluativos, promediando once Ministerios anuales.

Ciertamente los procesos de modernización de la gestión pública que se han llevado adelante en Chile en los últimos años han tenido como eje estructurante la configuración de arreglos institucionales que permitiesen lograr organizaciones públicas eficientes. Ello expresa objetivamente en lograr calidad del gasto público lo cual va ligado a la evaluación de programas e inversión pública y con ello, la provisión de servicios de calidad a la ciudadanía.

A lo largo de los veintiún años de evaluación de programas aquí reseñados se observa un desempeño dispar de dichos programas en su desempeño⁶.

Gráfico 3. Desempeño global de los programas, período 1997-2018

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Si agrupamos el total de programas que en sus categorías de desempeño aluden a resultados bajo la media, vale decir: desempeño insuficiente, desempeño bajo, mal desempeño, rediseño sustantivo, reemplazo íntegro y resultados no demostrados se identifica un total de 220 programas que no cumplen satisfactoriamente con el propósito para el que fueron diseñados. Esto es particularmente preocupante, dado que representan el 37,7% del total de los programas ejecutados en el país, los cuales involucran una cuantía significativa de recursos que se han gastado, pero que no han tenido los efectos esperados para el logro de un mejoramiento del bienestar de la población que ha sido focalizada por dicho programa.

Así, por ejemplo, podemos observar que un total de 101 programas (17,3%) son evaluados con un desempeño insuficiente, lo cual viene a significar que presentan resultados insuficientes y/o muestran debilidades en las dimensiones evaluadas que no le permiten dar cuenta de sus objetivos. Este resultado es absolutamente preocupante pues pone en entredicho la eficiencia y eficacia las intervenciones públicas, con su correspondiente efecto negativo en la calidad del gasto realizado.

Si no han cumplido los propósitos para el que fueron diseñados, tales programas no solo no aportan valor público, además son responsables de generar servicios y productos de dudosa calidad a la población focalizada y, con ello, expectativas frustradas que solo generar malestar e insatisfacción respecto del aparato estatal.

3.2. Resultados de los programas evaluados entre 2011 y 2018 en las áreas de Salud y Seguridad

En los últimos años la percepción de la ciudadanía en torno a la calidad de producción, distribución y calidad de los bienes y servicios públicos ha tenido importantes variaciones. De igual manera, en la agenda pública diversas situaciones de conflicto que persisten en tiempo han logrado mayor visibilidad, gatillando procesos significativos de preocupación gubernamental que han derivados en heterogéneas acciones de intervención para tratar de resolver cuestiones de alta complejidad.

En específico, la seguridad ciudadana y la calidad de la salud pública constituyen temáticas altamente relevantes para las políticas públicas.

Un reciente estudio (2019)⁷ arrojó que la delincuencia e inseguridad ciudadana sigue siendo uno de los principales problemas que los chilenos identifican les afectan más de manera personal, con un 56%. En segundo lugar, se ubicó uno de los temas de mayor contingencia: los servicios de salud deficientes.

Por tanto, no es coincidencia que en la última década se han diseñado e implementado un conjunto de programas gubernamentales para abordar dichas problemáticas.

A continuación, se presentan los resultados de análisis de aquellos programas que hemos agrupado en torno a las dos áreas de problemas sensibles para la población, destacando el desempeño y efectividad de estos para abordar el problema público que les da origen.

Desde 2011 se han diseñado y están en ejecución un total de dieciocho programas en las áreas de salud y seguridad, los que se distribuyen en un total de seis servicios pertenecientes a los ministerios respectivos. En términos específicos, la distribución del conjunto de los programas por ambas áreas evaluadas para el período 2011-2018 por nombre del programa, servicio responsable de su ejecución y clasificación obtenida a partir de su evaluación es la siguiente:

Tabla 1. Distribución de programas área Seguridad y Salud por año, servicio y clasificación de evaluación

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Al agrupar el conjunto de programas evaluados para el período de referencia de acuerdo con las clasificaciones de desempeño realizadas siguiendo la metodología de evaluación-escritorio identificamos el siguiente comportamiento de su desempeño:

Gráfico 4. Desempeño global de los programas área de Seguridad y Salud, período 2011-2018

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Como se puede observar el 33% de los programas evaluados para el período presenta un desempeño insuficiente y un 11% un definitivo mal desempeño. Lo que nos señala la preocupante realidad de un total de 44% de programas bajo la línea de efectividad en el cumplimiento de los propósitos definidos en sus correspondientes diseños.

Solo dos programas evaluados obtienen un buen desempeño respecto del total.

Gráfico 5. Desempeño de los programas área Seguridad, período 2011-2018

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Como se observa en el Gráfico 5, el desempeño de los programas de seguridad pública, principal tema de preocupación de la población en todas las encuestas en los últimos años en el país, los resultados son altamente desalentadores. De hecho, los programas ejecutados por la Subsecretaria de Prevención del Delito, particularmente enfocados a la seguridad pública no cumplen con sus propósitos que justificaron su diseño y financiamiento.

De un total de siete programas desplegados para el período 2011-2018 solo un programa ha sido evaluado como de buen desempeño, lo que permite constatar la insuficiencia de la calidad de dichos programas y las cuantiosas pérdidas de recursos fiscales en programas de casi nula efectividad para resolver problemas de prevención del delito.

Gráfico 6. Desempeño de los programas áreas de Salud, período 2011-2018

Fuente: elaboración propia (2019) sobre la base de información de Dipres.

Por su parte, como se observa en el Gráfico 6, la situación de la efectividad de los programas para el área de Salud tampoco es posible considerarla con niveles de logros destacados, pues solo un programa en ejercicio puede demostrar un buen desempeño. De un total, de once programas evaluados, cinco de ellos, lo que corresponde a un 45% del total no logran un desempeño aceptable, lo que evidencia problemas complejos de resolver en estas áreas estratégicas de intervención gubernamental, las que no están cumplimiento con el logro de objetivos de bienestar y, por cierto, un cuestionable uso de los recursos fiscales.

3.3. Identificación de nudos críticos de gestión e implementación de los programas públicos de las áreas de Seguridad y Salud, período 2011-2018⁸ 

Un análisis transversal de los programas con deficiente evaluación por parte de los paneles de expertos nos entrega información relevante que permite visualizar algunos nudos críticos de gestión de dichos programas que ocasionan sus déficits de desempeño global. Cabe indicar que algunos de estos aspectos son parte de la discusión que se ha ido generando en ámbitos académicos y profesionales en torno al sistema evaluativo EPG; algunos de los cuales los refrendamos en nuestro propio análisis de la observación de los programas abordados.

Entre los aspectos centrales identificados destacan:

a. En algunos casos no existe un marco lógico validado por las autoridades responsables del programa desde el inicio del proceso evaluativo, afectando de manera importante la visualización tanto de los productos esperados (es decir, su eficacia y su eficiencia), y ello dificulta el que se sistematice por parte del programa la información necesaria que acredite la calidad de su implementación.

b. Para la formulación e identificación del problema que da origen al diseño se cuenta con diagnósticos insuficientes que permitan justificar en forma adecuada dicho problema. Al mismo tiempo, no se logra visualizar a los componentes como un todo en los programas que permitan visualizar un diseño coherente y consistente.

c. Existe una débil definición de los criterios de focalización adecuados para el logro del propósito del programa. Esta insuficiencia genera problemas con la asignación de recursos, los que, sin estos criterios normados o definidos, afectan en forma importante el logro del objetivo que el programa se plantea.

d. Las evaluaciones constataron importantes problemas en la gestión de los programas, los cuales generaran la imposibilidad de cuantificar completamente aspectos tales como la Población objetivo y potencial, indicadores de producción, productividad, eficacia y eficiencia. Lo anterior, se deriva en que en ciertos casos la estructura de gestión del programa es débil en términos de la falta de control de los distintos procesos. En algunos de ellos la gestión del programa implica una carga administrativa muy importante que incide en la calidad de la implementación de los componentes y actividades.

e. En términos generales, el programa de mal desempeño tiene problemas importantes en el logro de Eficacia y Calidad, de hecho, el no contar con indicadores que informen el cumplimiento de su fin y propósito en forma clara dificulta conocer sus alcances y logros.

f. En ciertos casos se observan deficiencias en el monitoreo y administración del proceso financiero de los programas, que no permitan constatar el nivel de la ejecución presupuestaria, así como también que los gastos efectuados por los niveles operativos en forma precisa.

g. Los programas mal evaluados se caracterizan por tener importantes falencias en los sistemas de registro de la información. Asimismo, se constata que algunos carecen de análisis rigurosos y sistemáticos de sus resultados, lo que puede deberse a la carencia de información confiable o, que, por la inexistencia de estos análisis, no se han detectado los problemas de información.

h. A nivel global comparten la débil existencia de un sistema de indicadores y monitoreo que permita evaluar cuantitativamente el cumplimiento de sus objetivos, necesarios para la gestión del programa y la toma de decisiones informada. Por ejemplo, a nivel de calidad no cuenta con indicadores que den cuenta de la calidad técnica ni la satisfacción de los beneficiarios en varios de los programas.

4. DISCUSIÓN

Si solo tenemos a la vista los resultados del desempeño del conjunto de los programas y sus respectivas calificaciones, según los efectos e implicancias que de tales evaluaciones se derivan, podríamos concluir que los modelos de gestión e implementación pública se encuentra en crisis, derivado de los altos indicadores de fallos en el logro de los propósitos que definen los programas implementados por los ministerios y servicios públicos del país.

Lo anterior, vendría a contradecir los diversos estudios que señalan al Estado chileno –en el contexto latinoamericano– como gestor eficiente y eficaz del gasto público, dado que tiene una larga experiencia en desplegar un sistema de gestión de presupuestos basados en resultados. Es por ello que creemos necesario hacer algunas reflexiones un poco más allá de lo que nos están demostrando las cifras derivadas del conjunto de evaluaciones para lograr una panorámica más completa de los procesos de intervención pública en el país.

En primer lugar, reafirmar que la existencia de un sistema público de evaluación desde 1997 y que hoy presenta un importante nivel de complejidad, diferenciación y sostenibilidad, nos provee de información validada y actualizada para una toma de decisiones públicas con mayor precisión y efectividad, haciendo más permitente y dando mayor eficiencia asignativa el gasto público. La gestión eficiente y trasparente de las políticas públicas es un objetivo estratégico en un contexto donde los márgenes presupuestarios de actuación son escasos, y la sociedad civil ha ido aumentando sus controles sociales para evitar el uso inadecuado e ineficiente de los recursos fiscales.

En segundo lugar, hay que tener en consideración que el diseño, implementación y evaluación de las políticas públicas –a través de programas–, conlleva un proceso de alta complejidad y no exento de tensiones. No pocas veces se ve enfrentado a capturas por diversos grupos de interés que se puede incidir y afectar, con énfasis diferentes, en las distintas fases que comprende el ciclo de las políticas públicas. Esto viene a significar que las intervenciones públicas se hacen el contexto de una realidad social en la cual la gestión puede presentar variadas complicaciones que ponen en peligro la eficiencia y la equidad que están explicitadas en los propósitos de dichas intervenciones.

Por tanto, en este y otros casos, se debe tener a la vista como parte del proceso evaluativo –no consignado en la metodología de evaluación– las incidencias de contexto político que logran afectar negativamente el logro eficiente, eficaz y con calidad de los componentes, actividades e indicadores de muchos programas que se despliegan territorialmente y, en los cuales participan diversos actores subnacionales y, por cierto, actores privados y de la sociedad civil.

En tercer lugar, la evaluación es un proceso generador de información e indicadores relevantes mediante los cuales se puede estimar y medir los resultados obtenidos en un lapso de tiempo por las intervenciones públicas. Siendo la evaluación de escritorio –sobre la base de marco lógico– el eje definitorio del Programa de Evaluaciones Gubernamentales (EPG) el punto crítico para un panel de evaluadores externos lo constituye el reconocimiento del programa y sus componentes. Si bien un evaluador externo tiene mayor credibilidad y un mayor distanciamiento del programa que debe evaluar, se debe enfrentar a un conjunto de obstáculos no menores.

En cuarto lugar, la estructura del programa se visualiza con importantes niveles de debilidad tanto como en sus procesos de gestión, coordinación y articulación interna, como con los otros actores intervinientes del proceso global de implementación a nivel subnacional. La falta de personal y carga administrativa derivada de las características de los programas dificultan llevar adelante, por ejemplo, procesos de monitoreo y sistematización de información que permita retroalimentar la toma de decisiones.

En quinto lugar, gran parte de los programas actuales se inscriben desde hace años en el contexto del Marco Lógico, pero los programas más antiguos no necesariamente tienen propósitos, componentes y actividades definidas con claridad y explicitados sus indicadores. Aquí hay un obstáculo que han debido sortear no pocos evaluadores y, por tanto, deben proceder a concordar (negociar) con los dueños de los procesos de gestión del programa bajo evaluación los indicadores correspondientes a evaluar. Hay que señalar que también hay que realizar esfuerzos importantes para poder concordar los componentes de este pues es probable que pudieron haber variado a lo largo del tiempo producto de los vaivenes de la ejecución del mismo; es decir, los diseños van perdiendo coherencia y consistencia sin que ello sea ello gatillante de procesos de adecuación y reevaluación de propósito y componentes y, por tanto, poniendo en perspectivas los efectos presupuestarios de tales cambios.

En sexto lugar, el acceso a información actualizada y oportuna que haya ido generando el programa a lo largo del tiempo es un punto altamente crítico. Por ejemplo, dimensiones como cobertura, focalización, ejecución del gasto, entre otros constituyen aspectos sensibles para poder realizar una evaluación exhaustiva. No obstante, muchos programas no cuentan con bases de datos confiables que permitan visualizar en forma precisa los avances y resultados de sus acciones. No es de extrañar que muchos programas resultan deficientemente evaluados porque no se pueden mediar los indicadores al carecer de información relevante. En la medida que intervienen diversos actores en el despliegue del programa estos riesgos se hacen más evidentes.

En séptimo lugar, un déficit importante presente en los programas se asocia a aspectos técnicos de alta sensibilidad por sus impactos en el presupuesto y en la calidad y eficiencia asignativa: es el caso de la focalización de la población beneficiaria de las intervenciones del programa. No siempre se cuenta con indicadores pertinentes y técnicamente validados para identificar a los beneficiaros del programa, como en lo que respecta a información actualizada en torno a deserciones u otros problemas asociados a la asignación de los bienes y servicios que provee el programa.

En octavo lugar, la evaluación en forma negativa y concluyente de su falta de eficiencia, eficacia y calidad, no necesariamente reviste decisiones a asociados a pérdida de continuidad presupuestaria. El dato de continuidad de programas mal evaluados hace suponer el peso de actores políticos que logran imponer consideraciones desde su lógica –a veces clientelar– que impiden llevar a cabo decisiones técnicas que permitirían disminuir o bloquear el mal uso de los recursos fiscales en programas que no estarían generando bienestar social.

En noveno lugar, es de suma importancia poder lograr mecanismos nuevos para seleccionar los programas que serán sometidos a evaluación por parte de paneles de expertos. El actual procedimiento y sus limitaciones viene siendo observado hace un tiempo por diversos especialistas, dado su fuerte componente político en la selección y, posteriormente, en la cierta inacción que se observa frente a resultados negativos de la evaluación, pero sin efectos en la continuidad de estos (Arancibia, 2015)

En décimo lugar, creemos que es importante complementar la metodología de escritorio con aproximaciones cualitativas-constructivistas que permitan realizar observaciones más complejo al proceso de gestión e implementación de los programas, toda vez que esta no es solo una práctica de gestión presupuestaria sino más bien un proceso de construcción social.

No solo a partir de las experiencias acumuladas en torno a los alcances y efectos de los resultados de los programas EPG, sino también respecto de los excesos de aplicación cuantitativa para dar cuenta de las intervenciones públicas. Se precisa establecer debates que permitan dar cuenta de la insuficiencia de los modelos clásicos de evaluación y lograr incorporar a los modelos las variables que emanan de contextos políticos, económicos y culturales que inciden finalmente en los procesos de intervención gubernamental en la sociedad.

Se trata de validar la importancia de evaluaciones con métodos mixtos caracterizadas por una utilización complementaria de ambos repertorios de técnicas (cuantitativas y cualitativas) con vistas a mejorar el conocimiento sobre el programa público evaluado. Ello potenciará la descomplejización y comprensión los procesos y permitirá abordar la evaluación en torno a dimensiones analíticas complementarias. Dimensiones como el análisis de contenido de los procesos (construcciones de significaciones a asociadas a la intervención), de contexto, trayectoria y capacidades institucionales gubernamentales para llevar adelante la implementación de iniciativas de intervención, como también la dimensión temporal y territorial en el que operan los programas en la provisión de bienes y servicios.

A ello, podemos adicionar un enfoque cultural aplicado a la evaluación de las políticas públicas. Una evaluación debe –también– centrar su comprensión de cómo los diferentes autores –participantes de las políticas– conciben dichas políticas y entienden los resultados e impactos a partir de sus perspectivas culturales como actores (Gucci, 2017)

Una evaluación debe ser multi-referenciada, pues contempla varios destinatarios quienes construyen significados derivados de sus posiciones como actores en el proceso. Por ello, no resulta pertinente evaluar una política desde la perspectiva de un solo agente involucrado.

En específico, la metodología cualitativa permite aproximarse a la evaluación de las políticas públicas a partir de técnicas metodológicas distintas a las que se utilizan habitualmente, ello permite avanzar hacia evaluaciones en profundidad, “densas” en el sentido que le asignaba a la etnografía Geertz (1983).

La perspectiva cualitativa en investigaciones con métodos mixtos permite (1) explorar aspectos que se dan por sentado y que se presentan como evidentes en la política pública evaluada, (2) entender las opiniones de distintos profesionales ante una misma política pública, (3) comprender la cultura de la organización y cómo se gestiona el cambio en la política pública evaluada. Además, a nivel metodológico, la perspectiva cualitativa nos sirve para complementar la interpretación de resultados cuantitativos (Sanz, 2013).

De hecho, la aplicación de la metodología cualitativa en la evaluación de programas públicos, en cuanto investigación en profundidad interés, permite observar –en una dimensión de segundo orden– los significados subjetivos de los informantes, permite describir los fenómenos desde la visión de los informantes, permite generar reflexibilidad sobre el rol del investigador en el proceso, da una oportunidad para la inmersión del evaluador en la práctica del programa, logra captar los procesos microsociales y casos concretos, facilita el análisis inductivo de los datos empíricos, y abre posibilidades para el estudio de casos concretos y estratégicos.

Desde una “etnografía de la experiencia” (Gucci, 2017), es posible construir en profundidad descripciones y datos significativos para el logro de evaluaciones multi-referenciadas y alineadas con los contextos socioculturales en que se despliegan las intervenciones públicas.

CONCLUSIONES

En los últimos años se ha puesto en marcha un sistema de evaluación de políticas públicas asociados a la gestión presupuestaria que ha posicionado a Chile a nivel latinoamericano. Este sistema gradualmente se ha ido diferenciando, complejizando y desplegando, y hoy tiene un importante nivel de consolidación.

Entre las líneas de evaluación que contempla en sistema se encuentra la línea de Evaluación de Programas Gubernamentales (EPG), la cual ha venido desarrollando procesos evaluativos mediante paneles de expertos desde 1997.

Hasta 2018 la línea de EPG ha evaluado un total de 584 programas mediante el empleo de paneles de expertos externos. Las evaluaciones entregan información relevante sobre el desempeño de estos y sus efectos e implicancias en la calidad de las intervenciones realizadas.

El análisis meta evaluativo realizado al conjunto de dichos programas, ha puesto en evidencia un conjunto de factores que permiten concluir un desempeño relativamente insuficiente de la totalidad de los programas públicos evaluados desde el año 1997 a 2018.

El 37,6% de los programas evaluados no alcanza a obtener una clarificación que permita afirmar que están logrando el propósito que justifica su diseño e implementación como intervención pública.

La identificación de innumerables programas de mal desempeño involucra una mala calidad del gasto fiscal que redunda en efectos negativos respectos de conseguir eficiencia, eficacia y calidad en la provisión de bienes y servicios públicos hacia la población vulnerable del país.

El análisis meta –evaluativo de los programas evaluados para el período 2011-2018 correspondientes a las áreas de Seguridad y Salud, ambos de gran preocupación y demanda de la ciudadanía por mejoras sustanciales– nos arrojó resultados muy insatisfactorios respecto a su desempeño. A partir de los cuales se puedo establecer un conjunto de nudos críticos que han afectado la gestión e implementación de estas in intervenciones gubernamentales.

Se considera relevante reflexionar sobre los supuestos que descansan en la metodología de evaluación de escritorio, la cual tiene un fuerte componente asociado a la gestión presupuestaria y, abrir una revisión sustantiva sobre el modelo de identificación de iniciativas a evaluar que tiene un fuerte componente político y, especialmente, establecer criterios técnicos que garanticen no dar continuidad a programas de mal desempeño y que afectan notarialmente los recursos públicos siempre escasos.

Finalmente, creemos que una evaluación compleja en el contexto del sistema social moderno no puede reducir la evaluación solo a aspectos cuantitativos y se debe migrar a evaluaciones de carácter mixtas que permitan relevar aspectos sociales, institucionales, políticos y culturales que condicionan y/o limitan la gestión e implementación satisfactoria de intervenciones gubernamentales.

Por tanto, nos parece de alta significación avanzar hacia un modelo evaluación en profundidad sustentada en enfoques interpretativos-etnográficos.

REFERENCIAS BIBLIOGRÁFICAS

ALBI, E. y ORNUBIA, J. (2017). Economía de la gestión pública. Cuestiones Fundamentales. España: Editorial Universitaria Ramón Areces.

ALVIRA, F. (1997). Metodología de la Evaluación de programas. Un enfoque práctico. Buenos Aires, Argentina: Lumen.

ARANCIBIA, E. (2015). Evaluación de Programas e Instituciones Públicas de la Dirección de Presupuestos en el Ministerio de Educación. Centro de Estudios Mineduc-Dipres, Documento de trabajo 15.

BANCO INTERAMERICANO DE DESARROLLO (2018). Mejor gasto para mejores vida. Como América Latina y El Caribe puede hacer más con menos. Washington, Estados Unidos.

BECERRA, D. (2015). La importancia de la medición del desempeño en el sector público: un análisis de la eficiencia del gasto. VI Congreso Internacional en Gobierno, Administración y Políticas Públicas (Gigapp Iuiog). Centro de Ciencias Humanas y Sociales del Consejo Superior de Investigación Científicas. Madrid, España. 29, 30 septiembre, 1 y 2 octubre.

BUSTELO, M. (2001). La evaluación de las políticas públicas de igualdad de género de los gobiernos central y autonómico en España: 1995-1999. Memoria para optar al grado de Doctor. España. Universidad Complutense de Madrid. Departamento de Ciencia Política y de la Administración II.

CARVALHO, L. (2008). Propostas para uma avaliação em profundidade de políticas públicas sociais. Artigos Ineditos. Ja-Ju, 7.

CECCHINI, S.; FILGUEIRA, F.; MARTÍNEZ, R. y ROSSEl, C. (2015). Instrumentos de protección social. Caminos latinoamericanos hacia la universalización. Santiago de Chile: Cepal.

GEERTZ, C. (1983). Descripción densa: hacia una teoría interpretativa de la cultura. La interpretación de las culturas. Barcelona, España: Gedisa.

COOSKY, L. y CARACELLI, V. (2005). Quality, context, an use. Issue in achieving the goals of metaevaluation. American Journal of Evaluation, 26(1), 31-42. DOI: 10.1177/1098214004273252

CRUZ, D. (2017). Mecanismos de participación ciudadana en las políticas públicas de América Latina. Revista Políticas Públicas, 10(1). Universidad de Santiago de Chile. ISSN: 0718-462X.

DÍAZ, L. F. (2001). La metaevaluación y su método. Revista de Ciencias Sociales, II-III(93), 171-192.

DIPRES (2015). Evaluación ex post: conceptos y metodología. Recuperado de https://www.dipres.gob.cl/598/articles-135135_doc_pdf.pdf

ESPACIO PÚBLICO E IPSOS PUBLIC AFFAIRS (2019). Chilenas y chilenos hoy: desafiando los prejuicios, complejizando la discusión. Estudio. Santiago de Chile.

FREIGEDO, M.; MILANESI, A. y RAK, A. (2017). Dimensiones político institucionales del desarrollo de sistemas de evaluación. Un análisis a partir del caso uruguayo. Revista Política y Cultura, 47, 117-141. ISSN: 0188-7742

GARCÍA, E. (2009). Metaevaluación de políticas públicas: una visión desde la ciencia política. Revista del CLAD Reforma y Democracia, 43. Recuperado de https://e-archivo.uc3m.es/bitstream/handle/10016/10878/metaevaluacion_garcia_RYD_2009.pdf?sequence=1

GUCCI, A. (2017). A dimensao cultural na avaliacao de políticas públicas. Trabalho preparado para sua apresentação 9° Congresso Latino-Americano de Ciência Política, organizado pela Associação Latino-Americana de CiênciaPolíticas (ALACIP). Montevideo, Uruguay, desde el 26 al 28 de julio de 2017.

GUZMÁN, M. (2007). Evaluación de programas. Notas Técnicas. Serie Gestión Pública, ILPES. Recuperado de https://www.cepal.org/es/publicaciones/7321-evaluacion-programas-notas-tecnicas

IRARRÁZAVAL, I. y DE LOS RÍOS, B. (2014). Monitoreo y evaluación de políticas públicas Contribuciones de la experiencia internacional para la institucionalidad chilena. Notas Públicas. Santiago de Chile: Centro UC de Políticas Públicas.

KAUFMANN, J.; SANGINÉS, M. y GARCÍA, M. (editores) (2015). Construyendo gobiernos efectivos. Logros y retos de la gestión pública para resultados en América Latina y el Caribe. Washington, Estados Unidos: Banco Interamericano de Desarrollo.

LÁZARO, B. (2015). Estudio comparado sobre institucionalización de la evaluación en Europa y América Latina. Madrid, España: Eurosocial, Colección Estudios 15.

MARIÑEZ, F. (2014). La importancia de los saberes cívicos en la evaluación colaborativa de programas sociales. Seminario realizado en la Conferencia Anual del GLAPIIAS – 70 años de la Fundación Getulio Vargas. Rio de Janeiro, Brasil.

MBALLA, L. (2015). Public Policies as a Goverment challenge to fight against poverty in San Luis de Potosi. GE- International Journal of Management Research, Associated Asia Research Foundation, 3(12), 99-112.

ORTEGÓN, E.; PACHECO, J. F. y PRIETO, A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Manuales Series 42. CEPAL.

PACHECO, J. (2010). Metaevaluación en sistemas nacionales de inversión pública. Series de la Cepal, Manuales: Cepal. Recuperado de: https://www.cepal.org/es/publicaciones/5503-metaevaluacion-sistemas-nacionales-inversion-publica

PINAZO, F. J. (2016). Ciencia, burocracia y democracia en las políticas públicas: factores actuales para el análisis y evaluación. Revista de Evaluación de Programas y Políticas Públicas, 1(7). DOI: 10.5944/reppp.7.2016.16250

ROSAS, J. y SÁNCHEZ, A. (2017). La evaluación de las Políticas Públicas en Jalisco, una aproximación desde la metaevaluación. Revista Política y Cultura, 47, 201-223. ISSN: 0188-7742

SANZ, J. (2013) La metodología cualitativa en la evaluación de políticas públicas. Barcelona, España: Ivalua.

SCRIVEN, M. (1969). An introduction to metaevaluation. Educational Products Report, 2, 36-38.

STEERING COMMITTEE FOR THE REVIEW OF GOVERNMENT SERVICE PROVISION. (2013). Report on Goverment Services 2013, Productivity Commission, Canberra.

STOLK, C. y TESLIUC, E. (2010). Toolkit on tackling error, fraud and corruption in social protection programs. Washington, Estados Unidos: Banco Mundial.

STUFFLEBEAM, D. (2001). The metaevaluation imperative. American Journal of Evaluation, 22(2), 183-209. DOI: 10.1177/109821400102200204

THEODOULOU, S. y KOFINIS, C. (2004). The Art of the Game: Understanding Policy. Belmont, Estados Unidos: Thomson Wadsworth.

VEDUNG, E. (2017). Public policy and program evaluation. Nueva York, Estados Unidos: Routledge.