3. El proceso metodológico de la evaluación de las políticas públicas.²³

3.1. Cuestionamientos básicos en la evaluación de las políticas públicas.

Los aspectos más comunes en materia de evaluación de políticas públicas tienen que ver con las siguientes preguntas:

¿Quién Evalúa?

Es necesario identificar la existencia y disponibilidad de instancias o medios que puedan asumir la actividad de evaluación, por ejemplo: las propias instituciones solicitantes a través de áreas especializadas en el tema o en el control de los procesos dentro de la administración pública, los centros de investigación y generación de conocimiento, instituciones privadas, organismos de la sociedad civil, especialistas, asociaciones diversas, grupos de presión, etcétera.

¿Dónde se sitúa el evaluador?

Existen dos maneras genéricas de definir la posición del evaluador dentro del proceso, la primera es cuando el evaluador forma parte del equipo solicitante de la evaluación o de la política a evaluar; en este caso estamos hablando de que el evaluador asume una posición interna. El caso opuesto, será cuando el evaluador sea un agente externo a la política o grupo solicitante.

¿En qué momento se realiza la evaluación?

En principio esta pregunta está enfocada a poder definir si la evaluación se hará antes, durante o después de la aplicación o implementación de la política, programa o acción a ser evaluada; sin embargo también refiere al hecho de buscar la pertinencia de la acción de evaluar durante los tiempos y espacios convenientes, en conformidad con las necesidades del propio asunto o acción a ser evaluado y de sus solicitantes.

¿Cuál es el objetivo de la evaluación?

Implica poder identificar con la mayor claridad posible que es lo que se quiere evaluar, sus fines, propósitos, metas y resultados esperados, para con ello poder hacer la mejor elección posible de los métodos, procedimientos y recursos requeridos.

¿De qué manera se llevará a cabo la evaluación?

Esto consiste en definir y elaborar los conceptos y métodos que permitirán al evaluador o grupo de evaluadores, describir, explicar y valorar de forma científica, los resultados de la acción gubernamental. Es este el momento central de la evaluación, en donde se llevarán a cabo todos los estudios, trabajos e investigaciones necesarios para cumplir con el o los objetivos propuestos.

A continuación, se presenta un cuadro sinóptico sobre el proceso de la evaluación de las políticas públicas.²⁴

Así como en el apartado anterior, habernos contestado una serie de cuestionamientos básicos sobre el tema, puede ayudarnos a comprender mejor el proceso de evaluación de una política pública cualesquiera o de identificación de la metodología a aplicar, también el determinar cuáles pudiesen ser los distintos tipos de objetivos buscados a través del proceso de evaluación de políticas públicas, nos puede servir para orientar mejor el propio proceso y establecer los tópicos hacia los cuales éste puede dirigirse.

Objetivos microeconómicos y financieros.- Un ejemplo son las empresas públicas que aun sin buscar maximizar la ganancia, si tratan de lograr autosuficiencia financiera.

Contribución al logro de objetivos macroeconómicos.- La producción de un artículo exportable que al generar divisas para el país colabora al logro del equilibrio de la balanza comercial y de pagos.

Objetivos tecnológicos.- Desarrollo de tecnología de punta en un área de producción estratégica para el Estado o de una tecnología intensiva en mano de obra, que coadyuve a lograr los objetivos de empleo que racionalicen los recursos humanos en el país.

Objetivos sociales.- Relativos al bienestar de la comunidad en sus aspectos fundamentales como empleo, vivienda, salud, educación, transporte, etcétera.

Objetivos de equidad.- Distribución de los logros totales alcanzados en materia económica y social, referidos tanto a la apropiación realizada por los diferentes grupos que componen a la sociedad, como a la distribución realizada por los habitantes de distintas áreas geográficas.

Objetivos políticos.- Relativos a la búsqueda de consenso y legitimación para mantener el sistema económico y político vigente.

3.3. Características idóneas del proceso evaluatorio.

Precisar cuales son las características que debiesen estar presentes en todo proceso de evaluación de políticas es otro lineamiento que no podemos permitirnos pasar por alto, en el esfuerzo de obtener un mayor número de herramientas que nos permitan conocer mejor y por tanto aplicar con mayor precisión el proceso de evaluación de una política pública.

A continuación, se mencionan las características que nos parecen más relevantes:

La evaluación debe ser un proceso de largo alcance, en cualquiera de sus fases: ex ante, durante y ex post, de tal manera que siempre se plantee como un proceso paralelo al desarrollo de los proyectos.

Las metodologías e indicadores deben proveer una evaluación permanente. Al tiempo que se propongan las acciones a implementar, es necesario definir las metas y parámetros medibles.

La evaluación debe legitimar y respaldar la política, en tanto que debe siempre llevarse a cabo con un estricto rigor metodológico, y no solo responder a intereses particulares o de grupo.

El proceso de evaluación debe sistematizarse en todo momento para la permanente generación de nuevos conocimientos aplicados al mismo proceso, para con ello poder visualizar los nuevos rumbos a seguir.

La evaluación debe verse como un método de contraloría social, en donde las autoridades estén obligadas con los resultados de la misma a rendir cuentas de su desempeño a la sociedad, a través de sus actos, manejo de recursos y obtención de metas y objetivos fijados al principio de cada programa.

Los resultados de la evaluación deben siempre tratar de socializarse plenamente como un medio de legitimación de la política y del propio proceso evaluatorio.

El proceso de evaluación debe permitir estar siempre monitoreado para poder vigilar el uso adecuado de los recursos, resultados y beneficios planteados en los objetivos y metas iniciales de la política.

3.4. Componentes básicos del proceso de evaluación.

Para realizar la evaluación de una política es necesario precisar primero algunos conceptos como: el universo de estudio, las unidades de análisis, las hipótesis, el diseño muestral, el plan de análisis, el contexto y formas de reconocer la información, los instrumentos de recolección de datos, las formas y pasos del procesamiento y las técnicas a utilizar.

Universo de estudio.- Conjunto de individuos, familias u organizaciones que son receptores de los servicios o bienes de la política o programa a implementar.

Unidades de análisis.- Constituyen el objeto de la evaluación y la primera elección decisiva, necesaria de realizar, para poder llevar a cabo la evaluación. Estas unidades pueden ser absolutas, globales, comparativas, relacionales y contextuales.

Hipótesis.- Es la teoría que da explicación a los hechos observados o supuestos a ocurrir, tras la aplicación de la política; en la evaluación comúnmente se recurre a teorías parciales o conjuntos de hipótesis articuladas entre sí.

La hipótesis es una afirmación de conjetura entre dos o más variables que supone transformar los conceptos abstractos en variables mensurables, relacionar variables y especificar la forma de la conexión postulada.

El diseño muestral.- Cuando es imposible o impracticable analizar la población total, cualquier subconjunto de la población o universos analizados, constituye una muestra. Las muestras deben satisfacer dos condiciones; primero, permitir la puesta a prueba de hipótesis sustantivas y, segundo, hacer posible que los resultados obtenidos de la muestra sean generalizables al universo.

La selección de la muestra.- Requiere un orden secuencial, definición del marco muestral, determinación de unidades elementales y elección de unidades de muestreo.

El plan de análisis.- Tiene como funciones sintetizar la información disponible en indicadores, elegir los métodos y técnicas que permitan utilizar la información para lograr los objetivos planteados, apreciar la naturaleza de los indicadores y las escalas aplicables a los mismos. Su preparación debe tomar en cuenta los tipos de información a analizar, la clase de análisis, los recursos, la combinación de información, análisis y recursos en un contexto temporal y la forma de presentar los resultados.

El contexto y formas de presentar la información.- Todo proyecto es evaluado en su contexto sociocultural, por sus factores físicos y por los socioeconómicos; indudablemente los aspectos relevantes del contexto deben considerarse en las unidades de análisis que resulten de las hipótesis generales y, deben también especificarse en el modelo de evaluación escogido.

Hay dos modelos de contexto fundamentales; el macro, que incluye factores socioculturales como el régimen político, las actitudes frente al proyecto y la importancia frente a los servicios prestados y, el micro, en donde se particulariza sobre un universo de estudio mucho más puntual; en este caso, se dice que se pueden tener diferentes categorías de evaluación, la informal, la formal no estructurada y la formal estructurada.

Instrumentos de recolección de información.- Sobresalen la encuesta y la prueba previa, la primera reúne los instrumentos para la recolección de información aplicables a cualquier tipo de unidad de análisis, las cuales contengan variables relevantes para la evaluación; mientras que la segunda, es un paso para determinar la viabilidad y adecuación de los instrumentos y del personal que tiene a su cargo el relevamiento de la información, al tiempo que muestra la correspondencia que existe entre la relevancia teóricamente asignada a las variables seleccionadas y los resultados de su aplicación.

Las formas y pasos del procesamiento.- Se sintetizan básicamente en tres primordiales:

La codificación: Es la tarea de asignar números a las variables y a los valores que estas puedan asumir dentro de su rango de variación;

El análisis de consistencia de las variables, mediante el cual se realizan pruebas para garantizar que los valores de las variables están dentro del rango de variación posible y al mismo tiempo sean consistentes entre sí y;

El análisis de la distribución y de la relación existente entre variables, que tiene por objeto agrupar los valores de las variables según la distribución presentada en la muestra.

Las técnicas de análisis.- Dependen del nivel de medición que puede aplicarse a los atributos o variables de las unidades de análisis, lo cual requiere hacer consideraciones sobre la medición, para lo cual se utilizan métodos como la teoría de la medición y el principio y pasos de la medición.

3.5. Problemas comunes del proceso de evaluación.

Es común encontrarse durante el proceso de evaluación, con problemas o limitantes que dificultan la realización adecuada del ejercicio evaluatorio.

A continuación enunciaremos algunos de los más frecuentes:

La evaluación no es considerada en su práctica como importante; más bien, los resultados obtenidos de la política son los presentados como los esperados.

Los evaluadores, tienden a hacer subjetivos los resultados cuando son parte de la misma política o del grupo solicitante; asimismo, en contraposición, cuando la evaluación la realiza un evaluador externo, puede dejar de lado cuestiones subjetivas valiosas para el análisis.

La evaluación es considerada comúnmente como parte final del proceso de diseño e implementación de las políticas públicas y no como elemento central de éste.

Normalmente existe dificultad para identificar los parámetros e indicadores.

Las capacidades técnicas, políticas y del tejido social, rara vez se potencializan al máximo, lo cual sería lo idóneo.

Existe el riesgo de falta de coordinación entre evaluadores y que cada uno trabaje según sus propios intereses.

Como conclusión de este apartado, en la siguiente página se muestra a través de un cuadro sinóptico, un ejercicio de evaluación de políticas públicas sobre la Política Nacional en materia de Desarrollo Urbano para el periodo 1995 – 2000, a cargo de la Secretaría de Desarrollo Social, llevado a cabo por la Comisión de Asentamientos Humanos y Obras Públicas de la LVII Legislatura.

evaluación de políticas públicas²⁵

³Antes de continuar, me gustaría brindar un reconocimiento a mi colega, el Mtro. Víctor D. Pitalúa Torres, por sus comentarios sobre este documento.

²⁴Fuente: "Manual de herramientas para la incidencia en políticas públicas" CAM, A.P.S., México, 2000.

²⁵Este periodo es el correspondiente a la administración federal anterior a la actual. Al respecto, vale la pena mencionar que tanto el Plan Nacional de Desarrollo, como los Programas Nacionales derivados de éste, normalmente comienzan a implementarse un año después de iniciada la gestión una vez que se ha concluido su diseño y elaboración, tal es el caso del Programa Nacional de Desarrollo Urbano 1995 – 2000, principal sustento de la Política Nacional de Desarrollo Urbano, cuyo proceso evaluativo, se ejemplifica a través de este cuadro sinóptico. COMISIÓN DE ASENTAMIENTOS HUMANOS Y OBRAS PÚBLICAS, LVII Legislatura, "Actualización de criterios para la evaluación de la política nacional de desarrollo urbano". HCD, 1999.Vale la pena acotar, que la evaluación propiamente dicho, de los postulados de la Política en materia de Desarrollo Urbano, se lleva a cabo en la parte central del cuadro, usando técnicas de evaluación diseñadas ex profeso para este caso, las cuales permitieron conocer el estado de las cosas antes y después de implementada la Política (ex ante y ex post). En este sentido, se analizaron los aspectos presupuestales y programáticos ligados a la Política, verificando la congruencia entre ambos rubros y la eficiencia alcanzada a través de los objetivos, metas, estrategias y acciones llevadas a buen término.