Indietro

ⓘ Valutazione delle politiche pubbliche




Valutazione delle politiche pubbliche
                                     

ⓘ Valutazione delle politiche pubbliche

La valutazione delle politiche pubbliche è unattività di ricerca e di pratica professionale finalizzata ad apprendere dallesperienza formulando raccomandazioni per il cambiamento e ad esprimere dei giudizi empiricamente fondati sui disegni, i processi, i risultati, gli effetti delle politiche pubbliche. La valutazione delle politiche pubbliche è un ambito della analisi delle politiche pubbliche.

                                     

1.1. Alcune classificazioni Lapproccio sistematico di Rossi, Freeman e Lipsey

I suddetti autori propongono un approccio sistematico alla valutazione delle politiche pubbliche program evaluation che si struttura essenzialmente su alcune domande cui il valutatore non può sottrarsi:

  • qual è la struttura e il contesto in cui si trova il programma analizzato?
  • quali sono i propositi della valutazione in questione?
  • quali sono i metodi applicabili per dare risposte solide alle domande poste?
  • come deve essere impostata la relazione con gli stakeholders?
  • quali sono le domande valutative evaluation questions cui è necessario dare risposta?

Le domande valutative individuate dagli autori sono cinque e costituiscono altrettanti stadi del processo di valutazione di una politica pubblica:

  • valutazione del processo/implementazione
  • valutazione dei bisogni sociali cui vuole rispondere il programma
  • valutazione della teoria sottesa al programma
  • valutazione dellimpatto/degli effetti
  • valutazione di efficienza

Questi tipi di valutazione si trovano tra loro in un rapporto gerarchico. Il livello fondamentale della gerarchia è costituito dalla valutazione del problema sociale cui il programma è indirizzato. A seguire è possibile rispondere, nellordine, alle altre quattro domande. Omettere uno dei passaggi indicati comporta il rischio di una valutazione errata, in quanto, generalmente, una valutazione di un livello di gerarchia superiore presuppone la conoscenza e lanalisi di aspetti della politica policy riferiti ai livelli inferiori della gerarchia valutativa evaluation hierarchy.

Ad esempio, se i risultati della valutazione di impatto di una politica X sono negativi, quali conclusioni se ne possono trarre? Dove è stato il fallimento? Non si sono compresi a fondo i problemi sociali? La teoria della politica era costruita su una catena causale di azioni-effetti sbagliata theory failure? È fallito qualcosa nella fase di implementazione implementation failure? È evidente che non considerando il ciclo della policy nella sua integrità né il valutatore né il decisore potranno capire le cause del fallimento ed agire di conseguenza learning. Lo stesso ragionamento varrebbe ovviamente di fronte a risultati positivi: non considerando alcune fasi della policy è impossibile interpretare i risultati/effetti stimati con la valutazione di impatto.

La valutazione dei bisogni cui è indirizzato il programma needs assessment

Con questo studio valutativo si cerca di rispondere alla domanda" qual è il problema?”. Attorno a questa semplice domanda sorgono una serie di quesiti e questioni epistemologiche che in questa sede non ha senso trattare ma che il ricercatore, tuttavia, non può trascurare. Lo scopo di questo tipo di valutazione che può essere svolta sia preventivamente che a posteriori cerca di definire il problema nelle sue dimensioni, tendenze trends e peculiarità, facendo uso sia di tecniche e dati quantitativi che di metodi di indagine qualitativa che permettono di descrivere il problema e tenere conto delle differenti percezioni dello stesso da parte dei diversi stakeholders. Necessario è anche giungere a definire chi sono i soggetti obiettivo: individuali o collettivi, diretti o indiretti, ecc.

La valutazione della teoria della politica program theory assessment

La teoria del programma può essere definita come linsieme delle assunzioni circa i risultati che il programma in esame prevede di produrre e sulle strategie le tattiche che il programma intende adottare per raggiungere i suoi obiettivi. La teoria viene scomposta dagli autori in due componenti:

  • la seconda è la teoria di processo process theory che descrive i passaggi, le attività da compiere nellorganizzazione e nellimplementazione degli interventi.
  • la prima è la teoria dellimpatto impact theory e si riferisce al cambiamento atteso in seguito al programma secondo una catena di eventi e nessi causali dallazione A ci si aspetta un risultato B;

La teoria di una politica può essere "esplicita" o "implicita". Il ricercatore-valutatore ha il compito di definirla mediante diverse fonti informative: documentazione amministrativa, interviste a decisori e stakeholders, osservazione diretta delle funzioni del programma, letteratura delle scienze sociali. In questo modo è possibile raccogliere tre tipi di informazione: obiettivi della politica, funzioni, componenti e attività del programma e la logica sequenziale che lega funzioni, attività e prodotti. Una buona analisi della teoria sottesa ad una politica permette di: capire quali sono gli obiettivi, individuare le funzioni le attività programmate ed eventualmente contribuire al ridisegno di una politica.

Se la teoria sottesa ad una politica è considerata ben definita e giustificata, allora è possibile proseguire con la valutazione. In caso contrario, non avrebbe senso continuare perché ogni risultato che si otterrebbe sarebbe impossibile da interpretare in relazione alla politica. Ad esempio, se – in seguito ad unanalisi di impatto condotta rigorosamente – gli effetti sulla popolazione target della politica in esame sono stimati essere positivi, come è possibile imputare i" meriti” ai decisori senza aver prima analizzato la teoria della politica, ovvero come la politica è stata disegnata? Nel caso in cui la politica fosse stata disegnata male, si potrebbe concludere che o i risultati ottenuti sono dovuti al caso o in fase di implementazione gli attori non hanno rispettato i programmi e hanno agito" indipendentemente” in questo caso un’ implementation failure determinerebbe il successo della politica.

La valutazione del processo di implementazione process evaluation

Lo scopo di questo tipo di valutazione è quello di conoscere" cosè realmente il programma” se i servizi/gli interventi raggiungono concretamente oppure no la popolazione target. Può essere effettuata a posteriori program process evaluation, necessaria per la valutazione di impatto, o in itinere continuous program monitoring, necessaria prevalentemente per i gestori del programma in quanto fornisce un feedback regolare sullimplementazione degli interventi.

La valutazione del processo attuativo di una policy assume una certa rilevanza anche in una prospettiva di accountability o" rendicontabilità”, in quanto rende conto a tutti i possibili stakeholders di" cosa lorganizzazione sta facendo”. Alcuni aspetti oggetto di analisi sono il livello di partecipazione/coinvolgimento della popolazione target, il livello di" distorsione” bias nellerogazione di un servizio es. un sottogruppo partecipa più di altri e il livello di abbandoni dropouts. Confrontando i risultati di questa analisi con la teoria del cambiamento sottesa alla politica è possibile sapere se la politica è implementata come era stato programmato no implementation failure.

Un fallimento dellimplementazione può essere dovuto alla non effettuazione dellintervento, ad una sua parziale effettuazione, allerogazione di un servizio sbagliato o secondo criteri distanti da quelli prescritti, ad unerogazione diversificata tra la popolazione target oppure a differenti modalità di implementazione tra diverse unità territoriali incaricate es. centri per limpiego. Conoscere questi scostamenti dal programma è essenziale per effettuare unanalisi degli effetti.

La valutazione degli effetti della politica impact assessment

Gli outcomes effetti di un programma possono essere stimati e interpretati in diversi modi. Il valutatore deve capire e definire qual è leffetto su cui la politica vuole influire. Lindividuazione e la misurazione del nesso causale tra la variabile trattamento il prodotto o output e questa variabile dipendente variabile effetto od outcome costituisce la sfida di questo tipo di valutazione. La variabile outcome può essere considerata sotto diversi punti di vista:

  • outcome change: è la differenza tra due misurazioni della stessa variabile outcome in tempi diversi es. la differenza tra il tasso di criminalità nel tempo t e nel tempo t +1, ovvero dopo un intervento di riqualificazione urbana;
  • program effect impact: è la porzione di outcome change che può essere attribuita al programma la porzione di scostamento tra le due misurazioni del tasso di criminalità attribuibile esclusivamente allintervento di riqualificazione urbana.
  • outcome level: è il livello, lo stato, della caratteristica della popolazione target o della condizione sociale su cui la policy intende agire, misurato in un preciso istante nel tempo es. il tasso di criminalità in un quartiere misurato nel tempo t;

Lidentificazione degli outcomes rilevanti, la loro misurazione, la scelta e lapplicazione delle tecniche di misurazione e di stima costituiscono altrettanti argomenti che non possono essere affrontati in questa sede e che comunque poco si prestano a ragionamenti metodologici generali in quanto fortemente connessi alle specifiche situazioni.

Gli autori sottolineano limportanza della distinzione tra:

  • il monitoraggio e la misurazione degli outcomes
  • la valutazione di impatto secondo metodi sperimentali e non sperimentali

Il monitoraggio program monitoring è definibile come la raccolta sistematica di aspetti della performance di un programma che indicano se questo sta funzionando come era inteso inizialmente o in accordo con determinati standards previamente fissati. Loggetto del monitoraggio è la performance del programma, che può riguardare sia i prodotti, sia gli outcomes, sia il processo di implementazione. Il monitoraggio, anche se basato sullosservazione di indicatori relativi agli outcomes, non è definibile come" valutazione degli effetti”.

La valutazione di impatto impact assessment può essere effettuata solo dopo aver effettuato le valutazioni collocate negli stadi inferiori della" gerarchia”. Si parla di valutazione di tipo black box - il programma è una "scatola nera" - quando il valutatore conduce unanalisi di impatto senza conoscere nulla dei processi che hanno generato tali effetti.

Nelle istituzioni pubbliche il processo di valutazione avviene nei seguenti termini:

a) Costruzione della "scatola nera", riprendendo la metafora del dispositivo presente negli aeroplani, che serve a ricostruire il diario di volo, si suole indicare un prototipo euristico che conduce a nuove conclusioni e scoperte in ogni campo, es. il libero arbitrio ovvero un dispositivo sinderetico che permette di scegliere tra il bene e il male. b) "Stabilizzazione degli artefatti", cioè linsieme dei processi di traslazione che ne permettono la rielaborazione per es. il Forum PA contiene una propria bacheca dedicata ai libri, ai convegni e ai seminari.

Si tratta fondamentalmente di unanalisi comparativa: gruppo di trattati a confronto con il gruppo di controllo; oppure valore fattuale contro valore controfattuale stima del valore che la variabile risultato avrebbe avuto se il gruppo dei trattati non fosse stato sottoposto al trattamento. I disegni di analisi dellimpatto variano molto ed è possibile individuare due filoni della valutazione dimpatto:

  • Disegni sperimentali classici randomized field experiments: tale metodo si basa sullassegnazione casuale random assignment delle unità osservate al gruppo che verrà sottoposto al trattamento o a quello che non lo sarà. La casualità assicura che i due gruppi siano mediamente uguali. La stima delleffetto del programma avviene confrontando i valori delle variabili outcomes dei due gruppi dopo la somministrazione del trattamento il valore del gruppo dei trattati rappresenta il fattuale, mentre quello del gruppo di controllo il controfattuale.

Pur con tutte le limitazioni cui è sottoposto, questo tipo di disegno è considerato da molti il metodo valutativo per eccellenza the gold standard of evaluation.

  • Disegni quasi-sperimentali non randomizzati o altri metodi non sperimentali: nei quasi-esperimenti i gruppi vengono formati ex post e non con il metodo della random assignment. Il problema in questo caso è il contenimento delle distorsioni dovute al fatto che i due gruppi non sono equivalenti. Si possono individuare due tipi di distorsione bias

a) selection bias distorsione da selezione: i due gruppi non sono uguali; b) maturation distorsione da" dinamica spontanea”: la variabile risultato varia indipendentemente dallintervento pubblico; Alcune tecniche statistiche utilizzate per arginare tali problemi di distorsione e formulare delle stime valide sono: lo statistical matching, la multiple regression analysis, il regression discontinuity design, il difference in difference, l’ interrupted-time-series analysis.

La valutazione di efficienza efficiency analysis

La valutazione di efficienza, come pure la valutazione di impatto, è più appropriata per programmi maturi e stabili. Essa può essere svolta ex ante per scelte allocative in presenza di risorse scarse – efficienza allocativa o ex post come estensione della valutazione di impatto. Gli autori individuano due sotto-categorie:

  • lanalisi costi-efficacia gli effetti del programma non sono trasformati in termini monetari
  • lanalisi costi-benefici gli effetti del programma sono espressi in termini monetari
                                     

1.2. Alcune classificazioni La valutazione su misura

Ogni valutazione va "tagliata su misura" e sebbene il disegno di valutazione possa variare in complessità il lavoro di valutazione viene sempre influenzato da:

  • le risorse disponibili per la valutazione stessa.
  • gli scopi della valutazione
  • la struttura concettuale e organizzativa del programma/progetto/servizio

Si suggerisce al valutatore di porsi i seguenti quesiti: Quali aspetti del piano di valutazione devono essere costruiti su misura? Quali considerazioni dovrebbero guidare il valutatore nella fase di pianificazione di una valutazione? Non esistono linee guida rigide per orientare la progettazione di un piano di valutazione che rappresenta sempre uno sforzo creativo e collaborativo. Ogni disegno di valutazione si struttura attorno ai seguenti tre punti:

  • La natura della relazione fra il valutatore e gli stakeholder
  • I metodi di valutazione
  • Le domande di valutazione
                                     

1.3. Alcune classificazioni La classificazione basata sulle esigenze cognitive

Cambiando prospettiva, ovvero considerando i bisogni cognitivi, la valutazione può assumere cinque forme diverse:

  • Policy and program design: la valutazione come strumento per allocare risorse agli usi più meritevoli
  • Learning: la valutazione come stima degli effetti prodotti da una politica Martini, Cais 1999.
  • Implementation: la valutazione come strumento di analisi critica dei processi di attuazione di una politica
  • Accountability: la valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica
  • Management control: la valutazione come strumento di controllo della performance nellambito delle organizzazioni

La" valutazione” come strumento per allocare risorse agli usi più meritevoli

In questo caso la" valutazione” consiste in un giudizio comparativo su diversi s/oggetti al fine di individuare i migliori o più meritevoli. Si tratta fondamentalmente di quella che comunemente viene definita valutazione ex ante, nonostante non vi sia accordo nellaccettarla come valutazione in senso stretto. Le procedure consistono in tre passaggi essenziali: a) determinazione dei criteri punteggi e pesi; b) esame dei N s/oggetti; c) aggregazione dei giudizi secondo tecniche diverse. A questa logica di valutazione appartengono:

  • la valutazione della ricerca scientifica
  • la valutazione della dirigenza
  • la selezione dei progetti bandi di gara
  • le analisi costi-benefici di alternative
  • lanalisi multicriteri

La valutazione come strumento di controllo della performance nellambito delle organizzazioni

Questa analisi risponde allesigenza di sapere se ed in che misura unorganizzazione o meglio una singola unità organizzativa, funziona bene come dovrebbe. Si tratta di unanalisi della performance che ha per oggetto i costi, la qualità delle prestazioni, i volumi di attività. Si tratta di una misurazione degli scostamenti tra i valori osservati e i valori" ottimali”. Le informazioni prodotte hanno rilevanza gestionale interna. Le fasi di questo tipo di analisi sono cinque:

  • definizione degli indicatori che rappresentano le dimensioni o parti di esse
  • interpretazione delle deviazioni dei dati osservati dagli standards.
  • raccolta dei dati
  • individuazione delle dimensioni da sottoporre a controllo
  • individuazione degli standard appropriati per ciascun indicatore

Si rifanno a questa logica pur non costituendo propriamente dei metodi di valutazione: - il controllo di gestione - la certificazione di qualità - laccreditamento di organizzazioni - le indagini di customer satisfaction

La valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica

Dato un complesso di interventi che usano risorse pubbliche, del cui utilizzo si vuole o si deve rendere conto, la valutazione è quel processo di misurazione e comunicazione sistematiche delle realizzazioni effettuate e dei" risultati” ottenuti. Ha una valenza prevalentemente descrittiva, pone una certa enfasi su grandezze aggregate, che offrono unimmagine dinsieme dello sforzo perpetrato dallorganizzazione. Come strumento di rendiconto la valutazione si adatta particolarmente a organizzazioni complesse e multifunzionali, oppure a grandi programmi di intervento pubblico. La ricaduta decisionale di questo tipo di valutazione non è immediata ed assume prevalentemente una valenza" comunicativa”. I termini chiave sono: trasparenza, responsabilità e legittimazione. I destinatari di questa valutazione possono essere i cosiddetti stakeholders, organi o organizzazioni sovraordinate, oppure, più generalmente, tutti i cittadini.

Alla base di un rapporto di accountability sta fondamentalmente un impegno a fare qualcosa per qualcun altro. Questo impegno può essere imposto dal soggetto esterno, concordato o contrattato tra le parti, od offerto volontariamente dal soggetto delegato in cambio dellattribuzione di responsabilità. Linformazione rilevata ed elaborata a supporto di questa funzione quindi deve essenzialmente controllare che" le cose promesse siano state fatte, fatte in tempo e fatte bene”.

Gli autori sottolineano lambiguità del termine obiettivo, che può assumere due valenze:

  • Obiettivo come modifica di una situazione ritenuta non desiderabile mediante luso di strumenti di intervento pubblico. In questo caso" verificare se gli obiettivi sono stati raggiunti” significa molto di più rispetto ad una verifica delle" cose fatte”, al raggiungimento di un target prestabilito. Qui sorge essenzialmente un problema di attribuzione di causalità, e in seconda battuta di identificazione delle ragioni organizzative, di contesto per cui il cambiamento si è o non si è verificato. Qui non ci si trova più di fronte ad unesigenza di accountability, ma di learning vedi supra.
  • Obiettivo come perseguimento di un target stabilito e quantificato o quantificabile a priori. Il target può essere un certo volume di produzione, il completamento di un progetto, il raggiungimento di livelli qualitativi di un servizio. Verificare se lobiettivo è stato raggiunto significa in questo caso essenzialmente" confrontare il target prestabilito con ciò che è stato ottenuto/fatto/prodotto”, e questa è lessenza dellinformazione prodotta a supporto dell’ accountability.

La raccolta e linterpretazione dellinformazione per sostenere la funzione di accountability è tuttaltro che banale, pur esulando dal problema di attribuzione di causalità. Raccogliere ed interpretare le informazioni necessarie affinché qualcuno realmente arrivi a rendere conto delle proprie azioni non è cosa facile. La maggior sfida viene nel momento finale, quello che consiste nellemettere un giudizio sulla performance del soggetto che deve rendere conto delle proprie azioni. Diversamente dallattribuzione di causalità, che può essere fatta con strumenti relativamente formalizzati e rigorosi delle scienze sociali, qui si tratta di fare una più informale attribuzione di responsabilità.

La valutazione come strumento di analisi critica dei processi di attuazione di una politica

Loggetto dellanalisi in questo caso non è né giudicare la performance né rendere conto delle realizzazioni. Loggetto della valutazione è in questo caso la cosiddetta black box, ovvero la fase del processo di una policy in cui le idee e i programmi vengono trasformati in azioni e pratiche amministrative. In altre parole, attraverso strumenti prevalentemente di tipo qualitativo, vengono studiati i processi attuativi della politica pubblica implementation research.

Alcune pratiche riferibili a questo filone:

  • descrizione di ciò che è stato fatto monitoraggio
  • confronto tra ciò che è stato realizzato e il disegno originario
  • esame sistematico dei punti di forza e di debolezza.

La valutazione come stima degli effetti prodotti da una politica

È la valutazione in senso stretto. Rappresenta uno strumento che aiuta a capire se un intervento pubblico produce gli effetti desiderati. Pur trattandosi di una valutazione ex post, essa è una valutazione prospettica, nella misura in cui aiuta i decisori a riorientare il disegno delle politiche sulla base delle stime prodotte. Si tratta di una valutazione da tenere nettamente distinta dalla rendiconto valutativa. I due tipi di valutazione, come già detto, rispondono ad esigenze cognitive differenti e utilizzano, quindi, propri metodi e strumenti di raccolta dati, analisi e comunicazione. La valutazione, intesa come learning, rientra appieno nel filone della evaluation research / program evaluation americana vedi Rossi, Freeman e Lipsey. È mirata ad un intervento preciso, mentre l’ accountability è generale; le informazioni prodotte dalla valutazione intesa come learning sono approfondite e circoscritte mentre quelle prodotte dall’ accountability sono periodiche, descrittive e semplificate; ancora, questo tipo di valutazione utilizza metodi quantitativi e qualitativi delle scienze sociali basati sullapproccio controfattuale, mentre l’ accountability mantiene prevalentemente unimpostazione tipica della logica di controllo.