Guia per a la caracterització de la innovació pública (III)

Aquest és el tercer apunt de la sèrie que hem publicat sobre la Guia per a la caracterització de la innovació pública. En aquest darrer apunt, tractarem sobre l’avaluació de la innovació al sector públic i de la innovació social.

Definir, mesurar i caracteritzar la innovació és important per poder entendre com funciona i per poder orientar l’acció cap a la seva promoció i estímul. La innovació, en general, és bona en la mesura en que pugui millorar la situació de partida i sigui generalitzable. Per una empresa privada, per exemple, la innovació pot ser positiva en la mesura en què fa que es posicioni millor en el mercat i millori el seu compte de resultats. Ja sigui, per exemple, perquè ha aconseguit reduir costos innovant en el procés de producció o perquè hagi llançat un nou producte d’èxit al mercat.

En el cas del sector públic, la innovació té una rellevància especial, atès que l’aplicació de noves idees sempre persegueix en darrera instància un gran objectiu: la millora del benestar social. Evidentment, no tot problema pot requerir una solució innovadora però hi ha ocasions en què la persistència i la complexitat dels problemes socials fa pensar que calen noves solucions per reduir-los o eliminar-los (pensem en la pobresa, el fracàs escolar, el canvi climàtic o l’atur, per exemple). Les restriccions financeres i la pressió ciutadana actuen com a palanques que ens han d’impulsar cap a la millora de l’eficiència i l’eficàcia.

Hi ha una correlació entre innovació al sector públic i efectivitat de les polítiques. Per això és rellevant que, a més de mesurar la innovació, ens puguem dotar d’un sistema de seguiment i d’avaluació dels resultats d’aquesta innovació: s’han reduït o solucionat els problemes? S’ha aconseguit el que es volia a un menor cost? Els serveis o actuacions que hem fet o millorat han funcionat com esperàvem? Si no han funcionat, per què? Ho han fet diferent per a diferents col·lectius?

El concepte d’innovació al sector públic enllaça estretament amb un altre concepte molt relacionat com és el d’innovació social. Seguint a la Comissió Europea, definim innovació social com: “innovacions que són socials, tant en les finalitats com en els mitjans. Noves idees (productes, serveis, models) que simultàniament cobreixen necessitats socials (més efectivament que altres alternatives) i creen noves relacions o col·laboracions socials”. Les innovacions socials poden ser iniciades i disseminades tant pel sector públic, com pel privat o el tercer sector.

El vincle entre la innovació en el sector públic i la innovació social és particularment important. En els àmbits socials com la salut, l’educació, els serveis socials o el medi ambient és força habitual la intervenció del sector públic. Com a resultat, la recent literatura sobre la mesura de la innovació al sector públic proveeix aprenentatges extrets dels que busquen mesurar la innovació social.

Així, mesurar la innovació al sector públic està molt a prop de mesurar la innovació social; mesurar la innovació social té a veure amb mesurar el retorn social i econòmic d’una intervenció pública; i, finalment, mesurar el retorn social i econòmic, vol dir mesurar els costos i els impactes d’una intervenció. Avaluar-ne el seu cost-efectivitat, en definitiva. En aquest article, quan parlem d’avaluació de la innovació en el sector públic englobarem, també, el concepte d’innovació social.

Avaluar una intervenció pública, o algun component de la mateixa, per comprovar si funciona i per assegurar-nos que en trèiem el millor rendiment dels recursos públics és una necessitat en qualsevol política, pla, programa, servei, procés o organització, ja sigui, abans de portar a terme l’actuació (avaluació ex ante) o bé durant la seva execució o al final de la mateixa (avaluació ex post). La Comissió Europea defineix l’avaluació com la valoració de les intervencions dels organismes públics segons els seus productes i els seus impactes, amb relació a les necessitats que pretenen satisfer, i orientada a proveir informació rigorosa, basada en evidències, per a la presa de decisions. Trobareu aquesta definició també a la Guia Pràctica 1. Com iniciar una avaluació: oportunitats, viabilitat i preguntes d’avaluació. Ivàlua (2009).

Tanmateix, en el cas de l’avaluació de la innovació en el sector públic hi ha una sèrie d’elements que la diferencien de l’avaluació de qualsevol intervenció pública clàssica.

La innovació, per definició, és poc predictible. En general, l’avaluació de polítiques públiques requereix que hi hagi una definició clara d’objectius contra els quals valorar el seu grau d’assoliment. En una innovació, però, pot ser que no sigui possible identificar de forma clara els objectius i, fins i tot, pot no ser recomanable perquè pot desencoratjar la pròpia innovació.

Els models lineals tradicionals que s’utilitzen per dissenyar polítiques i per avaluar-les, com ara els marcs lògics i les teories del canvi, on es determina un resultat desitjat (outcome i impacte), es produeixen o lliuren uns béns i serveis per aconseguir-lo (outputs) i es destinen els recursos necessaris (inputs) no sempre és l’esquema més adequat per valorar les innovacions. Això no vol dir que no sigui útil com a punt de partida, però s’ha d’adaptar i s’ha de flexibilitzar atès que cal estar oberts a resultats no esperats, a canvis en els béns i serveis que es poden oferir i a modificacions i reassignacions dels recursos, fruit del procés mateix d’innovació que implica seguir una seqüència de prova i error.

Simplificant, podem dir que l’avaluació té dos grans objectius: l’aprenentatge per a la millora i el rendiment de comptes. Pel que fa al darrer, la utilització de recursos públics obliga a vetllar per al seu millor ús i a comunicar els resultats de l’avaluació per tal de fer transparent l’acció de govern i la presa de decisions. L’objectiu d’aprenentatge institucional, en canvi, persegueix una finalitat clara de millora a partir d’instruir-se sobre allò que funciona i allò que no funciona. Aprendre dels errors, en definitiva. En aquest sentit, el paper de l’avaluació consisteix, sobretot, a identificar les lliçons apreses i les implicacions per al futur.

És clau, doncs, juntament amb el disseny de la innovació (sigui de la tipologia que sigui), planificar el sistema de seguiment i d’avaluació. El sistema de seguiment, bàsicament a partir d’indicadors, ens permetrà tenir informacions més puntuals sobre com està evolucionant la innovació i ens pot donar senyals d’alarma per corregir o modificar el curs de l’acció. L’avaluació, en canvi, va més enllà i pretén establir relacions de causalitat entre el que fem i el que aconseguim.  La metodologia d’avaluació de la innovació ha de permetre entendre la complexitat dels processos, incorporar les excepcions i els efectes no desitjats i identificar els aprenentatges i les seves implicacions. Els mètodes i eines tradicionals d’avaluació d’impacte (mètodes experimentals, quasi-experimentals, etc), d’eficiència (cost-benefici, cost-efectivitat, etc) o d’implementació es poden utilitzar sempre que es tinguin en compte les especificitats esmentades. A més, cal considerar que a banda de les dificultats per quantificar els impactes, també s’ha de tenir en compte que sovint les innovacions triguen un període relativament llarg en tenir efectes.

Atès que un dels punts rellevants en l’avaluació de la innovació en el sector públic és l’aprenentatge, serà clau afegir a les metodologies quantitatives, mètodes qualitatius (qüestionaris, entrevistes, grups de discussió, estudi de casos) que permetin perfilar millor els matisos de cada cas particular i els factors d’èxit o fracàs.

D’altra banda, una altra qüestió rellevant és què fem amb aquests aprenentatges, com els incorporem a l’organització. Una de les eines amb què podem comptar és la disseminació de bones pràctiques que demostrin resultats contrastables; és a dir que hi hagi evidència de que funciona i de que s’ha produït algun canvi o diferència positiva.

Evidència i innovació semblen dos termes contradictoris, ja que el primer implica utilitzar el coneixement preexistent sobre allò que funciona i implica que pugui ser replicable. En canvi, la innovació comporta provar noves aproximacions (i per tant, no contrastades) per trobar millors formes de fer les coses.

En aquest sentit, Nesta (agència per a la innovació del Regne Unit) proposa una escala d’evidència en cinc nivells com a una aproximació que permet equilibrar la necessitat d’evidència amb la innovació pública. No n’hi ha prou amb bones idees, assenyalen, ja que no sempre ens porten a bons resultats. Nesta utilitza una definició àmplia d’evidència que no s’assimila, necessàriament, a un tipus de dades específiques o una metodologia d’avaluació predeterminada. L’escala d’evidència que proposen té cinc nivells  on el nivell 1 és el mínim requeriment d’evidència que li podem demanar a una innovació (descripció de la innovació i del perquè creiem que ha de funcionar) i el nivell 5 el màxim (amb una evidència robusta, científicament comprovada, i amb manuals, sistemes i procediments per poder ser replicada).



La utilitat d’aquesta escala va des d’informar decisions d’assignació de recursos, dissenyar intervencions, escalar projectes pilot, a planejar futures avaluacions.
Només a tall d’exemple, altres experiències interessants per aconseguir la disseminació de les innovacions i per compartir aprenentatges són els anomenats centres “What Works” (“què funciona”) que recullen avaluacions rigoroses fetes sobre programes i intervencions públiques, en general, en termes, bàsicament, del seu impacte i el seu cost benefici o cost efectivitat. Vegeu, per exemple, el balanç del primer any de funcionament de la xarxa “ What Works Network” del Regne  Unit.

Com a conclusió, la innovació al sector públic ha d’anar acompanyada d’un sistema de gestió, de presa de decisions i d’assignació de recursos que permeti i faciliti la introducció de noves idees, organitzacions i formes de treballar que impliquin un canvi positiu respecte a la situació precedent. La implementació de noves idees, però, ha de dotar-se d’un sistema de seguiment i d’avaluació que permeti comprovar la direcció d’aquest canvi i que faciliti l’aprenentatge institucional  i l’escalabilitat de les innovacions que es demostri que funcionen. Sense això, podem estar promocionant intervencions que no funcionen i, el que és pitjor, que no sabrem mai si funcionen o no. Cal no perdre de vista, en definitiva, que la innovació pública és bona en la mesura en que pot contribuir a la millora del benestar social.

Altres referències interessants són:

The PEW Charitable Trust

Alliance for useful Evidence

What Works Clearinghouse

Alba Puigdomènech Cantó
Anna Tarrach Colls

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s