Impact: design, analysis and evaluation. MECD Creative Europe. July2014

  • Published on
    25-Jul-2016

  • View
    212

  • Download
    0

Embed Size (px)

DESCRIPTION

This is the presentation done at the working session on international cooperation projects organized by the Spanish MECD. The recording of the presentation: https://youtu.be/kcmbJi4mt9s

Transcript

  • Diseo, Anlisis y Evaluacin del Impacto de Proyectos de

    Cooperacin CulturalCooperacin Cultural

    Victoria Ateca Amestoy (UPV/EHU)(UPV/EHU)

    Madrid, 8 de julio de 2014

    Europa Creativa Cultura DESK

  • www mapsi euwww.mapsi.euwww.facebook.com/mapsiproject

    @MAPSI j@MAPSIproject

  • Conceptos claveConceptos clave

    Definir el impacto de un proyecto (identificacin)

    Incluir en el desarrollo del proyecto

    Llevar el impacto y las acciones para gestionarlo Llevar el impacto y las acciones para gestionarlo

    y medirlo a la solicitudy

  • Conceptos clave: ciclo de vida del proyecto

    Inputs/recursos: todos los recursos (humanos o de capital), invertidos en la actividades de la organizacin / consorcio.

    Actividades: las acciones concretas, tareas y trabajos llevados a cabo por la y jorganizacin / consorcio para crear sus outputs y resultados y paraconseguir sus objetivos.

    Outputs/productos: los productos tangibles y servicios que resultan de lasOutputs/productos: los productos tangibles y servicios que resultan de lasactividades de las organizaciones.

    Resultados: los cambios, beneficios, aprendizajes y otros efectos (tanto en el l l l ) l d l i id d d l corto como en el largo plazo) que resultan de las actividades de la

    organizacin. Impacto (social): la contribucin de las actividades de la organizacin a

    resultados ms amplios y de largo plazo.

    A Practical Guide to Measuring and Managing Impact EVPA 2013A Practical Guide to Measuring and Managing Impact EVPA 2013

  • La cadena de valor del impactoLa cadena de valor del impacto

  • Caractersticas y tipo de impactoCaractersticas y tipo de impacto

    Resultados ms amplios y de largo plazo

    Que afecten no slo al pblico /s objetivo/s

    Anlisis de los stakeholders

    Que trasciendan el horizonte temporal del proyecto (periodo de p p y (p

    elegibilidad de gastos)

    SostenibilidadSostenibilidad

    Legado material o inmaterial

    Que tengan que ver con la transferibilidad de los resultados Que tengan que ver con la transferibilidad de los resultados

    obtenidos:

    A t i i i ti d d t d l i A otras iniciativas de cada partner del consorcio

    A otros agentes que desarrollen proyectos similares

  • Caractersticas y tipo de impactoCaractersticas y tipo de impacto

    Impacto econmico

    Impacto social

    Impacto medioambiental

    Impacto en diseo de polticas Impacto en diseo de polticas

    Sinergias con otros proyectos

    Diseminacin a la comunidad de prctica

    Otros beneficios del consorcio

    Survey and outcomes of cultural heritage research projects supported in the context of EU Survey and outcomes of cultural heritage research projects supported in the context of EU

    environmental research programmes Comisin Europea, 2011

  • Caractersticas y tipo de impactoCaractersticas y tipo de impacto

    Impacto econmico: Libro Verde de las ICC, Estudios de Impacto de

    iniciativas similares (http://www.forum-avignon.org/en/edition-

    2011/publications-2011)

    Impacto social: Comunidades ms fuertes y seguras (dialogo inter-grupos,

    diversidad e identidad, relaciones familiares, crimen y comportamiento

    antisocial), Refuerzo de la vida social (participacin y compromiso cvico,

    capacidades, espacios seguros e inclusivos, empoderamiento,

    correspondencia de servicios pblicos con necesidades), Salud y bienestar

    (estilos de vida saludables, mayores, nios y dependientes).

    Impacto tecnolgico: Retos de la digitalizacin (desarrollo de innovacin

    de proceso o de producto: adopcin por otros agentes).

  • Caractersticas y tipo de impactoCaractersticas y tipo de impacto

    I t A l l i Al b d E 2020Impacto A la conclusindel proyecto (2015 +2/4)

    Al cabo de n aos de la conclusin

    En 2020

    SocialEconmicoEducacionalEducacionalMedio ambientalTecnolgicogInnovacin en gestin

  • Proceso de medicin de impactoProceso de medicin de impacto

    Fij i d bj ti l di iFijacin de objetivos para la medicinMotivos de medir impacto, recursos dedicados, tipo de proyecto, nivel de rigor,

    marco temporal

    Anlisis de los stakeholdersCualquier parte que afecte o sea afectada por el desarrollo del proyectoDos pasos: identificar + involucrar

    Medicin: resultado, impacto e indicadoresDefinir resultados y seleccionar los ms importantes de conseguirEstablecer indicadores: specific, measurable, achievable, relevant and timed (SMART)

    Verificacin y evaluacin del impactoMedicin: cuantitativa y cualitativa. A travs de control interno, encuestas, focus-groups

    Monitorizacin y reporteAnlisis de resultadosAplicacin a la gestin / informe final

  • Impacto e indicadoresImpacto e indicadores

    Performance Indicators, Key Performance Indicators (KPIs), Indicators of Impact/outcome

    V l i d l i t d l i d l Valoracin del impacto y de la consecucin de los objetivos.

    SMART SMART La medida ha de tener un propsito eSpecfico.

    Medible para conseguir valor del indicador.Medible para conseguir valor del indicador.

    Asequible / Conseguible

    La consecucin / mejora en el indicador es Relevante

    En un marco Temporal adecuado (se manifiestan y miden en tiempopredefinido)

  • Impacto e indicadoresImpacto e indicadores

    Definicin: parmetro o valor que seala, describe o proporciona

    informacin sobre el estado de un fenmeno y que es significativo

    ms all del valor que toma (OECD, 2003)

    Alternativamente, una caracterstica o dimensin particular que se , p q

    usa para medir los cambios deseados en los resultados de un

    proyecto Sirven para observar el progreso y medir los resultadosproyecto. Sirven para observar el progreso y medir los resultados

    obtenidos frente a los resultados esperados.

    H d d i ifi bl ( bj i Han de estar expresados en trminos cuantificables (objetivos y

    mensurables: nmero de individuos, porcentaje, variacin positiva o

    negativa)

  • Conceptos clave: en los criterios de evaluacin

    Criterios de concesin para proyectos de cooperacin (pgina 5)http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/call-culture-ce-

    2013_es.pdf

    E1. Pertinencia (35 puntos).

    E2. Calidad del contenido y las actividades (25 puntos)

    E3 Comunicacin y difusin (20 puntos): Enfoque del proyecto con respecto a la comunicacin E3. Comunicacin y difusin (20 puntos): Enfoque del proyecto con respecto a la comunicacin

    de sus actividades y resultados y a la puesta en comn de conocimientos y experiencias con

    el sector y ms all de las fronteras. El objetivo es maximizar el impacto de los resultados del

    proyecto, ponindolos a disposicin, de la forma ms amplia posible, a nivel local, regional,

    nacional y europeo, de manera que no solo lleguen a quienes participan directamente en el

    proyecto, sino que, adems, tengan un impacto ms all del perodo de vigencia de este.

    E4. Calidad de la colaboracin (20 puntos): En qu medida la organizacin general y la

    coordinacin del proyecto garantizarn la aplicacin efectiva de las actividades y

    t ib i t ibilid dcontribuirn a su sostenibilidad.

  • Conceptos clave: en la solicitudConceptos clave: en la solicitud

    O C Descripcin de contenidos del E-FORM. Captulo Proyectos de cooperacin europea http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/Contenidos_eFORM_Acc

    C d f df_Coop_def.pdf

    Parte E Criterios de concesin

    E1. Relevancia:

    E.1.2. To what extent is the project aiming at producing results which will go beyond the sole interest of the partners and direct participants and have

    ? 000potential long-term impacts? (Max. 1000 characters)

    How complementary is the project to cultural actions implemented at national, regional or local level?

    E3. Comunicacin y difusin:

    E.3.1. How clear and appropriate is the strategy to communicate on the activities of the partners' network including the objectives target groups tools channels of the partners network, including the objectives, target groups, tools, channels, media, impact and Timeline?

  • Conceptos clave: en la solicitudConceptos clave: en la solicitud

    E 1 2 T h i h j i i d i l hi h ill E.1.2. To what extent is the project aiming at producing results which will go beyond the sole interest of the partners and direct participants and have potential long-term impacts? (Max. 1000 characters)

    How complementary is the project to cultural actions implemented at national How complementary is the project to cultural actions implemented at national, regional or local level?

    Contribucin del proyecto a conseguir objetivos ms amplios: Contribucin del proyecto a conseguir objetivos ms amplios:

    (C.3 Relevance to the specific objectives of the Programme. Please choose as appropriate. If more than one priority is ticked, you will have to provide a pp p p y , y pranking)

    Dimensin y retos de EUROPA CREATIVAy Respuesta del proyecto Mtrica del impacto

  • Conceptos clave: en la evaluacin de la solicitud

    Check-list

    Correspondencia entre:

    Los objetivos generales del EUROPA CREATIVA que hemos marcado Los objetivos generales del EUROPA CREATIVA que hemos marcado (C3)

    Objetivos del proyecto (en la aplicacin electrnica y en la memoria anexa)

    Resultados del proyecto: para quin (E3.1) Impacto a largo plazo: en qu reas (E1 2) Impacto a largo plazo: en qu reas (E1.2)

    Mecanismo de medicin y de evaluacin establecidoy

  • Conceptos clave: en la evaluacin de la implementacin del proyecto

    PROGRAMME CULTURE 2007 2013 FINAL TECHNICAL IMPLEMENTATION REPORT 4 PROGRAMME CULTURE 2007-2013. FINAL TECHNICAL IMPLEMENTATION REPORT 4. EVALUATION OF PROJECT ACTIVITIES (between 2 and 5 pages)

    http://eacea.ec.europa.eu/culture/beneficiaries/2012/report_strand_121_en.php

    Based on the information presented above, please provide an evaluation of the development, progress and achievements of the project.

    4.1 Objectives and priorities: How have the objectives been implemented? Please specify how your project related to the objectives of the Programme the relevance to the European Year and your project related to the objectives of the Programme, the relevance to the European Year and to the field selected in your application.

    4.2 Who has benefited from the project? Please specify what the target groups were and how many people from each target group benefited directly and indirectly from the results of each

    i iactivity.

    4.3 How did the project contribute to the selected objectives of the European Agenda for Culture?

    4.4 What will be the impact of the project on a long term basis?

    4 5 How were the project activities communicated/disseminated? (Please attach a copy of press 4.5 How were the project activities communicated/disseminated? (Please attach a copy of press releases, banners, posters or other type of communication material used.)

    4.6 Have you already made use (or do you intend to do so) of the European Commission's electronic platform (EVE: http://www.ec.europa.eu/eve) for the dissemination and exploitation of project results?project results?

    4.7 Please describe how you promoted and ensured the visibility of your project?

    4.8 What was the role (i.e. tasks) of the associate partners (if any) involved in the project?

  • SugerenciasSugerencias

    Sinergias

    Con otros proyectos e instituciones (algunas pautas dadas ya por la EACEA: Europa Creativa DESK, Representaciones UE en pases, EVE p , p p , nueva versin)

    C d Cartas de apoyo

    Antiguo rol de associated partner identificacin a priori de los principales stakeholders del proyecto (presentacin y apoyo)p p p y (p y p y )

    Cuidar la comunicacin interna hacia esos agentes.

    Buscar efectos multiplicadores.Buscar efectos multiplicadores.

    Trabajar en la sostenibilidad ya desde la fase de diseo.

  • RecursosRecursosA P ti l G id t M i d M i I t EVPA 2013A Practical Guide to Measuring and Managing Impact EVPA 2013http://evpa.eu.com/login/?redirect_to=%2Fdownloads%2F%3Fpdf%3D2010%2F11

    %2FEVPA_A_Practical_Guide_to_Measuring_and_-Managing_Impact_final.pdf

    Survey and outcomes of cultural heritage research projects supported in the Survey and outcomes of cultural heritage research projects supported in the context of EU environmental research programmes Comisin Europea, 2011

    http://ec.europa.eu/research/environment/pdf/survey_and_outcomes_cultural_heritage.pdfitage.pdf

    Measuring Museum Impacts report 3. The Learning Museum project 2013http://www.lemproject.eu/WORKING-GROUPS/audience-research-learning-styles-

    and-visitor-relation-management/3rd-report-measuring-museum-impactsg / p g p

    Measuring the economic benefits of arts and culture: Practical Guidance onResearch Methodologies for Arts and Cultural Organizations. Arts Council England, 2012

    http://www.artscouncil.org.uk/media/uploads/pdf/Final_economic_benefits_of_arts.pdf

    MAPSI Projectwww.mapsi.eu