L’évaluation est importante pour rendre compte des actions auprès des financeurs mais aussi pour permettre de faire évoluer les projets, de remettre en question les actions et de donner du sens à notre travail.
Cadres d’évaluation identifiés :
en externe : pour les financeurs. C’est une obligation pour débloquer le versement d’un solde de subvention. Est ce qu’ici évaluer = valoriser pour donner à voir ?
La FRMJCNA investit cet espace en rédigeant des bilans annuels d’activité et en proposant des présentations de bilans lors des comités d’orientations stratégiques organisés pour le pilotage du dispositif Passeurs d’images + participation à la newsletter Imagina/site Imagina pour valoriser les actions EAI.
en interne pour faire évoluer les actions / les remettre en question (point développé ci-dessous)
Méthodes d’évaluation :
quantitatif : est ce que le nombre de particpant.e.s rend vraiment compte de l’impact d’une action ? Selon moi, c’est une information factuelle mais cela ne permet pas de mesure un impact.
Cela peut cependant permettre de mesurer l’attractivité d’un projet/d’un atelier en comparant le nombre des participants d’une année sur l’autre.
qualitatif : cette méthode d’évaluation semble plus adapté pour mesurer un impact.
A la FRMJCNA, nous mettons en place un formulaire bilan à l’issue d’une projet Passeurs d’images qui permet de receuillir autant des données quantitatives que des témoignages sur le déroulé d’une action. Nous posons la question sur la satisfaction du porteur sur le projet mais cela ne permet pas de mesurer si le projet a ouvert des horizons chez les publics / permis des rencontres / essaimé des graines de réflexion / créer une vocation / apporté du bien être chez un jeune etc... C’est tout ça qui est très difficile à apprécier sans s’adresser directement aux bénéficiaires d’ateliers.
A la FRMJCNA, pas de réelle évaluation de l’impact de nos actions chez les jeunes bénéficiaires : nous évaluons les projets Passeurs d’images au moyen d’un formulaire rempli par les porteurs de projets mais pas de réel retour de la part des jeunes eux mêmes. Cela provoque une frustration.
Cette année, je profite de la présence d’une volontaire en service civique pour investir ces réflexions sur l’évaluation auprès des bénéficiaires. Cela pose beaucoup de questions :
est ce que des entretiens doivent être réalisés en présentiel ? Si oui, cela demande de se déplacer sur un certain nombre d’ateliers pour recceuillir une diversité de paroles.
est on légitime pour analyser les résultats d’une évaluation d’impact ? Peut on le faire sans être formé en sociologie ? Est ce qu’une mesure d’impact doit forcément être menée par un laboratoire de sociologie, c’est à dire selon une méthodologie très spécifique et scientifique ?
exemple : Pourra t’on tirer de ces témoignages une conclusion générale ou bien elles permettent seulement d’évaluer l’impact de cette action en particulier ? Tendance spécifique vs tendance à généraliser
sur la méthodologie de l’évauation : peut on évaluer qualitativement sans passer par l’oral, en proposant des réponses écrites à des questions. Comment s’assurer que les encadrants font le relais, que les bénéficiaires répondent ?
Nous avons cependant réussi à évaluer par exemple l’impact et la pertinence de nos journées de formation auprès des volontaires Uniscité (mission cinéma et citoyenneté) au moyen d’un formulaire écrit complété par l’ensemble des volontaires. L’idée était de questionner la pertinence du contenu de ces journées et le lien avec les missions des volontaires. Nous avons donc recceuilli directement leurs avis sur les formations.
Question qui se pose : les retours des bénéficiaires peut faire état d’une nécessaire évolution qui vient en contradiction avec l’injonction du financeur sur notre mission d’organisation des formations. Exemple : la majorité des volontaires souhaitent de la pratique/prise de parole en publique vs nous sommes missionés par le CNC pour donner des clés d’analyse de films etc... Evaluer c’est une chose, mais comment appliquons nous ensuite les résultats de ces évaluations ? Avons nous la marge de manoeuvre et la liberté pour le faire ?
Question plus loin : la structure qui mène l’évaluation n’est pas forcément habilitée à en tirer les conséquences mais peut seulement remonter un constat aux organismes qui initient ces dispositifs
Auto évaluation : est ce qu’un jeune bénéficiaire est en capacité de s’auto-évaluer ?
L’efficience d’une auto-évaluation ne sera pas la même en fonction de la temporalité de l’action menée (temps long du temps scolaire vs temps court dans le hors temps scolaire).
Double difficulté car la méthodologie varie en fonction de l’espace temps dans lequel à lieu l’action.
Par ailleurs, il me semble plus facile de mesurer l’impact des actions chez les profesionnell.e.s (une formation sur un outil se traduit par des emprunts de l’outil par la suite ou bien on peut relater de projets qui sont naits suite à des rencontres de réseau...)
Sur la question de la valorisation, j’ajoute qu’il est important que les bénéficiaires d’un projet d’éducation aux images se sentent valorisés. C’est ici que la restitution d’un projet prend du sens (volet obligatoire par exemple d’un projet Passeurs d’images), VOIR, FAIRE mais aussi RESTITUER et ce dans les bonnes conditions (préparé en amont, devant un public, en présence des participants et des intervenants etc...)