« La nuance est le luxe de l’intelligence libre, l’intelligence opprimée va directement à l’évidence »

Albert Camus

Dans le cadre de l’habilitation pour l’évaluation des établissements et services visés à l’article L. 312-1 du code de l’action sociale et des familles, ITACA Consultants est référencée sous le n° H2009-07-042 comme évaluateur par décision de l’Agence nationale de l'évaluation et de la qualité des établissements et des services sociaux et médico-sociaux (ANESM).

Cadre légal de l’évaluation externe (art. L312-8 CASF)

Les établissements et services font procéder à l’évaluation de leurs activités et de la qualité de leurs prestations par un organisme extérieur habilité  par l'ANESM.

Les organismes habilités doivent respecter un cahier des charges fixé par décret (n° 2007-975 du 15 mai 2007) et les résultats de cette évaluation sont également communiqués à l'autorité ayant délivré l'autorisation.

Ses résultats sont pris en compte pour le renouvellement de l'autorisation de l'établissement.

Les textes, cadre du dispositif d’évaluation et d’amélioration de la qualité des prestations, ont pour objet de centrer la visée évaluative sur la pertinence de la réponse aux besoins et attentes des usagers comme socle et finalité des interventions, dans le cadre des missions imparties.

Le Décret n° 2007-975 du 15 mai 2007 précise que « L’évaluation doit viser à la production de connaissance et d’analyse; elle a pour but de mieux connaître et comprendre les processus, d’apprécier les impacts produits au regard d’objectifs et en référence aux ?nalités prioritairement dé?nies pour l’action publique.

L’évaluation externe a pour objectifs de porter une appréciation globale sur les points suivants :

1. l’adéquation des objectifs du projet d’établissement ou de service par rapport aux besoins, aux priorités des acteurs concernés et aux missions imparties ;
2. l’adaptation aux objectifs des moyens humains et financiers mis en place;
3. l’appréciation sur l’atteinte des objectifs, la production des effets attendus et d’effets non prévus, positifs ou négatifs […] ;
4. les conditions d’efficience des actions et de réactualisation régulière de l’organisation».

Des définitions  de l’évaluation

Avant de préciser les modalités concrètes que nous proposons, pour une démarche d’évaluation externe, quelques remarques préalables peuvent être faites autour de l’évaluation en général. En premier lieu, nous nous référons à deux définitions importantes. La première est celle que l’on trouvait dans le déjà ancien rapport Viveret3 qui indique que l’évaluation est « la démarche par laquelle on va porter un jugement sur la valeur de l’action menée », ajoutant qu’elle a pour fonction majeure de contribuer au débat démocratique.

La Société Française de l’Evaluation, la définit pour sa part comme suit : « L’évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts 4».

Ces définitions auxquelles nous nous référons imposent de clarifier la nature des référentiels utilisés (ce qui constitue la valeur sur laquelle il faut se prononcer) en se confrontant à la complexité des questions abordées. Cela suppose de veiller à ce que le dispositif d’évaluation soit adapté à la spécificité de l’action menée et des objectifs poursuivis.

Autrement dit, l‘évaluation n’est pas une simple compilation de données ; l’analyse de ces données, la construction d’indicateurs et leur interprétation constituent l’essentiel de l’évaluation. L’évaluation doit répondre à des exigences de qualité en termes de pertinence, de fiabilité, d’objectivité et de transparence par rapport aux principaux résultats, aux choix des préconisations et aux méthodes et données utilisées.

Cadre déontologique

• Intervenir dans une approche croisée par une démarche évaluative portée par au moins deux consultants pour chaque structure pour construire une analyse dialectique. Cette posture nous semble en cohérence avec la finalité de l’évaluation qui est celle de créer les conditions  et de favoriser une culture de débat autour de la qualité de l’offre.  Selon les spécificités de l’établissement une expertise peut être associée,  par exemple un médecin spécialisé peut apporter sa contribution dans l’évaluation d’un Foyer d’accueil médicalisé ;
• Inscrire l’évaluation externe dans la dynamique associative et dans la continuité de l’évaluation interne
• Considérer l’évaluation comme un moyen de progresser collectivement dans la construction d’un savoir partagé pour comprendre ensemble les enjeux et les perspectives à envisager, sans juger les professionnels individuellement dans leur pratique ;
• Donner un sens à l’évaluation pour passer des procédures « contraignantes » à des procédures « leviers de l’action », l’évaluation doit servir à valoriser et à étayer le projet de la structure
• Mailler les interlocuteurs (administrateurs, personnes accueillies, partenaires, salariés...) et les modes d’observation pour permettre un regard diversifié. Une attention particulière a été portée à cette modalité afin d’associer les personnes accueillies dans les différents espaces de participation prévus

Cadre méthodologique

L’évaluation implique la construction d’un cadre de référence et un questionnement évaluatif adapté à chaque établissement et par type d’interlocuteurs.

Le champ de l’évaluation est déterminé à la fois par les orientations des politiques sociales et médico-sociales et par celles retenues dans le cadre de l’évaluation interne réalisée par la structure. Ceci afin d’assurer la complémentarité des analyses et permettre d’apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu.

L’évaluation externe porte une  attention  particulière et une appréciation sur les activités et la qualité des prestations au regard :

- de l’effectivité des droits des personnes accueillies dans une visée de bientraitance et d’exercice de la citoyenneté

- de l’ouverture de la structure sur son environnement dans une double logique, d’inclusion et d’évolution des mentalités pour contribuer au changement de la société sur les personnes en risque d’exclusion

- de la prise en compte des facteurs de risque et d’insécurité : par exemple, application de normes d’hygiène et de sécurité, prévention des situations de crise, de prévention des risques de maltraitance.

Cette approche implique  que les préconisations prennent en compte la culture associative et les spécificités pour chaque structure.

Quelques références en matière d’évaluation

Evaluation Interne et externe

Evaluation externe pour les 5 établissements et services de l’association l’IADES

les rapports de l’évaluation externe sont accessibles sur le site :

1. I.A.D.E.S. : Inter Association Dourdan Essonne Sud
2. Accompagnement à la démarche d’évaluation interne pour des établissements services et schémas :

ü  du secteur du handicap : Centre Henry Dunant de la Croix Rouge d’Amiens ; EMP, CAFS et SESSAD de la Croix Rouge à Boulogne Billancourt,  Papillons Blancs de l’Essonne « audit à blanc » en vue de préparer l’évaluation externe

ü  du secteur de l’exclusion pour les six CADA de la Croix-Rouge, pour les ESI  et le CHRS C. Booth de la Fondation de l’Armée du Salut

ü  de la  prévention spécialisée pour l’association AJIR

Evaluation des politiques publiques 

1. Evaluation du schéma de la protection de l’enfance pour le  Conseil Général de la Seine et Marne
2. Evaluation de la politique de prévention spécialisée Conseil Général de Seine et Marne et du Val de Marne
3. Evaluation nationale du programme européen ESPERE
4. Assistance méthodologique pour la conduite de l’évaluation du plan d'exécution de peine pour l’administration pénitentiaire  Evaluation des Plans Locaux d'Insertion par l'Économique pour les régions : Picardie et Franche-Comté /
5. Evaluation de la politique jeunesse pour le Conseil Général de l'Essonne
6. Evaluation des points d’accès au droit dans les établissements pénitentiaires en Ile de France
7. Evaluation du dispositif accès au droit et sante mentale avec les hôpitaux de Saint Anne, Tenon et Peray Vaucluse
8. Formation à l’évaluation dans le cadre d’un Master 2 « Gestion et évaluation des institutions sanitaires et sociales » Université des Antilles et de la Guyane

« La nuance est le luxe de l’intelligence libre, l’intelligence opprimée va directement à l’évidence »

Albert Camus

Pièce-jointe:

Evaluation externe

174 Kb