Contexte 6.1 Selon le budget principal de 2004-2005, le budget des dépenses de la province est de l’ordre de 5,7 milliards de dollars, dont la majeure partie sera ensuite dépensée par les programmes. Le Plan de médicaments sur ordonnance, les services psychiatriques, le développement régional, la gestion des terres de la Couronne et des centaines d’autres programmes rivalisent pour obtenir une part des ressources publiques limitées. Les législateurs, les hauts fonctionnaires du gouvernement, les gestionnaires de programmes et le personnel sont régulièrement appelés à prendre des décisions au sujet de ces programmes. 6.2 Les programmes que fournissent les ministères et les organismes du gouvernement provincial ne sont pas statiques. Les politiques et les priorités du gouvernement changent. De nouveaux programmes sont créés. Des programmes déjà établis sont restructurés ou abolis. Les niveaux de financement de chaque programme changent. Des programmes sont mis à l’essai et évalués. 6.3 En cette époque de budgets serrés et de ressources limitées, les ministères sont tenus de « faire plus avec moins ». Et il semble que ces pressions continueront de s’intensifier. Ainsi, une population vieillissante nécessitera sans doute que l’on mette davantage l’accent sur les domaines reliés aux soins de santé. 6.4 Avec raison, les citoyens s’attendent à ce que les programmes financés au moyen de leurs taxes et impôts produisent des résultats souhaitables pour la population (p. ex., améliorer la santé, le mode de vie et le bien-être financier des gens du Nouveau- Brunswick). De plus, le gouvernement a la responsabilité de bien gérer les ressources qui lui sont confiées. Compte tenu de la réalité actuelle, il est de la plus grande importance que les programmes financés soient pertinents et rentables et qu’ils atteignent leurs objectifs. Les décisionnaires doivent faire des choix judicieux afin que les programmes financés en vaillent réellement la peine. Sinon, il est possible que d’autres programmes ayant une valeur publique plus grande ne voient jamais le jour. 6.5 Les législateurs, le gouvernement ainsi que la direction et le personnel des ministères doivent prendre des décisions reliées aux programmes. Par exemple : • Devrait-on créer un nouveau programme? • Un programme en place est-il toujours pertinent pour sa clientèle cible, ou devrait-on l’abolir ou le réorienter? • Devrait-on prolonger, élargir ou abolir un programme pilote? • Quel niveau de ressources devrait-on réserver à un programme durant l’année qui vient? 6.6 À la base de ces questions se trouve l’objectif primordial de fournir les meilleurs programmes possibles à la population du Nouveau-Brunswick. Une autre question importante pourrait être posée : • Comment s’y prendre pour « réparer » un programme qui n’offre pas les services les plus pertinents, les plus efficaces et les plus rentables à la population du Nouveau-Brunswick? 6.7 En répondant à ces questions, les décisionnaires doivent tenter de synthétiser l’information qui les aidera à faire des jugements éclairés. Bien que les renseignements anecdotiques et les informations opérationnelles puissent fournir un aperçu valable, ce n’est pas suffisant pour fonder la prise d’une décision judicieuse. Il faut aussi des informations objectives et vérifiables qui contribuent à évaluer la pertinence et la rentabilité d’un programme et la mesure dans laquelle il atteint ses objectifs. La principale fonction de l’évaluation des programmes est de fournir de telles informations. 6.8 Par ailleurs, l’évaluation des programmes est nécessaire parce que, dans la plupart des cas, le gouvernement est le seul à fournir un service ou un programme en particulier. Il est très rare que les consommateurs de services gouvernementaux aient le choix. Dans le secteur privé, les décisions des consommateurs dictent clairement la valeur d’un service ou d’un produit. Le gouvernement doit avoir un processus d'évaluation qui compense l’absence de concurrence. Étendue 6.9 Notre objectif pour ce projet était le suivant : Déterminer l’approche employée par les ministères du gouvernement provincial pour évaluer les programmes. 6.10 Pour mener notre travail à bien, nous avons envoyé un questionnaire sur l’évaluation des programmes à 18 ministères. Le bureau du Conseil exécutif a coordonné l’enquête et remis les réponses à notre bureau. 6.11 Les réponses à notre enquête ont été mises en tableaux et résumées; les résultats sont présentés dans ce chapitre. Nous ne formulons pas de recommandations; nous nous limitons à fournir de l’information. Il y a lieu de noter également que nous n’avons pas tenté de vérifier ni d’examiner d’autre façon les réponses que nous avons reçues des ministères. 6.12 Pour nous acquitter de ce projet, nous avons effectué beaucoup de recherche, y compris l’examen de documentation sur l’évaluation des programmes et de pratiques exemplaires appliquées dans d’autres gouvernements. Une partie de cette information et notre analyse sont présentées dans le chapitre afin d’établir le contexte de notre enquête. Résumé des résultats 6.13 L’évaluation des programmes n’est pas une panacée. Cependant, une évaluation régulière des programmes peut fournir aux décisionnaires des preuves crédibles sur la pertinence et la rentabilité d’un programme et sur la mesure dans laquelle il atteint ses objectifs. Il s’agit d’une information que les décisionnaires ne connaîtraient peut-être pas autrement. L’accès à cette information accroît la probabilité que des décisions optimales soient prises concernant un programme. 6.14 À la lumière des résultats de l’enquête, nous pouvons faire les observations qui suivent au sujet de l’évaluation des programmes telle qu’elle est pratiquée dans les ministères du gouvernement du Nouveau-Brunswick. • Les deux principaux facteurs dans la prise de décisions au sujet d’un programme semblent être l'information financière et le degré de concordance entre le programme et les plans stratégiques à l’échelle du ministère ou du gouvernement. • Les décisionnaires ont accès à peu d’informations sur l’efficacité (c.-à-d. les résultats réels par rapport aux résultats visés et les résultats de l’évaluation officielle des programmes) comparativement aux formes plus traditionnelles d’informations reliées aux programmes (c.-à- d. rapports numériques, rapports descriptifs et rapports financiers). C’est peut-être la raison pour laquelle l’information ayant trait à l’efficacité des programmes a été choisie moins souvent comme facteur clé de la prise de décisions au sujet des programmes. • Il y a absence de lignes directrices officielles qui établissent des approches normalisées pour l’évaluation officielle des programmes par les ministères. • Il semble y avoir un déséquilibre dans les capacités d’évaluation des programmes parmi les ministères. • Les ressources limitées semblent limiter la capacité des ministères d’améliorer leurs méthodes d’évaluation des programmes. • D’après les réponses au questionnaire, il semble exister un certain nombre de « pratiques exemplaires » en matière d’évaluation des programmes, surtout dans les ministères dotés d’unités internes d’évaluation des programmes. 6.15 Étant donné la valeur pour la prise de décisions de l’information qui peut être tirée de l’évaluation des programmes ainsi que les possibilités d’amélioration soulevées par les réponses au questionnaire, notre bureau prévoit effectuer plus de travail dans ce domaine. La prochaine étape de notre travail en matière d’évaluation des programmes consistera à voir comment le ministère de la Santé et du Mieux-être procède pour évaluer certains programmes qu’il administre. Programmes 6.16 Un programme est une accumulation organisée et dirigée de ressources qui servent à réaliser une activité ou une série d'activités afin d'atteindre un ou plusieurs objectifs préétablis. La création d’un programme sous-entend qu’un besoin important d’une partie de la population peut être satisfait de manière rentable au moyen de ce programme. 6.17 Pour qu’un programme soit un succès, une séquence logique doit être suivie. Un exemple d’une telle séquence est présenté à la pièce 6.1. Nous nous sommes fondés sur cette séquence modèle pour un programme important de notre bureau, soit la réalisation des vérifications d'optimisation des ressources. Il s’agit d’un extrait de notre modèle logique, affiché sur notre site Web. Pièce 6.1 Modèle logique d’un programme 6.18 Premièrement, les ressources affectées à un programme doivent être organisées de façon à ce qu’elles puissent exécuter les activités qui, selon les concepteurs du programme, devraient mener à l’atteinte de l’objectif ultime du programme. Dans la pièce, des ressources humaines, financières et physiques et de l’information sont utilisées dans la réalisation des vérifications d'optimisation des ressources. 6.19 Deuxièmement, l’activité que représente la réalisation de vérifications d'optimisation des ressources produit certains extrants. Dans notre exemple, les extrants sont des rapports et des recommandations. 6.20 Troisièmement, la production de ces extrants devrait mener à l’atteinte de certains résultats à court terme. Dans la pièce ci- dessus, les résultats à court terme sont l’acceptation et la mise en œuvre de nos recommandations par les ministères et les organismes. Des résultats à moyen terme en découlent, soit l’amélioration des mécanismes et des méthodes des ministères et des organismes visés. 6.21 Enfin, ces résultats à moyen terme devraient contribuer à l’atteinte des résultats à long terme du programme. Donc, comme le montre la pièce 6.1, on s’attend à ce que l’atteinte des résultats à moyen terme donne lieu à une sensibilisation accrue du public et à un gouvernement plus efficace et plus redevable. 6.22 Voilà comment tous les programmes fonctionnent en théorie. Cependant, toutes sortes de problèmes peuvent survenir, empêchant ainsi le programme d’être aussi pertinent et rentable que possible et d’atteindre ses objectifs. Les problèmes possibles sont, notamment : • Les besoins de la population cible ne sont pas bien compris et le programme ne répond donc pas aux besoins prioritaires (p. ex., un programme en place n’est plus nécessaire, mais il continue à être financé et offert). • L'objectif ultime d’un programme n’est pas clair, ce qui rend difficile l’évaluation des résultats atteints. • Les résultats et les objectifs prévus ne découlent pas avec logique des activités et des extrants du programme (p. ex., la conception du programme est déficiente). • Sur le plan social, les coûts de la satisfaction des besoins au moyen du programme excèdent les avantages. • Les ressources affectées à la réalisation des activités du programme sont insuffisantes. • Les activités du programme ne sont pas réalisées d’une manière rentable (c.-à-d. des ressources sont gaspillées). • D’autres activités pourraient améliorer l’efficacité ou l’efficience de l’atteinte des objectifs du programme. • Les changements observés dans les résultats se seraient produits avec ou sans la présence du programme (c.-à-d. le programme n’a pas d’incidence sur l’atteinte de l'objectif). Dans de tels cas, les sommes dépensées pour le programme sont du gaspillage. • La prestation du programme n’a aucune incidence sur l'objectif ultime. • La mesure des résultats aux fins de présentation de l'information sur le rendement n’est pas exacte, faisant que les décisionnaires obtiennent de l’information erronée. 6.23 Bon nombre de ces problèmes ne sont pas nécessairement relevés par un simple examen des rapports financiers et opérationnels. De l’information d’évaluation est nécessaire. La valeur de l’évaluation des programmes 6.24 L'évaluation des programmes peut traiter des aspects suivants : • les besoins de la clientèle ciblée par le programme (c.-à-d. la pertinence du programme); • la logique de la conception du programme; • l’efficience et l’efficacité avec lesquelles les activités du programme sont réalisées et les services sont fournis; • la mesure dans laquelle le programme atteint ses objectifs (c.-à-d. avec un accent mis à la fois sur la mesure des résultats et sur le degré auquel ces résultats sont attribuables au programme). 6.25 L'évaluation d’un programme peut cerner des faiblesses qui en réduisent la pertinence, la rentabilité ou la mesure dans laquelle il atteint ses objectifs. Ce genre d’information est très important pour les décisionnaires, mais souvent, elle n’est pas facile à obtenir. L’information fournie par l'évaluation des programmes peut aussi être utile pour la haute direction, les législateurs et le public afin de tenir les décisionnaires responsables des résultats positifs et équitables obtenus grâce aux ressources dont ils disposent. Par exemple, la directive provinciale sur les rapports annuels exige que certaines données d’évaluation soient présentées dans les rapports annuels des ministères. Les ministères et les organismes doivent exposer clairement leurs objectifs généraux et spécifiques ainsi que leurs indicateurs de performance. Le rapport devrait préciser dans quelle mesure les programmes existants demeurent pertinents et si les objectifs ont été atteints. Il devrait également rendre compte de l'accueil que le groupe cible a réservé aux programmes. 6.26 Le document fédéral intitulé Guide d'évaluation des projets sur la violence familiale contient une définition et une description excellentes des rôles de l’évaluation des programmes. L’évaluation des programmes est la collecte et l’analyse indépendantes et systématiques d’informations vérifiables qui permettent de déterminer si un programme est toujours nécessaire, la mesure dans laquelle il atteint ses objectifs, les résultats escomptés et involontaires qui sont obtenus et sa rentabilité comparativement à d’autres modes de prestation. En particulier, l’évaluation des programmes devrait fournir des informations essentielles à l’égard de trois questions d’intérêt : • Pertinence : Le programme est-il toujours compatible avec les priorités du ministère et du gouvernement et répond-il toujours de façon réaliste à un besoin réel? • Succès : Le programme atteint-il efficacement ses objectifs, dans les limites de son budget et sans produire de résultats involontaires importants? • Rentabilité : Le programme est-il le moyen le plus approprié et le plus efficient d’atteindre les objectifs, comparativement à d’autres approches de conception et de prestation? En particulier, les rôles de l’évaluation des programmes sont les suivants : • favoriser et soutenir l’élaboration de politiques. • guider les modifications à apporter aux programmes afin d’accroître la productivité ou les services et d’employer les ressources de manière plus efficace, et relier les améliorations nécessaires à la qualité des services. • définir, mesurer, démontrer et documenter le rendement du programme, et aider les gestionnaires à élaborer un ensemble viable d’indicateurs pour surveiller et améliorer le rendement. • déterminer la satisfaction de la clientèle à l’endroit de la prestation du programme. [Traduction.] 6.27 Dans le document intitulé Méthodes d’évaluation des programmes : Mesure et attribution des résultats des programmes, le Secrétariat du Conseil du Trésor du Canada a lui aussi reconnu l’importance de l’évaluation des programmes. L’évaluation du rendement des programmes est un élément clé de la stratégie de gestion des résultats du gouvernement fédéral. 6.28 L’évaluation des programmes n’est pas une panacée. Cependant, une évaluation régulière des programmes peut fournir aux décisionnaires des preuves crédibles sur la pertinence et la rentabilité d’un programme et sur la mesure dans laquelle il atteint ses objectifs. Il s’agit d’une information que les décisionnaires ne connaîtraient peut-être pas autrement. L’accès à cette information accroît la probabilité que des décisions optimales soient prises concernant un programme. Évaluation officielle des programmes 6.29 L'évaluation des programmes peut être réalisée de manière officieuse par les gestionnaires de programmes et d’autres membres du personnel, qui utilisent pour ce faire l’information produite par les systèmes de données établis et les preuves anecdotiques. Les évaluations peuvent aussi être menées de manière plus officielle par des membres du personnel d’évaluation du ministère qui sont indépendants de la prestation des programmes, ou par des consultants externes. L’évaluation officielle des programmes nécessite généralement de la recherche et la collecte de données supplémentaires. Elle donne lieu habituellement à des rapports écrits qui cernent les problèmes et contiennent des suggestions d’amélioration. 6.30 Compter uniquement sur l'évaluation officieuse des programmes comporte des risques importants. • Les évaluateurs officieux n’ont pas toujours le temps de faire une évaluation exhaustive. En particulier, les gestionnaires de programmes ont d’autres fonctions (p. ex., s’assurer que les services sont fournis et que les problèmes quotidiens sont réglés) qui peuvent les empêcher de concentrer leurs efforts sur l’évaluation des programmes. • Les évaluateurs officieux n’ont pas toujours le savoir-faire et l’expérience nécessaires en matière d’évaluation. Par exemple, l’évaluateur peut porter son attention sur les extrants sans prendre en considération le degré auquel le programme produit des résultats tangibles. Cela peut être dû en partie au fait que les évaluateurs officieux n’ont pas toujours les compétences requises pour clairement faire le lien entre les intrants, les activités, les extrants et les résultats du programme. • Les évaluateurs officieux n’ont pas toujours l’indépendance et l’objectivité voulues s’ils participent directement au fonctionnement quotidien du programme faisant l’objet de l’évaluation (p. ex., le gestionnaire de programmes peut préférer le statu quo). 6.31 En général, confier la réalisation de l’évaluation officielle des programmes à un personnel affecté aux évaluations ou à des consultants externes permet de contourner tous ses obstacles parce que : • on fait appel à un personnel ou à des consultants qui ont le temps d’effectuer une évaluation exhaustive; • on fait appel à un personnel ou à des consultants qui ont une formation et une expérience suffisantes de l’évaluation des programmes; • on fait appel à un personnel ou à des consultants qui n’ont aucun lien avec les programmes faisant l’objet d’une évaluation et qui peuvent donc fournir de l’information objective sur l’évaluation; • l’évaluation peut être clairement axée sur les résultats produits par le programme, et non les extrants – des évaluateurs de programmes formés et expérimentés sont mieux placés pour mesurer les résultats obtenus et analyser l’apport réel d’un programme à ces résultats; • l’évaluation donne lieu à la collecte de données supplémentaires vérifiables au sujet du programme, données dont les évaluateurs ont besoin pour juger le programme de façon objective. 6.32 Nous ajoutons qu’il faut toutefois consulter régulièrement les gestionnaires et le personnel du programme tout au long de la réalisation des évaluations officielles des programmes. Sinon, les constatations et les recommandations ne refléteront peut-être pas les réalités du programme. Comment le Bureau du vérificateur général intervient-il dans l’évaluation des programmes? 6.33 Selon la Loi sur le vérificateur général : 13(2) Le vérificateur général doit indiquer dans chaque rapport préparé en vertu du paragraphe (1) tout fait qu'il estime significatif et qui par sa nature doit être porté à l'attention de l'Assemblée législative y compris les cas dans lesquels […] f) des sommes ont été dépensées sans due considération pour l'économie ou l'efficience; g) des procédures n'ont pas été établies pour mesurer l'efficacité des programmes et en faire rapport, lorsque, de l'opinion du vérificateur général, les procédures pourraient être utilisées de façon appropriée et raisonnable; ou h) des procédures établies pour mesurer l'efficacité des programmes et en faire rapport n'étaient pas, de l'opinion du vérificateur général, satisfaisantes. 6.34 En d’autres termes, la loi attribue clairement à notre bureau le mandat d’indiquer si des systèmes appropriés sont en place pour faire rapport sur l’efficacité. Dans nos rapports récents, nous avons cerné des faiblesses dans les méthodes en vigueur pour mesurer l'efficacité d’un certain nombre de programmes et en faire rapport, notamment : • les installations de garderie, • la salmoniculture, • la gestion de l’absentéisme, • les inspections environnementales, • les programmes de développement de l'emploi. 6.35 Nous continuons à penser que des améliorations s’imposent dans les rapports sur l’efficacité par les ministères. Nous pensons aussi qu’une évaluation plus rigoureuse des programmes par les ministères pourrait mener à de telles améliorations. 6.36 L’évaluation des programmes ne fait pas double emploi à notre bureau; il apporte plutôt un complément aux activités de notre bureau. En conséquence, à notre avis, il est important de veiller à ce que les ministères du gouvernement provincial s’acquittent de manière adéquate de cette importante fonction. Réponses à notre enquête sur l'évaluation des programmes des ministères 6.37 Les sections qui suivent résument les réponses que nous avons reçues à notre enquête sur l’évaluation des programmes des ministères. Parmi les 18 questionnaires remplis qui ont été retournés, 12 ministères ont répondu en fonction de l’ensemble des activités ministérielles. Les autres 6 ministères ont répondu dans l’optique d’un ou de plusieurs programmes particuliers qu’ils administrent. Comme les réponses ne varient pas en fonction de l’approche choisie par les ministères, nous avons décidé de regrouper les rétroactions des 18 ministères. 6.38 À la lecture du résumé de l’enquête, il ne faut pas perdre de vue que les réponses des ministères représentent une approximation générale de la manière dont l’information d’évaluation est produite et utilisée. Les pratiques dans les ministères peuvent varier selon le programme. Il faut aussi souligner que les répondants dans quelques-uns des ministères ont déclaré que des projets d’amélioration sont en cours dans le domaine de l’évaluation des programmes. Les réponses fournies sont un reflet de la situation qui existait en octobre 2004. Évaluation des programmes permanents 6.39 La plupart des programmes en place offerts par les ministères provinciaux sont des programmes permanents. Dans de nombreux cas, ces programmes existent depuis longtemps. Toutefois, la durée d’un programme n’est pas garante de son efficacité. Il est très important que les programmes permanents soient évalués périodiquement pour vérifier s’ils demeurent pertinents et rentables et s’ils atteignent toujours leurs objectifs. 6.40 Nous avons demandé aux ministères de commenter l’évaluation des programmes permanents. En premier, nous leur avons demandé quel genre d’information est habituellement produit en rapport avec ces programmes. Un résumé des réponses est présenté à la pièce 6.2. Pièce 6.2 Information produite pour les programmes permanents 6.41 Les réponses semblent montrer que les ministères produisent une grande variété de données relativement aux programmes permanents, dont peuvent se servir les décisionnaires. 6.42 Nous avons ensuite demandé aux ministères s’ils évaluent régulièrement l'efficacité des programmes permanents du ministère. Treize des 18 ministères ont indiqué que c’était le cas. Certaines réponses précisent que les ministères qui administrent des programmes fédéraux-provinciaux à frais partagés sont tenus d’évaluer périodiquement l’efficacité de ces programmes et de faire rapport de leurs constatations au gouvernement du Canada. 6.43 Quatre des cinq ministères qui n’évaluent pas régulièrement leurs programmes disent qu’ils font tout de même une certaine évaluation de programmes. Ces ministères citent comme raisons qui les empêchent d’évaluer régulièrement les programmes l’absence de ressources pouvant être affectées à cette fonction ou le fait que le personnel du ministère doive consacrer son temps à d’autres activités prioritaires. Un ministère a répondu qu’il n’y avait pas de fonds disponibles pour cette fonction « jusqu’à tout récemment ». Voici quelques observations que nous avons reçues de ces cinq ministères : Bien que l’évaluation des programmes soit un outil valable pour mesurer le rendement, cette activité nécessite des ressources supplémentaires dont le ministère ne dispose pas actuellement. Les pénuries de personnel sont telles que les programmes ne peuvent être évalués que périodiquement. [Traduction.] Pièce 6.3 Information la plus utilisée pour évaluer l’efficacité des programmes – Programmes permanents 6.44 Nous avons ensuite demandé quels sont les trois genres d’information les plus souvent utilisés par leur ministère pour évaluer l’efficacité des programmes permanents et de nous expliquer leurs choix. La pièce 6.3 présente un résumé de leurs réponses. Les 18 ministères ont répondu à la question. 6.45 Voici un échantillon des explications fournies par les ministères pour justifier leurs choix. Les rapports d'activité numériques sont importants parce qu’ils fournissent des mesures quantitatives et valident les rapports narratifs. L’information peut aussi servir à établir des tendances et des points de repère et à comparer les programmes d’une région à l’autre. L’efficacité budgétaire est souvent vue comme un bon indicateur de l’efficience globale. La capacité de respecter le budget est aussi considérée comme un bon indicateur d’une planification efficace. Les rapports numériques et narratifs sont utiles; ils favorisent le maintien de la communication et nous permettent de nous tenir au courant de l’état du programme. Le plus important est que ces rapports soulignent les pressions et les défis potentiels afin qu’ils puissent être réglés avant de devenir des problèmes majeurs ou de toucher l’ensemble de la province. Rapports comparant les résultats réels aux résultats visés : Si l’on suppose que des cibles appropriées ont été établies, ces rapports sont un reflet exact du « succès ». Les enquêtes auprès de la clientèle sont utiles, car elles nous fournissent des indications assez continues sur l’efficacité d’un programme et elles sont relativement rentables. Les évaluations officielles sont les plus utiles, car elles fournissent habituellement à la direction l’information la plus objective et la plus complète. [Traduction.] 6.46 Nous avons aussi demandé aux ministères de dire quels sont les trois genres d’information produits relativement aux programmes permanents qui sont le plus souvent utilisés pour décider s’il y a lieu de maintenir un programme existant et de nous expliquer leurs choix. La pièce 6.4 présente un résumé de leurs réponses. Les ministères n’ont pas tous répondu à la question et parmi ceux qui l’ont fait, certains ont indiqué moins que trois choix. Pièce 6.4 Information la plus utilisée pour déterminer s’il y a lieu de poursuivre un programme 6.47 Les comparaisons des coûts et des prévisions budgétaires s’avèrent le choix le plus populaire parmi les ministères. Voici quelques exemples des explications fournies par les ministères en rapport avec leurs choix. Comparaisons des coûts et des prévisions budgétaires : chaque dollar dépensé pour les programmes est puisé à même des ressources très limitées; il est donc essentiel, en matière de prestation de programmes, que le coût du programme ne dépasse pas l’affectation budgétaire. Les rapports d'activité numériques fournissent des données quantitatives objectives qui, combinées à d’autres informations qualitatives, peuvent contribuer à évaluer si un programme est toujours nécessaire. Information sur l'accueil du programme/la satisfaction du groupe cible : cette information renseigne sur la popularité d’un programme donné auprès du grand public ou d’un groupe de clients et offre une bonne mesure du rendement global. Comparer les résultats réels aux résultats visés permet à la haute direction de considérer l’efficience d’un programme dans une perspective stratégique. Rapports d’activité narratifs : Les rapports de style narratif sont ceux qui permettent le mieux de capter les conséquences concrètes de l’abolition d’un programme. Ils sont concis et faciles à interpréter. Normalement, la décision d’abolir un programme se fonde sur les résultats d’une évaluation officielle. Non seulement le rapport présente des conclusions, mais il contient aussi des recommandations auxquelles doivent donner suite les gestionnaires et qui doivent ensuite être approuvées par le comité des cadres supérieurs du ministère. [Traduction.] 6.48 Un ministère a également fait le commentaire suivant en rapport avec cette question. Bien que cela ne soit pas applicable, il y a lieu de noter que le facteur le plus important à prendre en considération pour déterminer si un programme doit être maintenu ou aboli durant une période de compressions budgétaires n’a pas grand-chose à voir avec le rendement, mais plutôt avec la présence ou non d’une exigence législative qui prévoit la prestation du programme. [Traduction.] 6.49 Nous avons demandé aux ministères de nommer les deux facteurs les plus importants qui, à leur avis, sont pris en considération pour décider du niveau de ressources qui sera affecté à chaque programme au cours du processus budgétaire. La pièce 6.5 résume les réponses des ministères à la question. Les 18 ministères ont répondu, bien qu’un ministère ait indiqué un seul choix. Pièce 6.5 Facteurs clés dans l’affectation de fonds aux programmes 6.50 Il est clair, d’après les réponses, que les ministères se concentrent beaucoup en général sur le budget ministériel et les liens avec le plan stratégique. Un nombre moins élevé de ministères a choisi des facteurs reliés au rendement, tels que les dépenses réelles, les recommandations suivant l'évaluation officielle des programmes ou d’autres facteurs du genre. Voici quelques observations des ministères sur la question : Il faudrait noter que le Comité des cadres supérieurs du ministère joue un rôle important dans l’interprétation des différents programmes et projets et l’établissement des priorités. Les priorités du plan stratégique offrent un contexte utile pour la prise de telles décisions. Le plan stratégique du ministère est relié au plan de prospérité du gouvernement et aux objectifs stratégiques énoncés du gouvernement. En conséquence, le plan stratégique est un élément crucial de l’évaluation de tous les programmes du ministère. [Traduction.] Évaluation des nouveaux programmes potentiels 6.51 L’une des tâches les plus difficiles pour assurer la prestation de programmes utiles à la population du Nouveau-Brunswick est peut-être la création de nouveaux programmes efficaces. De nombreux facteurs doivent être pris en compte, et des mesures doivent être prises pour veiller à ce que les nouveaux programmes atteignent les objectifs envisagés par leur création. 6.52 Nous avons demandé aux ministères d’indiquer les tâches qui sont effectuées pour élaborer, concevoir et mettre en œuvre un nouveau programme. Un résumé de leurs réponses figure à la pièce 6.6. Pièce 6.6 Les tâches effectuées pour élaborer, concevoir et mettre en œuvre un nouveau programme 6.53 Les ministères ont aussi mentionné les éléments suivants : • détermination des désirs du gouvernement et approbation du gouvernement. • préparation de documents de communication tels que des brochures et des bulletins visant à informer le grand public au sujet des nouveaux programmes. 6.54 Nous avons ensuite demandé qui est désigné responsable de l'élaboration, de la conception et de la mise en œuvre des nouveaux programmes dans les ministères. Ceux-ci ont fourni les rétroactions qui suivent. Notons que, dans certains ministères, la responsabilité est partagée par plus d’un groupe. • Les directeurs et gestionnaires de programmes sont désignés responsables dans 15 ministères. • La direction de la planification du ministère est désignée responsable dans 5 ministères. • La haute direction est désignée responsable dans 4 ministères. • Une équipe ministérielle est désignée responsable dans 1 ministère. Le ministère décrit son approche unique ainsi : La Division de la surveillance et de l’élaboration des programmes est chargée de diriger la conception des nouveaux programmes, mais le ministère fonctionne en équipe. Une équipe de conception d’un programme comprend des membres du personnel régional ainsi que des directions des services financiers, de la technologie de l'information, des politiques et de la planification. [Traduction.] Le ministère ajoute ceci : Le ministère a établi un certain nombre de nouveaux programmes au cours des dernières années à la suite d’ententes fédérales-provinciales. L’évaluation des programmes est un des éléments de la conception des programmes, et les évaluateurs de programmes participent à la conception de tous les programmes. [Traduction.] Évaluation des programmes pilotes 6.55 Un autre moyen de mettre les idées d’un programme à l’essai sans avoir à assumer le coût de la pleine mise en œuvre du programme est de lancer un programme pilote. Mais, pour qu’un programme pilote soit utile dans la prise de décisions à l’égard de ce programme, il est essentiel que des objectifs clairs soient établis, que les données saisies permettent d’évaluer l’efficacité du programme pilote et qu’une évaluation ait lieu à l’issue du projet. Bien souvent, la décision de poursuivre ou d’élargir un programme pilote, et même de procéder à sa mise en œuvre à l’échelle provinciale, dépend presque entièrement des résultats de l’essai. 6.56 Nous avons demandé aux ministères s’ils avaient lancé des programmes pilotes au cours des trois dernières années. Neuf des ministères ont répondu par l’affirmative. Ces neuf ministères ont signalé qu’une quarantaine de programmes pilotes ont été lancés au cours des trois dernières années, dont certains sont toujours en vigueur. Ce sont les ministères de l’Éducation, du Tourisme et des Parcs et des Services familiaux et communautaires qui ont eu le plus souvent recours à des programmes pilotes durant cette période. 6.57 Nous avons aussi demandé aux ministères quelles données sont habituellement produites relativement aux programmes pilotes. La pièce 6.7 fournit un résumé de leurs réponses. Pièce 6.7 Information produite relativement aux programmes pilotes 6.58 Ensuite, nous avons demandé aux ministères d’indiquer, parmi ceux proposés, les trois genres d’information les plus utiles pour évaluer s'il y a lieu de continuer, d'élargir, de reporter ou d'interrompre un programme pilote. Un résumé des réponses reçues figure à la pièce 6.8. Un ministère a indiqué quatre choix, qui sont tous compris dans le tableau. Pièce 6.8 Information la plus utilisée pour évaluer un programme pilote 6.59 Voici un échantillon des explications fournies par les ministères pour justifier leurs choix. Comparaisons des coûts et des prévisions budgétaires : à l’étape du projet pilote, la capacité d’un programme de fonctionner dans les limites du budget est une considération primordiale. Rapports d'activité numériques : ces rapports fournissent des données quantitatives et statistiques au sujet du rendement du programme. Les évaluations officielles sont à la base des décisions prises concernant la mise en œuvre des projets pilotes. [Traduction.] Évaluation officielle des programmes 6.60 Comme nous l’avons déjà mentionné, nous estimons que l’évaluation officielle des programmes fournit sur l’efficacité d’un programme des données détaillées qui, autrement, ne seraient pas connues. En conséquence, l’enquête a posé aux ministères des questions sur le recours aux évaluations officielles comme moyen d’obtenir de l’information qui appuiera la prise de décisions concernant un programme. Aux fins de la présente section, l'évaluation officielle d'un programme est une évaluation de programme qui donne lieu à un rapport accompagné d'observations et de recommandations portant sur l'efficacité et la reddition de comptes du programme. 6.61 Parmi les 18 ministères visés par l’enquête, 14 ont indiqué qu’ils font des évaluations officielles de programmes, et 4 ont dit qu’ils n’en font pas. 6.62 Les ministères qui n’effectuent pas d’évaluations officielles ont répondu qu’ils n’ont pas les ressources nécessaires pour remplir cette fonction ou que les autres sources d'information en matière d'évaluation sont considérées comme suffisantes. Par ailleurs, un ministère a avancé un argument valable qui a déjà été soulevé dans le passé comme un aspect négatif de l'évaluation officielle des programmes. Il est essentiel que les services publics fournissent des données en temps opportun pour le processus décisionnel. Souvent, les évaluations officielles ne produisent pas les données clés assez rapidement. De plus, la réalisation des évaluations officielles nécessite souvent beaucoup de temps et de ressources et un savoir-faire « technique » qui n’est pas toujours facile à obtenir, il faut souvent compter un long délai d’exécution, et ces évaluations ne se sont pas avérées des plus utiles comme outils opportuns dans la prise de décisions. En général, les évaluateurs ne connaissent pas particulièrement bien les programmes et, souvent, ils n’ont pas la crédibilité nécessaire auprès des gestionnaires et du personnel du programme pour ce qui est de l’objectivité, de la connaissance du milieu, etc. [Traduction.] 6.63 Cette observation souligne la nécessité pour les cadres du programme de participer tout au long de l'évaluation officielle du programme et de clairement établir, d’emblée, les extrants attendus de l'évaluation officielle du programme ainsi que la date limite à laquelle ces extrants doivent être obtenus. 6.64 Parmi les 14 ministères qui ont dit réaliser des évaluations officielles de programmes, 3 ont actuellement au sein de leur ministère une unité d’évaluation des programmes, soit au ministère des Services familiaux et communautaires, au ministère de l'Éducation et au ministère de la Formation et du Développement de l'emploi. Parmi ces unités, une vient d’augmenter ses effectifs, tandis que les deux autres ont réduit leur personnel. Un autre ministère a déjà eu une direction de l’évaluation des programmes, mais celle-ci a été abolie à la suite d’une récente restructuration. Les responsabilités de ce ministère en matière d’évaluation des programmes ont été transférées à l’unité de vérification interne. 6.65 Voici les observations de quelques-uns des 11 ministères qui procèdent à l’évaluation officielle de programmes, mais qui n’ont pas d’unité d’évaluation des programmes. Parmi ses responsabilités, le personnel assume des tâches d’évaluation. Les évaluations sont gérées à titre de projets, et des membres du personnel sont affectés au projet, selon leurs connaissances sur le sujet. Bien que nous n’ayons pas de personnel affecté uniquement à « l’évaluation officielle des programmes », trois ou quatre personnes s’acquittent de cette fonction lorsque les exigences opérationnelles le prévoient. Le rôle de la division a changé radicalement à la suite de décisions budgétaires, de sorte que la capacité du ministère de faire l’évaluation officielle des programmes a considérablement diminué, que ce soit aux fins internes ou pour les clients du ministère. [Traduction.] 6.66 Les 14 ministères qui ont déclaré qu’ils effectuent des évaluations officielles de programmes ont dit avoir engagé des consultants externes à une telle fin. En moyenne, chacun des 14 ministères a retenu les services de quatre ou cinq consultants externes au cours des trois dernières années. Lignes directrices en matière d’évaluation 6.67 Nous avons demandé aux ministères de nous dire s’il existe une directive ou un cadre ministériel pour l'évaluation des programmes dont le ministère assure la gestion. Quatre ministères ont répondu qu’un tel document existe à leur ministère, tandis que les 14 autres ont dit que non. Certains de ces cadres d’évaluation, mais pas tous, ont été établis à la demande du gouvernement du Canada dans le cas de programmes à frais partagés. La réalisation d’évaluations périodiques est souvent une obligation reliée à l’obtention de fonds fédéraux en vertu de ces programmes. Par exemple, un ministère a déclaré ceci : Le cadre d’évaluation est compris dans l’accord de mise en œuvre conclu entre le gouvernement du Canada et le gouvernement du Nouveau-Brunswick. [Traduction.] 6.68 Différentes instances reconnaissent que l’établissement d’un cadre détaillé et efficace pour l’évaluation des programmes est d’une grande importance pour assurer la pertinence, le succès et la rentabilité d’un programme. Ainsi, le Secrétariat du Conseil du Trésor du Canada a mis au point le document intitulé Méthodes d’évaluation des programmes : Mesure et attribution des résultats des programmes pour guider les ministères et les organismes fédéraux. Observations générales des ministères 6.69 Nous avons demandé aux ministères d’évaluer l’efficacité générale de l’évaluation des programmes telle qu’elle est pratiquée actuellement dans leurs ministères. Quatre ministères évaluent l’efficacité de l’évaluation des programmes comme excellente, 11 ont répondu qu’elle est acceptable, et 3, qu’elle avait besoin d’améliorations. 6.70 Voici des exemples d’observations formulées par les ministères concernant leur point de vue sur l’efficacité de leur évaluation des programmes : Dans l’ensemble, le ministère valorise les programmes pilotes ainsi que l’évaluation et la surveillance continue des programmes. L’évaluation des programmes au ministère est une activité officialisée. Un comité de vérification et d’évaluation se réunit aux deux mois pour élaborer et examiner les plans de travail annuels en matière d’évaluation, et étudier les rapports d’évaluation et les réponses de la direction. Cette façon de procéder fait en sorte que les résultats d’évaluation sont pris au sérieux dans la conception et la prestation des programmes. L’évaluation des programmes est un élément obligatoire de la conception des programmes et des projets pilotes. En ce qui concerne les programmes évalués par le ministère, la méthode suivie est considérée comme efficace. Avec des ressources supplémentaires, le ministère serait probablement plus en mesure d’élargir ses pratiques en matière d’évaluation. Les ressources limitées et l’absence de directives officielles sur la manière de réaliser l’évaluation des programmes sont considérées comme les facteurs qui limitent de tels programmes. À l’heure actuelle, l’évaluation des programmes est intermittente et incohérente et ne fait pas partie des activités de gestion régulières. Notre processus interne officiel existe sous forme d’ébauche et n’a pas été mis à l’essai. [Traduction.] 6.71 Nous avons aussi demandé aux ministères d’indiquer les améliorations qu’ils souhaitent voir dans la manière dont les programmes sont évalués à leur ministère. Voici quelques-unes des observations fournies. Avoir des ressources humaines ou financières qui permettent de réaliser des évaluations plus régulières améliorerait la capacité d’évaluer l’efficacité des programmes et d’adapter les programmes sur une base régulière. Il serait utile de mettre au point un modèle d’évaluation pour le ministère. Publier plus souvent les programmes et les résultats des programmes du ministère, y compris l’information sur les évaluations; avoir au ministère un guide à l’intention des gestionnaires sur la réalisation des évaluations des programmes; accorder plus d’importance aux besoins des clients. Idéalement, avoir au ministère un groupe de vérification et d’évaluation interne désigné pourrait fournir un service d’évaluation de grande qualité. Cependant, vu les pressions budgétaires actuelles, cette option n’est pas réalisable. En principe, chaque programme devrait comporter un volet évaluation. Cela signifie que des buts et des objectifs sont clairement établis, et que des mesures et des indicateurs du rendement particuliers au programme sont recueillis, regroupés, analysés, surveillés et présentés régulièrement et rapidement aux gestionnaires de programmes et aux cadres supérieurs du ministère dans une forme standard. [Traduction.] 6.72 Les ministères ont formulé d’autres observations relatives à l’évaluation des programmes. Par exemple, un ministère résume ainsi les compromis implicites dans toute décision d’affecter des ressources supplémentaires à la fonction d’évaluation des programmes au gouvernement : Un processus d'évaluation plus officiel nécessiterait la réaffectation des ressources actuelles de la prestation de programmes à l’évaluation des programmes. Vu les répercussions pour les clients, il serait difficile de justifier une telle réaffectation. [Traduction.] 6.73 Plusieurs ministères ont aussi déclaré que, tandis que les ministères s’occupent de la prestation des programmes, au bout du compte, c’est le gouvernement qui décide des programmes qui seront offerts. Voici des observations dans ce sens : De nombreuses décisions concernant les programmes sont fondées sur les modifications apportées par le gouvernement central aux buts et aux objectifs d’un programme. Déterminer si et quand mettre en œuvre les modifications déterminées ou recommandées est généralement la prérogative du gouvernement élu, et non des services publics. Les gouvernements élus décident de la mise en œuvre et du maintien des programmes, tandis que les services publics déterminent leur conception et leur mode de fonctionnement. [Traduction.] 6.74 Il est sous-entendu ici que les ministères ne décident généralement pas des programmes qui seront fournis ni des objectifs qui seront établis pour ces programmes. Cependant, nous sommes d’avis que les ministères sont en mesure d’influencer ces décisions en fournissant des données d’évaluation exactes et opportunes dont peuvent se servir les gouvernements pour prendre des décisions en matière de programmes. Un ministère a déclaré ceci : Il ne fait aucun doute qu’utiliser au mieux les ressources du secteur public est une préoccupation importante et sans fin, et déterminer les possibilités d’amélioration de l’efficacité, de l’efficience et de la qualité est une fonction essentielle des gestionnaires et des employés du secteur public. Il revient aux services publics de fournir aux responsables élus l’information opportune, exacte et complète dont ils ont besoin pour prendre des décisions judicieuses concernant les politiques et les programmes publics. [Traduction.]