Contexte 5.1 Que la stratégie soit belle est un fait, mais n’oubliez pas de regarder le résultat. - Winston Churchill Introduction 5.2 Le ministère de la Santé administre de nombreux programmes de santé critiques qui sont fournis à la population du Nouveau-Brunswick. Le budget des dépenses de 2006-2007 du ministère se chiffrait à quelque 1,9 milliard de dollars, soit 30 % environ du budget provincial total de 6,5 milliards de dollars. Donc, 3 dollars sur 10 dépensés par le gouvernement provincial sont affectés directement ou indirectement aux programmes de santé. 5.3 Depuis le transfert en 2005 de la prestation directe des programmes provinciaux de santé publique et de santé mentale du ministère de la Santé aux régies régionales de la santé (les RRS), la plupart des programmes administrés par le ministère sont maintenant fournis par les RRS. Le ministère finance, coordonne et surveille ces programmes conformément à la Loi sur la santé et à d’autres mesures législatives provinciales. 5.4 Le ministère de la Santé est aussi chargé de prendre des décisions critiques au sujet des programmes qui relèvent de son administration. Par exemple : • Un nouveau programme devrait-il être créé pour répondre à un besoin déterminé? • Un programme en place est-il toujours pertinent pour sa clientèle cible ainsi que pour les priorités du gouvernement et du ministère, ou devrait-il être aboli ou réorienté? • Un programme pilote devrait-il être prolongé, élargi ou aboli? • Quel niveau de ressources devrait être réservé à un programme durant l’année qui vient? • Des changements devraient-ils être apportés à la manière dont un programme est fourni afin d’en améliorer la pertinence, la rentabilité ou la mesure dans laquelle il atteint ses objectifs? Valeur de l’information d’évaluation 5.5 Pour prendre des décisions appropriées, le ministère de la Santé a besoin d’une information de qualité. Une partie de cette information peut être de l’information opérationnelle tirée des systèmes d’information de gestion et des renseignements anecdotiques obtenus des personnes qui fournissent les programmes. Cependant, cette seule information ne forme pas une base de connaissances suffisante pour étayer la prise de décisions judicieuses. L’accès à de l’information d’évaluation objective concernant la pertinence et la rentabilité d’un programme et la mesure dans laquelle il atteint ses objectifs est essentiel. La principale fonction de l’évaluation des programmes est de fournir de telles informations. 5.6 Les RRS sont chargées de la prestation directe de la plupart des programmes de santé. À ce titre, elles ont aussi besoin d’une information de qualité sur laquelle fonder les décisions à prendre pour assurer la prestation de programmes pertinents, rentables et fructueux et s’acquitter de leur obligation redditionnelle envers le ministère de la Santé relativement à ces programmes. 5.7 L’information présentée dans les rapports d’évaluation de programme peut aider les décisionnaires : • à comprendre, à vérifier et à accroître les effets des services sur la clientèle; • à améliorer les mécanismes de prestation pour en accroître l’efficience et ainsi les rendre moins coûteux; • à vérifier si le programme fonctionne vraiment comme il était prévu; • à réfléchir aux critères qui leur permettront de reconnaître qu’un programme atteint ses objectifs; • à mesurer les résultats du programme; • à déterminer la mesure dans laquelle les résultats observés découlent des activités du programme; • à déterminer les faiblesses d’un programme qui pourraient diminuer sa pertinence, sa rentabilité et la mesure dans laquelle il atteint ses objectifs; • à comparer différents programmes pour décider où augmenter et où diminuer les affectations lorsque le montant des crédits ministériels change; • à déterminer les pratiques exemplaires et les leçons apprises qui peuvent s’appliquer à d’autres programmes du ministère. 5.8 Inversement, négliger de tenir compte de l’information d’évaluation dans la prise de décisions relatives aux programmes présente des risques importants, notamment : • le risque qu’un programme qui n’est plus nécessaire continue à être offert et à recevoir des fonds; • le risque qu’un programme soit mal conçu, de sorte qu’il soit peu probable que la réalisation des activités prescrites mène à l’atteinte des objectifs souhaités; • le risque qu’un programme ne puisse atteindre les objectifs énoncés en raison d’un financement insuffisant; • le risque que les activités ne soient pas exécutées de manière efficiente, ou que d’autres activités existantes donneraient lieu à une réalisation plus efficiente des objectifs prévus; • le risque que les mêmes résultats auraient été observés, que le programme ait été en place ou non. 5.9 L’information fournie par l’évaluation des programmes peut aussi être utile pour la haute direction, les législateurs et le public afin de tenir les administrateurs et les gestionnaires des programmes responsables de l’obtention de résultats positifs et équitables avec les ressources à leur disposition. 5.10 L’annexe A du chapitre contient une définition de l’évaluation de programme et de certains termes connexes. Notre examen 5.11 En 2002, notre bureau avait mené une série d’entrevues avec la direction du ministère de la Santé et des intervenants en santé pour déterminer les domaines que notre bureau pourrait examiner. À l’époque, un certain nombre de personnes interviewées, en particulier de nombreux intervenants, avaient déclaré qu’il existait de graves lacunes dans l’évaluation des programmes du ministère et dans la prise de décisions relatives aux programmes par les responsables du ministère. Ces personnes avaient fait valoir que le ministère devrait prendre des décisions fondées sur des données probantes dans l’établissement et l’administration des programmes de santé. 5.12 Voici quelques-uns des commentaires plus ciblés que nous avions reçus à l’époque : • Le ministère n’a pas systématiquement recours aux données connues pour cerner les aspects qui posent problème. • Le ministère conçoit ses programmes de manière aléatoire. • De nombreux programmes provinciaux ne sont pas soutenus par des systèmes d’information ni par des indicateurs de rendement. Dans un tel contexte, comment le ministère ou les RRS savent-ils si les programmes sont bien ou mal fournis? Avant de déclarer qu’il a besoin de plus d’argent pour des programmes de santé et de mieux-être, le ministère devrait peut-être savoir dans quelle mesure les programmes en place sont efficaces et efficients. Une importance accrue doit être accordée à l’évaluation des programmes et à la reddition de comptes. • L’évaluation des programmes du ministère, quand elle a lieu, est généralement fondée sur de l’information subjective. La majeure partie de cette information est recueillie au moyen d’entrevues et de questionnaires. Le public peut être « satisfait » d’un programme qui, par ailleurs, n’améliore pas nécessairement l’état de santé ou n’est pas rentable comparativement à d’autres solutions. L’évaluation des programmes du ministère devrait poser deux questions clés : 1) Les soins ont-ils été fournis de manière rentable? 2) Le traitement reçu a-t-il amélioré votre état de santé? • Le processus d’évaluation d’un programme ou d’un projet pilote devrait être établi en tant qu’élément de la conception de ce programme ou projet pilote, ce qui permettrait d’évaluer de manière continue l’efficience et l’efficacité des programmes permanents. Cela permettrait aussi de réaliser des évaluations plus exactes du succès d’un projet pilote. • Les responsables du ministère prennent des décisions relatives aux programmes au bureau central sans consultation adéquate, et les modifications apportées n’ont souvent que très peu d’effets sur la prestation des services dans les collectivités. Il semble qu’on tente de simplifier des décisions complexes, et cela ne fonctionne pas. 5.13 En 2004, notre bureau a entrepris une vérification de la fonction d’évaluation des programmes au ministère de la Santé, qui s’appelait alors le ministère de la Santé et du Mieux-être. Peu après, toutefois, à la suite d’une décision reliée au budget de 2004, l’unité d’évaluation du ministère a été démantelée, et les fonctions dans le domaine ont été réaffectées au groupe de vérification interne du ministère. Le ministère nous a demandé de reporter notre vérification à la suite de cette décision. Nous avions constaté à l’époque que, en raison du changement, la capacité du ministère dans le domaine de l’évaluation de programmes semblait avoir été considérablement réduite. 5.14 Au lieu du travail que nous avions prévu au ministère de la Santé, notre bureau a mené une enquête sur les pratiques en matière d’évaluation de programmes dans tous les ministères. Nos constatations et nos observations découlant de cette enquête ont été communiquées dans le chapitre 6 du rapport de 2004 (volume 2). Au paragraphe 6.15 de ce chapitre, nous avions indiqué notre intention de poursuivre le travail dans le domaine de l’évaluation de programmes et mentionné que le ministère de la Santé était visé par l’étape suivante de notre travail. 5.15 Comme nous l’avions indiqué dans notre rapport de 2004, notre bureau a le mandat d’évaluer si des systèmes appropriés sont en place pour faire rapport sur l’efficacité des programmes des ministères. Conformément à ce mandat, nous avons fait porter notre examen sur ce que fait le ministère de la Santé pour s’assurer qu’une information d’évaluation adéquate est mise à la disposition des décisionnaires des programmes. Nous n’avons pas cherché à évaluer les programmes en soi. Étendue 5.16 Les objectifs que nous recherchions dans ce projet étaient les suivants : Déterminer si des méthodes et des systèmes adéquats ont été établis pour évaluer régulièrement les programmes financés par le ministère de la Santé. 5.17 Et, s’il est constaté qu’il n’y a pas de systèmes d’évaluation adéquats : Recommander un modèle pratique pouvant être appliqué à l’évaluation régulière des programmes dont le ministère s’est vu confier la responsabilité. 5.18 Pour effectuer le travail, nous avons notamment fait parvenir un questionnaire pour une enquête sur l’évaluation au ministère de la Santé et à trois RRS dans chacun des sept programmes retenus, tous administrés par le ministère. Nous avons reçu en retour, au total, 27 questionnaires remplis. 5.19 Nous avons aussi fait parvenir un questionnaire pour une enquête sur l’évaluation au ministère de la Santé au sujet d’un huitième programme, soit le Service provincial d’épidémiologie, qui est administré et exécuté par le ministère, sans toutefois recevoir de réponse. 5.20 Les réponses aux questions de notre enquête ont été résumées, et les principales constatations ainsi que nos observations et analyses sont présentées dans ce chapitre. Il y a lieu de noter que nous n’avons pas tenté de vérifier ni d’examiner d’aucune façon les réponses que nous avons reçues. 5.21 Nous avons aussi examiné un certain nombre de rapports d’évaluation visant des programmes du ministère ayant fait l’objet d’une évaluation au cours des dernières années. 5.22 Dans la réalisation de notre travail, nous avons utilisé les constatations formulées et les recherches faites en rapport avec notre enquête de 2004 sur les méthodes d’évaluation des programmes des ministères. Nous avons aussi fait du travail de recherche additionnel. Recommandations Introduction 5.23 L’évaluation des programmes n’est pas une panacée. Cependant, une évaluation régulière des programmes peut fournir aux décisionnaires des preuves crédibles sur la pertinence et la rentabilité d’un programme et sur la mesure dans laquelle il atteint ses objectifs. Il s’agit d’une information que les décisionnaires ne connaîtraient peut-être pas autrement. L’accès à cette information accroît la probabilité que des décisions optimales soient prises concernant un programme. 5.24 Nous tenons à formuler les recommandations qui suivent découlant de notre examen des systèmes et des méthodes d’évaluation des programmes en place au ministère de la Santé. Les constatations et les observations à l’appui des recommandations sont ensuite présentées dans la section sur les observations et les constatations détaillées. 5.25 Toutes les recommandations s’adressent au ministère de la Santé. Cependant, nous espérons que les régies régionales de la santé pourront puiser dans l’information présentée dans ce chapitre afin d’améliorer les programmes de santé dont elles assurent la prestation. Lignes directrices, planification et ressources pour les évaluations 5.26 Nous recommandons que le ministère de la Santé établisse des lignes directrices officielles appropriées qui décrivent des approches uniformisées relativement à l’évaluation des programmes du ministère et auxquelles peuvent renvoyer les évaluateurs des programmes administrés par le ministère. 5.27 Nous recommandons que le ministère de la Santé s’assure que des plans d’évaluation officiels appropriés sont élaborés par écrit pour tous les programmes qu’il administre. 5.28 Nous recommandons que le ministère de la Santé s’assure que des attentes provinciales appropriées en matière de rendement sont établies pour chaque programme qu’il administre et que ces attentes (c.-à-d. objectifs, indicateurs et cibles du rendement) sont communiquées aux RRS. Coordination et surveillance de l’évaluation 5.29 Nous recommandons que le ministère de la Santé assume un rôle de coordination provincial pour le travail d’évaluation visant les programmes administrés par le ministère. 5.30 Nous recommandons que le ministère de la Santé surveille le travail d’évaluation afin de s’assurer que les plans d’évaluation sont exécutés tel qu’il était prévu. Reddition de comptes et rapports 5.31 Nous recommandons que le ministère de la Santé s’assure qu’il reçoit des RRS pour chaque programme qu’il administre des rapports réguliers qui traitent de la pertinence continue et de la rentabilité du programme et de la mesure dans laquelle le programme satisfait aux attentes provinciales en matière de rendement. De plus, le ministère devrait s’assurer que des informations comparatives pertinentes circulent parmi toutes les RRS. 5.32 Nous recommandons que tous les rapports d’évaluation de programme préparés pour les programmes administrés par le ministère de la Santé soient largement distribués parmi les gestionnaires de programmes du ministère et dans les RRS. 5.33 Nous recommandons que le ministère de la Santé améliore les rapports sur les programmes dans son rapport annuel en fournissant de l’information sur la pertinence continue et le succès de chaque programme qu’il administre. Il devrait aussi envisager d’inclure dans ses rapports annuels de l’information sur la rentabilité du programme. Observations et constatations détaillées 5.34 Les observations et les constatations présentées dans ce chapitre découlent principalement de l’examen et de l’analyse que nous avons faits de l’information que nous ont fournie les représentants du ministère de la Santé et des RRS en réponse à notre enquête sur l’évaluation des programmes. À ce titre, il ne faut pas considérer que ces observations et ces constatations visent chaque programme ou service couvert par notre enquête ni qu’elles sont représentatives de la situation de chacun. Elles cherchent plutôt à présenter un portrait général de l’état de l’évaluation des programmes administrés par le ministère. 5.35 Dans les cas où les programmes sont nommés, nous l’avons fait : • soit pour déterminer les pratiques exemplaires qui, à notre avis, devraient être envisagées afin d’améliorer les pratiques en matière d’évaluation dans le cas des programmes qui ne les emploient pas déjà; • soit pour formuler des observations pertinentes puisées dans les rapports d’évaluation de programme que nous avons examinés. Aspects retenus pour l’examen 5.36 Nous avons retenu sept aspects qui, à notre avis, sont les plus importants à examiner dans l’évaluation des programmes au ministère de la Santé. Ces aspects sont décrits dans la première colonne du tableau qui suit. Cette colonne contient aussi le critère d’examen, ou énoncé de principe, relatif à chaque aspect. Notre bureau a élaboré les critères d’examen, que des hauts fonctionnaires du ministère ont passé en revue. 5.37 Les critères décrits dans le tableau qui suit ont constitué le cadre de notre examen. Ce sont également les critères qui ont servi à l’analyse de l’évaluation des programmes au ministère de la Santé. Nos constatations sur chaque critère sont résumées dans la seconde colonne du tableau et expliquées plus en détail dans les sections subséquentes. 5.38 Voici les programmes et services qui ont été retenus pour l’enquête et pour lesquels nous avons reçu des questionnaires remplis du ministère et des régies régionales de la santé. • Santé publique – Initiatives pour la petite enfance (IPE) – cliniques d’hygiène pour les enfants de trois ans et demi • Services hospitaliers – Services d’imagerie diagnostique • Services hospitaliers – Services de laboratoire • Programme de recrutement et de maintien des ressources médicales • Santé mentale – Services aux enfants et aux jeunes • Programme extra-mural du Nouveau-Brunswick • Santé publique – Programme Apprenants en santé à l’école Conclusion 5.39 À la lumière de notre examen, nous avons conclu que des méthodes et des systèmes adéquats n’ont pas été établis pour évaluer régulièrement les programmes financés par le ministère de la Santé. 5.40 Étant donné le temps consacré au travail exigé par l’analyse des résultats d’enquête aux fins de notre examen et les importantes améliorations qu’il est nécessaire d’apporter au processus d’évaluation des programmes au ministère de la Santé, nous ne sommes pas allés pour l’instant jusqu’à recommander un modèle pratique d’évaluation de programmes que pourrait adopter le ministère. Cependant, la mise en œuvre des recommandations formulées ci-dessus établirait un cadre réalisable à l’intérieur duquel le ministère pourrait élaborer un système d’évaluation efficace. Planification de l’évaluation des programmes Participation du ministère de la Santé à la planification de l’évaluation 5.41 Lorsqu’on leur a demandé de noter de façon globale l’état de l’évaluation de leur programme, les répondants ont donné les notes moyennes suivantes aux sept programmes étudiés : • « Excellent » pour un programme; • « À un niveau acceptable » pour quatre programmes; • « A besoin d’améliorations » pour deux programmes. 5.42 Les réponses à l’enquête montrent que le ministère n’a de plan d’évaluation officiel par écrit pour aucun des sept programmes que nous avons étudiés. Il y a toutefois des processus officieux d’évaluation et de surveillance du rendement pour plusieurs programmes, surtout en ce qui concerne les questions opérationnelles, une région recueillant de l’information dans un tableau de bord prospectif. Un répondant a fait le commentaire suivant : Une évaluation continue du service et des délais d’attente a lieu dans le cadre des activités courantes, mais nous n’avons pas instauré un plan d’évaluation officiel. 5.43 Nous avons aussi constaté qu’au moins deux évaluations de programmes structurées ont été effectuées au cours des dernières années relativement à des programmes que nous avons étudiés : l’une a porté sur l’imagerie diagnostique; l’autre, qui a tout juste été réalisée vers le milieu de 2006, a porté sur l’ensemble du programme des Initiatives pour la petite enfance, dont font partie les cliniques d’hygiène pour les enfants de trois ans et demi. Le projet pilote Apprenants en santé à l’école secondaire a également fait l’objet d’une évaluation. Ces évaluations ont été réalisées en réponse aux demandes d’information des décisionnaires du ministère. 5.44 Tout en reconnaissant qu’il n’existait pas de plans d’évaluation officiels pour leurs programmes, la plupart des répondants à l’enquête ont dit qu’un certain nombre de personnes devraient être chargées de l’élaboration et du maintien d’un plan d’évaluation visant leur programme. Les personnes le plus souvent mentionnées occupent les postes suivants : • gestion des programmes dans les RRS, • personnel administratif des RRS, • gestion des programmes au ministère, • personnel du ministère chargé de la surveillance des programmes. 5.45 À notre avis, même si les RRS devraient participer à l’élaboration ou à l’exécution d’un plan d’évaluation pour chaque programme de santé qu’elles fournissent, le ministère doit assumer un rôle de chef de file pour s’assurer que des normes d’évaluation adéquates sont respectées. En vertu de la Loi sur la santé, il revient au ministère d’administrer les programmes de santé dans la province; il revient donc aussi au ministère de rendre des comptes sur le rendement de ces programmes. En conséquence, en tant que décisionnaire des programmes, le ministère a tout intérêt à s’assurer qu’il obtient la meilleure information d’évaluation possible. 5.46 Malheureusement, le démantèlement de l’unité d’évaluation de la Direction de la planification du ministère en 2004 a grandement réduit sa capacité de participer de manière utile à l’évaluation des programmes. Un représentant du ministère nous avait alors dit que le ministère s’attendait à ce que les RRS assurent la fonction d’évaluation et que le ministère se limiterait à surveiller le rendement des programmes. De plus, le ministère n’allait assumer aucun rôle de coordination quant aux évaluations régionales qui pourraient être faites. À notre connaissance, des ressources supplémentaires n’ont pas été affectées aux RRS en regard de ce nouveau rôle. 5.47 Les évaluations menées par le ministère de la Santé depuis le démantèlement de l’unité d’évaluation sont peu nombreuses. 5.48 Les réponses des RRS à notre enquête montrent que, à leur avis, le rôle du ministère devrait être, au minimum, d’établir des normes et de coordonner l’évaluation des programmes. Un répondant est allé beaucoup plus loin en déclarant ceci : Les programmes sont élaborés par le gouvernement provincial et devraient être évalués par le gouvernement provincial. La conception de tout programme devrait comprendre dès le départ des outils d’évaluation. Suggestions des répondants à l’enquête pour améliorer l’évaluation des programmes 5.49 Les répondants à notre enquête ont fait plusieurs suggestions pour améliorer l’évaluation de leurs programmes. Il faut noter que, bien que des suggestions puissent déjà être intégrées à certains des programmes que nous avons étudiés, la liste propose des améliorations qui pourraient être apportées aux programmes n’employant pas à l’heure actuelle les pratiques suggérées. Voici des exemples de suggestions reçues : • établir de meilleures normes provinciales pour les programmes; • avoir une disposition qui prévoit les comparaisons avec d’autres administrations; • améliorer la collaboration et accroître les échanges d’information entre les régions (p. ex. : données comparatives), et établir des points de référence et des indicateurs régionaux uniformisés à l’échelle provinciale; • avoir une méthode qui permet de mieux évaluer la rentabilité et le succès des programmes; • inclure dans la conception du programme la mise au point d’une méthode d’évaluation à appliquer au programme; • établir de meilleurs points de repère et indicateurs provinciaux (surtout en ce qui a trait aux résultats attendus du programme); • faire en sorte que les responsables de l’établissement du programme (c.-à-d. le gouvernement provincial) effectuent régulièrement des évaluations; • établir de meilleurs systèmes de collecte de données; • élaborer un guide d’évaluation provincial. 5.50 En particulier, un répondant a proposé ce qui suit dans son commentaire pour améliorer les pratiques en matière d’évaluation. Que l’évaluation soit continue, que tous les intervenants participent dans la mesure du possible à l’évaluation, que de nouvelles connaissances/recherche/pratiques exemplaires/preuves soient intégrées en temps opportun, que des évaluations structurées soient effectuées tous les trois ans, que différentes formes d’évaluation soient appliquées, que les constatations des évaluations soient communiquées aux intervenants de manière transparente et en temps opportun, que l’évaluation continue dispose de ressources en tant que partie intégrante de la mise en œuvre du programme et non comme un ajout après coup, et que l’évaluation soit valorisée en tant que mécanisme redditionnel essentiel. 5.51 Plusieurs de ces suggestions seraient réalisées par la préparation de plans d’évaluation pour les programmes administrés par le ministère. De plus, nous sommes d’accord sur le fait que le ministère devrait préparer un guide d’évaluation provincial auquel pourront renvoyer les évaluateurs du ministère, des RRS et du secteur privé. Les suggestions portant sur la disponibilité des données et l’établissement de normes ministérielles pour les programmes sont abordées plus loin dans le chapitre. Limites qui empêchent actuellement d’améliorer la fonction d’évaluation de programmes 5.52 Les répondants ont ensuite cerné quatre aspects principaux qui limitent la capacité du ministère et des RRS d’améliorer leurs pratiques en matière d’évaluation de programmes, soit : • des ressources financières insuffisantes et un manque de temps à accorder aux évaluations; • l’importance plus grande que le ministère accorde à la prestation directe des services comparativement aux activités administratives; • le manque de systèmes de saisie des données qui soient adéquats, ce qui entraîne une insuffisance de données saisies sur les programmes; • le manque de personnel qualifié pour faire les évaluations. 5.53 Les quatre points énumérés ci-dessus sont étroitement reliés. Au cours des dernières années, vu les restrictions sur les ressources disponibles, les affectations budgétaires au sein du ministère ont surtout été orientées vers la prestation directe de services, et les activités administratives ont subi des réductions financières dans la même proportion (soit les puces 2 à 4). 5.54 Un répondant a fait le commentaire suivant : Si les ressources affectées à notre programme étaient plus grandes, nous pourrions mettre plus d’effort sur l’élaboration et l’évaluation des programmes; à l’heure actuelle, la prestation de services et les questions opérationnelles accaparent une part dominante des ressources. 5.55 Malheureusement, cela signifie que les ressources affectées ne sont pas suffisantes pour permettre une évaluation correcte des programmes administrés par le ministère de la Santé. Les décisionnaires n’ont pas à leur disposition de l’information d’évaluation suffisante pour déterminer si les programmes sont pertinents et rentables et s’ils atteignent les objectifs pour lesquels ils ont été établis. 5.56 À notre avis, vu les niveaux de ressources actuels, le ministère et les RRS n’ont pas la capacité voulue pour élaborer des plans d’évaluation ou améliorer autrement l’état actuel de l’évaluation des programmes qu’ils administrent et fournissent. Nous avions tiré la même conclusion à propos des ministères en général dans notre rapport de 2004. Objectifs et cibles des programmes Cohérence des objectifs des programmes 5.57 Pour évaluer le succès d’un programme, il est essentiel que des objectifs clairs soient établis dès le départ. Les réponses à l’enquête montrent que des objectifs ont été établis pour tous les programmes. Cependant, dans quelques cas, la version que présente le ministère quant aux objectifs d’un programme diffère considérablement de celles des RRS. 5.58 Nous avons aussi constaté de l’incertitude entourant les objectifs des programmes de santé dans l’un des rapports d’évaluation de programme que nous avons examinés, soit le rapport visant le programme de soins infirmiers critiques du Nouveau- Brunswick rédigé en 2004. Dans ce rapport, l’évaluateur fait part de l’incertitude qui existait parmi les personnes interviewées quant à la clientèle ciblée par le programme, à savoir les infirmières d’expérience ou les nouvelles infirmières. De plus, l’évaluateur constate que cette incertitude a entraîné des différends au sein des RRS et parmi elles. L’évaluateur mentionne également qu’il existait de l’incertitude quant aux rôles et aux responsabilités du personnel chargé de la prestation du programme. 5.59 Le ministère doit assumer un rôle de chef de file pour s’assurer que les RRS comprennent de la même manière que lui les objectifs de chacun des programmes qu’il administre. Étant donné la récente dévolution de la prestation de tous les programmes de santé publique et de santé mentale aux RRS, cela est particulièrement important, puisque le ministère ne s’occupe plus de la prestation de la plupart des programmes dont il est redevable. Absence d’indicateurs et de cibles du rendement 5.60 Des indicateurs et des cibles du rendement provinciaux ont été établis pour certains des programmes que nous avons étudiés, mais pas pour tous. Nous avons aussi constaté que, dans certains cas, les résultats précisés ne sont pas clairs ni mesurables. 5.61 Encore une fois, nous sommes d’avis qu’il s’agit d’un aspect pour lequel le ministère doit assumer un rôle de chef de file. Le ministère doit s’assurer que des attentes provinciales adéquates en matière de rendement sont établies pour chaque programme qu’il administre et que ces attentes (c.-à-d. objectifs, indicateurs et cibles du rendement du programme) sont communiquées aux RRS. De plus, le ministère doit s’assurer que les RRS font rapport sur le rendement réel en comparaison des indicateurs et des cibles établis pour permettre au ministère d’évaluer le succès du programme et de faire un suivi pour veiller à ce que les problèmes soient traités. Pratiques exemplaires 5.62 Nous avons relevé deux pratiques exemplaires concernant les objectifs et les cibles des programmes dans les réponses à l’enquête que nous avons reçues. • Le Programme extra-mural est géré par le gouvernement provincial, mais sa prestation quotidienne est assurée par les RRS, qui prennent comme guide les buts et les objectifs préparés à l’échelle provinciale pour le programme. Le ministère a aussi établi les cibles de rendement et les résultats attendus du programme. L’établissement d’attentes en matière de rendement et de buts communs pour toutes les régions facilite les comparaisons entre les régions, l’élaboration de systèmes de données et les échanges d’information et de pratiques exemplaires entre les régions. Notamment, cela signifie que les coûts administratifs du programme sont moins élevés que ceux des programmes gérés séparément par chaque RRS, car les RRS n’ont pas besoin de fixer des buts et des attentes en matière de rendement pour le programme. De plus, les rapports qui comparent les résultats avec les attentes en matière de rendement aident les décisionnaires à évaluer le succès du programme. • Le programme Apprenants en santé à l’école est administré et fourni en collaboration par le ministère de la Santé et le ministère de l’Éducation. Les lignes directrices du programme énoncent clairement les buts et les cibles du programme. Les lignes directrices comprennent aussi un modèle logique complet pour le programme, modèle qui décrit les liens entre les ressources affectées au programme, les activités réalisées et les résultats prévus du programme. Tous les répondants à l’enquête connaissaient ces lignes directrices et en ont fait mention dans leurs réponses. Nous sommes d’avis que les lignes directrices de ce programme offrent une bonne référence de travail à tous les organismes qui s’occupent de la prestation ou de l’administration du programme et que, à ce titre, elles pourraient servir de modèle de pratiques exemplaires pour d’autres programmes du ministère. 5.63 Les réponses ont aussi montré que le ministère a élaboré des normes de service ou des lignes directrices détaillées pour la plupart des programmes que nous avons étudiés. Évaluation de la pertinence continue des programmes Évaluation de la pertinence des programmes de santé 5.64 Dans la plupart des programmes que nous avons étudiés, la pertinence fait périodiquement l’objet d’une évaluation non structurée, et ce, par une combinaison de moyens : discussions lors de réunions entre représentants provinciaux et régionaux, surveillance des résultats, examen des données statistiques, examen des recherches publiées et autres. De plus, la pertinence du programme est l’un des aspects examinés par la récente évaluation des Initiatives pour la petite enfance, évaluation qui a porté notamment sur les cliniques d’hygiène pour les enfants de trois ans et demi. Nous avons aussi relevé une pratique exemplaire dans l’évaluation de la pertinence du Programme extra-mural : Ce sont la directrice provinciale et les directeurs régionaux du PEM qui évaluent la pertinence du programme en se fondant sur des données statistiques recueillies au moyen des systèmes PtCT et SIGFUH, les rétroactions des professionnels de première ligne, l’information fournie par les sondages auprès de la clientèle, et des discussions et une collaboration constante avec les RRS (services intra- muraux) et les partenaires communautaires. 5.65 Dans le rapport d’évaluation du projet pilote Apprenants en santé à l’école secondaire préparé en 2002, l’évaluateur signale plusieurs mesures que les administrateurs régionaux avaient prises pour contribuer au succès de la mise en œuvre du projet pilote. Notamment, en ce qui a trait à la pertinence du projet pilote, les mesures suivantes avaient été prises : • l’évaluation des besoins a été faite avant la mise en œuvre; • de nombreux districts ont tenté de trouver du soutien auprès de groupes partenaires externes et de rallier l’école et la collectivité tôt dans le projet. 5.66 Cependant, dans le même rapport d’évaluation, l’évaluateur signale que le modèle du programme et son application présentaient des problèmes. Du mécontentement a été exprimé à l’égard du manque perçu de flexibilité pour adapter le programme aux besoins particuliers de chaque école et à l’égard de la bureaucratie supplémentaire exigée par le programme. L’évaluateur ajoute que le ministère de la Santé devrait envisager de permettre l’adoption d’approches hybrides qui répondent mieux aux besoins de chaque école tout en maintenant les objectifs du programme. 5.67 Le rapport d’évaluation du programme de soins infirmiers critiques recommande aussi d’assouplir le programme afin d’accommoder la clientèle du programme pour ainsi en améliorer la pertinence. De plus, la conclusion générale du rapport porte directement sur la pertinence du programme : le programme doit se poursuivre indéfiniment parce qu’il répond à un réel besoin de former plus d’infirmières en soins critiques. 5.68 L’évaluation de la pertinence prend une forme légèrement différente dans le cas de services hospitaliers tels que les services de laboratoire ou l’imagerie diagnostique, dont le maintien est exigé par la Loi sur les services hospitaliers. Les répondants à l’enquête ont déclaré que ces services ne perdent jamais leur pertinence, puisqu’ils sont tous les deux nécessaires à la science médicale actuelle. Au sujet de ces services, un répondant a précisé ceci : Ce qui est régulièrement évalué est, par exemple, la pertinence d’un examen ou d’une procédure en particulier, la disponibilité et la pertinence de modalités, d’un examen ou d’une procédure nouvellement mis au point, ou l’adoption d’une nouvelle technologie pour améliorer l’efficience et la productivité. Participation du ministère de la Santé à l’évaluation de la pertinence des programmes 5.69 La plupart des répondants à l’enquête ont dit qu’un certain nombre de personnes devraient être chargées de l’évaluation de la pertinence de leur programme ou de leur service. Les personnes le plus souvent mentionnées occupent les postes suivants : • personnel administratif des RRS; • personnel chargé de la surveillance au ministère; • gestion des programmes dans les RRS; • gestion des programmes au ministère; • haute direction du ministère; • Direction de la planification du ministère. 5.70 Voici le commentaire d’un répondant : Le programme devrait être évalué par ceux qui le financent et qui ont la responsabilité de rendre des comptes sur le programme, ainsi que les utilisateurs et les partenaires. Pour un autre : Les RRS se voient confier un budget pour offrir à la collectivité le service le plus efficient et le plus efficace possible compte tenu de leurs ressources. Elles ont étudié les besoins communautaires et ont les connaissances spécialisées requises pour prendre des décisions fondées sur des données probantes afin de répondre à ces besoins. 5.71 Nous sommes d’accord sur le fait que l’apport des personnes qui s’occupent de l’administration des activités courantes du programme, de celles qui fournissent le programme et même de la clientèle du programme est nécessaire pour évaluer la pertinence continue du programme. Cependant, en nous fondant sur les arguments formulés précédemment dans ce chapitre au sujet de l’obligation redditionnelle, nous sommes d’avis qu’il incombe ultimement au ministère de s’assurer de l’évaluation régulière de la pertinence des programmes. 5.72 Au moins un répondant à l’enquête est d’accord avec une telle opinion : Selon moi, personne dans les régions n’est chargé de l’évaluation de la pertinence et de l’efficacité des programmes. Cela se fait au niveau provincial par l’entremise de l’unité de planification et d’évaluation du ministre de la Santé. Suggestions des répondants à l’enquête pour améliorer l’évaluation de la pertinence des programmes 5.73 Les répondants à notre enquête ont fait plusieurs suggestions visant en particulier à améliorer l’évaluation de la pertinence de leur programme. Il faut noter que, bien que des suggestions puissent déjà être intégrées à certains des programmes que nous avons étudiés, la liste propose des améliorations qui pourraient être apportées aux programmes n’employant pas à l’heure actuelle les pratiques suggérées. Voici des exemples de suggestions reçues : • plus d’information concernant la population cible du programme, y compris des renseignements de suivi sur les clients actuels et passés; • amélioration de la collecte électronique de données aux points de prestation des soins; • rapport montrant les effets du service sur les résultats obtenus par les patients (positifs ou négatifs); • normes nationales ou provinciales visant le programme ou le service; • communications améliorées parmi les régions afin de rehausser l’uniformité dans la prestation; • coordination accrue de l’information venant des différents services d’évaluation de la technologie de la santé; • outil de mesure de la charge de travail. 5.74 Selon un répondant, il serait utile d’avoir une évaluation officielle, un système amélioré de collecte électronique des données et de meilleures possibilités de réseautage pour l’évaluation de la pertinence du programme. 5.75 Les suggestions font ressortir les besoins suivants : • de meilleurs systèmes de collecte de données; • une meilleure diffusion de l’information recueillie; • de meilleures normes provinciales; • des communications améliorées parmi les régions. Évaluation de la rentabilité des programmes Évaluation de la rentabilité des programmes de santé 5.76 Les répondants d’environ la moitié des programmes étudiés ont déclaré que des évaluations de la rentabilité sont faites. L’évaluation de programmes officielle des services de laboratoire a touché certains aspects de la rentabilité. Nous avons aussi relevé trois réponses qui mentionnent des pratiques exemplaires dans l’évaluation de la rentabilité des programmes parmi les réponses à l’enquête que nous avons reçues. • Concernant les Services de santé mentale – Services aux enfants et aux jeunes, un répondant a dit ceci : Le ministère soutient les pratiques exemplaires fondées sur des preuves pour ses clients et examine d’autres modes de prestation de services dans un tel contexte, tout en sachant qu’il n’est peut-être pas possible d’augmenter le financement. Les activités non productives sont régulièrement signalées au niveau du gestionnaire du programme et des directeurs régionaux, ainsi qu’au niveau du directeur provincial des Services aux enfants et aux jeunes. Le coût par client des CSMC est analysé d’une année à l’autre au niveau provincial et dans les régions. • Concernant les Services hospitaliers – Imagerie diagnostique, un répondant a dit ceci : Nous évaluons constamment le coût au moyen du processus budgétaire afin d’établir la meilleure approche à base de tests et aussi d’examiner la productivité et le coût par procédure. • Concernant les Services hospitaliers – Services de laboratoire, un répondant a dit ceci : Nous évaluons constamment des épreuves moins coûteuses qui fournissent les mêmes données cliniques ou des données similaires, ce que nous faisons en suivant les conseils des médecins de laboratoire et des médecins. Il y a aussi le processus budgétaire annuel et des comparaisons avec des points de repère provinciaux et fédéraux pour le coût par épreuve et le coût par unité (rapport de l’ICIS). Un autre répondant a déclaré que l’évaluation de la rentabilité fait partie du rôle et des responsabilités du personnel cadre du laboratoire, y compris le directeur du programme et le directeur médical. Avant la mise en œuvre d’une nouvelle méthode ou d’un nouveau service en matière d’épreuve, une analyse complète est faite en tenant compte de la rentabilité et des priorités cliniques. L’analyse est basée sur la pertinence clinique, les délais d’exécution, le coût, les volumes, le service à la clientèle, etc. Les données utilisées sont tirées notamment du SIG, des statistiques sur la charge de travail, d’examens de la documentation, etc. Le vice-président à l’information sur la santé est l’ultime responsable. Participation du ministère de la Santé à l’évaluation de la rentabilité des programmes 5.77 La plupart des répondants à l’enquête ont dit qu’un certain nombre de personnes devraient être chargées de l’évaluation de la rentabilité de leur programme ou service. Les personnes le plus souvent mentionnées occupent les postes suivants : • personnel administratif des RRS; • gestion des programmes dans les RRS; • personnel chargé de la surveillance au ministère; • gestion des programmes au ministère. 5.78 Un répondant a déclaré en outre ceci : Vu que la RRS reçoit un budget global, il incombe à la RRS de s’assurer que ce budget est utilisé efficacement. 5.79 Nous sommes d’accord sur le fait que la majeure partie du travail d’évaluation de cet aspect doit être réalisé par les responsables de la prestation du programme, c’est-à-dire les RRS. Vu que les RRS sont tenues de travailler dans les limites de leurs budgets tout en fournissant des programmes efficaces, l’information sur la rentabilité leur est utile. Mais, dans les cas où cette information montre que la prestation du programme nécessite des modifications importantes, elle peut aussi être utile pour les décisionnaires du ministère de la Santé. 5.80 Peu importe qui fait le travail d’évaluation, nous sommes d’avis que le ministère devrait assumer un rôle de chef de file pour ce qui est de s’assurer que la rentabilité de tous les programmes sous son administration fait périodiquement l’objet d’évaluations. Suggestions des répondants à l’enquête pour améliorer l’évaluation de la rentabilité 5.81 Les répondants à notre enquête ont fait plusieurs suggestions visant en particulier à améliorer l’évaluation de la rentabilité de leur programme. Encore une fois, il faut noter que, bien que des suggestions puissent déjà être intégrées à certains des programmes que nous avons étudiés, la liste propose des améliorations qui pourraient être apportées aux programmes n’employant pas à l’heure actuelle les pratiques suggérées. Voici des exemples de suggestions reçues : • plus de données sur les résultats; • information sur les sommes économisées et autres effets découlant des interventions du programme; • système amélioré de mesure de la charge de travail; • meilleure collecte de données aux points de prestation des soins; • points de repère provinciaux; • données sur le caractère approprié des examens demandés; • meilleur échange d’information sur les coûts entre le ministère et les RRS; • données comparatives sur les coûts des autres RRS; • données comparatives sur les coûts d’autres provinces. 5.82 Là encore, bon nombre des suggestions d’amélioration exprimées par les répondants à l’enquête ont trait à la nécessité d’avoir une information de meilleure qualité que celle dont disposent actuellement les décisionnaires, ainsi que de meilleures normes provinciales pour le rendement des programmes et les méthodes d’évaluation en général. Un répondant a résumé la question ainsi : Il est difficile de mesurer la rentabilité d’un programme lorsque l’information nécessaire n’est pas connue. 5.83 Par exemple, le rapport d’évaluation du programme de soins infirmiers critiques montre qu’il a été impossible d’évaluer la rentabilité du programme exprimée en dollars par infirmière formée en raison de l’absence de données financières sur lesquelles fonder une telle analyse. Évaluation du succès des programmes Évaluation du succès des programmes de santé 5.84 L’évaluation du succès des programmes de santé a besoin d’être améliorée. Les réponses à l’enquête nous ont appris que certains ont recours à des tableaux de bord prospectifs pour assurer le suivi du rendement de leurs programmes. Nous avons aussi observé que, pour un certain nombre de programmes, les résultats précisés ne sont pas clairs ni mesurables. Il semble aussi que les renseignements anecdotiques comptent pour beaucoup dans la détermination du succès d’un programme. Un répondant a déclaré que : Aucun processus structuré n’est établi pour évaluer le succès du programme. 5.85 De plus, nous avons constaté que très peu d’attention est accordée à la mesure dans laquelle les résultats du programme peuvent être reliés aux activités du programme (c.-à-d. l’attribution des résultats) dans l’évaluation du succès des programmes. 5.86 Nous avons toutefois constaté que des mécanismes de rapport sur le rendement sont établis pour les Services aux enfants et aux jeunes relevant des Services de santé mentale et pour le Programme extra-mural. Les deux programmes pourraient servir de modèles de pratiques exemplaires pour d’autres programmes de santé. 5.87 Par exemple, dans le cas du programme des Services de santé mentale, des indicateurs à court et à long terme clairement énoncés ont été définis dans les lignes directrices du programme, et ceux-ci sont mesurés et communiqués dans des rapports. Les indicateurs du rendement visent l’efficacité, l’efficience, l’accessibilité et l’acceptabilité du programme. Les indicateurs du rendement sont, notamment : • une diminution des symptômes ou de l’apparition de la maladie mentale et une augmentation de la fonctionnalité des enfants et des jeunes; • une diminution de la nécessité d’hospitaliser et une amélioration de la stabilité familiale; • une diminution du taux d’incarcération des jeunes. 5.88 De plus, en rapport avec l’utilisation de l’information à des fins d’évaluation, un répondant a fait le commentaire suivant : Avec des membres du comité d’AQ de Santé mentale et du comité des programmes de Santé mentale, l’équipe de gestion du programme de Santé mentale examine le succès du programme au moyen d’objectifs d’évaluation, d’indicateurs et des rétroactions des autres services. Notamment, des fiches d’information sur les activités, des sondages sur la satisfaction et des rapports sur les dossiers de santé sont utilisés dans l’évaluation. Des rapports sur la situation financière et l’état du programme sont produits chaque mois et remis à la RRS ainsi qu’à la Division des services de santé mentale chaque mois et chaque trimestre. Participation du ministère de la Santé à l’évaluation du succès des programmes 5.89 La plupart des répondants à l’enquête ont dit qu’un certain nombre de personnes devraient être chargées d’évaluer si leur programme ou service atteint ses objectifs. Les personnes le plus souvent mentionnées occupent les postes suivants : • personnel chargé de la surveillance au ministère; • personnel administratif des RRS; • gestion des programmes dans les RRS; • gestion des programmes au ministère. 5.90 Tandis que tous les joueurs participant à un programme devraient s’intéresser au rendement du programme, nous sommes d’avis encore une fois que le ministère devrait assumer un rôle de chef de file dans le domaine du rendement. Pour ce faire, il devrait : • établir des objectifs, des cibles annuelles et des indicateurs du rendement provinciaux clairs pour les programmes; • surveiller le rendement réel et s’assurer que des mesures sont prises lorsque la situation le justifie; • veiller à ce que l’attribution des résultats soit périodiquement examinée pour vérifier que ce sont les activités associées au programme, et non d’autres facteurs, qui ont mené aux résultats observés. Suggestions des répondants à l’enquête pour améliorer l’évaluation du succès des programmes 5.91 Les répondants à notre enquête ont fait plusieurs suggestions visant en particulier à améliorer l’évaluation de la mesure dans laquelle leur programme atteint ses objectifs. Encore une fois, il se peut que, même si des suggestions sont déjà en vigueur dans certains des programmes que nous avons étudiés, la liste propose des améliorations qui pourraient être apportées aux programmes qui n’appliquent pas à l’heure actuelle les pratiques suggérées. Voici des exemples de suggestions reçues : • un système de données électroniques qui permet de capturer les données aux points de prestation des soins; • des sondages sur la satisfaction auprès des patients, des médecins et du personnel; • des mesures plus détaillées et plus exactes des délais d’attente et des charges de travail; • un rapport qui évalue les effets des programmes sur les résultats réels; • la capacité de comparer le rendement entre les régions. 5.92 Des répondants à l’enquête ont fait les commentaires suivants : • Une collecte de données aux points de prestation des soins améliorerait grandement la capacité de suivre et de surveiller les activités au niveau régional. Les données sont recueillies manuellement au niveau régional, ce qui donne lieu à une utilisation non efficiente de nos ressources et ne nous permet pas de surveiller de façon efficace les résultats et les objectifs. Une compatibilité améliorée des systèmes d’information parmi les établissements de la RRS améliorerait aussi la capacité de suivre et de surveiller les activités dans l’organisation. • Il n’existe pas de système de données électroniques pour capturer les informations sur le programme. 5.93 Notre examen des réponses à l’enquête montre que le principal facteur qui limite la capacité du ministère de la Santé et des RRS d’évaluer la mesure dans laquelle un programme atteint ses objectifs est l’insuffisance des données dont disposent les évaluateurs et les décisionnaires. Mesures prises en réponse aux constatations de l’évaluation Information dont disposent le ministère de la Santé et les RRS à des fins décisionnelles 5.94 D’après les commentaires reçus en réponse à notre enquête, il semble bien que les décisionnaires sont généralement réceptifs devant les preuves qui leur sont présentées montrant que leur programme a besoin de modifications ou d’ajustements. Ainsi, un plan d’action a été mis en œuvre en réponse aux constatations et aux recommandations comprises dans le récent rapport d’évaluation sur l’imagerie diagnostique. De fait, tous les répondants ont pu donner de nombreux exemples de modifications apportées récemment à leurs programmes. 5.95 La prise de décisions fondée sur des preuves est considérée comme la meilleure pratique à appliquer pour prendre des décisions concernant un programme. La plupart des répondants à l’enquête ont convenu qu’il faut prendre en considération un certain nombre d’éléments probants avant de décider de modifier un programme. Les éléments les plus souvent mentionnés sont les suivants : • la pertinence continue du programme; • la mesure dans laquelle le programme atteint ses objectifs; • le coût du programme; • les priorités stratégiques de l’organisation ou du gouvernement; • l’expérience clinique; • les récentes recherches scientifiques publiées; • la rentabilité du programme; • les rapports d’évaluation officiels; • l’information venant de programmes similaires en vigueur ailleurs. 5.96 Cependant, comme il est fait valoir tout au long de ce chapitre, de nombreux répondants ont aussi mentionné qu’ils ne possèdent pas suffisamment d’informations critiques au sujet de la pertinence continue, de la rentabilité et du succès de leurs programmes. Nous avions constaté un problème semblable dans tous les ministères dans notre rapport de 2004, dans lequel nous déclarions ceci : « Les décisionnaires ont accès à peu d’informations sur l’efficacité (c.-à-d. les résultats réels par rapport aux résultats visés et les résultats de l’évaluation officielle des programmes) comparativement aux formes plus traditionnelles d’informations reliées aux programmes (c.-à-d. rapports numériques, rapports descriptifs et rapports financiers. » Le problème ne se limite donc pas aux programmes de santé. 5.97 Le manque d’accès à une telle information signifie que le risque qu’il existe des problèmes dont les décisionnaires n’ont pas connaissance est élevé. Ni le ministère, ni les RRS ne peuvent réagir aux problèmes qu’ils ne connaissent pas. Qui prend les décisions relatives aux programmes? 5.98 Le ministère de la Santé administre tous les programmes de santé en vertu de la Loi sur la santé de la province et il en rend compte à l’Assemblée législative. Donc, le ministre de la Santé est l’ultime décisionnaire en matière de programmes de santé. Cependant, le ministre délègue ses responsabilités à la haute direction et aux administrateurs et gestionnaires de programmes du ministère. Le ministre délègue aussi la prestation de la plupart des programmes de santé aux RRS. Les présidents-directeurs généraux des RRS font directement rapport au sous-ministre de la Santé. 5.99 Les réponses à notre enquête semblent montrer que les RRS se tournent vers le ministère pour bon nombre des décisions relatives aux programmes. Les RRS reçoivent du ministère un budget global pour financer tous les programmes et services qu’elles fournissent. Les RRS peuvent dépasser les prévisions budgétaires uniquement pour des programmes imposés par la loi tels que l’imagerie diagnostique ou les services de laboratoire, et uniquement si la demande le justifie. Leur capacité de modifier le budget des programmes non imposés par une loi est limitée; si elles ajoutent des fonds au budget d’un programme, elles doivent en retirer à un autre. Une telle situation, combinée à des ressources administratives limitées, restreint la capacité des RRS d’apporter des modifications importantes à la prestation des programmes sans la participation du ministère. 5.100 Par exemple, dans le cas du Programme extra-mural, un répondant a fait le commentaire suivant : La Direction des services hospitaliers du ministère de la Santé est chargée de l’orientation générale du Programme extra-mural provincial. Une équipe centrale : 1. dirige l’élaboration du PEM en collaboration avec les RRS; 2. favorise la tenue de forums provinciaux pour orienter et donner des conseils sur des questions relatives au programme; 3. établit des directives et des normes provinciales; 4. finance et surveille le programme. Bien que le PEM soit géré par les huit régies régionales de la santé, le programme a retenu son ancien caractère provincial par les efforts de collaboration entre le personnel de la RRS et celui du ministère. Grâce à cette collaboration, le programme peut fournir des services de soins de santé à domicile uniformes et de qualité partout dans la province. 5.101 Par ailleurs, le commentaire qui suit a été fait en rapport avec le récent transfert de la prestation des services de santé mentale aux RRS : En vertu du plan provincial sur la santé et du transfert de la prestation des services de santé mentale aux RRS, le ministère de la Santé a comme rôle de planifier, de concevoir, de financer et de surveiller la prestation des services de santé mentale dans la province. La prestation opérationnelle des services relève toutefois des RRS, et la surveillance qu’elles exercent devraient prendre en compte les objectifs généraux du programme. 5.102 Un autre répondant a exprimé des préoccupations relativement à la capacité des RRS de modifier les programmes en réaction aux problèmes observés sur le plan de la rentabilité : En région, nous entendons depuis quelque temps que la recherche actuelle montre qu’un certain processus n’est pas rentable. Est-ce qu’un autre processus pourrait coûter moins cher? Les régions ne peuvent pas modifier le programme en réaction aux nouvelles preuves ou recherches. C’est le rôle du ministère de la Santé. Il semble être très rare que nous intégrions dans notre travail de nouvelles connaissances, recherches ou preuves. 5.103 Il semble que, outre les décisions opérationnelles courantes au sujet d’un programme, les RRS ont un pouvoir décisionnel limité. C’est le ministère qui prend la majorité des décisions importantes; c’est donc le ministère qui a directement avantage à ce que de l’information d’évaluation appropriée sur laquelle fonder ces décisions soit connue. Communication des rapports d’évaluation de programme au sein du ministère de la Santé 5.104 Parmi les informations fournies dans un rapport d’évaluation de programme, on trouve : • de l’information qui cerne les domaines qui posent problème relativement à l’élaboration, à la mise en œuvre ou à la prestation d’un programme et des recommandations d’amélioration; • de l’information qui cerne les aspects de l’élaboration, de la mise en œuvre, et de la prestation du programme qui fonctionnent bien. 5.105 Les deux genres d’information peuvent être grandement utiles non seulement aux personnes qui sont directement responsables du programme, mais aussi à celles qui administrent d’autres programmes du ministère. L’information permet de dégager des « leçons » utiles et des « pratiques exemplaires » qui peuvent être transférées à d’autres programmes afin d’en améliorer l’efficience et l’efficacité. 5.106 Cependant, d’après notre expérience, il n’est pas facile d’obtenir les rapports d’évaluation de programme produits pour le ministère depuis le démantèlement de son unité d’évaluation. Ces rapports sont habituellement distribués uniquement aux gestionnaires qui administrent le programme évalué. En conséquence, les gestionnaires d’autres programmes de santé perdent l’occasion de profiter de cette précieuse information. Constatations sur les rapports publics en matière d’évaluation 5.107 Comme il est mentionné précédemment, le ministère est tenu de rendre compte du rendement des programmes de santé qu’il administre. Le Manuel d’administration du gouvernement provincial précise ceci : Le rapport annuel vise avant tout à permettre aux ministères et aux organismes gouvernementaux de rendre compte de leurs activités à l’Assemblée législative et à la population en général. Il est l’élément clé qui permet d’évaluer les résultats obtenus par un ministère ou un organisme gouvernemental, par rapport à ses objectifs et à ses plans d’action. 5.108 Donc, conformément à cette directive, le rapport annuel du ministère est le moyen par lequel il devrait s’acquitter de son obligation redditionnelle relativement aux programmes qu’il administre. 5.109 La directive, qui est entrée en vigueur en 1994, offre ensuite les conseils suivants. Contenu a. Dans la mesure du possible, les ministères et les organismes doivent exposer clairement leurs objectifs généraux et spécifiques ainsi que leurs indicateurs de performance. Le rapport devrait préciser dans quelle mesure les programmes existants demeurent pertinents et si les objectifs ont été atteints. Il devrait également rendre compte de l’accueil que le groupe cible a réservé aux programmes. Le système intégré de gestion d’un bon nombre de ministères et d’organismes gouvernementaux ne permet pas de recueillir les données nécessaires à la préparation de rapports annuels aussi complets. Néanmoins, avec le temps, les ministères et les organismes devraient pouvoir élaborer des indicateurs de performance qui leur permettraient d’inclure de tels renseignements dans leurs rapports annuels. b. Tous les rapports annuels doivent comporter des tableaux exposant l’information financière relative aux réalisations et au budget, de même qu’un texte expliquant les écarts et autres données ayant trait aux résultats financiers. 5.110 Cette directive porte donc sur la communication de la pertinence des programmes et de la mesure dans laquelle ils atteignent leurs objectifs. Le point « b » ci-dessus décrit aussi l’information sur les coûts qui doit être communiquée, bien qu’il ne mentionne pas expressément la rentabilité. 5.111 En d’autres termes, la directive exige que les rapports annuels fournissent suffisamment d’information pour permettre aux législateurs et au public d’évaluer si les programmes administrés par les ministères sont pertinents et s’ils atteignent leurs objectifs. 5.112 Nous avons examiné l’information présentée dans le rapport annuel du ministère de la Santé et du Mieux-être du 31 mars 2005 sur les sept programmes que nous avons étudiés. Le rapport annuel du 31 mars 2006 n’était pas encore publié au moment de notre travail. Nous avons relevé les points suivants à la suite de notre examen : • le but et les objectifs sont fournis pour trois des programmes; • d’autres renseignements sont fournis pour quatre des programmes; • des données sur les activités et des données opérationnelles sont fournies pour quatre des programmes; • les projets entrepris durant l’année sont décrits pour deux des programmes. 5.113 Ce n’est que dans le cas du Programme extra-mural que l’information présentée permettrait au lecteur de juger de la pertinence continue du programme. Aucun des programmes ne présente d’indicateurs ou de cibles de rendement, et aucun ne fournit de résultats réels qui pourraient être considérés comme une indication de la mesure dans laquelle le programme atteint les résultats attendus. 5.114 En conséquence, nous devons conclure que, de façon générale, le rapport annuel du ministère de la Santé et du Mieux-être du 31 mars 2005 ne respecte pas la directive gouvernementale, car il ne comprend pas l’information exigée sur la pertinence continue des programmes et la mesure dans laquelle les programmes atteignent leurs objectifs. 5.115 Dans notre rapport de 1998, nous avions formulé une recommandation à la suite de notre vérification de la réponse du gouvernement aux recommandations de la Commission sur l’excellence en éducation. Nous avions recommandé que les résultats de l’évaluation des Initiatives pour la petite enfance soient déposés à l’Assemblée législative une fois l’évaluation terminée. Comme nous le mentionnons précédemment dans le chapitre, une évaluation des IPE a été faite, et nous sommes toujours d’avis qu’il est important pour les législateurs d’examiner cette évaluation afin de déterminer si les résultats attendus ont été obtenus. Ce rapport d’évaluation a été rendu public après l’achèvement de notre enquête. Annexe A Évaluation de programmes Définitions Évaluation de programmes : désigne un processus systématique qui consiste à poser des questions cruciales, à recueillir l’information appropriée ainsi qu’à analyser, à interpréter et à utiliser cette information afin d’améliorer les programmes et de rendre compte des résultats positifs et équitables obtenus et des ressources investies. Pertinence du programme : il s’agit de déterminer si le programme est toujours compatible avec les priorités du ministère et du gouvernement et s’il répond toujours de façon réaliste à un besoin important. Rentabilité du programme : il s’agit de déterminer si le programme utilise les moyens les plus appropriés et les plus efficients pour atteindre les objectifs, comparativement à d’autres approches de conception et de prestation. Succès du programme : il s’agit de déterminer si le programme atteint efficacement ses objectifs, dans les limites de son budget et sans produire de résultats involontaires importants. Il s’agit notamment de voir si les résultats observés peuvent être attribués aux activités du programme.