Le cadre d'évaluation du SAEA

Veuillez cliquer sur les onglets ci-dessous pour en savoir plus.

En plus de la collecte, l’analyse et le rapport systématiques des données, un objectif commun dans le cadre d'évaluation des impacts du Service d'appui à l'enseignement et à l'apprentissage (SAEA) est d’améliorer les diverses facettes de son offre de services. Sur la base de ce que ces données indiquent concernant les tendances de l'enseignement et de l'apprentissage sur le campus, des opportunités d'innovation, de vision et de planification stratégique futures pourraient émerger.

Note : Pour voir les détails, placez le curseur de la souris sur les signes plus ci-dessous :  icons8 plus 50 bleu

logo CC framework 01  Germain-Rutherford & Groen (2018)    

 


Tout en intégrant les données existantes des différents secteurs au sein du SAEA (principalement les données liées à la participation ou à l’utilisation du service), le cadre fournit une orientation pour la collecte de données provenant de sources multiples, à utiliser en complémentarité pour rendre compte d’une série d’indicateurs. En utilisant une adaptation de la théorie du changement (Hart et al., 2009) et du modèle de développement des enseignants de Guskey (2002), la figure ci-dessus présente différents niveaux d'indicateurs dans trois groupes interdépendants. 

  • Le premier groupe, en bleu, représente un niveau de sophistication croissant dans l’examen et l’évaluation de l’impact. Commençant par la transformation de l'utilisation et la satisfaction avec des services spécifiques du SAEA, la transformation de la pensée pédagogique (en termes de connaissances, compétences, attitudes et valeurs) de ceux qui utilisent les services et les ressources du SAEA, et enfin, la transformation de la pratique, comme en témoignent les changements d’approches pédagogiques et la mesure de leur efficacité. 

  • Le deuxième groupe, en orange, représente l’impact subséquent des multiples niveaux individuels de transformation (en bleu). Par exemple, la transformation de la pensée pédagogique et de la pratique d'un instructeur peut avoir un impact sur l'apprentissage de ses étudiants ou sur la réflexion et la pratique de certains de ses collègues. 

  • Le troisième groupe, en rouge, indique la transformation de la culture de l'enseignement et de l'apprentissage au niveau méso (département / faculté) et au niveau macro (institutionnel). Cette transformation peut être influencée par l'apport direct du SAEA ou indirectement par l'impact collectif d'un nombre croissant d'individus qui ont transformé leurs pensées pédagogiques et leurs pratiques (transformation au niveau individuel en bleu).

Le processus d'élaboration du cadre d’évaluations

Une approche participative a été adoptée à partir du travail de Cousins et Earl (1995) afin d’assurer un engagement significatif entre les intervenants au niveau des divers secteurs du service. Ce processus a permis d’établir un portrait plus complet des services évalués ainsi que le développement d’un sentiment d’appartenance dans le processus par les membres de l'équipe du SAEA. Pour orienter l'engagement des intervenants, une fiche de travail a été créée (cliquez ici pour en voir une copie). La structure des questions fut empruntée à la fois à la théorie du changement (Hart et al., 2009) et au Cadre d'impact sur l'éducation de Guskey (2002)..

Littérature pertinente

Le travail de développement s'est appuyé sur les contributions de spécialistes de l'évaluation tels que : Amundsen et Wilson (2012), Chalmers (2015), Guskey (2002), Hines (2017), Kirkpatrick (1994), Kreber et Brook (2001).

Types de sources de données

Une série de sources, d'instruments et de processus de collecte de données ont été mis en place pour recueillir des données associées à chaque indicateur. Il s'agit notamment de la première phase de collecte de données en hiver/printemps 2018. Pour les sources de données multiples, divers informateurs (y compris les professeurs, les étudiants, les administrateurs et les membres de l'équipe du SAEA) ont fourni une rétroaction en termes d'impact attendu, perçu et expérimenté dans un effort visant à faciliter la triangulation des données.

À côté de plusieurs des sources de données ci-dessous se trouvent des exemples d'instruments de collecte de données que nous avons utilisés. N'hésitez pas à les utiliser et à les adapter et à nous en faire part. Nous serions aussi heureux de vous les envoyer directement et de collaborer à des projets concernant leur utilisation et leur amélioration (contacter Jovan Groen à : Jovan.Groen@uOttawa.ca).

Calendrier et étapes en 2017/2018

Image of the Initial Framework Development Timeline

Données préliminaires

Les données révèlent des preuves d'impact de manière à la fois attendue et inattendue. Par exemple, on s'attend à ce qu'il y ait une diversité d'approches pédagogiques à l'œuvre à tous les niveaux et dans toutes les disciplines. Ce qui est quelque peu inattendu, c'est que la participation dans l'ensemble a été assez élevée et que les expériences et les connaissances partagées par les professeurs, les étudiants et le personnel ont été exceptionnellement riches. 

Ces données nous permettent non seulement de tisser soigneusement un récit cohérent de l'impact, mais aussi de mettre à l'essai les processus utilisés pour recueillir les données le plus efficacement possible, de manière à obtenir la plus grande participation et les commentaires les plus significatifs et constructifs. Consultez rapport annuel du SAEA ici pour voir certaines des données à l'œuvre!

0
visites de professeurs au laboratoire du Campus Virtuel
0
visites de professeurs montrant par leurs questions complexes une utilisation plus poussée de Brightspace
0
visites de professeurs utilisant nouvellement la technologie et cherchant de l'aide pour concevoir leurs cours dans Brightspace
0
visites de professeurs qui utilisent activement Brightspace et la majorité des ses fonctionnalités.
0
visites de professeurs innovants qui pensent à des moyens créatifs d'intégrer les fonctions de Brightspace dans leur programme

Le SAEA a accueilli 184 professeurs pour 
369 consultations individuelles, représentant 383 heures

09
École de gestion
31
Faculté des arts
26
Faculté des sciences sociales
12
Faculté des sciences
20
Faculté des sciences de la santé
07
Faculté de médecine
17
Faculté de génie
29
Faculté d'éducation
04
Faculté de droit

Thèmes émergents concernant la transformation des pratiques d'enseignement

Toutes disciplines confondues, les professeurs rapportent que les pratiques ayant le plus d'impact sur l'apprentissage des étudiants sont les suivantes :

  • études de cas;
  • présentations d'étudiants;
  • activités de réflexion en classe.

Influence des espaces pédagogiques sur l'enseignement et l'apprentissage

Grâce aux commentaires systématiques des instructeurs et aux observations en salle de classe, les approches pédagogiques utilisées par les professeurs et la nature de l'engagement des étudiants sont fortement influencés par l'espace dans lequel ils enseignent et apprennent. Les demandes d'espaces flexibles conçus pour un apprentissage actif continuent d'augmenter.

Perceptions des professeurs par rapport aux expériences des étudiants

Dans une douzaine de contextes, les activités pédagogiques utilisées en classe correspondent à ce que les élèves de la même classe ont déclaré expérimenter. Cependant, des divergences de 5 à 15% se dégagent entre les points de vue des professeurs et des étudiants sur le temps passé en classe à donner des exposés magistraux.

La voix des professeurs

La subvention initiale qui nous a été accordée par le SAEA, nous a donné l'occasion de réfléchir à la façon dont nous présentons le contenu et engageons les étudiants en salle de classe (grandes ou petites). Cela a ouvert de nouvelles possibilités d'enseignement et de subventions et nous a permis d'élaborer de nouvelles idées sur la façon de faire participer nos étudiants ou d'offrir du contenu qui pourrait leur être bénéfique. Cela nous a encouragés et nous en avons profité pour penser différemment à nos salles de classe et à nos étudiants et nous avons réfléchi à nos compétences pédagogiques et à notre expérience d'une manière que nous n'aurions pas eue autrement.

Je voulais juste vous remercier de l'intérêt que vous avez démontré et la bonne ambiance lors de notre rencontre,. Après cette réunion, j'ai une meilleure idée de ce qui est faisable, et c'est plus que ce que je pensais. C'est donc encourageant pour la prochaine étape et les prochaines phases du projet.

L’assistance technique a été rapide et efficace. Sa proximité et sa disponibilité immédiate, au début de la classe et durant le cours ont servi de filet de sécurité qui a permis aux instructeurs de se sentir en sécurité pour essayer de nouvelles choses et « prendre des risques » avec la technologie.

La voix des étudiants

J'ai suivi un cours hybride de développement international qui m'a beaucoup plu. La flexibilité de ne pas toujours avoir à aller sur le campus était formidable. J'ai aimé pouvoir consulter le contenu du cours à la maison (comme le visionnement de vidéos) parce que souvent en classe, il peut être difficile de se concentrer. J'ai aimé pouvoir suivre la composante en ligne du cours à ma convenance.

La technologie est souvent un obstacle. Par exemple, il me serait impossible de faire la majorité de mon travail sans avoir accès à Internet ou à un ordinateur. Souvent, mes professeurs ne sont pas des experts en technologie, et de nombreuses fonctionnalités ne sont pas utilisées ou le site du cours n'est pas mis à jour régulièrement.

Echo360 (outil de captation de cours) est honnêtement la ressource la plus précieuse dont je dispose en tant qu'étudiant. J'assiste à presque 100% des cours, mais je peux quand même réécouter tous les cours pour m'assurer de bien avoir compris les concepts et je peux revenir en arrière et clarifier tout ce que je n'ai pas été capable de comprendre en salle de classe.

Collecte systématique des données

L'élaboration d'un cadre d'évaluation est la première partie d'un travail effectué par le SAEA pour démontrer systématiquement la nature et l'étendue de l'impact de ses services et initiatives sur les pratiques pédagogiques, sur l'apprentissage des étudiants et sur la culture de l'avancement et de l'innovation dans l'enseignement et l'apprentissage. Il est prévu que cette pratique devienne une habitude en s'intégrant de plus en plus dans le travail de développement pédagogique du service.

Le processus d'évaluation

Au cours de ce premier processus d'analyse et d'interprétation des données, des méthodes pour optimiser le format utilisé pour la collecte et le stockage des données, ainsi que des méthodes pour trier et analyser les données avec plus d'exactitude et d'efficacité, sont en cours d'élaboration. Cette première itération s'avère déjà utile pour déterminer les critères que nous utiliserons pour prioriser les indicateurs que nous avons choisi de suivre et les sources de données que nous utilisons pour les mettre en évidence.