Guide de mise en œuvre de Casper : un aperçu complet

September 14, 2023

Dans le monde concurrentiel des admissions universitaires et collégiales, les repères traditionnels de MPC, les résultats aux examens et les lettres de recommandation ont longtemps été la norme. Cependant, les établissements étant de plus en plus à la recherche de personnes qualifiées qui excelleront sur les plans académique, professionnel et social, l’évaluation Casper d’Acuity Insight a été adoptée dans le cadre du processus d’admission holistique de nombreux établissements.

Qu’est-ce que l’examen Casper?

Casper est un test de jugement situationnel (TJS) en ligne à réponse ouverte pour mesurer les compétences générales liées à l’intelligence sociale et au professionnalisme. Casper a été développé dans une université, pour les universités profondément engagées dans la réussite de leurs programmes et de leurs apprenant(e)s.

Soutenu par près de 20 ans de recherches approfondies, Casper prouve constamment sa capacité à prédire les performances futures des étudiants en évaluant les compétences générales d’un candidat. Par rapport aux évaluations basées sur les connaissances, Casper démontre systématiquement des différences démographiques plus faibles, garantissant une évaluation équitable de tous les candidats, indépendamment de leurs antécédents. Cette approche renforce sa position en tant qu’évaluation plus équitable, permettant aux institutions d’identifier les candidats les plus prometteurs en regardant au-delà de leurs notes.

Qu’est-ce qui différencie Casper des autres évaluations?

Casper va au-delà des connaissances théoriques et pousse les évaluations d’admission à un nouveau niveau, en mettant l’accent sur l’importance du caractère et des compétences interpersonnelles des candidats. Il pose des dilemmes réels et professionnels, et incite les candidats à répondre à ces dilemmes tout en présentant une ou plusieurs des dix compétences générales qu’il évalue, notamment :

Communication
Collaboration
Empathie
Résilience
Travail d’équipe

Format de réponse ouverte

Casper est le test de jugement situationnel à réponse ouverte (TJS) le plus largement utilisé dans l’enseignement supérieur. L’évaluation comprend à la fois des scénarios vidéos et des scénarios écrits, chacun avec des questions ouvertes qui nécessitent des réponses tapées et vidéos sous la contrainte d’une limite de temps. En permettant des réponses ouvertes, l’évaluation permet d’obtenir des réponses authentiques des candidat(e)s qui s’appuient sur leurs expériences et leurs valeurs, minimisant ainsi la possibilité pour les candidat(e)s de « jouer avec le système ».

Comment Casper est-il noté?

L’examen Casper fournit aux programmes un seul z-score qui s’intègre parfaitement dans le processus d’admission global. Nous y reviendrons plus loin dans cet article de blogue!

Dans cet article de blogue, nous aborderons les points suivants :

Comment fonctionne le score Casper
Les différentes façons dont les programmes peuvent utiliser les scores Casper dans leur processus d’admission
Nos meilleures pratiques suggérées
Un aperçu des scores de passage et nos dernières recommandations

Un guide rapide sur les scores Casper

Nous fournissons aux programmes le centile d’un(e) candidat(e) et un z-score – une note simple qui peut être facilement appliquée au processus d’admission.

Qu’est-ce que les z-scores, exactement?

Un z-score est un type de score standardisé qui offre un aperçu de la performance d’un individu à l’évaluation par rapport à tous les autres candidats. Dans le cas de Casper, le score indique le niveau de performance du candidat par rapport aux autres candidats de la même date d’examen, ou, en d’autres termes, par rapport à ses pairs.

Un z-score nous indique à quel point un score est proche de la moyenne. S’il est positif, la valeur est supérieure à la moyenne. Si c’est négatif, c’est inférieur à la moyenne. Plus le z-score est grand, plus il est éloigné de la moyenne.

Parlons maintenant des centiles

Les centiles nous montrent le pourcentage de personnes qui tombent en dessous d’une certaine valeur dans la distribution. Par exemple, un(e) étudiant(e) qui a obtenu une note dans le 75e centile a obtenu de meilleurs résultats que 75 % de la classe.

Comment les programmes utilisent-ils les scores Casper dans leur processus d’admission?

Casper a été conçu à l’origine comme un outil de filtrage pour la sélection aux entrevues. Au fur et à mesure de son développement, les programmes y ont trouvé de la valeur même lorsqu’ils n’ont pas d’entrevues. Nous vous recommandons d’utiliser Casper tôt dans le processus d’admission – c’est là qu’il aura le plus de valeur pour les programmes.

En général, les programmes ont tendance à mettre en œuvre les scores Casper en utilisant une ou plusieurs des méthodes suivantes :

Approche par formule
Approche par rubrique
Approche qualitative

Nous examinerons ci-dessous chacune de ces approches et en découvrirons les avantages et les risques de chacune.

Quelle que soit l’approche de mise en œuvre que les programmes choisissent, il est recommandé de suivre un cadre systématique pour concevoir, mettre en œuvre et évaluer les processus de sélection (par exemple, voir Cleland et ses collègues, 2023, guide AMEE).

Approche par formule

Cette approche combine Casper et d’autres critères d’admission – en donnant des pondérations différentes à chaque critère en fonction des objectifs du programme – pour créer un score global pour chaque candidat(e), qui peut ensuite être utilisé pour les classer.

C’est un excellent moyen d’appliquer les scores Casper à votre processus d’admission, car c’est une approche hautement justifiable, basée sur les données, traçable et facile à mettre en œuvre. Cependant, l’approche par formule dépend également fortement des critères de la formule – ce qui signifie que la formule utilisée par chaque programme et le critère donné au score Casper auront un impact sur les résultats. C’est pourquoi il est important que la formule utilisée par chaque programme reflète leurs priorités.

Université River Fork : une étude de cas fictive

L’Université River Fork est confrontée à un défi unique alors qu’elle examine 3 000 candidat(e)s enthousiastes avec seulement 300 places dans son programme. L’équipe d’admission est déterminée à améliorer son processus en utilisant un examen holistique qui comprend à la fois les résultats des examens académiques et les attributs personnels.

Ils décident d’utiliser une approche par formule, pour s’assurer qu’ils combinent une variété de points de données pour examiner chaque candidat(e). Leur formule prend en compte la MPC, les résultats au GRE et les z-scores de l’examen Casper.

Pour la première phase du processus d’admission – qui débouche sur 700 entrevues – leur formule comprend :

1/3 MPC
1/3 GRE
1/3 Casper

Les candidat(e)s sont classé(e)s en fonction de cette formule et les 600 meilleur(e)s sont rapidement sélectionné(e)s pour recevoir une offre d’entrevue. Le comité d’admission procède à un examen approfondi des dossiers des candidat(e)s classé(e)s entre 601 et 800 afin de sélectionner qui se verra offrir les 100 dernières places d’entrevues.

Une fois que ces 700 candidat(e)s ont été sélectionné(e)s, l’étape suivante consiste à sélectionner les 300 places du programme à l’aide de la formule suivante :

½ MMI/note d’entrevue
½ Score de la formule pré-entrevue

Dans ce scénario, l’Université River Fork utilise une approche par formule. Les résultats de l’examen Casper sont appliqués à une formule tôt dans le processus d’admission pour aider à sélectionner qui passera à l’entrevue.

Approche par rubriques

Cette approche comprend le score de Casper du candidat(e) ainsi que d’autres indicateurs dans un guide de notation, chaque niveau étant clairement décrit. Les rubriques fournissent également des regroupements interprétables de performances, et sont hautement justifiables et traçables.

L’approche par rubrique dépend fortement des points et des définitions de la rubrique qui sont définis par le programme.

Université Silver Valley : une étude de cas fictive

L’Université Silver Valley est aussi confrontée au défi de sélectionner 300 étudiant(e)s parmi un bassin de 3 000 candidat(e)s pour son programme renommé. L’institut vise à affiner son processus d’admission en intégrant les attributs personnels et professionnels dans une rubrique complète.

La rubrique, qui sert de base à la sélection des candidat(e)s à passer en entrevue, attribue le même système de points aux quatre composantes (c’est-à-dire que chaque mesure a le même nombre de points maximum). Les quatre composantes considérées comprennent la moyenne pondérée cumulative, les notes GRE, l’examen Casper et les lettres de référence. Vous trouverez ci-dessous un exemple de la rubrique que Silver Valley utilise pour obtenir la note de chaque candidat(e).

Points de la rubrique	z-score Casper ou %tile	MPC	GRE (quantitatif)(chiffres approximatifs)	Lettre de référence
0	< -1,0 ou<16 %ile	< 3,0	< 147<16 %ile	0
1	– 1,0 à 0 ou 16e – 50e %ile	3,01 à 3,5	147 – 154,916e – 50e %ile	1
2	0 – +1 pr 51e à 85e %ile	3,51 – 3,9	155 – 165,951e à 85e %ile	2
3	1,01+ >85e %ile	3,91 – 4,0	166+>85e %ile	3

La rubrique de Silver Valley a une note maximum de 12 (3 points pour chacune des 4 mesures). Pour sélectionner les 700 candidat(e)s en entrevue parmi les 3000 candidat(e)s, toutes les personnes ayant obtenu un score total de 10 ou plus sont rapidement sélectionnés et se voient proposer une entrevue. Ensuite, pour combler les places restantes, le comité d’admission procède à un examen complet des dossiers des candidat(e)s dont la note totale se situe entre 6 et 10. Cela permet à Silver Valley de se pencher plus en détail sur l’histoire et l’expérience de chaque candidat(e) susceptible de réussir dans le cadre du programme.

Une fois que les candidat(e)s passent à l’étape de l’entretien, l’équipe d’admission examine les évaluations de l’entrevue/MMI et les notes de la rubrique avant l’entrevue. Cette méthodologie permet à l’institut d’évaluer de manière holistique le potentiel de tous les candidat(e)s.

L’Université Silver Valley utilise une approche par rubrique pour sélectionner une cohorte dynamique, en veillant à ce que son programme prospère avec un large éventail de personnes bien équilibrées.

Approche qualitative

L’approche qualitative est une option pratique où vos évaluateurs utilisent Casper et tous les autres documents d’application pour prendre une décision, sans aucune évaluation numérique. Il s’agit d’une approche particulièrement flexible, ouverte à l’interprétation de vos évaluateurs.

Cette approche comporte des risques, tels qu’une plus grande vulnérabilité aux évaluateurs des candidat(e)s du programme et un risque de préjugés individuels. Elle est aussi extrêmement laborieuse. Pour assurer la légitimité de ce processus, une documentation claire est nécessaire.

Collège Paradise Grove : une étude de cas fictive

Paradise Grove College décide de ne pas adopter une approche par rubrique ou par formules, mais de choisir la méthode qualitative.

Au fur et à mesure que le comité examine les candidatures, les évaluateurs voient l’ensemble du dossier de chaque candidat(e), y compris la MPC, Casper, leurs relevés de notes, leurs déclarations personnelles et leur CV. Après avoir lu l’ensemble du dossier, ils décident si le(la) candidat(e) doit être invité(e) à une entrevue ou non, avant de passer au dossier suivant.

Le Collège Paradise Grove a mis en place une formation complète sur les préjugés et discute régulièrement des lignes directrices dans le but d’assurer l’équité dans le processus de sélection.

Une note sur l’utilisation des scores Casper

Vous devez prévoir d’adapter la façon dont vous utilisez Casper – et les autres critères de sélection – lors de la collecte des données et de l’analyse des résultats. Ceci est fondamental pour l’assurance qualité continue et l’amélioration de la qualité de votre processus de sélection (Cleland et ses collègues, 2023). Si vous êtes novice dans l’utilisation de Casper, vous pouvez choisir de commencer avec un poids modéré et de développer progressivement une stratégie de mise en œuvre spécifique à mesure que vous gagnez en confiance dans ce qui fonctionne le mieux pour votre processus. Procédez par étapes pour trouver l’approche la plus bénéfique pour vous.

Le problème avec la méthode de filtrage

Les meilleures pratiques changent parfois, c’est pourquoi nous avons mis à jour nos recommandations sur la méthode de filtrage, également connue sous le nom de score de passage.

La recherche montre que la création de scores de passage mène à une grande division qui entrave la flexibilité et peut aussi conduire à moins de diversité dans la cohorte de votre programme. L’intégration de résultats académiques moyens entraîne généralement des classes plus diversifiées, tout en conservant des taux de réussite élevés. Par contre, l’élimination d’étudiant(e)s en raison d’une différence de résultats faible et insignifiante peut réduire la qualité et la diversité d’étudiant(e)s qui excelleraient dans votre programme.

Imaginez que la clé pour être admis dans un programme soit la différence entre une moyenne de 3,49 et de 3,5, même si rien ne prouve que la personne qui a 3,5 réussira et que celle qui a 3,49 ne réussira pas. Avec un score de passage, vous n’aurez même pas la possibilité de faire ce choix.

Bien que vous ayez de bonnes raisons de choisir un score de passage pour une mesure particulière, nous vous encourageons à expérimenter de nouvelles approches qui pourraient donner de meilleurs résultats, comme une formule ou une rubrique.

Casper est un outil efficace et flexible appuyé par la recherche qui soutient le processus d’admission holistique des programmes. Casper identifie les candidat(e)s ayant un ensemble de compétences diversifié qui pourraient être négligés lorsque les programmes se concentrent trop sur les notes académiques pour les décisions d’admission; il soutient aussi leur succès dans le programme. Cependant, chaque programme est unique, et la façon dont ils mettent en œuvre et utilisent les scores Casper peut varier en fonction de ce qui est nécessaire pour la réussite du programme.

Ne manquez pas notre prochain billet de blogue, où nous explorerons les questions fréquemment posées suivantes :

Comment notre programme peut-il soutenir les principales parties prenantes lors de la transition vers l’utilisation de Casper?
À quel stade du processus devrions-nous utiliser Casper?
Comment Casper peut-il être utilisé au-delà des admissions et pour le soutien en cours de programme?