Guide pour les tests de jugement situationnel

June 7, 2023

Qu’est-ce qu’un test de jugement situationnel?

Un test de jugement situationnel (TJS) est un type d’évaluation utilisé pour comprendre et évaluer comment une personne réagirait ou se comporterait face à des dilemmes sociaux ou professionnels hypothétiques.

Que mesurent les TJS?

Ce qu’un TJS mesure dépend des scénarios eux-mêmes, ainsi que du format de l’examen. En général, l’examen se concentrera sur les comportements et les attributs souhaités pour certaines professions, tels que :

Communication
Travail d’équipe et collaboration
Leadership et influence
Compassion
Empathie
Gestion des conflits
Résolution de problèmes
Négociation
Résilience
Responsabilité éthique
Conscience de soi
Adaptabilité
Fiabilité

Bon nombre de ces concepts et compétences sont inclus dans les cadres établis par les organismes de réglementation de certaines professions. En médecine, il y a l’Association of American Medical Colleges (AAMC), l’Accreditation Council for Graduate Medical Education (ACGME), et CanMeds, qui ont tous publié des cadres identifiant les caractéristiques personnelles et professionnelles considérées comme essentielles pour la réussite future d’un(e) étudiant(e) en médecine dans le domaine. Il existe des organismes de réglementation pour le secteur des affaires, de l’enseignement et de l’ingénierie, et pratiquement tout autre type de profession auxquelles vous pouvez penser.

Les TJS peuvent aussi mesurer la connaissance des comportements ou des normes attendus, en particulier lors de l’évaluation de la connaissance qu’a un individu des codes de conduite spécifiques, de pratiques standard, ainsi que de sa croissance et de son développement en général dans ces compétences.

À quoi sert un test de jugement situationnel?

Les TJS sont principalement utilisés pour trois raisons :

Embauche de nouveaux employés
Évaluer les candidats aux programmes d’enseignement supérieur, en particulier ceux qui sont orientés sur les personnes (par exemple, médecine, soins infirmiers, enseignement)
Évaluer les employés ou les étudiants actuels pour identifier les besoins ou les opportunités de développement

Vous vous demandez si un TJS peut aider dans votre processus d’admission? Réservez une démo avec notre équipe pour découvrir comment les tests de jugement situationnel peuvent aider à un processus d’admission holistique

Pourquoi ce type d’examen est-il utile?

Des recherches approfondies ont démontré l’importance des compétences non-techniques telles que le professionnalisme et l’intelligence sociale ou émotionnelle dans les rôles axés sur le service. En soins de santé, la compassion est essentielle pour diagnostiquer correctement les patients, améliorer leurs résultats et s’assurer que les patients respectent les protocoles de traitement. Les enseignant(e)s dotés d’une intelligence sociale et émotionnelle élevée se sont aussi révélés capables de mieux gérer les comportements en classe et de favoriser une culture d’appartenance chez leurs étudiant(e)s. Il est aussi important de noter la difficulté et le coût élevé associés à la résolution des problèmes de professionnalisme.

Pour en découvrir davantage sur les TJS

4 types de TJS

Il existe différents types de TJS en fonction de leur objectif et de leur exécution.

Nous avons déjà énuméré les trois principaux objectifs d’un TJS : embaucher des employés, sélectionner des candidats pour les programmes d’enseignement supérieur et évaluer le développement professionnel des étudiants ou des employés actuels.

Les TJS peuvent aussi différer en fonction de leur exécution et de leur format de réponse. Voici quelques-uns des différents types :

Format linéaire – tous les participants passent par les mêmes scénarios et les mêmes questions dans le même ordre, généralement sur une évaluation manuscrite.
Format interactif – généralement administré sur un ordinateur, ce format suit un processus de ramification dans lequel les scénarios et les questions ultérieurs sont présentés en fonction des réponses du candidat aux scénarios et questions précédents.
Réponse ouverte – les candidat(e)s élaborent leurs réponses dans un champ de commentaire ouvert. Ce format permet aux candidat(e)s de partager des informations plus détaillées sur les mesures qu’ils prendraient et la raison d’être de celles-ci, ainsi que leur réflexion critique et leur compréhension de la situation actuelle.
Réponse fixe – les candidat(e)s se voient généralement présenter un ensemble d’actions/réponses parmi lesquelles choisir (c.-à-d. choix multiples). Cependant, les TJS à réponse fixe peuvent aussi demander au candidat de :
Choisir les actions les plus et les moins efficaces
Évaluer chaque action sur une échelle allant de la moins efficace à la plus efficace
Classer les actions par ordre d’efficacité ou de pertinence

En savoir plus :

Qu’y a-t-il dans un test de jugement situationnel?

Chaque test de jugement situationnel comporte les éléments suivants :

Concepts ou compétences – ce que le TJS vise à mesurer
Scénarios – les dilemmes présentés aux candidat(e)s, soit sous forme écrite, soit sous forme audiovisuelle
Questions – elles accompagneront chaque scénario pour savoir comment les candidat(e)s réagiraient à un scénario donné
Options de réponse – les candidat(e)s peuvent enregistrer leurs réponses en tapant dans un champ de commentaire ouvert, en enregistrant leur réponse à l’aide de méthodes audio ou vidéo, ou en sélectionnant, en évaluant ou en classant les réponses à partir d’une liste prédéfinie
Mécanisme d’évaluation – fait référence à la manière dont les réponses sont évaluées, et par qui, afin de mesurer les concepts identifiés. La notation automatisée est utilisée pour les réponses fixes (par exemple, à choix multiples), mais les TJS à réponse ouverte sont généralement évalués par des experts en la matière ou des évaluateurs formés. Bien que les méthodes puissent varier, il est plus fréquent que ces évaluateurs utilisent une clé de notation et une échelle de Likert pour évaluer les réponses.

En savoir plus :

Pourquoi avons-nous besoin de TJS pour les admissions holistiques?

Comme mentionné précédemment dans le guide, nous savons que la façon dont les professionnels se comportent sur le lieu de travail a un impact sur les entreprises pour lesquelles ils travaillent et les personnes qu’ils servent. Nous savons aussi que se fier uniquement aux connaissances techniques nuit à l’équité, à la diversité et à l’inclusion.

Dans le monde des affaires, le professionnalisme est lié à la réputation de l’entreprise et à ses résultats. Lorsque les entreprises s’efforcent de recruter et promouvoir une main-d’œuvre diversifiée et inclusive, le rendement annuel de leurs actions peut plus que doubler.
Dans le domaine de la santé, les questions de professionnalisme représentent la grande majorité des mesures disciplinaires prises par les conseils médicaux. Le professionnalisme est aussi beaucoup plus difficile et coûteux à corriger que les lacunes de connaissances techniques, ce qui signifie qu’il est moins probable que les prestataires de soins de santé soient en mesure d’améliorer leur comportement. Il est aussi intéressant de noter que les patients ont tendance à se souvenir davantage des interactions négatives que positives avec les prestataires de soins de santé, ce qui peut réduire la probabilité qu’ils recherchent des soins ultérieurement, lorsqu’ils en ont vraiment besoin.
Lorsque les prestataires de soins de santé ont plus d’empathie et de compassion pour leurs patients, ils ont tendance à être plus méticuleux quant aux soins de leurs patients et moins susceptibles de commettre des erreurs médicales majeures. Ces qualités leur permettent aussi de mieux comprendre leurs patients et de gagner du temps en éliminant les tests de diagnostic et les recommandations inutiles. Les patients sont ainsi plus enclins à suivre les conseils et les protocoles de traitement qui leur sont donnés par leur prestataire de soins de santé.
Dans les écoles, les étudiant(e)s sont généralement moins anxieux en classe et en dehors, s’impliquent dans leurs cours et obtiennent de meilleurs résultats lorsque leurs enseignants font preuve d’une grande intelligence sociale et émotionnelle.

En savoir plus :

Certains établissements d’enseignement supérieur et lieux de travail tentent d’évaluer l’intelligence sociale et le professionnalisme à l’aide de méthodes telles que des entrevues non structurées, des déclarations personnelles et des lettres de référence, mais des recherches approfondies ont montré que ces méthodes peuvent être sujettes à des préjugés, peu fiables et de faibles prédicteurs du succès et du comportement futur. D’autre part, il a été prouvé que les tests de jugement situationnel mesurent ces compétences de manière plus fiable en raison de la structure standardisée et des méthodes psychométriques utilisées dans leur développement. De plus, les TJS conçus pour mesurer des compétences telles que l’intelligence sociale et le professionnalisme ont mis en évidence des corrélations positives avec les comportements et les compétences attendus dans les professions axées sur le service, dont les exemples se trouvent dans les ressources ci-dessous. C’est pourquoi de plus en plus de programmes académiques axés sur les professions adoptent et utilisent des TJS pour les admissions.

En savoir plus :

Comment savons-nous que les TJS fonctionnent?

Les chercheurs évaluent l’utilité des TJS en examinant trois facteurs critiques :

Fiabilité – il s’agit de la reproductibilité des résultats de l’évaluation. Un examen fiable mesure systématiquement un concept au fil du temps, quel que soit l’évaluateur ou les éléments qu’il contient. Les facettes spécifiques de la fiabilité comprennent :

La fiabilité test-retest, qui mesure la cohérence des notes obtenues par les participants lors d’un même examen à différentes périodes.
La fiabilité entre évaluateurs, qui mesure le degré d’accord entre les évaluateurs sur les notes attribuées aux candidat(e)s en faisant évaluer les mêmes réponses du même examen par plusieurs évaluateurs.
La cohérence interne, qui mesure la similitude des éléments de l’examen par rapport à ce qu’ils tentent de mesurer en examinant si ces éléments produisent des résultats similaires ou identiques.

Validité – il s’agit de savoir si l’évaluation mesure ce qu’elle prétend mesurer en examinant :

La validité du concept, c’est-à-dire dans quelle a mesure l’évaluation mesure le(les) concept(s) spécifique(s)
La validité du critère, c’est-à-dire dans quelle mesure les scores de l’examen prédisent les résultats pertinents qu’il était censé prévoir

Équité – cela se concentre sur l’équité de l’évaluation, principalement en évaluant les différences de scores entre les sous-groupes. Par exemple, on pourrait examiner dans quelle mesure les scores variaient selon le sexe, l’âge, le statut de handicap ou l’identité raciale/ethnique

Des décennies de recherche ont montré que les TJS, de par leur conception, sont capables d’explorer divers concepts pertinents grâce aux scénarios réalistes présentés et aux questions qui les accompagnent. En conséquence, la recherche a aussi pu démontrer une validité progressive, ce qui signifie que les scores aux TJS sont liées à la performance dans les aspects pertinents d’une profession ou d’un programme académique. Les TJS ont aussi montré des différences de sous-groupes plus petites par rapport aux examens de capacité cognitive, bien que les plus petites différences soient observées avec le format de réponse ouverte ou construite.

En savoir plus :

Quand utiliser un TJS

Les TJS peuvent être utilisés à plusieurs moments, mais on les utilise généralement avant d’embaucher de nouveaux employés ou de sélectionner des candidat(e)s à l’admission dans un programme d’enseignement supérieur, ou pendant une formation ou une évaluation professionnelle pour guider le développement d’un individu. Dans l’enseignement supérieur, les TJS peuvent servir d’évaluation sommative, qui évalue les individus à un moment donné unique. Ils peuvent aussi être utilisés comme évaluation formative, administrée à différents moments pour évaluer si un étudiant actuel a progressé dans les domaines que le TJS mesure.

Le format de réponse d’un TJS est important lorsqu’il s’agit de décider d’utiliser l’évaluation à des fins formatives ou sommatives. Il a été démontré que les TJS à réponse fixe sont les plus efficaces à des fins d’évaluation formative, car la liste prédéfinie des réponses potentielles aide à mesurer les connaissances du candidat sur les standards, les normes ou les comportements attendus. Les résultats de ce type d’évaluation pourraient aider les programmes à identifier les étudiant(e)s qui ont besoin de plus de soutien et d’orientation. Les TJS à réponse ouverte fonctionnent bien comme évaluations sommatives, car ils ne supposent pas de réponse correcte ou incorrecte à un scénario. Au contraire, ils offrent aux candidat(e)s plus de liberté pour exprimer leurs valeurs, leur raison d’être et leurs capacités de résolution de problèmes dans leurs réponses, car tous les vrais dilemmes ont une variété de solutions. Ces valeurs et capacités personnelles, plutôt que « la connaissance », sont importantes dans les situations à enjeux élevés comme les admissions.

En savoir plus :

Comparaison des tests de jugement situationnel à réponse ouverte et à réponse fixe

Casper : notre TJS pour les admissions

Qu’est-ce que l’examen Casper?

Casper est un test de jugement situationnel en ligne à réponses ouvertes qui évalue l’intelligence sociale et le professionnalisme des candidat(e)s. Utilisés comme évaluation sommative pour les admissions dans l’enseignement supérieur, les candidat(e)s sont confrontés à une série de scénarios vidéos et écrits, et répondent à un ensemble de questions pour chaque scénario dans le temps imparti en utilisant des réponses tapées ou enregistrées au format vidéo. Leurs réponses sont ensuite examinées par les évaluateurs Casper, un groupe diversifié de personnes qui suivent une formation approfondie sur Casper et ce qu’il mesure, ainsi qu’une formation sur les préjugés inconscients. Chaque candidat est évalué par plusieurs évaluateurs (avec un évaluateur différent pour chaque scénario) afin que le score global final reçu par le programme reflète diverses perspectives sur la performance du candidat. Les z-scores Casper permettent aux programmes de disposer d’une mesure standardisée qui montre toute la gamme des compétences des candidat(e)s dans ce domaine difficile à mesurer.

En quoi Casper est-il idéal pour les admissions?

Fiabilité élevée de l’examen, démontrée par une cohérence interne de l’ICC=0,86
Preuves de validité prédictive bien documentées
Différences démographiques plus faibles par rapport à d’autres mesures d’admission
Acceptabilité élevée des candidat(e)s (7,5/10)
Le programme reçoit un seul z-score et un centile pour chaque candidat, facilitant ainsi leur intégration dans le processus d’examen holistique
Mise en place de protocoles de surveillance et de sécurité pour garantir l’intégrité des examens
Processus robustes d’assurance qualité de l’évaluation pour garantir l’équité
Ne peut pas être « manipulé » comme les examens cognitifs standard
Utilisé par près de 500 programmes et passé par 96 % des candidat(e)s aux écoles de médecine américaines

En savoir plus :

Idées fausses courantes sur l’examen Casper

Étant donné que l’intelligence sociale et le professionnalisme sont plus difficiles à mesurer que les connaissances techniques, il n’est pas surprenant qu’il puisse y avoir des préoccupations et des idées fausses sur des évaluations comme Casper qui mettent l’accent sur les qualités personnelles et professionnelles. Certains des mythes les plus courants incluent : Casper est incapable de prédire les performances futures des étudiants, Casper n’est rien de plus qu’un examen de dactylographie et il n’y a aucun contrôle sur les évaluateurs humains. Vous pouvez lire notre article de démystification ci-dessous pour obtenir des réponses aux questions les plus fréquemment posées et aux rumeurs que nous avons rencontrées.

Quoi de neuf dans Casper?

Sur la base de recherches préliminaires, qui ont montré qu’un format de réponse vidéo était associé à des différences démographiques réduites dans les performances de TJS par rapport à un format de réponse tapée, Acuity Insights a réalisé une expérience avec près de 2 000 candidat(e)s en 2021 pour voir si le format de réponse vidéo pourrait fonctionner pour Casper. Nos résultats ont montré que les différences démographiques dans la performance des examens étaient réduites lorsque les candidat(e)s fournissaient une réponse vidéo au scénario plutôt qu’une réponse tapée. En conséquence, Casper demande maintenant aux candidat(e)s de répondre à 14 scénarios, dont six nécessitent des réponses tapées et huit nécessitent des réponses enregistrées au format vidéo.

En savoir plus :

Ce que disent les utilisateurs de Casper

Notre équipe de recherche a réalisé de nombreuses études avec des partenaires qui ont trouvé des relations significatives et positives entre Casper et les admissions, les indicateurs de professionnalisme préclinique et clinique : performance de l’IHM/entrevue, probabilités d’acceptation, performance d’externat et taux de réussite. Ce sont des relations importantes et informatives d’une ampleur similaire à celle observée entre les examens basés sur les connaissances et les performances académiques. Nous avons testé Casper dans de nombreux types de programmes d’enseignement supérieur, avec des études de validité prédictive terminées ou en cours avec plus de 30 programmes, notamment en médecine de premier et deuxième cycle, en soins de la santé, en médecine dentaire, en kinésithérapie, en ergothérapie, en sciences vétérinaires, en sciences de l’éducation et en commerce. Vous pouvez lire certaines de ces études ci-dessous.

En savoir plus :

Comment les candidat(e)s à votre programme peuvent se préparer pour l’examen Casper

L’intention et le format de l’examen Casper signifient qu’une personne ne peut pas l’étudier de la même manière qu’elle le ferait pour un examen cognitif, tel que le MCAT. En fait, nos propres recherches ont montré que les TJS comme Casper ne sont pas susceptibles d’être manipulés ou coachés. Bien qu’il existe de nombreuses tierces parties proposant des cours de préparation payants à l’examen Casper, Acuity Insights n’en recommande aucun, car nous sommes fermement convaincus que ces cours ne feront que marginaliser les candidat(e)s issu(e)s de milieux défavorisés, qui sont déjà disproportionnellement exclus de certaines carrières spécifiques.

Tout le matériel de préparation à l’examen officiel que nous fournissons est gratuit et accessible sur notre site Web officiel AcuityInsights.app/?lang=fr. Nous proposons aussi des simulations d’examen, disponibles pour tous les candidat(e)s dans leur compte. En plus de se familiariser avec le format en ligne et les exigences techniques de l’examen, la meilleure façon pour les candidat(e)s de se préparer à Casper est d’investir de manière significative dans leur développement personnel. Cela signifie vivre des expériences qui peuvent renforcer leur empathie et leur résilience. Le site web AcuityInsights.app/?lang=fr propose aussi des ressources sur la façon d’améliorer ces compétences importantes.

En savoir plus :

Vous avez encore des questions sur les TJS et comment ils s’intègrent dans un processus d’admission holistique? Réservez une démonstration avec l’un des membres expérimentés de notre équipe pour en savoir plus