28 janvier 2012

L’ ABC du testing en ligne 5

Cet article est le cinquième d’une série de six (6) ayant comme objectif, par l’entremise d’une étude de cas, de présenter toutes les grandes étapes de l’utilisation du testing en ligne.

Dans les quatre (4) articles précédents, l’équipe de Robyn confiait à la firme EPSI l’intégration de deux (2) tests sur une plateforme de testing en ligne afin d’évaluer plus de 2000 candidats bilingues répartis principalement dans les différentes provinces du Canada, mais également à travers le monde. Les tests ont été adaptés et intégrés à la plateforme de testing en ligne, les candidats ont été invités par courriel et ont complété leurs évaluations.

Le cinquième article de cette série traite donc de la phase tant attendue par Robyn soit la réception des réponses et des résultats des candidats.

Le début de la fin du processus d’évaluation

En un peu moins de quatre (4) semaines, Robyn peut afin voir la lumière au bout du tunnel, l’évaluation de ses 2000 candidats est maintenant chose du passé… Or, il est important de se rappeler que les candidats avaient deux (2) tests à compléter soit un test comprenant 150 questions à choix multiple ainsi qu’un test d’analyse comprenant dix (10) questions à développement. En d’autres mots, plus de 4000 évaluations se sont tenus lors des sept (7) jours d’administration prévus. Le temps est donc venu de gérer les extrants de ces évaluations c’est-à-dire les résultats obtenus aux 150 questions à choix multiple ainsi que les réponses données au dix (10) questions à développement.

La plateforme de testing en ligne : un monde de possibilités!

La plateforme de testing en ligne offre une panoplie de fonctionnalités à Robyn et son équipe. D’une part, elle permet la correction instantanée de toutes les questions à choix multiples et réponses courtes. D’autre part, elle lui permet l’accès aux résultats des candidats en utilisant la fonctionnalité ‘accès client’ se trouvant sur la plateforme. Les autres fonctionnalités de la plateforme étant la gestion des sessions de test, l’inscription de candidats, la création de rapports, la génération de statistiques d’évaluation, un puissant moteur de recherche et bien d’autres. Mais pour les bienfaits de ce processus et le mandat qui a été confié à la firme et bien que toutes ses fonctionnalités aient pu être utilisées par Robyn et son équipe, elle préfère recevoir qu’uniquement les résultats et les réponses fournies par les candidats en raison des disponibilités des membres de son équipe qui possèdent tous une charge de travail imposante.

La gestion des extrants

Comme les réponses attendues aux questions à choix multiples ont été intégrées sur la plateforme de testing lors de l’implantation du test, les résultats sur ces questions sont donc disponibles immédiatement suite à la passation.

Si vous vous souvenez bien, lors des premières discussions entre Robyn et son équipe ainsi que le conseiller de la firme, il a été convenu que deux (2) types de rapport seraient remis lors de la gestion des extrants. Robyn avait remis à la firme, les réponses attendues pour chacune des questions posées lors de ces évaluations et que celles-ci ont été intégrées directement sur la plateforme pour en faciliter la correction.

Dans un premier temps, des rapports individuels, comprenant deux (2) sections distinctes soient les résultats obtenus aux questions à choix multiple ainsi que les réponses données aux questions à développement, sont générés. Pour les questions à choix multiples, trois (3) critères étaient évalués par les 150 questions. Ce rapport individuel permet donc en un coup d’œil d’observer les résultats d’un candidat sur chacun de ces critères. Un graphique illustre le score obtenu par le candidat et le compare à la note de passage préétablie. Le graphique est complété par un texte décrivant la performance du candidat sur le critère (i.e., les forces et les faiblesses y sont expliquées).  Puisque la correction des questions à développement est assurée par l’équipe de Robyn, les correcteurs de cette dernière utiliseront donc la seconde section de ce rapport pour compléter la correction. Cette section comprend les réponses telles que fournies par les candidats aux questions à développement, une grille détaillant les réponses attendues ainsi qu’un endroit pour inscrire des commentaires ainsi que le score total obtenu.   Le rapport individuel est celui qui sera utilisé par Robyn et son équipe lorsqu’elle aura à donner de la rétroaction individuelle aux candidats qui en feront la demande.

Dans un deuxième temps, un rapport collectif est remis également à Robyn. Ce rapport collectif comprend les résultats aux questions à choix multiple de tous les candidats sur chacun des critères évalués dans un même tableau ce qui facilite le travail de Robyn dans la gestion de la suite de son processus puisqu’elle invitera en entrevue seulement les meilleurs candidats.

Suite à la génération de ces rapports, le conseiller de la firme lui fait donc parvenir les rapports individuels en format PDF ainsi que le rapport collectif en format Excel. Le conseiller prend bien soin d’expliquer à Robyn comment les rapports sont structurés et s’assure que le tout est bien assimiler.

Le post-mortem : une étape essentielle

Évidemment, afin de bien boucler la boucle, un post-mortem est effectué à la suite de toout processus. Lors de celui-ci, les différentes étapes et les interventions techniques qui se sont produites lors de ce processussont abordées et discutées avec Robyn. Elle fait part de ses commentaires et le conseiller en prendre bonne note et tente de comprendre comment Robyn et son équipe ont vécu cette expérience… à lire lors du prochain et dernier article de cette série.

1. Nouvelle stratégie d’évaluation en ligne

2. Intégration du test sur la plateforme

3. Invitation des candidats à compléter leur évaluation

4. Passation du test en ligne

5. Gestion des réponses et des résultats

6. Leçons apprises

Mario Sabourin

Nicolas Roy