Test d’habiletés de leadership - ID-Leadership.

ID-Leadership

Les participants qui complètent un test psychométrique à deux reprises sont-ils avantagés ?

Les organisations demandent régulièrement aux candidat.es de compléter des tests psychométriques dans le cadre de leurs processus de dotation. Or, la réussite à ces tests représente souvent une condition préalable à l’obtention du poste. Le fait d’avoir déjà complété un test dans le cadre d’un processus de développement personnel peut-il favoriser un candidat ? C’est à cette question que nous avons tenté de répondre dans le cadre du présent White Paper.

Les enjeux

Les tests psychométriques sont utilisés pour de nombreuses raisons, notamment pour l’embauche des candidat.es, la formation et le développement, la rémunération et la promotion ou même la rétrogradation (EEOC, 1978 ; U.S. Department of Labor Employment and Training Administration, 1999). En fait, les organisations peuvent investir beaucoup de temps et d’argent dans l’utilisation de ces tests. Par exemple, le Centre for Economics and Business Research (CEBR) estime que pour une entreprise typique de 20 à 49 employés, il en coûte environ 40 000 dollars pour embaucher un employé (CEBR, 2014). Les organisations doivent donc s’assurer qu’elles évaluent les candidat.es à l’aide de tests fiables et valides. De plus, il est crucial que les candidat.es perçoivent les évaluations de façon positive afin qu’ils.elles ne considèrent pas les tests et l’ensemble du processus comme injustes et contraires à l’éthique (Smither, Reilly, Millsap, Pearlman et Stoffey, 1993).

Parallèlement, les Principes pour la validation et l’utilisation des procédures de sélection du personnel de la SIOP (2017) ainsi que l’EEOC (1978) stipulent que les employeurs devraient offrir des possibilités de réévaluation et de réexamen des candidats chaque fois que cela est techniquement et administrativement possible. Par conséquent, il est possible qu’un.e ou plusieurs candidat.es aient déjà complété un test dans un processus antérieur. On peut donc se demander si cette situation avantage ces personnes (Martin, 2014).

Plusieurs recherches ont été menées sur les situations de retest dans divers emplois (Kelley, Jacobs, & Farr, 1994 ; Kolk, Born, & der Flier, 2003) et plus particulièrement dans le domaine de l’application de la loi (Hausknecht, Trevor, & Farr, 2002 ; Maurer, Solamon, & Troxtel, 1998), dans les contextes militaires (Carretta, 1992), pour les pompiers (Dunlop, Morrison, & Cordery, 2011) et dans les processus d’admissions dans les écoles (Lievens, Buyse, & Sackett, 2005 ; Lievens, Reeve, & Heggestad, 2007 ; Puddey, Mercer, Andrich, & Styles, 2014). De plus, plusieurs types de tests ont été examinés dans la littérature, notamment les tests d’habileté cognitive (Bartels, Wegrzyn, Wiedl, Ackermann, & Ehrenreich, 2010; Hausknecht, Halpert, Dipaolo, & Gerrard, 2007; Hausknecht et al., 2002; Kulik, Kulik, & Bangert, 1984; Lievens et al., 2005; Lievens et al., 2007), les tests de personnalité (Kelley et al., 1994; Walmsley & Sackett, 2013), les tests de connaissance et d’habiletés (Carretta, 1992; Dunlop et al., 2011; Lievens et al., 2005; Van Iddekinge, Morgeson, Schleicher, & Campion, 2011), les centres d’évaluation (Brummel, Rupp, & Spain, 2009; Kolk et al., 2003) et les tests de jugement situationnel (Lievens et al., 2005 ; Lievens & Sackett, 2007 ; Maurer et al., 1998) qui sont utilisés dans de nombreux contextes, incluant l’évaluation du leadership.

De façon intuitive, on pourrait croire que l’administration répétée d’un test aurait tendance à améliorer les résultats. En effet, les situations de test-retest pourraient diminuer l’anxiété (Hausknecht et. al., 2002 ; Maurer et. al., 1998 ; Van Iddekinge et. al., 2011), donner une meilleure connaissance du format et des questions des tests (Hausknecht et. al., 2002 ; Maurer et. al., 1998 ; Van Iddekinge et. al., 2011) ou augmenter la motivation des candidat.es (Carretta, 1992 ; Hausknecht, 2010 ; Van Iddekinge et. al., 2010).

Parallèlement, on pourrait croire que le nombre de tentatives de retest aurait un impact sur les résultats. Cependant, les études montrent des résultats inconsistants. En effet, certaines recherches indiquent qu’il y a des améliorations (Hausknecht et al., 2002) alors que d’autres montrent plutôt que les résultats s’améliorent du test 1 au test 2 mais qu’il n’y a pas d’amélioration du test 2 au test 3 (Bartels et al., 2010 ; Dunlop et al., 2011 ; Kelley et al., 1994 ; Puddey et al., 2014 ; Randall & Villado, 2016).

Lorsqu’on veut mesurer le leadership, les tests de jugement situationnel (TJS) sont souvent privilégiés car ils permettent d’évaluer comment un.e candidat.e réagirait à des énoncés ou à un scénario dans un contexte de travail (McDaniel & Nguyen, 2001). Or, une étude récente (Reichin, 2018) a démontré que l’expérience antérieure avec un panier de gestion ou un TJS n’avait pas d’impact sur les résultats obtenus lors d’une seconde passation.

De façon générale donc, on peut conclure que l’administration répétée d’un test de jugement situationnel n’a pas d’impact significatif sur les résultats obtenus. Afin de vérifier ce point, nous avons effectué une étude visant à vérifier l’évolution des résultats au ID-Leadership lorsque ce dernier était administré à deux reprises aux mêmes candidat.es.

Le test :

Le ID-Leadership est un test de jugement situationnel qui évalue les caractéristiques des participant.es en matière de leadership. Le test peut être utilisé en développement des compétences ou pour des processus de dotation. Dans le cas où le test est utilisé pour des fins de développement, un rapport générique est produit. Ce rapport donne des informations générales sur :

  1. Le style de leadership (transformationnel ou transactionnel);
  2. Le type de motivation qui pousse le.la participant.e à exercer du leadership (intrinsèque ou extrinsèque);
  3. Le type d’approche privilégié (orientation résultats vs. orientation personnes / focus sur l’équipe interne ou les intervenant.es à l’externe);
  4. Le type d’environnement et d’employés avec lesquels on se sent le plus confortable (environnement stable ou turbulent / employés peu expérimentés ou qui maîtrisent leur emploi);

Le rapport qui est fourni suite à la passation du test présente tous les résultats associés à ces éléments en plus de fournir des pistes de développement et de réflexion aux candidat.es. Par contre, aucune information n’est présentée en ce qui a trait aux compétences spécifiques associées au leadership.

Dans le cas où le test est utilisé en dotation, un rapport spécifique présente les résultats des candidat.es en fonction de chacune des 17 compétences suivantes regroupées en quatre catégories, soit :

  1. Leadership de personnes
    1. Communication interpersonnelle
    2. Prendre soin des autres
    3. Savoir travailler en équipe
    4. Constituer des équipes performantes
    5. Orientation vers les personnes
  2. Leadership d’action
    1. Orientation vers l’action
    2. Savoir s’adapter
    3. Besoin de réussir
    4. Initiative / Entrepreneurship
    5. Créativité / Innovation
  3. Leadership de décision
    1. Savoir commander
    2. Savoir mobiliser
    3. Savoir organiser / orchestrer
    4. Savoir contrôler
  4. Leadership situationnel
    1. Savoir transmettre l’information
    2. Ouverture d’esprit
    3. Sens de l’environnement

Aucune information n’est donnée en ce qui a trait aux styles, aux approches et aux préférences relevées dans le rapport destiné au développement du leadership des personnes.

Le protocole

Afin de déterminer si les informations reçues lors de la passation du ID-Leadership en mode « développement » peuvent avoir un impact sur les résultats à une passation en mode « dotation », nous avons examiné la base de données du ID-Leadership afin d’identifier les personnes qui ont complété le test à deux reprises. Au total, 50 participant.es se sont retrouvées dans cette catégorie. Les caractéristiques des participant.es étaient les suivantes :

  • Sexe : 60% hommes / 40% femmes
  • Temps moyen entre les deux passations : 1,8 ans (minimum : 6 mois / maximum : 3,8 ans)
  • Ordre de présentation :
    • A- Administration #1 : Rapport « développement »
    • B- Administration #2 : Rapport « dotation »

Notons que tous.tes les participant.es qui ont complété le test au « temps 1 » ont non seulement pris connaissance du rapport « développement », mais ont également reçu une rétroaction individuelle de la part d’un.e conseiller.ère. Cette rétroaction visait à expliquer les résultats aux participant.es afin de leur permettre de s’améliorer. Par conséquent, il s’agit d’une situation où les participant.es avaient un maximum de chances d’améliorer leurs résultats lors de la passation au « temps 2 ».

Les résultats

La Figure #1 présente les résultats moyens obtenus lors des deux passations en fonction des informations présentées aux participant.es dans le rapport « développement ». Comme on peut l’observer, les variations observées sont extrêmement faibles et non significatives. De plus, dans certains cas, on observe une augmentation des résultats (ex : leadership de décision / Motivation intrinsèque) alors que dans d’autres on observe une diminution (ex : leadership d’action / orientation personnes). Sur le plan statistique, la fidélité test-retest varie entre 0,46 et 0,67 avec une moyenne de 0,54 (significative à 0,01), soit un niveau de stabilité très élevé pour des composantes d’un test.

Figure #1

ID-Leadership - Figure #1

 

La Figure #2 présente les résultats moyens obtenus lors des deux passations en fonction des informations présentées aux participant.es dans le rapport « dotation ». Comme ce fut le cas avec les informations précédentes, on note que les variations observées sont extrêmement faibles et non significatives. La même constatation peut être faite pour la Figure #3 où on peut voir que les moyennes aux différentes catégories sont pratiquement identiques d’une passation à l’autre. Sur le plan statistique, la fidélité test-retest varie entre 0,50 et 0,71 avec une moyenne de 0,61 (significative à 0,01), soit un niveau de stabilité très élevé pour des composantes d’un test.

Figure #2

ID-Leadership - figure #2

Les conclusions

Les résultats obtenus dans le cadre de cette étude confirment les observations faites dans la littérature scientifique et professionnelle.  En effet, la stabilité des résultats est extrêmement élevée pour les tests de jugement situationnel.

Dans le cas du ID-Leadership on observe un niveau de stabilité très élevé même si les participant.es ont accès à leurs résultats aux tests et qu’ils reçoivent du feedback personnalisé.  Le leadership semble donc une caractéristique très stable qui varie peu en fonction du temps.  Le développement des compétences en leadership se produirait donc sur un horizon à moyen ou long terme (plus de 2 ans)

Par ailleurs, les résultats nous permettent de conclure que la passation du test en mode « développement » a peu d’impact sur les résultats lors d’une seconde administration en mode « dotation ».  Les fluctuations observées sont normales et reflètent le fait que les caractéristiques humaines fondamentales varient légèrement avec le temps et les circonstances.

Figure #3
Figure #3 - EPSI
Bibliographie

Bartels, C., Wegrzyn, M., Wiedl, A., Ackermann, V., & Ehrenreich, H. (2010). Practice effects in healthy adults: A longitudinal study on frequent repetitive cognitive testing. BMC Neuroscience, 11(1), 118-130.

Brummel, B. J., Rupp, D. E., & Spain, S. M. (2009). Constructing parallel simulation exercises for assessment centers and other forms of behavioral assessment. Personnel Psychology, 62(1), 137-170.

Carretta, T. R. (1992). Short-term retest reliability of an experimental U.S. Air Force pilot candidate selection test battery. The International Journal of Aviation Psychology, 2(3), 161-173.

Centre for Economics and Business Research. (2014). Cost of small business employment. Retrieved from https://cebr.com/reports/cost-of-small-businessemployment/

Dunlop, P. D., Morrison, D. L., & Cordery, J. L. (2011). Investigating retesting effects in a personnel selection context. International Journal of Selection & Assessment, 19(2), 217.

Equal Employment Opportunity Commission. (1978). The uniform guidelines on employee selection procedures. Retrieved from https://www.gpo.gov/fdsys/pkg/CFR-2016-title29-vol4/xml/CFR-2016-title29-vol4-part1607.xml

Hausknecht, J. P., Trevor, C. O., & Farr, J. L. (2002). Retaking ability tests in a selection setting: implications for practice effects, training performance, and turnover. Journal of Applied Psychology, 87(2), 243-255.

Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Gerrard, M. M. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373-385.

Hausknecht, J. j. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299324.

Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47(3), 575-592.

Kolk, N. J., Born, M. P., & der Flier, H. v. (2003). The transparent assessment centre: The effects of revealing dimensions to candidates. Applied Psychology: An International Review, 52(4), 648-668.

Kulik, J. A., Kulik, C. C., & Bangert, R. L. (1984). Effects of practice on aptitude and achievement test scores. American Educational Research Journal, 21(2), 435-447.

Lievens, F. f., Buyse, T., & Sackett, P. R. (2005). Retest effects in operational selection settings: Development and test of a framework. Personnel Psychology, 58(4), 981-1007.

Lievens, F., Reeve, C. L., & Heggestad, E. D. (2007). An examination of psychometric bias due to retesting on cognitive ability tests in selection settings. Journal of Applied Psychology, 92(6), 1672-1682.

Martin, W. (2014). The problem with using personality tests for hiring. Retrieved from https://hbr.org/2014/08/the-problem-with-using-personality-tests-for-hiring

Maurer, T., Solamon, J., & Troxtel, D. (1998). Relationship of coaching with performance in situational employment interviews. Journal of Applied Psychology, 83(1), 128-136.

McDaniel, M., & Nguyen, N. (2001). Situational judgment tests: A review of practice and constructs assessed. International Journal of Selection And Assessment, 9(12), 103-113.

Puddey, I. B., Mercer, A., Andrich, D., & Styles, I. (2014). Practice effects in medical school entrance testing with the undergraduate medicine and health sciences admission test (UMAT). BMC Medical Education, 14(1), 48-63.

Randall, J., & Villado, A. (2017). Take two: Sources and deterrents of score change in employment retesting. Human Resource Management Review, 27(3), 536-553.

Reichin, S.L.  (2018).  Investigating factors related to score change at retest:  Examining promotional assessments.  M.A. Thesis. Middle Tennessee State University. May 2018.

Smither, J. W., Reilly, R. R., Millsap, R. E., Pearlman, K., & Stoffey, R. W. (1993).Applicant reactions to selection procedures. Personnel Psychology, 46(1), 49-76.

Society for Industrial and Organizational Psychology. (2017). Principles for the validation and use of personnel selection procedures. Retrieved from http://www.siop.org/_principles/principles.pdf

U.S. Department of Labor Employment and Training Administration, 1999

Van Iddekinge, C. H., Morgeson, F. P., Schleicher, D. J., & Campion, M. A. (2011). Can I retake it? Exploring subgroup differences and criterion-related validity in promotion retesting. Journal of Applied Psychology, 96(5), 941-955.

Walmsley, P., & Sackett, P. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390-408.

 

Partager :