FAQ Věda simulačních her

Co znamená, že je Behavera "assessmentem chování" v praxi?

Behavera simulační hry (The Game Changer a The Office Day) nejsou založené na sebehodnocení, ale na projeveném chování (rozhodnutí, volbě nebo akci) během hry.

Tam, kde se vás tradiční assessmenty ptají: "Co byste udělali ve smyšleném scénáři?", my účastníky stavíme do simulovaných situací, kde je necháme konat dle svého úsudku
a pozorujeme jejich jednání.

Jaké jsou výhody behaviorálních dat oproti jiným typům?

Behaviorální data jsou nejlépe proveditelným důkazem. Jediný typ dat, který je lepší, je dlouhodobé pozorování v reálném životě. Validita behaviorálních dat byla prokázána tisíci studií a meta-analýz.

Na základě jedné velké meta-analýzy se ukázalo, že spolehlivost dat z tradičních pohovorových otázek je tristní. Jejich validita a spolehlivost se pohybuje kolem 20 - 30% (tj. hůře než náhoda). S kvalitními behaviorálními daty se mohou vyšplhat na 60 - 80% což představuje obrovský nárůst spolehlivosti. Stále je zde prostor pro chyby, ale takový je život.

Z jakých zdrojů vychází naše věda?

Zdrojů, které jsme použili je celá řáda - k dispozici je velké množství studií a meta-analýz.

Například:

• Cascio, W.F. & Aguinis, H. (2005) Applied Psychology in Human Resource Management (6th Edition), NJ: Prentice

• Hall Dewberry, C. (2011) Integrating candidate data: Consensus or arithmetic? In N. Povah & C. Thornton (Eds) Assessment and Development Centres: Strategies for Global Talent Management, Farnham, Surrey: Gower

• Gaugler, B.B., Rosenthal, D.B., Thornton, G.C. & Bentson, C. (1987) Meta-analysis of assessment centre validity, Journal of Applied Psychology, 72, 493-511 Lowry, P.E. (1994) The structured interview: An alternative to the assessment centre? Public Personnel Management, 23

• Lowry, P.E. (1994) The structured interview: An alternative to the assessment centre? Public Personnel Management, 23

• Meriac, J.P., Hoffman, B.J. Woehr, D.J. & Fleisher, M.S. (2008) Further evidence for the validity of assessment centre dimensions: a meta-analysis of the incremental criterion related validity of dimension ratings, Journal of Applied Psychology, 93(5), 1042-1052

• Schmidt, F.L. & Hunter, J.E. (1998) The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 85 years of research findings, Psychological Bulletin, 124, 262-274

• Smith, M. (1994) A theory of the validity of predictors in selection, Journal of Occupational and Organizational Psychology, 67(1), 13-31

• Thornton, G.C. & Gibbons, A.M. (2009) Validity of assessment centres for personnel selection, Human Resource Management Review, 19, 169-187

Jsou data a výsledky Behavery objektivní?

Přísně vzato nejsou naše data objektivní, protože nic takového neexistuje.

Přesto se přibližují "pracovní realitě" přesněji než jiné metody. Proč tomu tak je? Protože se lidí neptáme, jak pracují, al enecháváme je to předvést "naživo". To je zásadní rozdíl a také důvod, proč jsou naše měření spolehlivější a v praxi užitečnější.

Výstupy z našich assessmentů nejsou hodnocením toho, jak se uchazeč v dané dovednosti, schopnosti nebo kompetenci vnímá; výstupem je objektivní posouzení výkonu, rozhodnutí a praktických dovedností uchazeče, které v simulovaném prostředí skutečně předvedl.

Jak můžeme měřit kompetence, které se často neměří?

Nemusí jít nutně o to, že by se tyto kompetence neměřily často, spíše je složitější.

Pro ty, kteří nemají bohaté zkušenosti z pracovního prostředí a neviděli tyto kompetence
v akci, může být obtížné metodologicky uchopit kompetenci, jako je integrita. Na rozdíl od efektivní komunikace není snadné integritu operacionalizovat (tj. není snad zjistit, jak se chová člověk s vysokou úrovní integrity).

Náš tým se pravidelně setkává a pracuje s náboráři, kandidáty a manažery. Díky těmto dlouholetým zkušenostem s pracovním chováním v terénu v kombinaci s naší kvalitní metodikou jsme schopni spoehlivě měřit i tyto kompetence.

Můžeme nahradit naše teorie fakty? Jsou všeobecně uznávané, přesné v %, podložené vědeckými autoritami, založené na ověřených poznatcích a objetivních přístupech atd.?

Žádná teorie sama o osobě nezaručuje spolehlivou platnost. Vždy jsou cestou k dosažení vědeckého ideálu, kterého se snažíme dosáhnout.

Až na výjimky jsou všechny psychologické metody založeny na teorii CTT (včetně klinických, forenzních, IQ  a akademických metod).

Výjimky jsou založeny na IRT a je jich málo, většinou na úrovni testování.

Jak udržujeme naše měření spolehlivé?

Pravidelně meříme spolehlivost našich assessmentů. Upravujeme normy, sledujeme rozložení a ujišťujeme se, že metoda dobře jednotlivé dimenze. Metoda je vnitřně konzistentní, což je dáno právě tím, že využíváme skvělou metodiku - dobře nastavené faktory, které jsou správě operacionalzované a měříme je v dostatečně podrobném množství v mnoha bodech simulace.

Není svoboda relativní pojem? Účastníci si vybírají z omezeného množství možností.

Svoboda volby je samozřejmě relativní. Behavera je platforma, která má pomoci diagnostice ve firmách, musí být snadno dostupná a provádět rychlé, ale validní hodnocení. Míra "svobody volby" v našich assessmentech je těmto faktorům přizpůsobená. Vycházíme z našich zkušeností v oblasti psychodiagnostiky, psychometrie a obecných poznatků z kognitivní psychologie. Poskytujeme právě tolik možností, aby bylo možné rozeznat potřebné vzorce chování. Někdy stačí pět možností, jindy jich musíme nabídnout více, abychom faktory dostatečně diferencovaně rozlišili.

Pokud je metodika assessmentů Behavera založena na teorii testů, může se stále lišit od tradičních testů?

Ano. Testy obvykle znamenají "diagnostiku" v nejširším slova smyslu. Na testech není za své podstaty nic špatného. Behavera je v tomto smyslu také test. Záleží na tom, o jaký druh testu se jedná (jaké faktory měří, které položky je saturují) a k jakému účelu se používá.

Právě kombinace faktorů, položek a účelu je klíčová. Když tyto tři aspekty fungují společně, může být test skvělý. Například v kontextu nábor může být test i s dobře zvolenými faktory nepoužitelný/nepřínosný. To se může stát, pokud otázky, které faktory saturují, jsou ve stylu "Myslíte si, že jste dobrý leader?", protože neodpovídají účelu testu. Účastníci nejsou motivováni k upřímnému zodpovězení takových otázek v náborovém scénáři, a test tak není vyhovující.

Pokud však stejné faktory saturujeme ve stejném kontextu (náboru) jinak - například simulací reálného pracovního chování místo kladení otázek - kombinace těchto tří faktorů se náhle stane konzistenstní. Právě vůči tomu se chceme a musíme vymezit; nejde
o rozlišení simulace vs. test, ale o rozlišení dobrého testu od špatného.

Jak přesně měříme validitu? A jaké jsou výsledky?

Pokud jde o externí validitu, provedli jsme statitické šetření k ověření konvergentní validity. K tomuto účelu jsme použili některé již vyvinuté psychologické diagnostické nástroje (např. BIP) k měření stejné skupiny osob. Poté jsme provedli meziskupinové srovnání.

Tímto způsobem jsme ověřili smysluplnost faktorů (kompetencí) i schopnost metody adekvátně rozlišovat skupiny osob.

Již nyní máme jasné (číslené) důkazy, že naše metoda dokáže dobře rozlišovat lidi, odlišit dobrý vvýkon od průměrného a průměrný od špatného; pomáhá tak přijímat správná nejen personální rozhodnutí.

Zároveň můžeme díky pravidelnému kontaktu s našimi zákazníky ověřovat výkony podle assessmentů Behavera s reálnými kritérii práce, podle kterých jsou nyní hodnoceni.

Co je špatně s dotazníky a tradičními testy?

Řada studií (zejména vv oblasti sociální psychologie) ukázala, že lidé mají při vyplňování dotazníků a testů silnou (i když nevědomou) tendinci zkreslovat své výsledky a snažit se vypadat kompetentnější, než vve skutečnosti jsou.

Výzkumy ukazují, že tento efekt ("sociálně žádoucí" neboli tendence být oblíbenýý) je nejsilnější, když jsou lidé silně motivováni k dosažení dobrýých výsledků. To je přízračné pro nábor zaměstnanců, kde jsou tendence k sociální žádoucnosti obvykle nejsilnější.

Na druhé straně se při testování zaměstnanců projevuje neschopnost přesně se ohodnotit. Lidé mají vědomé nebo nevědomé tendence se podceňovat nebo přeceňovat.

Z toho důvodu se naše metoda zaměřuje spíše na chování (než na sebehodnocení), což zkreslování (a přikrašlování) výsledků účastníků značně ztěžuje. Implementovali jsme také algoritmus, který upozorňuje na tendence k sociální žádoucnosti.

Co dělá naše metody validní?

Naše metoda je validní, protože používá platnou metodiku. Má validně nastavené faktory (kompetence), které měří to, co HR potřebuje (face validita).

Díky našemu výzkumu víme, že výsledky skutečně odpovídají business praxi - tj. lidé, kteří dosahují dobrých výsledků v metodě Behavera, dosahují dobrých výsledků na svém pracovišti (externí validita).

A konečně jsme faktory ověřili uznávanými metodami, což znamená, že jsou dobře definované a skutečně odrážejí osobnostní charakteristiky člověka související s prací (konvergentní validita).

Proč jsou teorie používáné v Behavera a jejich kombinace správnou cestou?

Teorie jako taková nic nezaručuje a slovo "teorie" je ve skutečnosti jiný způsob, jak říci "přístup". Existují pouze dva přístupy k tvorbě diagnostických metod, které mají základ ve vědě, výzkumu, metodologii a statistice. Tyto přístupy si nemusí nutně konkurovat, protože každý z nich je užitečný v jiných případech. Ostatní přístupy k diagnostickým metodám jsou ad hoc rádoby metody založené na intuici.

Náš přístup, nazývaný CTT (klasická teorie testů), vychází z tradiční teorie testů a je "tradiční" a "založený na testech", protože se na test (jakoukoli diagnostiku, včetně našich simulací) dívá jako na celek a stejným způsobem přistupuje k hodnocení (ovlivňuje tvorbu norem, které se vztahují na výsledky metody jako celku). Teorie definuje především metodický přístup a způsob, jakým testujeme platnost a spolehlivost naší metody. CTT nabízí specifické statistické nástroje, které se vyvíjejí již několik desetiletí. Jedním z nich je faktorová analýza, kterou vynalezl geniální matematik Charles Spearman, shodou okolností také geniální psycholog. Je zodpovědný za značnou část základů vědecké psychologie, metodologie a statistiky.

Druhým - relativně nedávným - přístupem je IRT (item response theory), který staví na zcela jiných principech. Hlavní rozdíl zde spočívá v tom, že IRT se nezabývá testem jako celkem, ale validitou, reliabilitou a normami každé položky zvlášť. Každá položka (např. otázka v testu) má předem stanovenou strukturu proměnných, a pokud jsou tyto dobře koncipovány, celý test funguje. Toho se využívá u testů inteligence, kde se vytvoří 10 000 otázek s různými parametry a test pak může absolvovat tisíc lidí s náhodně vybranými otázkami (každý test je tedy jedinečný). Protože zadavatel testu má nad položkami kontrolu, může si být jist, že celkové výsledky mohou být srovnatelné, validní a spolehlivé. To představuje zcela jiné požadavky na statistiku a metodiku, využívá jiné nástroje, programy atd. V případě Behavera by to vůbec nefungovalo a jednalo by se o přežitek, který by nevyužil 99 % potenciálu IRT.

Co nízké skóre značí?

Nižší tendence v kompetencích mohou naznačovat částečné rezervy (dovednosti, znalosti) nebo nedostatek motivace a mohou poukazovat na aktuální psychický stav (stres, únava). Naše simulační hry jsou diagnostickým nástrojem a jako každý jiný nástroj jsou ovlivněny aktuálním psychickým stavem účastníka.

Co vysoké skóre značí?

Vysoké skóre v kompetenci znamená, že účastník během simulační hry konzistentně projevoval vzorce chování odpovídající kompetenci

Jsou kompetence naučitelné?

Všechny měřené kompetence jsou ze své podstaty dlouhodobě "zlepšitelné". Přesto platí, že čím nižší je výkon v dané kompetenci, tím obtížnější bude pro účastníka kvantitativní zvýšení a tím více času a úsilí si zlepšení vyžádá.  

Kompetence, jako je zpracování informací a počítání, mohou být ve větší míře ovlivněny předchozími zkušenostmi a jako takové se mohou relativně snadno naučit (za předpokladu, že je účastník motivován).

Kompetence, jako je efektivní komunikace, sebereflexe nebo integrita, jsou do značné míry ovlivněny (definovány) pracovní osobností člověka a jejich rozvoj vyžaduje trvalé úsilí, podporu školitele, nadřízeného nebo kouče, dobré pracovní podmínky, dostatečnou konstruktivní zpětnou vazbu a samozřejmě vnitřní motivaci.