Věda

Co pohání algoritmy naší diagnostiky?

O metodě

Real-time simulace skutečných pracovních činností v gamifikovaném  pracovním prostředí. Metoda simuluje reálné pracovní problémy, které je jejích účastník řeší prostřednictvím webové aplikace. 

Metoda pracuje s kompetenčním modelem, sestaveným personálními psychology dle požadavků firemní praxe v ČR i v zahraničí. Kompetenční model zahrnuje kompetence, faktory a indikátory, které jsou stěžejně důležité pro výkon prakticky jakékoli pracovní pozice.


Účel metody

Metoda sbírá nejrůznější údaje o schopnostech, dovednostech a osobnostních faktorech uchazečů o zaměstnání a zaměstnanců.

Tyto informace sbírá na desítkách různých míst a opakovaně je testuje.

Údaje o konkrétním osobnostním rysu, například kompetence, jsou sbírány v průběhu celé herní simulace. Vysoký skór účastníka v kompetenci pak značí jeho konzistentní projev napříč celou  simulací, nikoli náhodné chování. 

Jednotlivá měření aplikace vyhodnocuje vlastními algoritmy. 


Získané informace lze využít k několika různým účelům:



Teoretický background

Induktivně vytvořená metoda - Vzali jsme si jednotlivosti a vytvořili celkový systém


Multidimenzionální teoretický základ

Vychází z různých teoretických škol, díky čemuž může využívat nejmodernější psychologické poznatky a reflektovat závěry a výsledky aktuálních výzkumů v oblasti psychologie práce, psychologie osobnosti, statistiky a psychometriky, psychologie osobnosti, behaviorální a kognitivní psychologie, gestalt, klasická testová teorie (CTT), ještě sociální psychologie (ta se hodně zabývá právě tématy jako je konformita, soc. žádoucnost apod.) výzkumy z oblasti psychologie práce, predikce prac. výkonu, problematiky sebehodnocení, problematika sociální žádoucnosti.

Vycházíme z CTT (klasická testová teorie) a faktorové analýzy

Induktivně vytvořené faktory (kompetence) s vlastní operacionalizací. Jednotlivé faktory vznikly na základě terénního výzkumu, kvalitativního šetření a rozhovory s personalisty tak, aby pokryly co nejvíce personalisty vyžadovaných informací a co možná nejméně faktorech. Cílem bylo vytvořit - z hlediska měření - dostatečně jemnou screeningovou metodu.  

Když je naše metoda založena na testové teorii, můžeme se stále vymezovat vůči testům? 

Můžeme. Testem se rozumí “diagnostika” v tom nejširším slova smyslu. Ono na testu není nic špatného. Behavera je v tomto kontextu taky test. Záleží vždy jen na tom, jaký (co jsou faktory, které měří a co jsou položky, které faktory sytí) a k jakému účelu je použitý. 

Kombinace faktorů, položek a účelu je to stěžejní. Když jsou tyto 3 aspekty fungující, tak je to super. Pokud bychom např. uvažovali o kontextu personálního výběru, tak i kdyby byly dobře zvoleny faktory, test nikdy nebude fungovat, když ty faktory budou sytit otázky typu “Myslíte si, že jste dobrý leader?”, protože účel testování tomu neodpovídá. Lidi nebudou mít motivaci odpovídat pravdivě a celý test tak nemůže fungovat (výsledky prostě nebudou fungovat). 

Pokud jsou stejné faktory ve stejném kontextu plněny jinak - např. na místo otázky využíváme simulaci reálného chování - tak se dostáváme úplně jinám a najednou celá trilogie dává smysl. A to je to, oproti čemu se chceme a potřebujeme vymezovat. Takže nejde o to “simulace versus test”, ale jde o souboj “dobrý test versus špatný test”.


 Behaviorální metoda = zaměřena na pracovní chování

Na pomezí behaviorální psychologie a psychologie práce se realizovalo množství výzkumů, kde bylo cílem ověřit, na základě jakých informací se dá nejlépe predikovat budoucí pracovní výkon člověka. Ukázalo se, že nejvýznamnější prediktivní faktor je 'aktuální pracovní chování', na základě kterého se dá nejlépe předpovědět, jak bude člověk pracovat i do budoucna. Tzn. prediktory jako sebehodnocení člověka, jeho sebevědomí, vzdělání, praxe apod. jsou sekundární. Proto se ve Behaveře zaměřujeme na aktuální chování a z něj děláme úsudky s cílem co nejvyšší prediktivní validitu celé metody

Co je špatného na dotaznících a klasických testech?

Z množství výzkumů (zejména na poli sociální psychologie) se ukazuje, že lidé při vyplňování testů či dotazníků mají často silnou (někdy i nevědomou) tendenci zkreslovat své výsledky a snahu působit lépe (kompetentněji), než je tomu ve skutečnosti. Z výzkumů se ukazuje, že tento efekt (tzv. tendence se zalíbit nebo také sociální žádoucnost) je nejsilnější v případě, kdy je člověk silně motivován a záleží mu na tom, aby podal dobrý výsledek, což je typická situace výběrového řízení do zaměstnání, kde jsou obecně tendence k sociální žádoucnosti maximální. 

V případě testování zaměstnanců se naopak projevuje nedostatečná schopnost objektivně se ohodnotit a lidé mají opět vědomé či nevědomé tendence se podceňovat nebo naopak nadhodnocovat. 

Proto se naše metoda zaměřuje na chování (nikoli na sebehodnocení), kde je podstatně složitější zkreslovat (zkrášlovat) své výsledky. Zároveň jsme implementovali algoritmus, který na tendenci k soc. žádoucnosti upozorňuje.

 Jaký je přínos behaviorálních dat oproti jiným?

Behaviorální data představují nejlepší možný důkaz. Jediné, co je lepší, je aktuální živé pozorování v dlouhodobém horizontu. Validita behaviorálních dat je prokázána stovkami a tisíci studií a metaanalýz. Na základě jedné obrovské metaanalýzy se ukázalo, že spolehlivost dat z “klasických otázek”, které padají na pohovorech, je tristní - a jejich spolehlivost ve smyslu validity a reliability je asi 20 - 30 % (tzn. horší, než náhoda). U dobrých behaviorálních dat je to 60 - 80 %, což je extrémní nárůst spolehlivosti. Byť pořád existuje prostor pro chybu, ale tak to v životě chodí.

Z jakých zdrojů vycházíme?

Zdrojů je mnoho a k dispozici je obrovské množství studií i metaanalýz. 

Např.:



Proč jsou použité teorie a jejich kombinace podle nás tou správnou cestou?

Ona teorie vůbec nic nezaručuje a to slovo “teorie” ve skutečnosti značí jen “přístup”. Na světě existují jen dva přístupy k tvorbě diagnostických metod, které jsou opravdu založené na vědě, výzkumu, metodologii a statistice. Všechny ostatní jsou jen nějaké ad hoc rádoby metody založené na intuici...  Tyto 2 přístupy nejsou “konkurenční”, každý se hodí na něco jiného.


Náš přístup, který se nazývá CTT a vychází z klasické testové teorie je klasický a “testový” v tom smyslu, že vnímá test (diagnostiku, naši simulaci) jako celek a tak přistupuje i k hodnocení (tzn. ovlivňuje tvorbu norem, které jsou vztaženy k výsledkům celé metody). Ta teorie spíše definuje tu metodologickou cestu tvorby a také to, jakým způsobem řešíme a testujeme naši vlastní validitu a reliabilitu metody (tzn. nabízí i konkrétní statistické nástroje, které se po desetiletí vyvíjely právě v kontextu CTT). Jedním z těch vynálezů je právě např. faktorová analýza, kterou vymyslel geniální matematik Charles Spearman, který byl shodou okolností i geniální psycholog; a vděčíme mu za značnou část základů vědecké psychologie, metodologie a statistiky. 


Druhým - relativně novým - přístupem je IRT (Item Response Theory), která staví na úplně odlišných principech a ve zkratce hlavní rozdíl je v tom, že skoro neřeší test jako celek, ale validitu, reliabilitu a dokonce i normy každé položky zvlášť. Každá položka (např. otázka v testu) má nastavenou strukturu vlastností a jsou li dobře vymyšleny, pak vlastně funguje i celý test. To se používá např. u testů inteligence, kde se třeba vymyslí 10.000 otázek s různými parametry a potom můžete dát 1000 lidem test složený z random otázek (každý test bude svým způsobem unikátní), ale protože máš přesnou kontrolu nad položkami, tak víš, že celkové výsledky těch probandů jsou srovnatelné, validní i reliabilní. To samozřejmě klade úplně jiné nároky na statistiku a metodologii, používají se k tomu jiné nástroje, jiné programy apod. Pro náš případ by tohle samozřejmě vůbec nefungovalo, resp. byl by naprostý overkill a 99 % potenciálu IRT bychom nevyužili. 




Můžete podložit teorie přesvědčivými fakty (jsou uznávané, jsou na tolik % přesné, mají za sebou jmenovité autority, zastupují ověřené poznatky, jsou nejvíce objektivním přístupem, atp.

Žádná teorie sama o sobě není zárukou ničeho. Je to vždy cesta za nějakým ideálem, kterému se snažíme příblížit. Až na výjimky jsou na CTT teorii založeny úplně všechny psychologické metody na světě (včetně těch klinických, forenzních, IQ, školních apod.). Ty výjimky jsou založeny na IRT a zatím jich je minimum a v praxi jsou spíše na úrovni testování. 

Praktický background 

Metoda čerpá z dobré praxe assessment centra, která je dlouhá už více než 70 let. Základním stavebním kamenem je práce s kompetenčním modelem, ve kterém je každá jednotlivá kompetence ověřována několikrát a to na rozličných pracovních úkolech.


Díky tomu máme možnost nahlédnout na jednotlivé aspekty daných kompetencí a taktéž jsme schopni ověřit jejich stabilitu (minimalizujeme možnost náhodného jednorázového “uhodnutí”). 

Je Behavera alternativa k assessment centrům, jen s tím rozdílem, že neprobíhá v reálném prostředí?

Přesně tak. Základem našeho snažení je simulovat reálné úkoly a umožnit co nejvíce reálné rozhodování, na jehož základě pak hodnotíme přístup k práci (resp. specifické kompetence).

Metodika a metodologie

Metoda implicitně pracuje s behaviorálními škálami a ipsativním srovnáním (skórováním). Cílem je poměřit uchazeče s “obecnou populační normou” i s anticipovanými předpoklady (kritérii) pro danou pozici. 

Metodologický princip metody vychází z metodiky assessment a development center, behaviorální psychologie, a reflektuje moderní poznatky z oblasti psychologie osobnosti, motivace, stimulace, leadershipu i self-managementu, díky nimž je kontrolována: konstruktová validita modelu.


Konstruktová validita 

Požadavky na konstruktovou validitu říkají, že metoda musí měřit to, co si sama určila, že bude měřit. Tzn. když jsme se rozhodli měřit např. komunikaci, musíme si být jistí, že to, co v datech máme, jsou dílčí důkazy schopnosti “komunikace” a ne například obecné dovednosti inteligence a důvtipu najít správnou odpověď. V našem přístupu má každá naše kompetence, faktor, dimenze či indikátor jasné psychologické a metodologické pozadí, které se dá vystopovat , pokud to přeženeme, až k Freudovi. Danému metodologickému pozadí každé kompetence na míru přizpůsobujeme obsah jednotlivých úkolů. Díky tomu máme dobrou kontrolu nad tím, že “úkol <-> kompetence”.

Při vytváření metody byly (a jsou) uplatňovány obdobné postupy, jako při vývoji standardizovaného psycho-diagnostického nástroje. Jedná se o “induktivně” vytvořenou psychologickou metodu, která respektuje požadavky diagnostické praxe i společností na trhu.


Reliabilita měření

Základním prvkem reliability měření je „objektivita“ testu

Objektivita testu pracovní osobnosti člověka

Objektivní však neznamená objektivní pravdu. Objektivní znamená, že Behavera měří chování a nevychází ze sebehodnocení účastníků. Zjednodušeně řečeno: výstupy posouzení tedy nejsou odrazem lidského vnímání sebe sama, ale jeho reálného pracovního výkonu v konkrétních situacích.

Na rozdíl od dotazníkových metod a sebeposuzovacích škál nechává Behavera uchazeče (účastníky) SKUTEČNĚ pracovat.

Jsou data a výsledky z Behavery objektivní?

Přísně řečeno naše data objektivní nejsou, protože nic takového neexistuje. Nicméně se blíží nějaké “pracovní realitě” mnohem více, než výsledky jiných metod. A proč? Protože se lidí neptáme “jací jsou”, ale necháváme je to “na živo” projevovat. To je ten základní rozdíl - a to je to, proč jsou naše měření spolehlivější a v praxi užitečnější.

Výstupem Behavery tedy není ohodnocení toho, jak se uchazeč vnímá v dané schopnosti, dovednosti nebo kompetenci; výstupem je objektivní posouzení jeho výkonu, voleb a praktických dovedností, které v prostředí metody reálně předvedl

Četnost měření

Metoda je konstruována tak, aby každý rys (kompetence) byl měřen tolikrát, aby měl dostatečnou vypovídající hodnotu. Celý systém měření je natolik podrobný a propracovaný, že v průběhu simulace měří na cca 200-500 místech, díky čemuž zajišťuje, že je každá jednotlivá kompetence měřená tolikrát, aby se na základě samotného měření daly dělat relevantní soudy. 


Svoboda voleb

Účastník má během průchodu herní simulací na mnoha místech možnost zachovat se řadou zcela rozličných způsobů, které mohou vést ke stejným a/nebo rozdílným výsledkům. Tyto volby však nejsou a priori dobré a/nebo špatné. Pro účely měření je však stěžejní, ke kterým volbám má uchazeč blíže, které zvolí raději než jiné a v neposlední řadě také KONZISTENCE těchto voleb

Více

Jednotlivé volby nám pomáhají indikovat konkrétní chování uchazeče a díky tomu můžeme nezkresleně usuzovat na jeho osobnostní nastavení, neboť uchazeč nehledá „jednu správnou možnost“ ale vybírá si, jak se zachová z celé palety možných řešení. 

Podstatou tedy není pouhé rozhodnutí se o konkrétní variantě, ale také o způsobu, jakým toto rozhodnutí uchazeč provede

Nedílnou součástí tohoto měření je také související kontext a komunikační prostředky, kterými uchazeč své jednotlivé volby doprovodí

Názorný příklad:

Představme si jednoduchou situaci: kolega v práci nás požádá o pomoc a my se rozhodneme mu vyhovět. Ze dvou základních variant řešení si tedy vybíráme „ANO“ .. ale jak své „ano“ sdělíme?

Všechny odpovědi sice vedou k volbě „ano“, ale se zcela jiným příběhem, který ledasco odhalí!


Svoboda je však relativní pojem - účastník si často vybírá z možností...

Samozřejmě, volnost je relativní. Jedná se o simulaci, která má sloužit diagnostické praxi ve firmách, musí být snadno dostupná a sloužit k rychlému ale přitom validnímu assessmentu, takže tomu je úroveň oné 'volnosti' přizpůsobena. Vycházíme z našich zkušeností z psychodiagnostiky, psychometriky i obecných poznatků z kognitivní psychologie. Možností dáváme tolik, abychom dokázali rozlišit potřebná chování. Někdy stačí pět voleb, jindy jich je potřeba nabídnout více, abychom dostatečně jemně odlišili jednotlivé faktory mezi sebou.

Jak udržujeme naše měření reliabilní?

Reliabilitu pravidelně měříme. Upravujeme normy, sledujeme rozložení a hlídáme si, aby nám metoda dobře diferencovala. Metoda je vnitřně konzistentní (tj. tzv. “reliabilita ve smyslu vnitřní konzistence testu”), což je právě díky tomu, že máme dobrou metodologii. Že máme dobře nastavené faktory, dobře operacionalizované, a že je dostatečně podrobně měříme na mnoha místech v simulaci. 

Validita měření

Behavera začíná volbou kompetencí a končí posouzením kompetencí

Díky tomu dovedeme zaručit vysokou míru konstruktové validity, neboť jednotlivé konstrukty (kompetence) jsou operacionalizované, opakovaně měřené, a na základě dané operacionalizace také interpretované.



Prediktivní validita 

Svou konstrukcí umožňuje metoda efektivně testovat vybrané dílčí aspekty každodenní pracovní náplně vybraných pozic, pro které je v současné době nastavená. Vzhledem k nutnosti přímo aktivně participovat na zadaných úkolech dokáže metoda spolehlivě predikovat aktuální úroveň jednotlivých dovedností - a díky tomu také spolehlivě predikovat možnosti, které se danému uchazeči na trhu otevírají. 


Externí validita

Lidé, které mají dobré výkony v Behavera assessmentu působí dobře i na svém pracovišti


Konvergentní validita

Faktory jsme ověřili za pomoci uznávaných metod, což značí, že jsou dobře definované a skutečně zrcadlí pracovně osobnostní charakteristiky člověka


Zjevná (face) validita

Metoda je propracovaná z pohledu zjevné validity, kdy na jedné straně umožňuje účastníkům dostatečně se “vžít do role” a zažít pocit řešení opravdového pracovního problému. Na druhé straně však metoda v maximální možné míře kombinuje měření jednotlivých kompetencí a rychle střídá úseky, na který měří specifickou informaci - díky tomu zajišťuje, že u kandidátů nedojde k tzv. “mental settingu” - metoda nedává účastníkům příliš možností, jak si uvědomit, která kompetence je aktuálně měřena a díky tomu se nemůže pokoušet přizpůsobit své chování. 

Proč je Behavera validní metoda?

Validní je proto, protože používá validní metodologii. Má validně nastavené faktory (kompetence), které měří to, co personalisté potřebují (face validita) a díky naším zjištěním víme, že výsledky opravdu odpovídají praxi - tzn., že lidé, které mají dobré výkony ve Behaveře působí dobře i na svém pracovišti (externí validita). V neposlední řadě jsme si faktory ověřili za pomoci uznávaných metod, což značí, že jsou dobře definované a skutečně zrcadlí pracovně osobnostní charakteristiky člověka (konvergentní validita).

Jak konkrétně si validitu ověřujeme a s jakými výsledky?

Z hlediska externí validity jsme realizovali statistické šetření s cílem ověřit tzv. konvergentní validitu. K tomuto účelu jsme použili již existující psychologické diagnostiky (např. BIP), kterým jsme změřili stejnou skupinu osob a provedli meziskupinové srovnávání. Tím jsme ověřili smysluplnost faktorů (kompetencí) i schopnost metody adekvátně diferencovat mezi skupinami osob. Již nyní máme v rukách jasné (číselné) důkazy, že naše metoda dovede dobře odlišovat (diferencovat) mezi lidmi, odlišit dobré výkony od průměrných a průměrné výkony od špatných; a dopomoci tak ke korektním personálním rozhodnutím. 


Zároveň si díky pravidelnému kontaktu s našimi zákazníky ověřujeme i výkony úspěšných uchazečů “v praxi” a srovnáváme si jejich výkon v simulaci s reálnými pracovními kritérii.

Hodnocení účastníků

Uchazeči jsou prostřednictvím Behavery hodnoceni podobně, jako je tomu na assessment centru.

Základním měřeným prvkem je pozorovatelné chování.

Každý jednotlivý úkol je propojen s konkrétní kompetencí, každá jednotlivá volba přispívá k celistvému obrazu v dané kompetenci

Komplexnější úkoly sytí hned několik kompetencí a jednotlivé kroky, které uchazeč v průběhu „herní simulace“ učiní přispívají k jedné, dvěma či více kompetencím

Kompetence jsou měřeny opakovaně a na rozličných místech

Díky tomu jsme schopni posoudit nejen míru dané kompetence, její celkovou úroveň, ale také konkrétní pracovní podmínky, ve kterých bylo dosaženo lepšího a/nebo horšího výsledku v dané kompetenci


Modelové situace

Každá sekvence simulační hry obsahuje množství modelových situací.

V každé situaci je manifestováno několik kompetencí.

Zpravidla 1 – 2 kompetence jsou zastoupeny více než jiné.

Modelové situace jsou od začátku vymýšleny tak, aby se v nich daly jednotlivé měřené kompetence skutečně projevit a také měřit.

Každá modelová situace je opakovaně testována a na základě statistických analýz upravována a nastavována tak, aby byla adekvátně obtížná, smysluplná a v maximální možné míře přispívala k posouzení obrazu o dovednostech a schopnostech uchazeče.


Srovnávání účastníků

Metoda umožňuje klientům činit tři úrovně srovnávání:

Ipsativní

kdy je jeden a ten samý člověk poměřován (srovnáván) sám se sebou v různých časech. Díky tomu lze nahlédnout nejen aktuální obraz schopností a dovedností, ale také jejich konzistentnost a vývoj v čase.

V rámci skupiny

kde jsou uchazeči porovnáváni mezi sebou v relevantní skupině, tzn. například mezi ostatními uchazeči o totožnou pozici v téže společnosti. 

Populační 

kdy je uchazeč porovnán s obecnou normou relevantní populace, například uchazeč o obchodní pozici s odpovídající populací obchodníků


Díky propracovanému systému sbírání důkazů o dovednostech jedince a jejich prezentace, dokáže Behavera posoudit výkon účastníka v různém čase, srovnat ho s dalšími účastníky v rámci skupiny (uchazeči, existující zaměstnanci, v rámci týmu) a v neposlední řadě porovnat jeho výkon s obecnou populační normou.

Výsledky posouzení za pomoci Behavery nejsou pouze komplexním obrazem vlastností a dovedností uchazeče, ale i odpovědí na otázku „co z toho z toho pro mě vyplývá?“


Tendence k sociální žádoucnosti

Přestože metodika Behavery z podstaty nenabízí příliš možností, jak „zkreslit své výsledky žádoucím směrem“, věnujeme zvýšenou pozornost jevům jako je např. „sociální žádoucnost“, která bývá přítomná i při osobních pohovorech a na assessment centrech

Abychom dokázali míru sociální žádoucnosti jednotlivce posoudit, přidali jsme na různá místa v simulační hře mechanismus, který nám pomáhá jednotlivé aspekty tohoto chování zachytit a posléze vyhodnotit jejich celkovou „sílu“ a rizika s tím spojená

Tento údaj včetně jeho interpretace je potom součástí výstupní zprávy.


Kompetence, kompetenční modely a jak s nimi pracujeme


Behavera používá metodiku založenou na kompetenčních modelech.

Kompetenční modely jsou provázány s konkrétními pracovními pozicemi a operacionalizovány s ohledem na potřeby trhu. 

Provázanost kompetencí a pracovních pozic je určena požadavky praxe (HR, manažerské, SMEs) a podpořena analýzou pracovních pozic.

Díky tomu jsme schopni testovat přesně to, co odborníci na daných pozicích požadují (a aktivně to vyhledávají)

Kompetenční modely jsou komplexní a v celí své šíři jsou schopné obsáhnout celou osobnostně-pracovní stránku jedince

Při vytváření kompetenčních modelů jsme se řídili dvěma komplementárními pravidly.


Odraz jednotlivých kompetencí v relevantní psychologické a manažerské teorii.

Jednotlivé měřené kompetence nejsou odrazem naší fantasie, nýbrž vycházejí z dobře prověřených a jasně operacionalizovaných teoretických konceptů. Díky tomu máme jistotu, že „víme, co měříme“ a také jsme si jisti, že to, co měříme, ve skutečnosti měřit lze.


Požadavek praxe a odborné veřejnosti. 

Naším záměrem je vytvořit metodu, která bude přesně odpovídat na požadavky naší cílové skupiny. Proto v Behaveře prověřujeme kompetence, které jsou pro praxi klíčové, a prezentujeme takové závěry, které jsou užitečné, pochopitelné a v profesionální praxi aplikovatelné. 


Ukázka kompetence: Integrita

Integrita znamená celistvost, která se projevuje v osobním prožívání, myšlení a chování. Integrita nastává tehdy, kdy jsou uvedené složky v souladu, tedy člověk jedná tak, jak cítí a myslí. Není přítomna stylizace či zastírání skutečných motivů a záměrů. Integrita odkazuje také k udržování si vlastních postojů a přístupů k práci v souladu s osobním systémem hodnot. Integrita může znamenat také jednotu týkající se přístupu jedince k práci a reflexe firemních hodnot. Součástí je akceptace souvisejících principů a zásad. 



Co nám umožňuje měřit kompetence, které se často neměří (např. integrita)?

Nelze říct, že se často neměří, ale lze říct, že je to komplikovanější. Pro lidi, kteří nejsou alespoň jednou nohou v praxi je dost těžké metodologicky uchopit kompetenci jako je např. “integrita”, protože narozdíl od efektivní komunikace ji není snadné operacionalizovat - resp. není úplně snadné si odpovědět “jak to vlastně vypadá, když to někdo dobře dělá”. Behavera má v týmu - lidi, kteří se denně potkávají s personalisty i uchazeči, pracovníky, manažery a profesionálně s nimi pracují. Díky tomu dovedeme uchopit spolehlivě i takové kompetence, protože krom metody máme i leta zkušeností z terénu. 


Jsou kompetence naučitelné?

Kompetence jako práce s informacemi a numerické dovednosti mohou být do vyšší míry ovlivněny minulou zkušeností a jako takové mohou být relativně dobře naučitelné (za předpokladu, že má účastník motivaci). 

Kompetence jako efektivní komunikace, sebereflexe nebo integrita jsou do značné míry ovlivněny (definovány) pracovní osobností člověka a pro jejich development je zapotřebí kontinuální snaha, podpora trenéra, školitele nebo kouče, dobré pracovní podmínky, dostatek konstruktivní zpětné vazby a samozřejmě interní motivace


Operacionalizace kompetencí

Operacionalizace všech kompetencí vychází z teoretických poznatků a aktuálních výzkumů; i z požadavků diagnostické praxe (viz výše). Podrobná operacionalizace= 

Specifický popis behaviorálních projevů na různých úrovních zvládání každé jednotlivé kompetence byla prvním zásadním krokem. Stěžejní je však správné propojení dobře definovaných kompetencí a jádra metody (resp. měření). 

Při propojování operacionalizovaných kompetencí s obsahovou stránkou metody bylo postupováno následovně: 


Mezi tyto parametry spadá zejména:



Teprve po několika iteracích tohoto tvůrčího procesu jsme dospěli k závěrečnému stavu, tedy do bodu, kdy máme typové úkoly určené specifické pracovní pozici, víme, které kompetence v nich měříme a jakou metodikou zjistíme míru a úroveň jejich výskytu.


Způsob měření a analýza výstupů

Hodnocení behaviorálních vzorců chování. 

Metodika Behavery není založená na sebeposuzovacích škálách (na rozdíl od většiny psychodiagnostických metod), ale na hodnocení pozorovatelného chování ve virtuálním prostředí.

Základním mechanismem je množství voleb, před které simulační hra před účastníky assessmentu staví i značná volnost v rozhodování a řešení jednotlivých typových úkolů. Díky tomu dokážeme velmi přesně odlišit různé přístupy k řešení problémů, různé komunikační či vyjednávací styly. 

Na úrovni psychometriky zde hovoříme o „preferenčních volbách“; nikoli o správných a špatných odpovědích. 

Vyhodnocení těchto úkolů je z hlediska metodiky komplikovanější, neboť předpokládá znalost různých vzorců chování, které jsou syceny odlišnými úrovněmi sad kompetencí. V pozadí tohoto měření je definováno mnoho odlišných způsobů, kterými lze danou simulací projít a naše znalost toho, které specifické kompetence tyto způsoby akcentují. Jeden účastník simulace může ve svých volbách akcentovat více zákazníka, jiný svého vedoucího a třetí například své vlastní zájmy. A právě na základě těchto unikátních voleb sestavujeme celkový obraz psychologického profilu účastníka.

Přímé objektivní hodnocení úrovně dané kompetence skrze konkrétní praktický úkol (či příklad). 

Toto hodnocení je úplně stejné, jako například hodnocení úkolu na živém assessment centru. Tyto úkoly mají správné a špatné řešení a uchazeč v nich může dělat chyby; z nevědomosti nebo například nepozornosti či nepochopení zadání. Typovým úkolem je zde například oprava chybných náležitostí na daňovém dokladu – faktuře, které má jasně dané (objektivní) náležitosti.  

U těchto typových úkolů je metodika měření mnohem snazší – díky existenci správných a špatných postupů přesně víme, do jakého bodu musí uchazeč simulaci dohrát, aby mohl mít maximální úroveň kompetence; případně přesně víme, kde a jakou chybu udělal, což mu jeho celkové skóre v dané kompetenci snižuje. 


Interpretační rovina

Z dosud uvedených skutečností vyplývá, že v průběhu jedné pracovní simulace zjistíme obrovské množství informací, které dovedeme přesně zařadit, popsat a ohodnotit. Výsledkem této naší snahy jsou komplexní informace o chování, jednání a specifických dovednostech uchazečů – ovšem do tohoto bodu jen v „surovém“ stavu.

Naší primární snahou je učinit Behaveru jednoduchým a čitelným nástrojem pro diagnostickou praxi – díky tomu je zapotřebí tyto „surové“ výstupy vhodným způsobem interpretovat. Pro tyto účely věnujeme zvýšenou pozornost tomu, co je pro zaměstnavatele stěžejní, na základě kterých informací se rozhodují, kterým hodnotám rozumí a v jaké podobě jsou tyto hodnoty zvyklí číst a interpretovat. 

Abychom jim práci ještě více ulehčili, některé ze „surových“ výstupů přímo interpretujeme, abychom zaměstnavateli usnadnili rozhodování. Zaměstnavatel se tak dozví, co daná úroveň kompetence znamená, jestli je to pro danou pozici dostatečné a v neposlední řadě zjistí i srovnání s ostatními účastníky i s obecnou populační normou. 

Skóry a jak vznikají

Hrubý skór je převeden na standardizovaný a potom srovnání s populační normou. Normu si tvoříme sami pravidelným statistickým vyhodnocením dat, jejich detailním rozborem. Normy pravidelně aktualizujeme.

Co znamená vysoký skór?

Vysoký skór v kompetenci značí, že daný jednotlivec konzistentně projevoval pro kompetenci důležité vzorce chování napříč simulační hrou. 

Co může zapříčinit nízký skór?

Nedostatky v kompetencích mohou značit dílčí rezervy (dovednostní, znalostní), stejně tak jako absenci motivace nebo aktuální psychické rozpoložení (stres, únava). Simulační hra je diagnostický nástroj a jako každý je ovlivněn aktuálním psychickým rozpoložením účastníka. 

Mohu skóre v jednotlivých kompetencích časem zlepšit?

Všechny měřené kompetence jsou z podstaty “zdokonalitelné” v dlouhodobém horizontu. V případě, že člověk dosahuje alespoň minimálně-potřebných výkonů, lze předpokládat, že bude v budoucnu schopen se v dané kompetenci dále rozvíjet a zdokonalovat. Čím je jeho projev v dané kompetenci nižší, tím pro něj bude kvantitativní změna obtížnější (skok na novou - vyšší úroveň) a zlepšení zabere více času a úsilí. 

STEN

Pro interpretaci výsledků jsme se rozhodli adaptovat STEN (STandard tEN) škálu, která má 10 bodů, kopíruje Gaussovu křivku a má průměr na hodnotě 5,5. Průměrný jednotlivec má tedy v kompetencích skóre 5,5 bodu. 


Statistické analýzy


Behavera je z podstaty živá metoda, kterou neustále kontrolujeme a úpravy na základě rozličných statistických analýz a postupů. 

V první řadě je zapotřebí kontrolovat průchody jednotlivými úkoly a analyzovat typické způsoby průchodů, náročnost, časovou stopu i chybovost. Tyto statistické postupy mají za úkol odhalit, jakými typickými způsoby jedotlivec pracovní simulaci prochází a jak je to pro něj náročné. Na základě tohoto poznání pak dovedeme upravit jednotlivé simulace tak, aby svou náročností dobře odpovídaly požadavkům zaměstnavatele. 

Mezi další statistické postupy patří například:

Explanatorní faktorová analýza

Dokáže odhalit, jakým způsobem jednotlivé úkoly a herní simulace sytí měřené kompetence. Výsledkem této statistické procedury je statistický model, který zobrazí komplexní fungování všech jednotlivých měření. 

Clusterová analýza

Odhalí specifické skupiny uchazečů. Clusterová analýza je komplexní statistickou metodou, která dokáže na základě velkého množství dat odhalit typické vzorce chování uchazečů a rozdělit dle podobnosti do vlastních skupin. Na základě výstupů clusterové analýzy jsme schopni upravovat pracovní simulace pro specifické skupiny uchazečů o zaměstnání nebo například odhalit, jestli má některá skupina tendenci simulace „obelhávat“. 

ANOVA, neboli analýza rozptylu

Díky ní dokážeme dobře posoudit rozdíly mezi účastníky nebo rozdíly mezi jednotlivými úkoly či celými sekvencemi. Cílem analýz rozptylu je zjistit, jestli je jeden úkol obecně složitější než jiný a identifikovat jejich kritická místa.

Pořadové statistiky

Díky nim jsme schopni identifikovat „průměrné“ a „mediánové“ uchazeče a nastavit stenové nebo percentilové normy. 




Testování aplikace v praxi

Před uvedením aplikace na trh si musíme být maximálně jistí, že námi sestavený (teoretický) model bude fungovat i v praxi. Pro tento účel byla aplikace průběžně testována. Testování bylo prováděno jak po každém jednotlivém úkolu, tak i v rámci simulační hry jako celku. Naším cílem je otestovat každý jednotlivý „bod“ modelu i jeho fungování ve své komplexnosti. Pro tento účel jsme činili několik kroků:

Testování konvergentní validity

Zjednodušeně řečeno – abychom si byli jisti naším kompetenčním modelem a jeho fungováním v praxi, otestujeme Behavera diagnostiku na specifické skupině uchazečů, kteří zároveň projdou testováním v podobně zaměřených psychodiagnostických bateriích. Na základě tohoto srovnání (testování A a testování B na jedné skupině osob) nám dává dobrou představu o tom, jak si naše kompetence stojí ve srovnání s měřením bazálních psychologických kompetencí jinými uznávanými metodami. Základním předpokladem pro úspěch této testovací metody je volba dobré konvergentní metody, které je zároveň odpovídající svým zaměřením; a jednak psychometricky kvalitní. Pro tento účel zvolíme německou psychodiagnostiku BIP.

Testování slovních úloh, které mají správná a špatná řešení 

Toto testování probíhalo na relevantní pracovní populaci. Naším cílem bylo zjistit, jaká skupinka účastníků splní daný úkol správně, jaká skupinka v něm dělá chyby a jaké chyby to jsou. Na základě tohoto měření jsme mohli jednotlivé úkoly upravit (aby jejich náročnost odpovídala záměru) a jednak je také vhodně volit ke specifickým pracovním pozicím.

Testování simulační hry jakožto hotového celku

Předchozí dva body by samy o sobě měly stačit k tomu, abychom dokázali náš teoretický model dostatečně posoudit a upravit. Pro naprostou jistotu výsledků jsme provedli poslední vlnu testování, ve které jsme testovali metodu jako celek na reálných uchazečích o zaměstnání a zaměstnancích. 

Srovnání s externím kritériem 

Výstupy měření se porovnávají se závěry “přímého pozorování” účastníků (typicky v průběhu assessment/development centra), a to na základě přesně definovaných parametrů. Jedná se o velmi přesný způsob ověření validity výsledků dané metody díky kvalitě vstupu u přímého pozorování. 


Podoba a smysl výstupů


Výsledná podoba zobrazených výsledků je dána zejména požadavky odborníků z praxe. Pro tento účel jsme naše záměry v průběhu konzultovali s odborníky, abychom si byli jisti tím, co chtějí o uchazečích vědět, jakou úroveň podrobností vyžadují a jaké informace si přejí od nás interpretovat. 

Výsledná podoba výstupů je orientována na pracovníky v oblasti HR (recruitment, L&D), ale také na manažery, kteří mají na starosti operativní a strategické řízení lidských zdrojů. Naším cílem je odpovědět na následující otázky: