摘要：情境判斷測驗(yàn)是一種為作答者呈現(xiàn)工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求根據(jù)指導(dǎo)語提示進(jìn)行選擇或評價(jià)的測驗(yàn)形式。隨著其理論和實(shí)踐的發(fā)展，研究者越來越關(guān)注情境判斷測驗(yàn)的效度研究，包括對其構(gòu)想效度、效標(biāo)關(guān)聯(lián)效度和遞增效度的探討，以及指導(dǎo)語類型、情境保真度以及計(jì)分方式等因素對其效度的影響�；�于這些研究進(jìn)展，未來情境判斷測驗(yàn)實(shí)踐領(lǐng)域可能的方向是：(1)開發(fā)針對特定構(gòu)想的情境判斷測驗(yàn)；(2)結(jié)合具體構(gòu)想選用相應(yīng)的指導(dǎo)語；(3)應(yīng)用作假和培訓(xùn)對效度影響的研究結(jié)果指導(dǎo)實(shí)踐。
　　關(guān)鍵詞：情境判斷測驗(yàn)；構(gòu)想效度；效標(biāo)關(guān)聯(lián)效度；遞增效度
　　分類號：B841
　　
　　1、引言
　　
　　情境判斷測驗(yàn)(Situational Judgement Test)應(yīng)用于人事選拔領(lǐng)域已經(jīng)有較長時(shí)間的歷史(e.g.，F(xiàn)ile，1945；Motowidlo，Dunnette，＆Carter，1990；Weekley＆Jones，1997，1999)。情境判斷測驗(yàn)是用來評價(jià)個(gè)體對工作場所情境所做出的判斷(Weekley＆Ployhan，2006)。它為個(gè)體呈現(xiàn)的是一些工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求作答者根據(jù)指導(dǎo)語提示進(jìn)行選擇或評價(jià)。由于事先給定某一刺激情境下具體的行為反應(yīng)，來供作答者選擇或評定，而不是像評價(jià)中心那樣，觀察、評價(jià)作答者在刺激情境下真實(shí)的行為，因此，情境判斷測驗(yàn)屬于一種低保真度的模擬(Lievens，Peeters，＆Schollaert，2008)。早期，和其他用于軍事、教育、商業(yè)等多個(gè)領(lǐng)域人員選拔的測驗(yàn)一樣，人們關(guān)注的僅僅是情境判斷測驗(yàn)的預(yù)測效度，即通過一個(gè)測驗(yàn)挑選出來的人是否能夠很好地應(yīng)對將來的實(shí)際工作。這就造成了對情境判斷測驗(yàn)的研究應(yīng)用走在了理論的前面：一方面，缺乏系統(tǒng)的理論基礎(chǔ)，另一方面，測驗(yàn)的本質(zhì)不是十分清楚。
　　近年來，隨著整體效度觀念的成熟(AmericanEducational Research Association，AmericanPsychological Association，＆National Council 0nMeasurement in Education，1999；Society forIndustrial and Organizational Psychology，Inc.，2003)以及人事測量構(gòu)想導(dǎo)向(construct－oriented)(e.g.，Anastasi＆Urbina，1997；Arthur＆Villado，2008；Huffcutt，Conway，＆Stone，2001)的興起，人們不再僅僅關(guān)注情境判斷測驗(yàn)的預(yù)測效度，也對其測量的實(shí)質(zhì)即構(gòu)想效度的研究提出了更高的要求。同樣，在測驗(yàn)的實(shí)際開發(fā)過程中，人們也不再滿足于傳統(tǒng)的基于工作分析的開發(fā)模式，希望能夠針對實(shí)際需要開發(fā)更加具體化的情境判斷測驗(yàn)。
　　無論是理論發(fā)展還是實(shí)際需要，都對情境判斷測驗(yàn)的進(jìn)一步研究提出了迫切要求。一些制約情境判斷測驗(yàn)今后發(fā)展的關(guān)鍵問題被推到了研究者面前：情境判斷測驗(yàn)究竟測量到的是什么?它為什么能夠預(yù)測工作績效?又有哪些因素會(huì)影響到其效度?本文試圖在前人研究的基礎(chǔ)上，圍繞情境判斷測驗(yàn)的效度，從相關(guān)理論、效度證據(jù)、影響效度因素等方面進(jìn)行探討。
　　
　　2、相關(guān)理論進(jìn)展
　　
　　近幾年，學(xué)者們開始重視對情境判斷測驗(yàn)的理論基礎(chǔ)和本質(zhì)的研究。主要代表為，自上世紀(jì)90年代之后，Motowidlo等人提出情境判斷測驗(yàn)遵循行為一致性原則和隱性特質(zhì)理論，以及諸多學(xué)者圍繞情境判斷測驗(yàn)是一種方法還是構(gòu)想的探討。
　　Motowidlo等人(1990)基于關(guān)鍵事件分析和專家的判斷編制了一套用于選拔電信行業(yè)初級經(jīng)理的情境判斷測驗(yàn)，結(jié)果顯示，作答者在各個(gè)情境上的得分與其上級評定之間的相關(guān)為0.28到0.37 p＜0.01)，即情境判斷測驗(yàn)在一定程度上預(yù)測了個(gè)體的工作表現(xiàn)。為了解釋這一結(jié)果，Motowidlo等人提出情境判斷測驗(yàn)題目是基于實(shí)際工作情境中的行為反應(yīng)并要求作答者根據(jù)其慣有行為模式進(jìn)行評價(jià)或選擇，它遵循行為一致性的原則(即過去的行為是將來行為最好的預(yù)測)。也就是說通過測量個(gè)體現(xiàn)在的行為，就可以預(yù)測他在將來的表現(xiàn)。
　　情境判斷測驗(yàn)的結(jié)果除了可以在一定程度上預(yù)測工作績效，還與認(rèn)知能力測驗(yàn)和人格測驗(yàn)的結(jié)果存在較高的相關(guān)(Chan，2006；Ployhart＆Weekley，2006)。由Motowidlo，Hooper和Jackson(2006)提出的隱性特質(zhì)理論(implicit trait policy)，在一定程度上解釋了情境判斷測驗(yàn)的結(jié)果和人格測驗(yàn)有較高相關(guān)的原因。隱性特質(zhì)理論認(rèn)為個(gè)體在人格特質(zhì)上的差別影響了其對那些顯示出這一人格特質(zhì)的行為有效性的判斷。如，表現(xiàn)出高宜人性的行為確實(shí)比低宜人性的行為更有效，那些宜人性高的個(gè)體較宜人性低的個(gè)體在評價(jià)行為有效性的時(shí)候，會(huì)賦予宜人性以更高的權(quán)重，即他們會(huì)給表現(xiàn)出高宜人性的行為反應(yīng)更高的評價(jià)。而給低宜人性的反應(yīng)更低的評價(jià)。
　　關(guān)于方法和構(gòu)想之間的爭論也是理解情境判斷測驗(yàn)研究的關(guān)鍵所在。構(gòu)想指的是測量的心理或行為維度(如一般智力、責(zé)任心、成就動(dòng)機(jī)等)；方法指的是測量某一構(gòu)想的特定過程或是技術(shù)(如面試、紙筆測試、基于情境的測驗(yàn)等)。一些研究者認(rèn)為情境判斷測驗(yàn)測量的是一種單一的構(gòu)想。如，Steinberg和Wagner(1993)指出情境判斷測驗(yàn)測量的是不同于一般智力的實(shí)踐智力(pracdcalintelligence)，而Schmidt和Hunter(1993)則認(rèn)為其主要測量的是工作知識(shí)(job knowledge)。然而，這些事后被證明是沒有足夠證據(jù)支持的(Gottfredson，2003；McDaniel＆Whetzel，2005)，因?yàn)榍榫撑袛鄿y驗(yàn)測量的是多維構(gòu)想而且往往與一般智力相關(guān)。很多多維構(gòu)想的測驗(yàn)，如大五人格測驗(yàn)構(gòu)想非常清晰，包含責(zé)任心、宜人性、情緒穩(wěn)定性、外傾性和神經(jīng)質(zhì)五個(gè)維度，然而情境判斷測驗(yàn)卻往往很難被清晰地界定，這就帶來了兩個(gè)問題：一是很難從根本上解釋情境判斷測驗(yàn)?zāi)軌蜉^好預(yù)測工作績效的原因；二是較難編制和已有測驗(yàn)測量相同構(gòu)想的新測驗(yàn)。Schmitt和Chan(2006)指出，情境判斷測驗(yàn)就像面試一樣，是一種可以用來測量不同構(gòu)想的方法，這一方法本身同時(shí)又限制了其可以測量的構(gòu)想。這一觀點(diǎn)自提出后在學(xué)術(shù)界逐漸被接受(Christian，Edwards，＆Bradley，2010；Whetzel＆McDaniel，2009)。
　　
　　3、效度研究
　　
　　教育和心理測量標(biāo)準(zhǔn)(The Standards forEducational and Psychological Testing)將效度定義 為“測驗(yàn)的分?jǐn)?shù)能夠?yàn)闇y驗(yàn)用途提供解釋所累計(jì)證據(jù)和理論支持的程度”，人事選拔程序使用效度準(zhǔn)則(the Principles for the Validation and Use of Personnel Selection Procedures)對效度的界定也是類似的，即效度被定義為一個(gè)整體的概念，為測驗(yàn)分?jǐn)?shù)的結(jié)論提供各種來源的證據(jù)。本文采用的便是這種整體的效度觀念，從與構(gòu)想相關(guān)的構(gòu)想效度，與工作績效相關(guān)的效標(biāo)關(guān)聯(lián)效度以及相對于認(rèn)知能力和人格測驗(yàn)的遞增效度的角度。對情境判斷測驗(yàn)的效度進(jìn)行全面探討。
　　3.1　構(gòu)想效度
　　為了更好地理解情境判斷測驗(yàn)如何在人事選拔中發(fā)揮作用以及原因。必須要澄清情境判斷測驗(yàn)測量的典型構(gòu)想(Chrisfian et al.，2010)。近年來研究人員越來越重視對情境判斷測驗(yàn)構(gòu)想的探討，并進(jìn)行了許多研究(e.g.，Arthur＆Villado，2008；Hough＆Ones，2001；McDaniel，Morgeson，F(xiàn)innegan，Campion，＆Braverman，2001；McDaniel，Hartman，Whetzel，＆Grubb，2007)。
　　國外有三個(gè)元分析(McDaniel et al.，2001；McDaniel et al.，2007；McDaniel＆Nguyen，2001)對情境判斷測驗(yàn)測量構(gòu)想方面的效度證據(jù)進(jìn)行了總結(jié)。McDaniel等人(2001)指出情境判斷測驗(yàn)和一般智力之間0.31的平均相關(guān)顯示它在一定程度上測量的是一般智力，然而，情境判斷測驗(yàn)有一些變異又是與一般智力無關(guān)的。McDaniel和Nguyen(2001)指出行為導(dǎo)向和知識(shí)導(dǎo)向的兩類情境判斷測驗(yàn)指導(dǎo)語會(huì)影響其構(gòu)想效度。知識(shí)導(dǎo)向的指導(dǎo)語要求作答者選擇正確的或最好的行為反應(yīng)或者要求其對行為的有效性進(jìn)行評定；行為導(dǎo)向的指導(dǎo)語要求作答者選擇出他最可能(傾向于)采取的行為反應(yīng)或?qū)ζ淇赡苄赃M(jìn)行評定。
　　McDanieI等人(2007)繼續(xù)沿著這一思路進(jìn)行了研究，進(jìn)一步比較了分別采取兩種指導(dǎo)語的情境判斷測驗(yàn)的分?jǐn)?shù)和認(rèn)知能力和人格測驗(yàn)分?jǐn)?shù)之間的關(guān)系。研究發(fā)現(xiàn)，兩種類型的情境判斷測驗(yàn)與大五人格測驗(yàn)的三個(gè)維度(情緒穩(wěn)定性、責(zé)任心、宜人性)和認(rèn)知能力測驗(yàn)分?jǐn)?shù)之間的相關(guān)存在顯著性差異。行為導(dǎo)向的情境判斷測驗(yàn)顯示出與人格測驗(yàn)之間更高的關(guān)聯(lián)(0.35 vs 0.12，0.34 vs0.24，0.37 vs 0.19)，而知識(shí)導(dǎo)向的測驗(yàn)則顯示出與認(rèn)知能力測驗(yàn)更高的相關(guān)。研究結(jié)果顯示，可以通過改變指導(dǎo)語進(jìn)而改變情境判斷測驗(yàn)測量的構(gòu)想。知識(shí)型指導(dǎo)語測量的最優(yōu)行為，有較高的認(rèn)知負(fù)荷；而行為型指導(dǎo)語測量的是慣常的行為，更吻合行為一致性的假設(shè)。
　　除了通過元分析直接計(jì)算情境判斷測驗(yàn)分?jǐn)?shù)和認(rèn)知測驗(yàn)、人格測驗(yàn)分?jǐn)?shù)之間的相關(guān)來探討其測量構(gòu)想外，近年來，為了進(jìn)一步研究清楚情境判斷測驗(yàn)的構(gòu)想效度，學(xué)者們還做了許多不同角度的嘗試。
　　一方面體現(xiàn)在測驗(yàn)內(nèi)容上，不少學(xué)者開發(fā)了專門測量特定構(gòu)想的測驗(yàn)。如，Ascalon(2005)開發(fā)了測量同情心和種族優(yōu)越感的情境判斷測驗(yàn)來考察跨文化的社會(huì)智力；Becker(2005)開發(fā)了測量員工正直的情境判斷測驗(yàn)；Mumford，Morgeson，Van Iddekinge和Campion(2008)開發(fā)了用于測量團(tuán)隊(duì)合作的情境判斷測驗(yàn)。另一方面體現(xiàn)在研究思路上，學(xué)者們試圖通過細(xì)化反應(yīng)過程、分解分?jǐn)?shù)變異進(jìn)而從更深層次理解情境判斷測驗(yàn)的構(gòu)想。Ployhart和Weekley(2006)提出的預(yù)測源反應(yīng)過程模型(the Predictor Response Process Model)，旨在從被試作答反應(yīng)過程的角度來獲得效度證據(jù)(substantive validity)。預(yù)測源反應(yīng)過程模型將被試的反應(yīng)過程劃分為理解、提取、判斷、選擇反應(yīng)四個(gè)過程，將分?jǐn)?shù)的總變異分解為污染源變異、研究感興趣的個(gè)體潛在特質(zhì)造成的變異(真分?jǐn)?shù)變異)和參加測驗(yàn)動(dòng)機(jī)帶來的變異，這三方面的變異在不同的程度上影響著上述四個(gè)過程。通過對反應(yīng)過程和分?jǐn)?shù)變異的細(xì)致劃分，來研究影響情境判斷測驗(yàn)分?jǐn)?shù)的因素，進(jìn)而更好地理解情境判斷測驗(yàn)的分?jǐn)?shù)和構(gòu)想效度。例如，不同類型的指導(dǎo)語會(huì)影響到個(gè)體反應(yīng)的理解、提取和判斷的過程。在被試誠實(shí)作答的情況下，行為型指導(dǎo)語的情境判斷測驗(yàn)，被試的這三個(gè)過程主要是受到人格因素的影響，相反，接受知識(shí)型指導(dǎo)語測驗(yàn)的被試，這三個(gè)過程主要是受到認(rèn)知因素的影響。Westring，Oswald，Schmitt，Drzakowski，Imus，Kim和Shivpuri(2009)采取多質(zhì)多法的研究范式，運(yùn)用結(jié)構(gòu)方程模型的方法對測量成就動(dòng)機(jī)的情境判斷測驗(yàn)進(jìn)行了變異分解，分解為情境變異(跨學(xué)生)和特質(zhì)變異(跨情境)。研究結(jié)果表明，情境因素帶來的變異是個(gè)體因素變異的三倍，研究結(jié)論也從另外一個(gè)角度為特質(zhì)或是情境決定行為提供了實(shí)證支持。
　　和評價(jià)中心一樣，情境判斷測驗(yàn)作為一種可以測量多種構(gòu)想的方法，在測驗(yàn)的應(yīng)用之初，人們并不十分重視其構(gòu)想效度，隨著測驗(yàn)的不斷發(fā)展以及測量領(lǐng)域構(gòu)想導(dǎo)向的興起，無論是應(yīng)用界還是理論界，人們越來越強(qiáng)烈地意識(shí)到研究清楚其構(gòu)想的重要性，盡管情境判斷測驗(yàn)的構(gòu)想還有許多有待進(jìn)一步研究的問題，但前人所作的努力為今后的研究提供了寶貴的資料和可以借鑒的思路。
　　3.2　效標(biāo)關(guān)聯(lián)效度
　　選拔測驗(yàn)要回答的一個(gè)關(guān)鍵問題是通過該選拔過程是否能夠很好地預(yù)測工作相關(guān)的指標(biāo)，即該測驗(yàn)的效標(biāo)關(guān)聯(lián)效度如何(Lievens，Peeters，＆Schollaert，2008)。有大量研究對情境判斷測驗(yàn)的這一問題進(jìn)行了探討。McDaniel等人(2001)基于95個(gè)研究的數(shù)據(jù)進(jìn)行了第一個(gè)關(guān)于情境判斷測驗(yàn)效標(biāo)關(guān)聯(lián)效度的元分析，校正后情境判斷測驗(yàn)分?jǐn)?shù)與工作績效之間的相關(guān)是0.34(未校正時(shí)是0.26)。McDaniel等人(2007)在118個(gè)研究的基礎(chǔ)上再次對情境判斷測驗(yàn)進(jìn)行了元分析，不考慮指導(dǎo)語類型的前提下，效標(biāo)關(guān)聯(lián)效度系數(shù)達(dá)到了0.26。將所有118項(xiàng)研究全部納入分析的情況下，兩種類型指導(dǎo)語情境判斷測驗(yàn)的效標(biāo)關(guān)聯(lián)效度并無顯著性差異，而當(dāng)將情境判斷測驗(yàn)的內(nèi)容保持一致時(shí)，知識(shí)型情境判斷測驗(yàn)有更好的效標(biāo)關(guān)聯(lián)效度。因此，為了進(jìn)一步弄清楚指導(dǎo)語類型對情境判斷測驗(yàn)效標(biāo)關(guān)聯(lián)效度的影響，需要統(tǒng)一具體測驗(yàn)的內(nèi)容，即在同一個(gè)研究中，使用情境內(nèi)容相同指導(dǎo)語類型不同的研究材料對被試施測，進(jìn)而比較。
　　除了上述兩個(gè)圍繞情境判斷測驗(yàn)效標(biāo)關(guān)聯(lián)效度的元分析之外，隨著相關(guān)理論的不斷發(fā)展，研究人員還從許多新的角度進(jìn)行了研究。
　　人們越來越意識(shí)到工作績效不是一個(gè)簡單的整體，而是可以進(jìn)一步分解為兩個(gè)具體維度： 任務(wù)績效和關(guān)系績效(Borman＆Motowidlo，1993)。已有研究表明，一些構(gòu)想與這兩個(gè)績效之問的關(guān)聯(lián)存在差別，如，認(rèn)知能力與任務(wù)績效存在高相關(guān)，而非認(rèn)知能力，如責(zé)任心則在關(guān)系績效上對認(rèn)知能力有遞增效度。O"Connell，McDaniel，Grubb，Hartman和Lawrence(2007)研究了情境判斷測驗(yàn)與這兩種績效之間的相關(guān)，結(jié)果表明，與任務(wù)績效的相關(guān)為0.14，而與關(guān)系績效為0.10。
　　Christian等人(2010)在前人研究的基礎(chǔ)上，對前人研究按照測量的構(gòu)想進(jìn)行了分類梳理，并將工作績效進(jìn)一步細(xì)分為任務(wù)績效、關(guān)系績效和管理績效，進(jìn)而對每類情境判斷測驗(yàn)相應(yīng)的效標(biāo)關(guān)聯(lián)效度進(jìn)行了元分析。結(jié)果顯示，測量團(tuán)隊(duì)工作技能時(shí)，效標(biāo)關(guān)聯(lián)效度最高，達(dá)到0.38；測量領(lǐng)導(dǎo)力的平均效度為0.28；測量人際交往技能時(shí)為0.25；測量責(zé)任心的為0.24；測量工作知識(shí)和技能的為0.19；人格整體為0.43；情境判斷測驗(yàn)整體為0.28。并且當(dāng)將績效區(qū)分為任務(wù)績效、關(guān)系績效和管理績效之后，測量人際交往能力、團(tuán)隊(duì)工作能力和領(lǐng)導(dǎo)力的情境判斷測驗(yàn)較那些構(gòu)想不清楚的情境判斷測驗(yàn)，對關(guān)系績效有更好的效標(biāo)關(guān)聯(lián)效度；而測量領(lǐng)導(dǎo)力和人際交往能力的情境判斷測驗(yàn)和那些構(gòu)想不清楚的情境判斷測驗(yàn)相比，能夠較好地預(yù)測管理績效；而在探討任務(wù)績效時(shí)，由于只有一個(gè)實(shí)證研究，無法得出結(jié)論。
　　此外，以往關(guān)于情境判斷測驗(yàn)效標(biāo)關(guān)聯(lián)效度的研究大多是同時(shí)效度的研究，即被試為在職者，而不是對真實(shí)應(yīng)聘者的預(yù)測效度的研究。然而，在職者和應(yīng)聘者在動(dòng)機(jī)水平上是存在較大差別的，這也很有可能會(huì)造成研究結(jié)果的差別。如，關(guān)于兩種類型指導(dǎo)語效標(biāo)關(guān)聯(lián)效度的研究中，Ployhart和Ehrhart(2003)的研究結(jié)果顯示行為型指導(dǎo)語表現(xiàn)出更高的效標(biāo)關(guān)聯(lián)效度：而Lievens和Sackett(2007)在高壓力情境下施測的結(jié)果是，二者并無顯著差異。當(dāng)然，不同的求職動(dòng)機(jī)和壓力水平，或者說在職者和應(yīng)聘者之間的差別，究竟會(huì)給情境判斷測驗(yàn)的效標(biāo)關(guān)聯(lián)效度帶來怎樣的影響，我們還需要后續(xù)的研究來進(jìn)一步解答。
　　3.3　遞增效度
　　為了更好地研究和應(yīng)用情境判斷測驗(yàn)，研究者們不僅關(guān)注它的預(yù)測效度和構(gòu)想效度，還關(guān)注情境判斷測驗(yàn)對廣泛使用的認(rèn)知能力測驗(yàn)和人格測驗(yàn)(大五)的遞增效度。遞增效度是指一個(gè)測驗(yàn)在其它數(shù)據(jù)的基礎(chǔ)上對效標(biāo)預(yù)測能力的改進(jìn)程度(Hunsley，2003)。McDaniel等人的兩個(gè)元分析(2001，2007)和一些實(shí)證研究(chan＆Schmitt，2002；Clevenger＆Haaland，2000；O"Connell，McDaniel，Grubb，Hartman，＆Lawrence，2002；Weekley＆Jones，1997，1999)就情境判斷測驗(yàn)的遞增效度進(jìn)行了詳細(xì)地探討。
　　McDaniel等人(2007)分析了情境判斷測驗(yàn)對認(rèn)知能力、大五人格以及這二者合成后的遞增效度；同時(shí)，他們還探討了認(rèn)知能力和大五人格對情境判斷測驗(yàn)的遞增效度。研究結(jié)果顯示，情境判斷測驗(yàn)對認(rèn)知能力、人格以及這二者共同都具有一定的遞增效度，且受到不同指導(dǎo)語類型的影響。行為型指導(dǎo)語的情境判斷測驗(yàn)對認(rèn)知能力的遞增效度更大(0.05 vs 0.03，)，而知識(shí)型指導(dǎo)語的測驗(yàn)對人格的遞增效度更大(0.07 vs 0.06)，無論是哪種指導(dǎo)語的情境判斷測驗(yàn)對同時(shí)包含認(rèn)知能力和大五人格測驗(yàn)時(shí)的遞增效度均減弱，且不再存在顯著性差異。
　　O＇Connell等人(2007)進(jìn)一步研究了將工作績效劃分為任務(wù)績效和關(guān)系績效后，情境判斷測驗(yàn)對認(rèn)知能力和人格的遞增效度。結(jié)果表明，就任務(wù)績效而言，認(rèn)知能力測驗(yàn)的效度為0.15，情境判斷測驗(yàn)對其遞增效度為0.03，人格測驗(yàn)的效度為0.18，情境判斷測驗(yàn)對其遞增效度為0.04，人格測驗(yàn)和認(rèn)知能力測驗(yàn)共同的效度為0.20，情境判斷測驗(yàn)對其遞增效度為0.01；對關(guān)系績效而言，認(rèn)知能力測驗(yàn)的效度為0.07，情境判斷測驗(yàn)對其遞增效度為0.04，情境判斷測驗(yàn)對人格測驗(yàn)以及人格測驗(yàn)和認(rèn)知測驗(yàn)的合成均不存在遞增效度。在預(yù)測任務(wù)績效時(shí)，情境判斷測驗(yàn)?zāi)軌蛟谌烁駵y驗(yàn)和認(rèn)知測驗(yàn)的基礎(chǔ)上，提供更多有利的支持；在預(yù)測關(guān)系績效時(shí)，作用則不大。
　　
　　4、情境判斷測驗(yàn)效度的影響因素
　　
　　通過上面對情境判斷測驗(yàn)效度研究的探討不難發(fā)現(xiàn)，指導(dǎo)語類型在一定程度上影響著測驗(yàn)的效度，如知識(shí)型指導(dǎo)語的情境判斷測驗(yàn)與能力測驗(yàn)有更高的相關(guān)，對人格測驗(yàn)的遞增效度更大；而行為型指導(dǎo)語的情境判斷測驗(yàn)則與人格測驗(yàn)有更高的相關(guān)，對能力測驗(yàn)的遞增效度更大。除了測驗(yàn)的指導(dǎo)語類型，還有一些其它因素會(huì)在不同的程度上對情境判斷測驗(yàn)的效度產(chǎn)生影響。
　　4.1　情境的保真度
　　不同情境判斷測驗(yàn)的情境保真度存在差別。情境保真度(fidelity)指的是測驗(yàn)對特定崗位所要求工作的還原程度。顯然，錄像版的情境判斷測驗(yàn)較紙筆版的有更高的保真度。
　　已經(jīng)有許多的學(xué)者對紙筆版和錄像版的情境判斷測驗(yàn)進(jìn)行了比較研究。Chan和Schmie(1997)通過比較這兩種不同形式的情境判斷測驗(yàn)發(fā)現(xiàn)，錄像版測驗(yàn)的缺陷更少，且參加實(shí)驗(yàn)的學(xué)生感覺到錄像版較紙筆版的測驗(yàn)有更高的表面效度。Lievens，Buyse和Sackett(2005)研究了在大學(xué)錄取考試中，錄像版情境判斷測驗(yàn)對認(rèn)知能力的遞增效度，結(jié)果發(fā)現(xiàn)，當(dāng)效標(biāo)中包含認(rèn)知和人際等因素，在對人際互動(dòng)相關(guān)課程的結(jié)果進(jìn)行預(yù)測時(shí)，錄像版的情境判斷測驗(yàn)對認(rèn)知測驗(yàn)有遞增效度，而在預(yù)測其它效標(biāo)時(shí)，則沒有遞增效度。這一研究結(jié)論從另外一個(gè)角度也說明了，在研究效度時(shí)，不僅預(yù)測源的構(gòu)想會(huì)產(chǎn)生影響，效標(biāo)的選擇也很重要。
　　Lievens和Sackett(2006)還研究了在高壓力情境下，測量同樣內(nèi)容(人際交往能力)的錄像版和紙筆版情境判斷測驗(yàn)的預(yù)測效度。研究結(jié)果顯示。錄像版較紙筆版測試與認(rèn)知能力之間的相關(guān)更低(0.11 vs 0.18，)，而在預(yù)測效度上，錄像版的情境判斷測驗(yàn)較紙筆版的更高(0.34 vs 0.08)。
　　Christian等人(2010)采用元分析的技術(shù)，分析了測驗(yàn)的形式對測量不同構(gòu)想的情境判斷測驗(yàn)的影響。結(jié)果顯示，錄像版的情境判斷測驗(yàn)較紙筆版的與工作績效之間有更高的相關(guān)，如測量人際交往和領(lǐng)導(dǎo)力情境判斷測驗(yàn)，錄像版形式的測驗(yàn)都較紙筆版能夠更好地預(yù)測工作績效。
　　總的來講，情境判斷測驗(yàn)的情境保真度不僅影響其構(gòu)想效度還影響其效標(biāo)關(guān)聯(lián)效度。在預(yù)測工作績效方面，錄像版的情境判斷測驗(yàn)有更高的表面效度和對認(rèn)知能力的遞增效度。而在構(gòu)想效度方面，由于錄像版測驗(yàn)降低了對閱讀的要求，因此，有理由認(rèn)為其較紙筆版測驗(yàn)與認(rèn)知能力有較低的相關(guān)。當(dāng)然，在實(shí)際的應(yīng)用中，還必須衡量 開發(fā)和實(shí)施錄像版情境判斷測驗(yàn)的成本。
　　4.2　計(jì)分方式
　　跟傳記式問卷(Biodata)測試類似，情境判斷測驗(yàn)通常并不存在明確的、基于專業(yè)知識(shí)的“正確”答案(Whetzel＆McDaniel，2009)。因此，有多種不同的計(jì)分方式，不同的計(jì)分方式可能會(huì)導(dǎo)致效度估計(jì)的差別(Bergman，Drasgow，Donovan，Henning，＆Juraska，2006)。通過研究多種計(jì)分方式。Bergman等人(2006)回顧了實(shí)證性計(jì)分(基于測驗(yàn)題目或反應(yīng)與效標(biāo)之間的相關(guān))，理論式計(jì)分(各個(gè)題目的設(shè)計(jì)基于一定的理論，或者能夠從理論的角度識(shí)別出最好或最差的反應(yīng))和基于專家的計(jì)分(采用關(guān)鍵事件專家的方法來確定計(jì)分，比較作答者和專家的選擇)。他們使用了包含21道測量領(lǐng)導(dǎo)能力的題目的情境判斷測驗(yàn)，來檢驗(yàn)當(dāng)采用不同的計(jì)分方式時(shí)，其對認(rèn)知能力和人格的遞增效度。研究結(jié)果顯示，使用實(shí)證性計(jì)分方式時(shí)，情境判斷測驗(yàn)?zāi)軌蛟谇皟蓚�(gè)測驗(yàn)的基礎(chǔ)上對效標(biāo)的變異多解釋2－3％，采用關(guān)鍵事件專家方式計(jì)分可多解釋4.9％，基于原始構(gòu)想整合的計(jì)分方式多解釋3.0％，基于參與者(participation)整合的計(jì)分方式多解釋1.7％。研究者認(rèn)為情境判斷測驗(yàn)的效度在一定程度上受到其計(jì)分方式的影響，當(dāng)計(jì)分方式有效性差時(shí)可能會(huì)導(dǎo)致情境判斷測驗(yàn)效度降低。
　　Legree，Psotka，Tremble和Bourne(2005)對比了基于總體的一致性(Consensus Based Measurement)和基于專家的計(jì)分方式，來確定這兩種方式對情境判斷測驗(yàn)效度的影響。在他們早期的研究中，他們比較了在一個(gè)包含49個(gè)情境、202個(gè)反應(yīng)的情境判斷測驗(yàn)中，少數(shù)專家的意見和所有作答者的平均評定，結(jié)果顯示二者之間存在顯著的相關(guān)(0.72)。之后他們在2003年的一項(xiàng)軍隊(duì)中領(lǐng)導(dǎo)力隱性知識(shí)情境判斷測驗(yàn)的研究中，發(fā)現(xiàn)二者之間的相關(guān)達(dá)到了0.96。因此，他們認(rèn)為，選擇所有作答者平均分?jǐn)?shù)作為標(biāo)準(zhǔn)和基于專家計(jì)分之間是很難分清楚的。
　　Krokos，Meade。Cantwell，Pond和wilson(2004)研究了采用實(shí)證性計(jì)分方式的情況。他們認(rèn)為情境判斷測驗(yàn)通常測量的是個(gè)體在工作情境下的復(fù)雜的、社交或?qū)嵺`方面的表現(xiàn)，這與隱性知識(shí)的測量很難區(qū)分。當(dāng)情境判斷測驗(yàn)的計(jì)分鍵是基于關(guān)鍵事件專家的一致選擇時(shí)，最顯而易見的做法成為正確選項(xiàng)的概率增加。因此，當(dāng)由關(guān)鍵事件專家來確定正確答案時(shí)，越顯而易見的做法越可能被保留。然而，當(dāng)使用基于實(shí)證的計(jì)分方式時(shí)，那些最顯而易見的反應(yīng)可能會(huì)被大多數(shù)人選擇，績優(yōu)和一般作答者的選擇之間不存在顯著差異，即這樣的反應(yīng)不具有區(qū)分作用，會(huì)被賦予較低的分?jǐn)?shù)：相反，那些較少被選擇，但僅由績優(yōu)者選擇的反應(yīng)，會(huì)被賦予更高的分?jǐn)?shù)。
　　總之，正如不同指導(dǎo)語的情境判斷測驗(yàn)測量的構(gòu)想存在差別一樣(McDaniel et al.，2007)，不同的計(jì)分方式也會(huì)使情境判斷測驗(yàn)測量不同的構(gòu)想。
　　
　　5、對實(shí)踐應(yīng)用的建議
　　
　　5.1　開發(fā)針對特定構(gòu)想的情境判斷測驗(yàn)
　　傳統(tǒng)的情境判斷測驗(yàn)大多是從工作分析出發(fā)，收集某一崗位的典型工作情境編制題目，并不指向特定的構(gòu)想。近些年來，隨著測量領(lǐng)域構(gòu)想導(dǎo)向的提出以及情境判斷測驗(yàn)的發(fā)展，人們越來越意識(shí)到僅僅滿足于傳統(tǒng)的開發(fā)思路是不夠的。于是，有專家開始編制用于測量特定構(gòu)想的測驗(yàn)，并逐漸得到了理論層面和應(yīng)用層面的廣泛認(rèn)可(Ascalon，2005；Becket，2005；Mumford et al.，2008)。
　　針對特定構(gòu)想開發(fā)情境判斷測驗(yàn)，一方面有助于其構(gòu)想效度的研究，另一方面，也有助于對一些構(gòu)想的測量工具的發(fā)展。如，由于傳統(tǒng)的人格測驗(yàn)大多采取的是里克特式的自我評定方式，在選拔這樣高利害、高競爭壓力的情境下使用，難免會(huì)遇到作假的問題。于是就有人提出將人格測驗(yàn)情境化，不是直接詢問作答者在某個(gè)人格維度上的情況，而是通過編制一些反映人格特質(zhì)的情境判斷測驗(yàn)，基于個(gè)體在這些測驗(yàn)上的作答，判斷其人格特質(zhì)(Motowidlo et al.，2006)。而且，因?yàn)闇y量的是明確的特定構(gòu)想。這就有助于基于理論上的關(guān)聯(lián)，針對性地選擇與之相應(yīng)的效標(biāo)，進(jìn)而得到更好的效度結(jié)果，如，用情境判斷測驗(yàn)測量人際交往能力時(shí)，測驗(yàn)結(jié)果能夠更好地預(yù)測關(guān)系績效(Christian et al.，2010)。
　　唐素萍(2004)比較詳細(xì)地介紹過傳統(tǒng)情境判斷測驗(yàn)的開發(fā)程序，在這里，主要介紹開發(fā)特定構(gòu)想的情境判斷測驗(yàn)和傳統(tǒng)方法之間的幾點(diǎn)區(qū)別：
　�、僖�?yàn)樗�針對的是某個(gè)或某幾個(gè)具體構(gòu)想，因此，編制測驗(yàn)的第一步不是針對某個(gè)崗位的工作分析，而是基于該構(gòu)想的理論，收集能夠反映出這一構(gòu)想的典型情境，或者說是能夠激發(fā)出特定構(gòu)想的情境：
　�、趥鹘y(tǒng)的情境判斷測驗(yàn)的第二步是針對收集到的情境，通過開放式問卷或行為事件訪談(BEI)等方式收集在該情境下的行為反應(yīng)。這些反應(yīng)可能是各式各樣的；而在開發(fā)針對特定構(gòu)想的測驗(yàn)時(shí)，這里要收集的行為反應(yīng)必須是能夠反映出該構(gòu)想的；
　�、廴绻�我們選取關(guān)鍵事件專家(SEMS)的方式確定計(jì)分鍵，在傳統(tǒng)的情況下，專家是對各個(gè)反應(yīng)的有效性進(jìn)行評價(jià)，而這里則是對各個(gè)反應(yīng)能夠反映出所測量構(gòu)想的程度進(jìn)行評定。
　　不難發(fā)現(xiàn)，傳統(tǒng)的情境判斷測驗(yàn)更多關(guān)注的是測驗(yàn)的有效性，即預(yù)測個(gè)體將來工作表現(xiàn)的程度；而針對特定構(gòu)想的測驗(yàn)則是為了更準(zhǔn)確地把握個(gè)體在特定構(gòu)想上體現(xiàn)的程度。
　　當(dāng)然，是不是所有維度都適用于情境判斷測驗(yàn)這種低保真度的測量形式?如果不是，究竟哪些維度更適合?這還需要更多的研究來進(jìn)一步探討。
　　5.2　結(jié)合測量構(gòu)想使用相應(yīng)的指導(dǎo)語
　　已有大量的研究結(jié)果表明(McDaniel et al.，2007；McDaniel＆Nguyen，2001)，不同的指導(dǎo)語類型不僅會(huì)影響到情境判斷測驗(yàn)的效標(biāo)關(guān)聯(lián)效度，還會(huì)影響到其測量的構(gòu)想。這就提示我們，在針對特定的構(gòu)想進(jìn)行測量時(shí)，應(yīng)該選擇適合的指導(dǎo)語。
　　行為型指導(dǎo)語情境判斷測驗(yàn)測量的是個(gè)體的慣常行為，即個(gè)體習(xí)慣的行為方式；知識(shí)型指導(dǎo)語情境判斷測驗(yàn)測量的是個(gè)體的最優(yōu)行為，即個(gè)體是否知道怎么去做。研究結(jié)果顯示，行為型指導(dǎo)語的情境判斷測驗(yàn)與人格測驗(yàn)的關(guān)聯(lián)更高，對認(rèn)知能力測驗(yàn)的遞增效度更大；知識(shí)型指導(dǎo)語的情境判斷測驗(yàn)與認(rèn)知能力測驗(yàn)的關(guān)聯(lián)更高，對人格測驗(yàn)的遞增效度更大。因此，為了更好的發(fā)揮情境判斷測驗(yàn)的作用，使題目中的情境能夠最大限度地激發(fā)出目標(biāo)維度，當(dāng)測量的構(gòu)想屬于人格層面時(shí)(如，正直、責(zé)任心)，建議使用行為型的指導(dǎo)語：而當(dāng)測量的構(gòu)想屬于認(rèn)知層面時(shí)(如，工作知識(shí)、工作技能)，建議使用知識(shí)型的指導(dǎo)語。
　　5.3　應(yīng)用作假和培訓(xùn)對效度影響的研究結(jié)果指
　　導(dǎo)實(shí)踐
　　情境判斷測驗(yàn)和里克特式的自評問卷相比，已經(jīng)在一定程度上能夠降低作假的影響，但是在選拔的情境下，仍然有作假存在。有研究表明，知識(shí)型指導(dǎo)語情境判斷測驗(yàn)較行為型指導(dǎo)語情境判斷測驗(yàn)?zāi)軌蜻M(jìn)一步降低作假(Nhung，Biderman，＆Michael，2005)，詳述(elaboration)也在一定程度上降低作假，即在某種程度上，加大測驗(yàn)題目的認(rèn)知負(fù)荷，有利于降低作答者作假(Lievens＆Peeters，2008)。但是，這方面的研究還遠(yuǎn)遠(yuǎn)不夠，一方面體現(xiàn)在已有關(guān)于作假對情境判斷測驗(yàn)效度影響的研究大多是實(shí)驗(yàn)室情境下通過指導(dǎo)語控制被試作假，而不是真實(shí)的選拔情境；另一方面，對于作假及其影響因素的本質(zhì)探討不夠深入；還有就是缺少檢驗(yàn)作假、降低作假的有效、易行手段。
　　此外，隨著情境判斷測驗(yàn)應(yīng)用范圍的不斷擴(kuò)大，一個(gè)新的問題應(yīng)運(yùn)而生，即情境判斷測驗(yàn)中所涉及關(guān)鍵事件應(yīng)對方式的培訓(xùn)對測驗(yàn)效度的影響：培訓(xùn)是否會(huì)影響作答者的成績?會(huì)產(chǎn)生怎樣的影響?是簡單地提高了分?jǐn)?shù)還是真正提高了相應(yīng)的能力?對測驗(yàn)的效度是積極作用還是消極作用?如果假設(shè)培訓(xùn)的結(jié)果可以提升測驗(yàn)效度，我們應(yīng)該怎樣更好地開發(fā)、組織、實(shí)施培訓(xùn)?反之，我們有沒有什么辦法降低其對測驗(yàn)效度的不利影響?而這些方麗的研究，不僅在國內(nèi)，在整個(gè)國際上，都處于起步階段�？傊�，為了更好地將情境判斷測驗(yàn)應(yīng)用于實(shí)踐領(lǐng)域，尤其是人事選拔領(lǐng)域，關(guān)于作假和培訓(xùn)對測驗(yàn)效度影響的研究勢在必行。

相關(guān)熱詞搜索：述評 情境 測驗(yàn) 情境判斷測驗(yàn)的效度研究述評 情境判斷測驗(yàn) 情境判斷測驗(yàn)法的本質(zhì)