微軟公司在1992年4月推出的微軟認(rèn)證專(zhuān)家體系MCP正是順應(yīng)了這一需求。直至今日,為了跟上新技術(shù)的發(fā)展和不斷變化的技能要求,微軟公司仍面臨著持續(xù)的挑戰(zhàn)。要迎接這個(gè)挑戰(zhàn),微軟公司只能不斷擴(kuò)大和更新MCP認(rèn)證系統(tǒng)和考試。使其成為更有效的評(píng)估工具。
微軟認(rèn)證專(zhuān)家MCP系統(tǒng)目前包括幾十種語(yǔ)言的近40門(mén)考試。為了滿(mǎn)足社會(huì)對(duì)認(rèn)證的強(qiáng)烈需求,微軟公司打算在近年內(nèi)推出更多的考試。為了方便應(yīng)考者,微軟認(rèn)證考試由美國(guó)思而文公司(Sylvan)和虛擬大學(xué)企業(yè)集團(tuán)負(fù)責(zé)實(shí)施。
一、技能第一
如何創(chuàng)建和確定微軟認(rèn)證考試的內(nèi)容,這不是一個(gè)簡(jiǎn)單的過(guò)程,數(shù)以百計(jì)的專(zhuān)家們參與了每一門(mén)考試的開(kāi)發(fā)。
在某一項(xiàng)軟件產(chǎn)品和技術(shù)開(kāi)發(fā)的早期,開(kāi)發(fā)相應(yīng)考試的過(guò)程就開(kāi)始了。負(fù)責(zé)認(rèn)證試題開(kāi)發(fā)的小組向公司內(nèi)外的IT專(zhuān)家們廣泛地分發(fā)工作任務(wù)分析調(diào)查表(JTA,a job task analysis survey),這些專(zhuān)家們?cè)谑褂锰囟ǖ募夹g(shù)方面有豐富的經(jīng)驗(yàn),并且能夠確定有效掌握此項(xiàng)技術(shù)所要求的技能。調(diào)查的結(jié)果記述和確認(rèn)了個(gè)體需要完成的特定任務(wù),相關(guān)任務(wù)的名單就成為與某項(xiàng)特別認(rèn)證途徑相聯(lián)系的考試的基礎(chǔ)。
在軟件產(chǎn)品開(kāi)始為進(jìn)入市場(chǎng)而進(jìn)行Beta測(cè)試的同時(shí),認(rèn)證試題開(kāi)發(fā)負(fù)責(zé)經(jīng)理也要不斷征詢(xún)產(chǎn)品生產(chǎn)組、使用說(shuō)明設(shè)計(jì)人員以及制定微軟正式課程(MOC,Microsoft official Curriculum)的培訓(xùn)部門(mén)的專(zhuān)家們的建議。這些人共同工作的結(jié)果是制定出特定的“目標(biāo)域”這是一份特定的認(rèn)證考試將要涵蓋的50-150種技能的目錄。
正式的考試和課程目標(biāo)也許并不完全一致,這一點(diǎn)無(wú)關(guān)緊要?荚囁鶞y(cè)試的是完成一項(xiàng)特別工作所必須的相關(guān)技能。盡管課程培訓(xùn)能夠有助于應(yīng)考者更快地掌握這些技能,微軟公司仍然不希望應(yīng)考者通過(guò)培訓(xùn)學(xué)到的只是通過(guò)考試的有效經(jīng)驗(yàn)。認(rèn)證開(kāi)發(fā)組極力建議應(yīng)考者必須通過(guò)使用產(chǎn)品,獲得從事特定工作所需要的技能。
通過(guò)技術(shù)檢查和編輯復(fù)審之后,考試目標(biāo)作為認(rèn)證規(guī)劃調(diào)查的一部分再次廣泛地分發(fā)給相關(guān)的IT專(zhuān)家們,這些專(zhuān)家所從事的工作與特定考試所測(cè)試的目標(biāo)是一致的。這項(xiàng)規(guī)劃調(diào)查的結(jié)果,決定了每一個(gè)考試目標(biāo)的相對(duì)重要性,并且保證更為重要的考試目標(biāo)一定包括在正式考試之內(nèi)。
二、編寫(xiě)考題 在上述步驟進(jìn)行當(dāng)中,認(rèn)證試題開(kāi)發(fā)負(fù)責(zé)經(jīng)理組織了一個(gè)3-5人的試題寫(xiě)作組。這些人是公司外請(qǐng)的合同雇員。他們?cè)诒緦?zhuān)業(yè)領(lǐng)域都具有很高的技術(shù)水平,從事諸如咨詢(xún)專(zhuān)家、教育家等特殊工作,還有一些是對(duì)開(kāi)發(fā)認(rèn)證考試表現(xiàn)出濃厚興趣的其他領(lǐng)域的IT專(zhuān)家。
認(rèn)證試題開(kāi)發(fā)小組一開(kāi)始要確認(rèn),這些試題寫(xiě)作者是否熟悉心理測(cè)試的過(guò)程和考試的要求及步驟。然后準(zhǔn)備著手進(jìn)行組成某一門(mén)考試的上百條考題的寫(xiě)作。微軟試題的寫(xiě)作以 Bloom 分類(lèi)學(xué)為指導(dǎo),這是一項(xiàng)產(chǎn)業(yè)界普遍接受的研究成果。它能為從事某項(xiàng)工作定位出相應(yīng)的知識(shí)水平,實(shí)際上包括六種不斷增長(zhǎng)的復(fù)雜的知識(shí)能力,粗略概括如下: #知識(shí)表達(dá)能力:識(shí)別,定義,定位,回憶,陳述; #理解能力:轉(zhuǎn)述,辨別區(qū)分,舉例; #應(yīng)用能力:運(yùn)用,計(jì)算,解決問(wèn)題,規(guī)劃; #分析能力:分析,陳述結(jié)論,檢查邏輯錯(cuò)誤,比較和對(duì)照; #綜合能力:建立表格和示意圖解,設(shè)計(jì),建立公式,集合,歸納,預(yù)測(cè); #評(píng)估能力:鑒定,評(píng)估,應(yīng)用標(biāo)準(zhǔn),決策,指出謬誤。
考題寫(xiě)作者要避免使用單一的知識(shí)水準(zhǔn)條目,努力設(shè)置新的條目,以測(cè)試應(yīng)考者是否具有更高的知識(shí)理解能力。完成試題的第一稿大約需要6個(gè)星期。為了保證這些題目表達(dá)準(zhǔn)確清晰并符合考試目標(biāo)的要求,項(xiàng)目經(jīng)理和編輯組要從頭至尾將這些題目檢查一遍。這個(gè)環(huán)節(jié)凝聚了全體編輯人員的合作。經(jīng)過(guò)這個(gè)環(huán)節(jié),題目得到了提煉,更加符合微軟的認(rèn)證標(biāo)準(zhǔn)。
當(dāng)所有的題目都經(jīng)過(guò)了進(jìn)一步提煉之后,它們?cè)俦凰偷搅硗庖恍┤耸种羞M(jìn)行技術(shù)審查。這些人在技術(shù)水準(zhǔn)和工作能力上都是專(zhuān)家。項(xiàng)目經(jīng)理邀請(qǐng)他們與考試開(kāi)發(fā)小組一起,面對(duì)面地舉行一個(gè)初步技術(shù)審查的會(huì)議。在這個(gè)可能持續(xù)一周的會(huì)議上,與會(huì)者們剖析每一道試題,檢查他們的技術(shù)準(zhǔn)確性、相關(guān)性和簡(jiǎn)潔性。他們還要確保那些不正確的選項(xiàng)看似合理但毫無(wú)疑問(wèn)是錯(cuò)誤的。經(jīng)過(guò)初步技術(shù)審查,試題得到了進(jìn)一步提煉,在清晰度、心理測(cè)試有效性、適應(yīng)地區(qū)化需要以及其他關(guān)鍵方面都更凝練,保證了微軟公司考試的可靠性、可信度和高質(zhì)量。
三、檢測(cè)試題
經(jīng)過(guò)上述過(guò)程確定下來(lái)的試題匯編成了Beta考試,在各考點(diǎn)進(jìn)行測(cè)試,周期大約為一星期。參加Beta考試的應(yīng)考者不會(huì)馬上得到考試分?jǐn)?shù)。通過(guò)Beta考試收集的數(shù)據(jù),認(rèn)證試題開(kāi)發(fā)小組可以對(duì)試題完成程度做出評(píng)估?荚嚨哪康模踔量梢哉f(shuō)是每一個(gè)考題的目的,就是要把那些在相關(guān)工作任務(wù)中具有勝任能力的人與沒(méi)有能力的人區(qū)別開(kāi)來(lái)。據(jù)此,認(rèn)證試題開(kāi)發(fā)小組依據(jù)考題的難易程度來(lái)確定該題是否應(yīng)該保留在正式考試中。那些大多數(shù)人(35%以上)都會(huì)做錯(cuò)的難題,或是大多數(shù)人(85%以上)都做對(duì)的簡(jiǎn)單題通常會(huì)被淘汰。
此外,認(rèn)證試題開(kāi)發(fā)小組還要對(duì)每一項(xiàng)試題進(jìn)行分析,確定它在多大程度上預(yù)示應(yīng)考者在整個(gè)考試中的能力表現(xiàn),比如,分析結(jié)果應(yīng)該表明有這樣一些試題具有正向意義,回答正確的人在整個(gè)考試中都表現(xiàn)不錯(cuò),而回答錯(cuò)的人則在整個(gè)考試中都表現(xiàn)不佳。有時(shí)候一道試題看上去不錯(cuò),既不太難也不太容易,但卻有負(fù)向意義,一般對(duì)此類(lèi)題回答正確的人在整個(gè)考試中的能力表現(xiàn)不好。這種試題也會(huì)被淘汰。
試題篩選完成后,認(rèn)證試題開(kāi)發(fā)小組還要利用Beta考試得來(lái)的數(shù)據(jù)確定考試的通過(guò)分?jǐn)?shù)線。由于每項(xiàng)技術(shù)需要的技能不同,每一門(mén)考試的通過(guò)分?jǐn)?shù)線也不相同,但是平均通過(guò)分?jǐn)?shù)線為700分(滿(mǎn)分為1000分)。分?jǐn)?shù)線確定后,小組會(huì)根據(jù)與正式考試一樣的標(biāo)準(zhǔn),開(kāi)始給Beta考試應(yīng)考者打分。
到此為止,考試創(chuàng)建完成?梢詼(zhǔn)備正式椎出。在思而文公司和虛擬大學(xué)企業(yè)集團(tuán)出版英語(yǔ)試題的同時(shí),針對(duì)不同地區(qū)使用其他語(yǔ)言的試題版本也在加緊制作。一般來(lái)說(shuō),地方化版本比英語(yǔ)版本要晚推出兩三個(gè)月。
四、創(chuàng)新考試技術(shù)
為了更好地評(píng)價(jià)考生的相關(guān)技能,有效防止試題盜版,微軟公司的專(zhuān)家認(rèn)證考試引入了一些創(chuàng)新測(cè)評(píng)技術(shù)。這些技術(shù)包括使用軟件模擬系統(tǒng),推廣自適應(yīng)性考試,以及在現(xiàn)行考試中增加新試題。
#軟件模擬系統(tǒng)
在傳統(tǒng)考試中,考題包括說(shuō)明,提問(wèn)和反映應(yīng)考者解決問(wèn)題方法的選擇答案。這類(lèi)試題比較容易制定,能有效可靠地測(cè)出應(yīng)考者的能力。為了提高試題的有效性,認(rèn)證試題開(kāi)發(fā)小組近在一些考試中,引入了一種軟件模擬系統(tǒng)。這種模擬系統(tǒng)實(shí)際上是相關(guān)產(chǎn)品的全真版本,它用來(lái)檢測(cè)應(yīng)考者是否能夠?qū)嶋H完成所要求的任務(wù),而不僅僅是描述完成任務(wù)的過(guò)程。模擬系統(tǒng)可以和傳統(tǒng)考試混合使用,應(yīng)考者既要完成一項(xiàng)任務(wù),又要回答與該任務(wù)結(jié)果相關(guān)的特殊問(wèn)題。
與傳統(tǒng)試題相比,軟件模擬系統(tǒng)能提供更友好的界面,更容易被理解和回答,也更不容易被盜版(當(dāng)然,只有心理測(cè)試和統(tǒng)計(jì)數(shù)據(jù)才能說(shuō)明一道題的真實(shí)有效性,友好的界面只是有助于應(yīng)考者理解考試的規(guī)則)。這些優(yōu)越性在一定程度上彌補(bǔ)了開(kāi)發(fā)這一系統(tǒng)的高成本,也使整個(gè)MCP認(rèn)證系統(tǒng)更加完善。
。W赃m應(yīng)性考試
在傳統(tǒng)的考試中,題庫(kù)中的各組試題以不同的方式固定地排列在一起,每一組中都有不同難度的試題。認(rèn)證試題開(kāi)發(fā)小組平衡各組試題,使它們具有相同的難度。那些第考試沒(méi)有通過(guò)的應(yīng)考者,再次考試得到的是一組不同的試題。這種考試的優(yōu)點(diǎn)是容易設(shè)計(jì),但是也有兩個(gè)重要的不足之處: 1 、應(yīng)考者不管實(shí)際能力如何,都必須做大量考題,考試需要較多的時(shí)間。 2、一些開(kāi)發(fā)代價(jià)較高的、難度較大的試題,經(jīng)常一覽無(wú)余地展示給許多人,增加了試題外泄的可能性和盜版的危險(xiǎn)。
為了克服這兩個(gè)不足,微軟公司正在推行自適應(yīng)性考試技術(shù),即通過(guò)與應(yīng)考者實(shí)際水平相適應(yīng)的考題難度,測(cè)試出應(yīng)考者的能力。這樣做的基本假設(shè)是,能正確回答較難試題的應(yīng)考者也能正確回答出容易的試題(統(tǒng)計(jì)數(shù)據(jù)支持這一假設(shè))。
在自適應(yīng)性考試中,開(kāi)始給出一道中等難度試題。如果應(yīng)考者回答正確,下一道題就更難;如果應(yīng)考者回答錯(cuò)誤,下一道題就比較容易。要通過(guò)這種考試,應(yīng)考者必須在規(guī)定的時(shí)間內(nèi)正確回答一定數(shù)量的難題。在考試過(guò)程中只有當(dāng)應(yīng)考者做得非常好的時(shí)候,考題才會(huì)越出越難。做得不好的應(yīng)考者在規(guī)定的時(shí)間內(nèi)根本碰不到耶些難題。
固定形式的考試不管應(yīng)考者能力如何,都會(huì)將所有的試題排列出來(lái),總共約50-60道題。相比之下,自適應(yīng)性考試只需通過(guò)15-25道題,就能確定應(yīng)考者的技術(shù)水平。這樣極大地減少了考試時(shí)間,以及考題外泄和盜版的危險(xiǎn)。
在固定形式考試中出現(xiàn)的考題同樣會(huì)在自適應(yīng)性考試中出現(xiàn),因此應(yīng)考者不必學(xué)習(xí)不同的東西。對(duì)于應(yīng)考者來(lái)說(shuō),只有兩點(diǎn)值得注意: 1、自適應(yīng)性考試時(shí)間較短,因?yàn)榭碱}較少。 2、考生不能跳過(guò)一道題不做,或者做完后面的考題再返回前一道考題,因?yàn)樽赃m應(yīng)性考試的格式?jīng)Q定了要作的考題是以應(yīng)考者對(duì)前一道題的回答為基礎(chǔ)的。
。T黾有略囶}
為了使考試跟上產(chǎn)品技術(shù)的發(fā)展和產(chǎn)品用途的變化,微軟公司不斷地為現(xiàn)行考試補(bǔ)充新的試題。新試題也要經(jīng)歷與初試題一樣的發(fā)展過(guò)程。但是新試題沒(méi)有Beta測(cè)試階段,相反,它們只是現(xiàn)行考試的不記分的補(bǔ)充,認(rèn)證試題開(kāi)發(fā)小組會(huì)搜集新試題的相關(guān)統(tǒng)計(jì)數(shù)據(jù)。在沒(méi)有足夠的數(shù)據(jù)確認(rèn)新試題的有效性和可靠性之前,不論應(yīng)考者的答案對(duì)錯(cuò)與否,都不會(huì)影響他的后得分。
一旦數(shù)據(jù)搜集充分,過(guò)時(shí)的試題就會(huì)被淘汰,新試題將取而代之。
五、后的檢測(cè)
設(shè)計(jì)一套有效的可靠的方法測(cè)試你使用微軟技術(shù)的能力,對(duì)認(rèn)證試題開(kāi)發(fā)小組來(lái)說(shuō)也是一個(gè)考驗(yàn)。認(rèn)證試題開(kāi)發(fā)小組做這件事需要你的幫助和你的反饋信息。如果你是希望撰寫(xiě)或?qū)彶樾略囶}的技術(shù)奉獻(xiàn)者,請(qǐng)?jiān)L問(wèn)認(rèn)證網(wǎng)站