微軟公司在1992年4月推出的微軟認證專家體系MCP正是順應了這一需求。直至今日,為了跟上新技術的發(fā)展和不斷變化的技能要求,微軟公司仍面臨著持續(xù)的挑戰(zhàn)。要迎接這個挑戰(zhàn),微軟公司只能不斷擴大和更新MCP認證系統(tǒng)和考試。使其成為更有效的評估工具!
微軟認證專家MCP系統(tǒng)目前包括幾十種語言的近40門考試。為了滿足社會對認證的強烈需求,微軟公司打算在近年內(nèi)推出更多的考試。為了方便應考者,微軟認證考試由美國思而文公司(Sylvan)和虛擬大學企業(yè)集團負責實施。
一、技能第一
如何創(chuàng)建和確定微軟認證考試的內(nèi)容,這不是一個簡單的過程,數(shù)以百計的專家們參與了每一門考試的開發(fā)。
在某一項軟件產(chǎn)品和技術開發(fā)的早期,開發(fā)相應考試的過程就開始了。負責認證試題開發(fā)的小組向公司內(nèi)外的IT專家們廣泛地分發(fā)工作任務分析調(diào)查表(JTA,a job task analysis survey),這些專家們在使用特定的技術方面有豐富的經(jīng)驗,并且能夠確定有效掌握此項技術所要求的技能。調(diào)查的結(jié)果記述和確認了個體需要完成的特定任務,相關任務的名單就成為與某項特別認證途徑相聯(lián)系的考試的基礎。
在軟件產(chǎn)品開始為進入市場而進行Beta測試的同時,認證試題開發(fā)負責經(jīng)理也要不斷征詢產(chǎn)品生產(chǎn)組、使用說明設計人員以及制定微軟正式課程(MOC,Microsoft official Curriculum)的培訓部門的專家們的建議。這些人共同工作的結(jié)果是制定出特定的“目標域”這是一份特定的認證考試將要涵蓋的50-150種技能的目錄。
正式的考試和課程目標也許并不完全一致,這一點無關緊要?荚囁鶞y試的是完成一項特別工作所必須的相關技能。盡管課程培訓能夠有助于應考者更快地掌握這些技能,微軟公司仍然不希望應考者通過培訓學到的只是通過考試的有效經(jīng)驗。認證開發(fā)組極力建議應考者必須通過使用產(chǎn)品,獲得從事特定工作所需要的技能。
通過技術檢查和編輯復審之后,考試目標作為認證規(guī)劃調(diào)查的一部分再次廣泛地分發(fā)給相關的IT專家們,這些專家所從事的工作與特定考試所測試的目標是一致的。這項規(guī)劃調(diào)查的結(jié)果,決定了每一個考試目標的相對重要性,并且保證更為重要的考試目標一定包括在正式考試之內(nèi)。
二、編寫考題 在上述步驟進行當中,認證試題開發(fā)負責經(jīng)理組織了一個3-5人的試題寫作組。這些人是公司外請的合同雇員。他們在本專業(yè)領域都具有很高的技術水平,從事諸如咨詢專家、教育家等特殊工作,還有一些是對開發(fā)認證考試表現(xiàn)出濃厚興趣的其他領域的IT專家。
認證試題開發(fā)小組一開始要確認,這些試題寫作者是否熟悉心理測試的過程和考試的要求及步驟。然后準備著手進行組成某一門考試的上百條考題的寫作。微軟試題的寫作以 Bloom 分類學為指導,這是一項產(chǎn)業(yè)界普遍接受的研究成果。它能為從事某項工作定位出相應的知識水平,實際上包括六種不斷增長的復雜的知識能力,粗略概括如下: #知識表達能力:識別,定義,定位,回憶,陳述; #理解能力:轉(zhuǎn)述,辨別區(qū)分,舉例; #應用能力:運用,計算,解決問題,規(guī)劃; #分析能力:分析,陳述結(jié)論,檢查邏輯錯誤,比較和對照; #綜合能力:建立表格和示意圖解,設計,建立公式,集合,歸納,預測; #評估能力:鑒定,評估,應用標準,決策,指出謬誤。
考題寫作者要避免使用單一的知識水準條目,努力設置新的條目,以測試應考者是否具有更高的知識理解能力。完成試題的第一稿大約需要6個星期。為了保證這些題目表達準確清晰并符合考試目標的要求,項目經(jīng)理和編輯組要從頭至尾將這些題目檢查一遍。這個環(huán)節(jié)凝聚了全體編輯人員的合作。經(jīng)過這個環(huán)節(jié),題目得到了提煉,更加符合微軟的認證標準。
當所有的題目都經(jīng)過了進一步提煉之后,它們再被送到另外一些人手中進行技術審查。這些人在技術水準和工作能力上都是專家。項目經(jīng)理邀請他們與考試開發(fā)小組一起,面對面地舉行一個初步技術審查的會議。在這個可能持續(xù)一周的會議上,與會者們剖析每一道試題,檢查他們的技術準確性、相關性和簡潔性。他們還要確保那些不正確的選項看似合理但毫無疑問是錯誤的。經(jīng)過初步技術審查,試題得到了進一步提煉,在清晰度、心理測試有效性、適應地區(qū)化需要以及其他關鍵方面都更凝練,保證了微軟公司考試的可靠性、可信度和高質(zhì)量。
三、檢測試題
經(jīng)過上述過程確定下來的試題匯編成了Beta考試,在各考點進行測試,周期大約為一星期。參加Beta考試的應考者不會馬上得到考試分數(shù)。通過Beta考試收集的數(shù)據(jù),認證試題開發(fā)小組可以對試題完成程度做出評估?荚嚨哪康模踔量梢哉f是每一個考題的目的,就是要把那些在相關工作任務中具有勝任能力的人與沒有能力的人區(qū)別開來。據(jù)此,認證試題開發(fā)小組依據(jù)考題的難易程度來確定該題是否應該保留在正式考試中。那些大多數(shù)人(35%以上)都會做錯的難題,或是大多數(shù)人(85%以上)都做對的簡單題通常會被淘汰。
此外,認證試題開發(fā)小組還要對每一項試題進行分析,確定它在多大程度上預示應考者在整個考試中的能力表現(xiàn),比如,分析結(jié)果應該表明有這樣一些試題具有正向意義,回答正確的人在整個考試中都表現(xiàn)不錯,而回答錯的人則在整個考試中都表現(xiàn)不佳。有時候一道試題看上去不錯,既不太難也不太容易,但卻有負向意義,一般對此類題回答正確的人在整個考試中的能力表現(xiàn)不好。這種試題也會被淘汰。
試題篩選完成后,認證試題開發(fā)小組還要利用Beta考試得來的數(shù)據(jù)確定考試的通過分數(shù)線。由于每項技術需要的技能不同,每一門考試的通過分數(shù)線也不相同,但是平均通過分數(shù)線為700分(滿分為1000分)。分數(shù)線確定后,小組會根據(jù)與正式考試一樣的標準,開始給Beta考試應考者打分。
到此為止,考試創(chuàng)建完成?梢詼蕚湔阶党觥T谒级墓竞吞摂M大學企業(yè)集團出版英語試題的同時,針對不同地區(qū)使用其他語言的試題版本也在加緊制作。一般來說,地方化版本比英語版本要晚推出兩三個月。
四、創(chuàng)新考試技術
為了更好地評價考生的相關技能,有效防止試題盜版,微軟公司的專家認證考試引入了一些創(chuàng)新測評技術。這些技術包括使用軟件模擬系統(tǒng),推廣自適應性考試,以及在現(xiàn)行考試中增加新試題。
。\浖M系統(tǒng)
在傳統(tǒng)考試中,考題包括說明,提問和反映應考者解決問題方法的選擇答案。這類試題比較容易制定,能有效可靠地測出應考者的能力。為了提高試題的有效性,認證試題開發(fā)小組近在一些考試中,引入了一種軟件模擬系統(tǒng)。這種模擬系統(tǒng)實際上是相關產(chǎn)品的全真版本,它用來檢測應考者是否能夠?qū)嶋H完成所要求的任務,而不僅僅是描述完成任務的過程。模擬系統(tǒng)可以和傳統(tǒng)考試混合使用,應考者既要完成一項任務,又要回答與該任務結(jié)果相關的特殊問題。
與傳統(tǒng)試題相比,軟件模擬系統(tǒng)能提供更友好的界面,更容易被理解和回答,也更不容易被盜版(當然,只有心理測試和統(tǒng)計數(shù)據(jù)才能說明一道題的真實有效性,友好的界面只是有助于應考者理解考試的規(guī)則)。這些優(yōu)越性在一定程度上彌補了開發(fā)這一系統(tǒng)的高成本,也使整個MCP認證系統(tǒng)更加完善。
。W赃m應性考試
在傳統(tǒng)的考試中,題庫中的各組試題以不同的方式固定地排列在一起,每一組中都有不同難度的試題。認證試題開發(fā)小組平衡各組試題,使它們具有相同的難度。那些第考試沒有通過的應考者,再次考試得到的是一組不同的試題。這種考試的優(yōu)點是容易設計,但是也有兩個重要的不足之處: 1 、應考者不管實際能力如何,都必須做大量考題,考試需要較多的時間。 2、一些開發(fā)代價較高的、難度較大的試題,經(jīng)常一覽無余地展示給許多人,增加了試題外泄的可能性和盜版的危險。
為了克服這兩個不足,微軟公司正在推行自適應性考試技術,即通過與應考者實際水平相適應的考題難度,測試出應考者的能力。這樣做的基本假設是,能正確回答較難試題的應考者也能正確回答出容易的試題(統(tǒng)計數(shù)據(jù)支持這一假設)。
在自適應性考試中,開始給出一道中等難度試題。如果應考者回答正確,下一道題就更難;如果應考者回答錯誤,下一道題就比較容易。要通過這種考試,應考者必須在規(guī)定的時間內(nèi)正確回答一定數(shù)量的難題。在考試過程中只有當應考者做得非常好的時候,考題才會越出越難。做得不好的應考者在規(guī)定的時間內(nèi)根本碰不到耶些難題。
固定形式的考試不管應考者能力如何,都會將所有的試題排列出來,總共約50-60道題。相比之下,自適應性考試只需通過15-25道題,就能確定應考者的技術水平。這樣極大地減少了考試時間,以及考題外泄和盜版的危險。
在固定形式考試中出現(xiàn)的考題同樣會在自適應性考試中出現(xiàn),因此應考者不必學習不同的東西。對于應考者來說,只有兩點值得注意: 1、自適應性考試時間較短,因為考題較少。 2、考生不能跳過一道題不做,或者做完后面的考題再返回前一道考題,因為自適應性考試的格式?jīng)Q定了要作的考題是以應考者對前一道題的回答為基礎的。
。T黾有略囶}
為了使考試跟上產(chǎn)品技術的發(fā)展和產(chǎn)品用途的變化,微軟公司不斷地為現(xiàn)行考試補充新的試題。新試題也要經(jīng)歷與初試題一樣的發(fā)展過程。但是新試題沒有Beta測試階段,相反,它們只是現(xiàn)行考試的不記分的補充,認證試題開發(fā)小組會搜集新試題的相關統(tǒng)計數(shù)據(jù)。在沒有足夠的數(shù)據(jù)確認新試題的有效性和可靠性之前,不論應考者的答案對錯與否,都不會影響他的后得分。
一旦數(shù)據(jù)搜集充分,過時的試題就會被淘汰,新試題將取而代之。
五、后的檢測
設計一套有效的可靠的方法測試你使用微軟技術的能力,對認證試題開發(fā)小組來說也是一個考驗。認證試題開發(fā)小組做這件事需要你的幫助和你的反饋信息。如果你是希望撰寫或?qū)彶樾略囶}的技術奉獻者,請訪問認證網(wǎng)站