Writing effective questions and tests
- 1. WWrriittiinngg EEffffeeccttiivvee QQuueessttiioonnss aanndd TTeessttss PPeetteerr FFeennrriicchh IInnssttrruuccttiioonnaall DDeevveellooppmmeenntt CCoonnssuullttaanntt LLeeaarrnniinngg aanndd TTeeaacchhiinngg CCeennttrree ((bbcciitt..ccaa//llttcc)) BBrriittiisshh CCoolluummbbiiaa IInnssttiittuuttee ooff TTeecchhnnoollooggyy TTeell:: 660044--443322--88881177 PPeetteerr__FFeennrriicchh@@bbcciitt..ccaa
- 2. Bridge-in HHaavvee yyoouu eevveerr :: -- bbeeeenn ffrruussttrraatteedd oorr aannggrryy aafftteerr aann eexxaamm?? -- wwoonnddeerreedd wwhhaatt aann eexxaamm wwiillll ccoovveerr?? -- bbeeeenn ccoonnffuusseedd aabboouutt wwhhaatt aa qquueessttiioonn wwaass aasskkiinngg?? -- tthhoouugghhtt aa tteesstt qquueessttiioonn wwaass ttoooo ppiicckkyy??
- 3. Outcomes YYoouu sshhoouulldd bbee aabbllee ttoo:: -- lliisstt iiddeeaass tthhaatt hheellpp ttoo tteesstt eeffffeeccttiivveellyy -- ssttaattee cchhaarraacctteerriissttiiccss ooff wweellll--wwrriitttteenn qquueessttiioonnss -- ddeessccrriibbee hhooww ttoo rreedduuccee lleeaarrnneerr ffrruussttrraattiioonn dduurriinngg tteessttiinngg -- wwrriittee eeffffeeccttiivvee aalltteerrnnaattiivvee--aannsswweerr,, mmuullttiippllee--cchhooiiccee,, sshhoorrtt--aannsswweerr,, mmaattcchhiinngg,, aanndd lloonngg--aannsswweerr qquueessttiioonnss
- 4. Testing Effectively Why ask questions? TTeesstt uunnddeerrssttaannddiinngg RReeiinnffoorrccee lleeaarrnniinngg AAppppllyy lleeaarrnniinngg ttoo pprroobblleemmss MMoottiivvaattee CCeerrttiiffyy PPrroovviiddee ffeeeeddbbaacckk KKeeeepp ssttuuddeennttss aaccttiivveellyy iinnvvoollvveedd!!
- 5. Testing Effectively You can test effectively if you: Only bbaassee qquueessttiioonnss oonn tthhee lleeaarrnniinngg oouuttccoommeess.. OOnnllyy tteesstt oonnee lleeaarrnniinngg oouuttccoommee ppeerr qquueessttiioonn,, iinn ggeenneerraall.. AAvvooiidd tteessttiinngg ccoonntteenntt tthhaatt iiss ddiirreeccttllyy bbaasseedd oonn tthhee mmaatteerriiaall.. WWhhyy?? EEnnssuurree eeaarrlliieerr qquueessttiioonnss ddoo nnoott pprroovviiddee aannsswweerrss ffoorr llaatteerr qquueessttiioonnss.. GGrraadduuaallllyy iinnccrreeaassee tthhee lleevveell ooff ddiiffffiiccuullttyy ooff tthhee qquueessttiioonnss.. WWhhyy??
- 6. Characteristics of well-written questions For well-written questions: UUssee sshhoorrtt cclleeaarr ssttaatteemmeennttss.. UUssee ffaammiilliiaarr aanndd aapppprroopprriiaattee llaanngguuaaggee.. OOnnllyy uussee aabbbbrreevviiaattiioonnss tthhaatt eevveerryy lleeaarrnneerr kknnoowwss.. AAvvooiidd aaccrroonnyymmss.. HHaavvee oonnee ffaacctt oorr ccoonncceepptt ddeetteerrmmiinnee tthhee aannsswweerr,, ffoorr eeaacchh lloowweerr--lleevveell qquueessttiioonn..
- 7. Characteristics of well-written questions Well-written questions continued: Do NOT provide cclluueess ttoo aannsswweerrss,, ssuucchh aass bbyy ggrraammmmaarr.. DDoo NNOOTT lleett tthhee sseeqquueennccee ooff cchhooiicceess iinnfflluueennccee ((ee..gg..,, ssttuuddeennttss gguueessssiinngg wwiitthh eeiitthheerr ““bb”” oorr ““cc””,, tthhee mmoosstt ccoommmmoonn aannsswweerrss)).. HHooww ddoo yyoouu ddoo tthhiiss?? UUssee ssiimmppllee ppoossiittiivvee ssttaatteemmeennttss.. AAvvooiidd nneeggaattiivveess aanndd eessppeecciiaallllyy ddoouubbllee nneeggaattiivveess..
- 8. Characteristics of well-written questions Things to Note Based on tthhee pprreevviioouuss ppaaggeess,, lliisstt ttwwoo oorr mmoorree iiddeeaass tthhaatt yyoouu sshhoouulldd ffooccuuss oonn ffoorr wwrriittiinngg qquueessttiioonnss wweellll.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 9. Reducing Student Frustration Causes of Frustration Think bbaacckk ttoo wwhheenn yyoouu wweerree aa ssttuuddeenntt.. WWeerree yyoouu eevveerr ffrruussttrraatteedd wwiitthh ssoommeetthhiinngg aabboouutt aa tteesstt?? WWhhaatt ccaauusseedd yyoouu ttoo bbee ffrruussttrraatteedd??
- 10. Reducing Student Frustration Reduce Student Frustration TTeesstt iimmppoorrttaanntt iiddeeaass.. HHooww?? CCrreeaattee ffaaiirr tteessttss.. HHooww?? IInncclluuddee mmeeddiiaa.. WWhhyy?? AArrrraannggee qquueessttiioonnss ffrroomm eeaassyy ttoo hhaarrdd,, ttoo iinnccrreeaassee ccoonnffiiddeennccee.. AAsskk ssiimmiillaarr qquueessttiioonn ttyyppeess ttooggeetthheerr.. WWhhyy??
- 11. Reducing Student Frustration Reduce Student Frustration KKeeeepp qquueessttiioonnss rreeaalliissttiicc.. AAssssuummiinngg iitt wwiillll nnoott mmaakkee tthhee qquueessttiioonn ttrriivviiaall,, sshhoouulldd yyoouu pprroovviiddee ffoorrmmuullaass?? WWhhyy oorr wwhhyy nnoott?? IInn ggeenneerraall,, sshhoouulldd yyoouu aallllooww eennoouugghh ttiimmee ffoorr sslloowweerr ssttuuddeennttss ttoo ccoommpplleettee tthhee tteesstt?? WWhhyy oorr wwhhyy nnoott?? IItt iiss oofftteenn ffaaiirr ttoo ggiivvee ssttuuddeennttss ppaarrtt--mmaarrkkss..
- 12. Reducing Student Frustration Things to Note Based on tthhee pprreevviioouuss ppaaggeess,, lliisstt ttwwoo oorr mmoorree iiddeeaass tthhaatt yyoouu sshhoouulldd ddoo ttoo rreedduuccee ssttuuddeenntt ffrruussttrraattiioonn.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 13. Alternative-answer Questions Alternative-answer Questions an Alternative-ansswweerr qquueessttiioonnss aarree mmoosstt ccoommmmoonnllyy wwrriitttteenn aass TTrruuee--FFaallssee qquueessttiioonnss.. OOtthheerr ffoorrmmss ooff aalltteerrnnaattiivvee--aannsswweerr qquueessttiioonnss iinncclluuddee YYeess//NNoo,, HHiigghh//LLooww,, AAggrreeee//DDiissaaggrreeee,, aanndd FFaacctt//OOppiinniioonn aannsswweerrss..
- 14. Alternative-answer Questions Use these questions to: IIddeennttiiffyy rreellaattiioonnsshhiippss IIddeennttiiffyy aattttiittuuddeess,, vvaalluueess,, aanndd bbeelliieeffss AAppppllyy kknnoowwnn pprriinncciipplleess ttoo nneeww ssiittuuaattiioonnss
- 15. Alternative-answer Questions Advantages (if written properly) TTeesstt tthhee mmoosstt ffaaccttss iinn tthhee sshhoorrtteesstt ttiimmee AArree eeaassyy ttoo wwrriittee aanndd ssccoorree OOnnllyy mmeeaassuurree oonnee lleeaarrnniinngg oouuttccoommee AArree nnoonn--aammbbiigguuoouuss GGiivveess ssttuuddeennttss aa bbrreeaakk ssiinnccee tthheerree iiss aa 5500%% cchhaannccee ooff aannsswweerriinngg ccoorrrreeccttllyy
- 16. Alternative-answer Questions Disadvantages m Difficulty in meeaassuurriinngg ccoommpplleexx lleeaarrnniinngg NNoott rreelliiaabbllyy mmeeaassuurriinngg tthhee sskkiillll wwhheenn ssttuuddeennttss aannsswweerr ffrroomm rreeccooggnniittiioonn nnoott mmeemmoorryy BBeeiinngg ssuubbjjeecctt ttoo gguueessssiinngg
- 17. Alternative-answer Questions Question Writing Guidelines th Use statements thaatt aarree aabbssoolluutteellyy aanndd ccoommpplleetteellyy ttrruuee oorr ffaallssee ((oorr yyeess oorr nnoo ……)).. CChheecckk tthhaatt ssttaatteemmeennttss aarree ssppeecciiffiicc aanndd ddiirreecctt,, nnoott iimmpplliieedd.. NNaammee tthhee aauutthhoorriittyy wwhheenn ooppiinniioonnss oorr vvaalluueess aarree tteesstteedd.. UUssee aabboouutt tthhee ssaammee nnuummbbeerr ooff ttrruuee aanndd ffaallssee ((oorr yyeess aanndd nnoo ……)) qquueessttiioonnss..
- 18. Alternative-answer Questions Is this a well-written question? TTrruuee oorr ffaallssee?? TThhee ssppoorrtt sshhoowwnn iiss ccaalllleedd hhoooopp bbaallll..
- 19. Alternative-answer Questions Is this a well-written question? TTrruuee oorr ffaallssee?? TThhiiss ppeerrssoonn iiss iinnccoommppeetteenntt..
- 20. Alternative-answer Questions Is this a well-written question? TTrruuee oorr ffaallssee?? PPeetteerr FFeennrriicchh bbeelliieevveess tthhaatt tthhee ddoogg ddooeess nnoott wwaanntt ttoo bbee iinn tthhee ppiiccttuurree..
- 21. Alternative-answer Questions Is this a well-written question? TTrruuee oorr ffaallssee?? TThheessee ttwwoo ppeeooppllee aarree ggeenneettiiccaallllyy rreellaatteedd..
- 22. Alternative-answer Questions Things to Note WWrriittee ddoowwnn kkeeyy tthhiinnggss yyoouu sshhoouulldd rreemmeemmbbeerr aabboouutt aalltteerrnnaattiivvee--aannsswweerr qquueessttiioonnss.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 23. Multiple-choice Questions Multiple Choice Questions Multiple cchhooiiccee qquueessttiioonnss uussuuaallllyy hhaavvee aa ssttaatteemmeenntt ccoommpplleetteedd oorr qquueessttiioonn aannsswweerreedd bbyy oonnee cchhooiiccee oouutt ooff aa lliisstt ooff cchhooiicceess.. CCoonnssiiddeerr aasskkiinngg ffoorr mmoorree tthhaann oonnee ccoorrrreecctt aannsswweerr.. FFoorr eexxaammppllee,, yyoouu ccoouulldd hhaavvee tthhrreeee oouutt ooff ffiivvee aannsswweerrss ccoorrrreecctt.. WWhhyy mmiigghhtt tthhaatt bbee bbeetttteerr??
- 24. Multiple-choice Questions If More Than One Right Choice q These quueessttiioonnss ccaann bbee eeaassiieerr ttoo wwrriittee bbeeccaauussee iitt ccaann bbee ddiiffffiiccuulltt ttoo ccrreeaattee ffoouurr ggoooodd wwrroonngg aannsswweerrss.. TThheessee qquueessttiioonnss ccaann rreeiinnffoorrccee lleeaarrnniinngg.. FFoorr eexxaammppllee,, iiff yyoouu oonnllyy aasskk ffoorr oonnee rreeaassoonn ffoorr rreedduucciinngg ppoolllluuttiioonn,, iitt ccoouulldd iimmppllyy tthhaatt tthheerree iiss oonnllyy oonnee rreeaassoonn..
- 25. Multiple-choice Questions Use MC questions to: Measure nnuummeerroouuss lleeaarrnniinngg oouuttccoommeess iinn aa sshhoorrtt ttiimmee HHaavvee yyoouurr ssttuuddeennttss ddiiffffeerreennttiiaattee bbeettwweeeenn aa lliisstt ooff ssiimmiillaarr cchhooiicceess RReedduuccee tthhee gguueessss ffaaccttoorr aass ccoommppaarreedd ttoo aalltteerrnnaattiivvee--aannsswweerr qquueessttiioonnss
- 26. Multiple-choice Questions Advantages (if written properly) Can (aarrgguuaabbllyy)) tteesstt aallll lleevveellss ooff lleeaarrnniinngg CCaann tteesstt ssuubbttllee ddiiffffeerreenncceess TTeesstt mmaannyy ffaaccttss iinn aa sshhoorrtt ttiimmee EEaassyy ttoo ssccoorree AArree nnoonn--aammbbiigguuoouuss
- 27. Multiple-choice Questions Disadvantages DDiiffffiiccuulltt ttoo mmeeaassuurree ssoommee sskkiillllss WWhhaatt aarree ssoommee eexxaammpplleess?? DDiiffffiiccuulltt ttoo mmaakkee aallll aannsswweerrss bbeelliieevvaabbllee SSuubbjjeecctt ttoo gguueessssiinngg aanndd tthhee pprroocceessss ooff eelliimmiinnaattiioonn NNoott rreelliiaabbllyy mmeeaassuurriinngg tthhee sskkiillll wwhheenn ssttuuddeennttss aannsswweerr ffrroomm rreeccooggnniittiioonn SSoommee ssttuuddeennttss hhaavvee lleeaarrnneedd hhooww ttoo mmaasstteerr mmuullttiippllee--cchhooiiccee tteessttss
- 28. Multiple-choice Questions Question Writing Guidelines r Put all reeppeeaatteedd wwoorrddss iinn tthhee sstteemm.. WWhhyy?? HHaavvee aa ppuurrppoossee ffoorr eeaacchh aannsswweerr cchhooiiccee.. HHaavvee sshhoorrtt aalltteerrnnaattiivveess ooff ssiimmiillaarr lleennggtthhss.. RRaarreellyy uussee ““aallll ooff tthhee aabboovvee””.. WWhhyy?? EEnnssuurree ““nnoonnee ooff tthhee aabboovvee”” aaddddrreesssseess aa lleeaarrnniinngg oouuttccoommee..
- 29. Multiple-choice Questions More Question Writing Guidelines HHaavvee 44 oorr 55 cchhooiicceess.. WWhheenn iiss 33 ookkaayy?? CCoonnssiiddeerr uussiinngg hhuummoouurr ffoorr aa cchhooiiccee.. BBee ccaarreeffuull wwiitthh ooppppoossiittee aannsswweerr cchhooiicceess wwhheerree oonnee ooff tthhee ttwwoo mmuusstt bbee rriigghhtt.. HHaavvee aannsswweerr cchhooiicceess tthhaatt hhaavvee ssoommeetthhiinngg iinn ccoommmmoonn,, iiff ppoossssiibbllee.. WWhhyy?? PPuutt aannsswweerr cchhooiicceess iinn aa llooggiiccaallllyy-- sseeqquueenncceedd,, vveerrttiiccaall lliisstt tthhaatt ccoommpplleettee aa sseenntteennccee.. WWhhyy??
- 30. Multiple-choice Questions For a paper-based test, how can this question be improved? SShhoooottiinngg tthhee bbaallll tthhrroouugghh tthhee hhoooopp iiss ccaalllleedd aa AA.. ggooaall BB.. hhoommee rruunn CC.. bbaasskkeett DD.. ttoouucchh ddoowwnn EE.. ssttrriikkee
- 31. Multiple-choice Questions In pairs, discuss how to fix this question a An addvvaannttaaggee ooff mmuullttiippllee--cchhooiiccee qquueessttiioonnss iiss tthhaatt mmuullttiippllee--cchhooiiccee qquueessttiioonnss aa)) aarree eeaassyy ttoo uunnddeerrssttaanndd bb)) aarree eeaassyy ttoo wwrriittee cc)) aarree ssiimmppllee ttoo aannsswweerr dd)) aarree ssiimmppllee ttoo ssccoorree
- 32. Multiple-choice Questions More than one right CCiirrccllee eevveerryy ccoorrrreecctt aannsswweerr.. WWeellll--wwrriitttteenn mmuullttiippllee--cchhooiiccee qquueessttiioonnss aa)) aallwwaayyss tteesstt sskkiillllss rreelliiaabbllyy bb)) aarree tthhee bbeesstt wwaayy ttoo tteesstt cc)) ccaann aasssseessss ssmmaallll ddiiffffeerreenncceess dd)) ccaann tteesstt mmaannyy lleeaarrnniinngg oouuttccoommeess
- 33. Multiple-choice Questions Things to Note WWrriittee ddoowwnn kkeeyy tthhiinnggss yyoouu sshhoouulldd rreemmeemmbbeerr aabboouutt mmuullttiippllee--cchhooiiccee qquueessttiioonnss.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 34. Matching Questions Matching Questions Matching qquueessttiioonnss rreeqquuiirree lleeaarrnneerrss ttoo mmaattcchh iitteemmss iinn oonnee ccoolluummnn ttoo tthhoossee ooff aannootthheerr ccoolluummnn..
- 35. Matching Questions Use matching questions to: Measure nnuummeerroouuss lleeaarrnniinngg oouuttccoommeess iinn aa sshhoorrtt ttiimmee HHaavvee yyoouurr ssttuuddeennttss ddiiffffeerreennttiiaattee bbeettwweeeenn aa lliisstt ooff ssiimmiillaarr cchhooiicceess RReedduuccee tthhee gguueessss ffaaccttoorr
- 36. Matching Questions Advantages (if written properly) Being able ttoo tteesstt ccoommpplleexx lleeaarrnniinngg TThhee aabbiilliittyy ttoo tteesstt ssuubbttllee ddiiffffeerreenncceess TTeessttiinngg mmaannyy ffaaccttss iinn oonnee qquueessttiioonn BBeeiinngg eeaassyy ttoo ssccoorree BBeeiinngg nnoonn--aammbbiigguuoouuss
- 37. Matching Questions Disadvantages DDiiffffiiccuullttyy iinn wwrriittiinngg ggoooodd qquueessttiioonnss BBeeiinngg ssuubbjjeecctt ttoo gguueessssiinngg aanndd tthhee pprroocceessss ooff eelliimmiinnaattiioonn NNoott rreelliiaabbllyy mmeeaassuurriinngg tthhee sskkiillll wwhheenn ssttuuddeennttss aannsswweerr ffrroomm rreeccooggnniittiioonn nnoott mmeemmoorryy
- 38. c Have clleeaarr ddiirreeccttiioonnss,, oonn tthhee ssaammee ppaaggee,, tthhaatt iinncclluuddee:: -- wwhhaatt iiss ccoonnttaaiinneedd iinn eeaacchh ccoolluummnn -- aann eexxppllaannaattiioonn ooff tthhee rreellaattiioonnsshhiipp -- wwhheetthheerr cchhooiicceess ccaann bbee uusseedd mmoorree tthhaann oonnccee oorr nnoott aatt aallll Matching Questions Question Writing Guidelines
- 39. Matching Questions More Question Writing Guidelines HHaavvee tthhee ggiivveennss ccoolluummnn ((lleefftt)) sshhoorrtteerr tthhaann tthhee cchhooiicceess ccoolluummnn ((rriigghhtt)) oorr aallllooww cchhooiicceess ttoo bbee uusseedd mmoorree tthhaann oonnccee.. PPuutt tthhee cchhooiicceess ccoolluummnn eennttrriieess iinn aa llooggiiccaall oorrddeerr ttoo rreedduuccee sseeaarrcchhiinngg ttiimmee.. HHaavvee ssiimmiillaarr aappppeeaarriinngg cchhooiicceess.. HHaavvee aa mmaaxxiimmuumm ooff nniinnee mmaattcchheess.. IIff yyoouu hhaavvee mmoorree,, wwhhaatt sshhoouulldd yyoouu ddoo??
- 40. Matching Questions GGeerrmmaann wwoorrdd EEnngglliisshh wwoorrdd AAbbeenndd ______ aa.. DDaayy MMiittttaagg ______ bb.. EEvveenniinngg MMoorrggeenn ______ cc.. MMoorrnniinngg NNaacchhtt ______ dd.. NNiigghhtt TTaagg ______ ee.. NNoooonn WWoocchhee ______ MMaattcchh wwoorrddss oonn tthhee rriigghhtt wwiitthh tthhee lleefftt
- 41. Matching Questions Things to Note WWrriittee ddoowwnn kkeeyy tthhiinnggss yyoouu sshhoouulldd rreemmeemmbbeerr aabboouutt mmaattcchhiinngg qquueessttiioonnss.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 42. Short-answer Questions Short-answer Questions a Short-annsswweerr qquueessttiioonnss ccaann hhaavvee aa vvaarriieettyy ooff ffoorrmmss,, ssuucchh aass ccoommpplleettiinngg aa sseenntteennccee,, aannsswweerriinngg aa qquueessttiioonn,, aanndd pprroovviiddiinngg aa lliisstt..
- 43. Short-answer Questions Use short-answer questions to: Test rreeccaallll rraatthheerr tthhaann rreeccooggnniittiioonn ooff iinnffoorrmmaattiioonn CChheecckk ccoommppuuttaattiioonnaall aanndd pprroobblleemm-- ssoollvviinngg sskkiillllss EEvvaalluuaattee kknnoowwlleeddggee ooff pprroocceedduurraall sskkiillllss MMiinniimmiizzee tthhee gguueessss ffaaccttoorr
- 44. Short-answer Questions Advantages (if written properly) Testing mmaannyy ffaaccttss iinn aa sshhoorrtt ttiimmee BBeeiinngg eeaassyy ttoo ssccoorree ((ii..ee..,, aassssiiggnn aa nnuummbbeerr ttoo tthhee ssccoorree)) HHaavviinngg aa llooww gguueessss ffaaccttoorr RReelliiaabbllyy mmeeaassuurriinngg tthhee sskkiillll ssiinnccee ssttuuddeennttss aannsswweerr ffrroomm mmeemmoorryy nnoott rreeccooggnniittiioonn
- 45. Short-answer Questions Disadvantages HHaarrdd ttoo mmeeaassuurree ccoommpplleexx lleeaarrnniinngg CChhaalllleennggeess iinn ssccoorriinngg oobbjjeeccttiivveellyy RReellaattiivveellyy hhiigghh lliikkeelliihhoooodd ooff hhaavviinngg aammbbiigguuiittyy TTaakkeess mmoorree ttiimmee ttoo pprroovviiddee ffeeeeddbbaacckk TTaakkeess ssttuuddeennttss mmoorree ttiimmee ttoo aannsswweerr
- 46. Short-answer Questions Question Writing Guidelines Provide rruulleess ffoorr ssppeelllliinngg,, ggrraammmmaarr,, eexxttrraa wwoorrddss,, uunniittss,, ssiiggnniiffiiccaanntt ffiigguurreess OOnnllyy hhaavvee ssppeecciiffiicc kkeeyywwoorrddss oommiitttteedd GGeenneerraallllyy,, aannsswweerrss sshhoouulldd bbee oonnee wwoorrdd oorr pphhrraassee BBee ccaarreeffuull aabboouutt tthhee aannsswweerr sslloott’’ss ssiizzee HHaavvee oonnee aannsswweerr sslloott ppeerr qquueessttiioonn uunnlleessss tthhee ssttuuddeenntt sshhoouulldd pprroovviiddee aa lliisstt -- CCoonnssiiddeerr pprroovviiddiinngg aann eexxaacctt nnuummbbeerr ooff aannsswweerr sslloottss ffoorr aa lliisstt
- 47. Short-answer Questions More Question Writing Guidelines If the answer iiss ““kkeeyywwoorrddss””,, wwhhiicchh ooff tthhee ffoolllloowwiinngg iiss tthhee bbeetttteerr ffoorrmmaatt ffoorr lleeaarrnneerrss?? aa)) __________________ sshhoouulldd ccoommpplleettee tthhee bbeeggiinnnniinngg ooff aa ssttaatteemmeenntt.. bb)) IItt iiss bbeesstt ffoorr __________________ ttoo ccoommpplleettee tthhee mmiiddddllee ooff aa ssttaatteemmeenntt.. cc)) TThhee ssttaatteemmeenntt sshhoouulldd bbee ccoommpplleetteedd bbyy __________________..
- 48. Short-answer Questions Things to Note WWrriittee ddoowwnn kkeeyy tthhiinnggss yyoouu sshhoouulldd rreemmeemmbbeerr aabboouutt sshhoorrtt--aannsswweerr qquueessttiioonnss.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 49. Long-answer Questions Long-answer Questions an Long-ansswweerr qquueessttiioonnss ccaann eennttaaiill aa vvaarriieettyy ooff cchhaalllleennggeess,, ssuucchh aass rreeqquuiirriinngg lleeaarrnneerrss ttoo aappppllyy,, aannaallyyzzee,, ssyynntthheessiizzee,, oorr eevvaalluuaattee rreellaatteedd pprroodduuccttss,, pprroocceesssseess,, iinnffoorrmmaattiioonn,, iiddeeaass,, aanndd//oorr pprroocceedduurreess.. TThhiiss ccaann rreessuulltt iinn aa//aann rreeppoorrtt,, eessssaayy,, ssttoorryy,, ppaarraaggrraapphh,, lleetttteerr,, mmeemmoo,, eemmaaiill,, sscciieennttiiffiicc ppaappeerr,, aarrttiiccllee,, ddeessccrriippttiioonn,, ccoommmmeennttaarryy,, pprreesseennttaattiioonn,, vviiddeeoo oorr aauuddiioo rreeccoorrddiinngg……
- 50. Long-answer Questions Long-answer Questions Cont’d TToo mmaakkee tthhee cchhaalllleennggee rreeaalliissttiicc,, lloonngg-- aannsswweerr qquueessttiioonnss ccaann bbee bbaasseedd oonn ccaassee ssttuuddiieess oorr pprroobblleemm--bbaasseedd lleeaarrnniinngg ssiittuuaattiioonnss.. YYoouu ccaann ddeecciiddee wwhheetthheerr yyoouurr lloonngg-- aannsswweerr qquueessttiioonnss wwiillll rreeffeerr ttoo rreessoouurrcceess oorr hhaavvee lliimmiittss oonn lleennggtthh,, ttiimmee,, oorr ssccooppee..
- 51. Long-answer Questions Long-answer Questions Cont’d Use long-answer qquueessttiioonnss ttoo aasssseessss aa ssttuuddeenntt’’ss aabbiilliittyy ttoo:: -- WWrriittee -- EEvvaalluuaattee iinnffoorrmmaattiioonn -- SSyynntthheessiizzee iiddeeaass -- AAnnaallyyzzee iinnffoorrmmaattiioonn -- OOrrggaanniizzee tthhoouugghhttss aanndd iiddeeaass -- AAppppllyy iinnffoorrmmaattiioonn -- EExxppllaaiinn,, ddeessccrriibbee,, aanndd//oorr rreeccaallll ccoonntteenntt
- 52. Long-answer Questions Advantages (if written well) TThhee aabbiilliittyy ttoo tteesstt mmaannyy hhiigghh--lleevveell sskkiillllss.. TThheerree iiss aa llooww gguueessss ffaaccttoorr..
- 53. Long-answer Questions Disdvantages IItt ccaann bbee ddiiffffiiccuulltt ttoo ssccoorree oobbjjeeccttiivveellyy ((oorr eevveennllyy)).. AA wweellll--wwrriitttteenn rruubbrriicc ccaann hheellpp wwiitthh tthhiiss.. IItt ccaann rreeqquuiirree aa lloott ooff ttiimmee ttoo mmaarrkk.. IItt ccaann ttaakkee aa ffaaiirr aammoouunntt ooff ttiimmee ffoorr ssttuuddeennttss ttoo ddoo wwhhaatt wwaass rreeqquueesstteedd..
- 54. Long-answer Questions Question Writing Guidelines cle Have very cleaarr ddiirreeccttiioonnss tthhaatt iinncclluuddee:: -- tthhee ccrriitteerriiaa ffoorr ssccoorriinngg ((wwhhiicchh yyoouu sshhoouulldd tthhoorroouugghhllyy aannaallyyzzee bbeeffoorree yyoouurr ssttuuddeennttss aannsswweerr tthhee qquueessttiioonn)) -- gguuiiddeelliinneess ffoorr tthhee lleennggtthh ooff tthhee rreessppoonnssee ((ee..gg..,, nnuummbbeerr ooff wwoorrddss)) -- rruulleess ffoorr mmaarrkkiinngg,, ssppeelllliinngg,, aanndd ggrraammmmaarr,, iiff nneeeeddeedd PPrroovviiddee eennoouugghh ssppaaccee ffoorr ssttuuddeennttss ttoo rreessppoonndd
- 55. Long-answer Questions Scoring long-answer questions Scoring lloonngg--aannsswweerr qquueessttiioonnss ccaann bbee aa cchhaalllleennggee.. OOnnee mmeetthhoodd iiss ttoo ssiimmppllyy ccoommppaarree yyoouurr ssttuuddeennttss'' aannsswweerr ttoo aann iiddeeaall aannsswweerr.. FFoorr eexxaammppllee,, ssttuuddeennttss wwoouulldd rreecceeiivvee mmaarrkkss bbaasseedd oonn hhooww wweellll tthheeyy ccoovveerr eeaacchh oouuttccoommee.. AAss mmeennttiioonneedd,, rruubbrriiccss ccaann hheellpp..
- 56. Long-answer Questions Things to Note WWrriittee ddoowwnn kkeeyy tthhiinnggss yyoouu sshhoouulldd rreemmeemmbbeerr aabboouutt lloonngg--aannsswweerr qquueessttiioonnss.. __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________
- 57. Scoring IInn ggeenneerraall,, ddoo NNOOTT ccoommppaarree ssttuuddeennttss ttoo ddeetteerrmmiinnee mmaarrkkss.. NNoorrmmaalliizziinngg ssccoorreess ttoo ffiitt aa bbeellll ((oorr ““nnoorrmmaall””)) ccuurrvvee iiss aaggaaiinnsstt BBCCIITT ppoolliiccyy.. TThhee ccrriitteerriioonn iiss wwhheetthheerr tthhee lleeaarrnneerr aacchhiieevveedd tthhee lleeaarrnniinngg oouuttccoommee.. YYoouu ccaann hhaavvee nnuummeerroouuss hhiigghh oorr llooww mmaarrkkss.. Scoring
- 58. Scoring High Scores IIff mmaarrkkss aarree rreellaattiivveellyy hhiigghh tthheenn:: -- TThhee lleeaarrnniinngg oouuttccoommeess mmaayy bbee ttoooo ssiimmppllee.. -- YYoouurr tteessttss mmaayy bbee ttoooo eeaassyy.. -- YYoouurr tteeaacchhiinngg mmaayy bbee eexxcceelllleenntt.. -- EEvveerryytthhiinngg mmaayy bbee aass iitt sshhoouulldd bbee..
- 59. Scoring Low Scores IIff mmaarrkkss aarree rreellaattiivveellyy llooww tthheenn:: -- LLeeaarrnniinngg oouuttccoommeess mmaayy bbee sseett ttoooo hhiigghh.. -- YYoouurr tteessttss mmaayy bbee ttoooo hhaarrdd.. -- YYoouurr ssttuuddeennttss mmaayy nneeeedd ttoo wwoorrkk hhaarrddeerr,, nneeeedd ttoo bbee mmoottiivvaatteedd,, oorr hhaavvee aa pprroobblleemm ssuucchh aass aa llaacckk ooff ttiimmee.. -- YYoouurr tteeaacchhiinngg mmaayy nneeeedd iimmpprroovveemmeenntt.. -- EEvveerryytthhiinngg iiss ggooiinngg aass wweellll aass iitt ccaann..
- 60. WWhhaatt qquueessttiioonnss aabboouutt wwrriittiinngg eeffffeeccttiivvee qquueessttiioonnss aanndd tteessttss ddoo yyoouu ssttiillll hhaavvee??
Editor's Notes
- #5: Test understanding = Test what they know or what they can do Reinforce learning, Apply learning to problems, Keep students actively involved, Motivate, Promote, Certify, Collect data for new ideas or procedures, Rank students, Select students, Diagnose student skills, Provide feedback
- #6: 1. You may only be testing recall rather than understanding. 2. Insert random numbers. Randomly select questions from a pool of questions. 3. When you want to ensure they experience some success. This can be to increase confidence.
- #8: Random insertion of distractors or alphabetic order
- #9: Use short clear statements Use familiar and appropriate language Use official abbreviations, avoid acronyms One fact or concept determines the answer Use questions that can’t be answered by common sense alone Do NOT provide clues to answers Do NOT let the sequence of choices influence Avoid words like “always” or “never” Use simple positive statements Avoid negatives and especially double negatives
- #11: 1. Test important ideas by: a. ensuring each question matches a learning outcome b. not tricking students 2. Create fair tests by: a. ensuring that each learning outcome is tested to the highest skill level needed b: having proportional numbers of questions and scores 3. Include media to ask better and more realistic questions 4. Arrange questions from easy to hard to help a student’s confidence 5. Group similar question types because it is easier for students to be in one mindset at a time.
- #18: 1. You may be testing recall and not understanding.
- #20: Can’t be judged by a photograph
- #21: Bad because that opinion would not be known.
- #22: Bad question because one could not be sure.
- #24: The answer is on the next slide – easier to write and reinforces learning.
- #28: 1. In general, higher level skills. Examples would be problem-solving, decision-making …
- #29: Reduce reading time. This supports using logic rather than knowledge. For example, if two are right then it must be all of the above.
- #30: 1. 3 choices is okay if there is no good alternative. Opposite answers eliminate all the other choices. This is usually best as an alternative answer. 2. More logical for the student. It can feel disjointed otherwise. 3. Completing a sentence: reduces a learner’s reading time - is easier as it is generally harder for learners to complete the beginning or middle of statements and can sometimes be confusing for learners to complete the middle of statements
- #31: One way to improve this is to put the answer choices in alphabetic order
- #32: Discuss in pairs to find three faults: Reduce words in stem, reduce words in choices, easy to understand is unclear and depends on the quality of writing, simple to answer unclear, so could have more than one right answer
- #33: C D
- #40: Create a second question
- #41: On the next page, in pairs, fix the faults. Needs more choices or fewer words on the left and a better prompt.
- #48: C.