Vysoké školy musí mít nejen kvalitní výuku, ale také účinnou kontrolu kvality znalostí a schopností studentů (produktů) vysoké školy

Overview

Aby lékařská fakulta produkovala pouze kvalitní lékaře, nestačí pouze kvalitní výuka, stejně či více důležitá je kvalitní kontrola nabývání znalostí v průběhu studia a eliminování studentů, jejichž snaha a schopnosti neumožňují dosažení požadovaných kritérií. Standardním kontrolním postupem byly zkoušky. Informační technologie však umožňuje v současnosti tuto kontrolu zdvojit, ponechat klasickou metodu zkoušky a předřadit jí nutnost absolvování kvalitních multiple choice testů. V textu jsou shrnuty naše zkušenosti s kontrolou duševní přítomnosti při výuce pomocí testů a plány na kombinovanou formu výstupní kontroly pomocí testů, jejichž absolvování bude předpokladem přistoupení k vlastní zkoušce. Nemyslíme si, že by kontrola pomocí testů měla nahradit kontrolu formou zkoušení, ale domníváme se, že optimální by bylo zdvojení kontroly absolvováním ústní zkoušky pouze v případě úspěšného absolvování předchozího testu. Podmínkou je ovšem vybudování počítačové učebny = zkušebny a zpracování velmi vysokého počtu otázek do kvalitní formy multiple choice testů.

Klíčová slova:
výuka na vysoké škole –  kontrola znalostí nutných pro absolvování předmětu

Obecné formulování cíle výuky na Lékařské fakultě

Na studium na Lékařské fakultě (LF) Masarykovy univerzity lze pohlížet z několika úhlů. V dnešním pragmaticky orientovaném světě, kde na prvním místě hodnot stojí peníze, asi nejvíce odpovídá pohled a srovnání lékařské fakulty s producentem, čili s továrnou na lékaře. Z pohledu ideálů klasického Řecka by LF byla hodnocena na základě komplexního rozvoje osobnosti lékaře, tedy jak výsledných profesionálních, tak i sociálních a morálních vlastností a tělesné zdatnosti. V této úvaze se dominantně přidržím prvního pohledu, LF = továrna na lékaře, i když řecké ideály se mi líbí více.

Před organizováním produkce továrny musí být jasná přesná definice výrobku, v případě LF je možná přiléhavější srovnání se základní programovou výbavou počítače při jeho předání na „všemocný“ trh.

Stejně tak by LF měla definovat znalosti a dovednosti, které bude mít průměrný student při promoci. Tento úkol je extrémně obtížný, pokud bych měl vyjmenovat jednotlivé informace, které by při promoci měly setrvávat v hlavě studenta. Pokud bychom přistoupili k tomu, že každý obor bude definovat kvantum znalostí, které by si z něj student měl odnášet, dostaneme mnohasetstránkový dokument.

Mnohem schůdnější je definovat produkt lékařské fakulty pomocí funkčního místa zdravotnického systému a znalostí, které jsou předpokládány od lékařů zastávajících tato místa.

Domnívám se, že lékařská fakulta by se měla snažit vkládat do paměti studenta takové informace, které jsou potřebné pro práci praktického lékaře a pro práci nespecializovaného internisty. V tomto případě používám pro pojem „interní lékařství“ náplně uváděné v německých zemích a jejich učebnicích, kde oproti našemu pojetí řadí do interny i nervové a infekční nemoci.

Tento rozsah výstupních informací pomůže pak budoucímu chirurgovi, urologovi, ORL lékaři, aby pacienta vnímal jako jeden celek a neřekl, že z „našeho pohledu“ jste zcela v pořádku, přestože i laikovi je jasné, že tento člověk jednoznačně v pořádku není.

K těmto teoretickým znalostem bych pak přiřadil nějaké základní dovednosti z chirurgie, neboť mír v Evropě nemusí trvat věčně a v případě katastrof či harašení zbraněmi přestávají být chirurgické výkony doménou specializovaných chirurgických ambulancí a sálů, ale základní chirurgické ošetření by měl umět poskytnout každý lékař. Ale nemusí to být znalosti jen pro katastrofické scénáře, postavit se k úrazu musí umět také lékař ve skupince vysokohorských turistů.

Jakmile získáme přijatelnou definici produktu LF, je možno zvažovat jednotlivé výrobní kroky. Vstupující surovina (student) prochází z jedné výrobní linky (předmětu) do druhé, až nakonec sjede z výrobního pásu. Pokud použijeme srovnání s počítačem, jsou do něj postupně vkládány v jednotlivých linkách informace.

Zásadním bodem tohoto provozu je, aby při průchodu jednotlivými linkami byly provedeny pouze ty pracovní operace, které jsou nutné z hlediska dosažení definovaného cíle. Za zcela zásadní považuji sladění vkládání informací tak, aby následující výrobní proces věděl, na co navazuje, a dále určité omezení informací, neboť paměť má svou kapacitu, kterou nelze překročit. Musí však být i dobrá výstupní kontrola, aby do další fáze studia postoupil opravdu jen ten student, který si osvojil nezbytné minimum.

Formy kontroly studia –  aneb formy kontroly kvality produktů fakulty

Z vlastní zkušenosti mohu říci, že je pouze málo studentů, na nichž je jasně vidět, jaké potěšení jim činí nabývání znalostí. Je radost se pak s takovými studenty bavit u zkoušky. Takový student je schopen vyprávět, jak se na otázku dívají učitelé třeba ve Francii či v Rakousku, kde byl na stáži, a jak viděl tuto otázku řešit na dalším pracovišti. Velmi mě těší, když slyším, jak studenti při jedné otázce spojují to, co se k položené otázce dozvěděli při výuce předchozích oborů, které již mají za sebou. Setkání s takovými studenty mě těší, udržují ve mně přesvědčení, že má cenu snažit se je něco naučit. Dávají mi sílu učit, i když cítím z jiných studentů naprostý nezájem.

Na druhé straně někteří studenti jsou na LF MU jen proto, že je to jejich poslání, neboť je na tuto školu někdo poslal, aniž by vedoucí emocí k podání přihlášky na LF byla snaha naučit se medicínu a pomáhat nemocným lidem. Tito studenti se snaží dosáhnout titulu MU Dr. a pokud možno si zbytečně nekazit život učením.

A proto je zde nutnost hlavních výstupních kontrol, kterými jsou bezesporu státní závěrečné zkoušky, ale také dílčích kontrol v průběhu studia, kterými jsou zkoušky a dále zápočty, jejichž udělování není vázáno pouze na fyzickou přítomnost, ale také na přítomnost duševní. Výuka nesmí znamenat jen to, že učitel učí, proces výuky musí obsahovat také kontrolu, zda student vstřebá potřebné minimum. Pokud nevstřebá potřebné minimum, nemůže být absolventem vysoké školy a je nutné jej ze studia vyloučit. Takže náplní práce učitelů musí být poměrně přísná kontrola míry získaných vědomostí a prosívání studentů.

A jak mohou takové průběžné kon­troly studia vypadat?

Standardní a doposud používaná forma kontroly studia je ústní zkouška. Forma zkoušek však vede k tomu, že student před zkouškou do sebe nahustí to, co je nezbytné pro absolvování zkoušky. Nicméně rychle nabyté bývá často rychle pozbyté, takže za pár týdnů po zkoušce již si student moc z nastudovaného nepamatuje a za rok ve vyšším ročníku si již pamatuje velmi málo z informací nastudovaných ke zkoušce před rokem, často vůbec nic. Přitom by následující předmět měl stavět na znalostech předchozího.

Zápočty za absolvování stáží by se měly dávat za prokázanou duševní přítomnost a získání určitých znalostí, a ne za pouhou fyzickou přítomnost

Domnívám se proto, že studenti by se měli učit průběžně, neboť průběžně nabyté vědomosti, ověřené praxí při stážích a při další formě praktické výuky, by měly setrvávat v hlavě studenta dlouhodoběji než vědomosti naučené pouze pro jednu zkoušku.

Jenže jak studenty přimět, aby se na blokové stáže připravili a odnesli si z nich určité kvantum vědomostí pro svou budoucí lékařskou praxi místo toho, aby tyto blokové stáže jen trpně prospali?

Jistě, část studentů je spontánně zvídavých a snaží se odnést si ze stáže vědomosti i bez donucovaných prostředků. Ale část studentů na stáž přichází bez toho, že by měli zájem získat vědomosti a že by se na stáž teoreticky připravili.

Já osobně, pokud z přednášeného neznám nejméně polovinu, tak si z přednášky nezapamatuji nic. Přepokládám, že podobné platí i o studentech, a že pokud si nepřečtou základy a nezískají základní povědomí, o čem výuka (přednáška, seminář) je, pak se semináře míjí účinkem a student odchází po semináři jen s pocitem, že je to složité.

Přednáška a semináře mají dostatečný edukační přínos tehdy, když student napřed vlastním studiem získá základní vědomosti, které se pak díky přednášce či semináři prohloubí, protože učitelé a pacienti mu stejný problém ukážou z odlišných úhlů pohledu. Pohled na stejný problém z více úhlů pohledu vždy obohacuje.

Proto považujeme za užitečné používat určitou formu stimulace studentů ke sledování seminářů a k přípravě na jejich absolvování.

Zápočty by se měly udělovat nejen za fyzickou, ale hlavně za duševní přítomnost ve výuce, tedy za získané vědomosti. Jak jejich získání ale ověřit? Blokovou stáž nelze zakončit individuálním zkoušením již prostě z časových důvodů. Studenti po ukončení jedné blokové stáže přecházejí na další blokové stáže. To znamená, že výstupní kontrola míry vědomostí získaných na stáži musí následovat ihned v poslední den stáže.

Takže jediná možnost, která zbývá, jsou kvalitní připravené testy, tzv. multiple choice testy, neboli testy, které obsahují vysoký počet otázek, řádově stovky. Počítač metodou náhodného výběru pro každého studenta vytvoří originální test, obsahující 20– 30 otázek. Na jednu otázku existují 4 odpovědi, přičemž správná může být jen jedna nebo všechny. Odpověď je počítačem vyhodnocena jako správná, pokud jsou v rámci jedné otázky správněoznačeny všechny správné a nesprávné odpovědi.

Klasické papírově prováděné testy obsahovaly dříve omezený okruh otázek, které postupně prosákly do povědomí studentů, a ti již znali dopředu správné odpovědi na používané testy. Domníváme se, že toto nehrozí při zmíněné počítačové formě testů.

Ověření vlivu testů na vědomosti studentů při ukončení stáže

Metodou prospektivní randomizované srovnávací studie jsme ověřili, že tento způsob excelentně funguje. V této naší „klinické studii“ první skupina studentů věděla, že po ukončení stáže bude testována, ale že výsledek testů nebude podmínkou pro udělení zápočtu. Průměrný počet dobře zodpovězených otázek z oblasti hematologie byl v této skupině 7 z 20.

Další skupina však již věděla, že zápočet bude udílen pouze při zodpovězení dostatečného počtu otázek. Při neúspěchu může student přijít za 14 dní a zkusit test znovu. Bez zodpovězení dostatečného počtu otázek nemá student nárok získat zápočet.

Průměrný počet správně zodpovězených otázek byl v této skupině již 15 z 20. A nejen to, i všichni vyučující měli pocit, že studenti pozorněji sledují výuku, ptají se a diskutují.

Na základě této zkušenosti se nám jeví, že multiple choice testy jsou tím správným prostředkem ke kontrole studia a k udílení zápočtů, který vede k tomu, že výuka ze strany učitelů vede i k naučení na straně studentů.

Doufáme, že informace získané tímto průběžným učením budou i déle setrvávat v hlavně studentů (budoucích lékařů) než informace natlačené do hlavy jen pro jeden den zkoušky.

Testy jsou pouze jednou z forem kontroly učení –  nemohou nahradit ústní závěrečné zkoušky

Touto chválou na udílení zápočtů za nabyté informace však vůbec nechceme říci, že bychom si mysleli, že testy nahradí ústní zkoušky. Ústní zkouška bude i nadále klasickou formou výstupní kontroly po ukončení studia předmětu. Ale vzhledem ke kvantu studentů a k obecnému tlaku na racionální využívání času studentů i učitelů považujeme za velmi žádoucí doplnění této klasické kontroly studia zkouškou o průběžnou kontrolu duševní přítomnosti ve výuce testem. Jeho úspěšné absolvování je podmínkou k získání zápočtu. Stejně tak si myslíme, že kontakt učitele a studenta nemůže a ani nechce nahradit elektronická forma výuky, ta je pouze doplněním. Přímé setkávání učitele se studenty a s pacienty není jenom prosté předávání ryze medicínských informací, učitel svou formou výuky současně prezentuje svůj etický a morální přístup k nemocným a k lidem obecně. Takže učitel může být pro studenta někdy pozitivním, jindy negativním vzorem. Svým způsobem výuky studentům předávám nejen medicínská fakta, ale také své intelektuální a emoční postoje k různým aspektům života.

Materiální předpoklady pro provádění „multiple choice testů“

Předpoklad pro tuto kontrolu –  profesionální počítačovou učebnu –  zajistilo pracoviště Institutu bio­statistiky a analýz MU, vedené doc. Duškem. Toto pracoviště včas připravilo materiální zázemí a ve spolupráci s e- technikem LF MU přispělo ke kvalitnímu provádění standardních testů.

Výhodou multiple choice testů, které obsahují velký počet otázek, je to, že i když studenti tyto otázky získají a připraví se na ně, zaručuje velký počet otázek získání kvalitních vědomostí. Takové testy však bez výpočetní techniky nejsou možné.

Považujeme kontrolu vědomostí získaných v rámci blokových stáží a udílení zápočtů ne za fyzickou, ale pouze za duševní přítomnost, za cestu vpřed ke zkvalitnění výsledného produktu Lékařské fakulty Masarykovy univerzity, kterým je Medicinae Universae Doktor. A tato cesta vpřed vyžaduje materiální podmínky (počítačové učebny) a výpočetní odborníky, protože bez nich by z otázek připravených lékaři nevznikly multiple choice testy. Dnešní doba vyžaduje tedy úzkou spolupráci klinických učitelů a informatiků při rozvoji výuky na Lékařské fakultě.

Za samotnou technickou realizacíelektronického zkoušení se skrývá dlouhácesta v podobě příprav a nastavení, které bylo nutné zajistit. Na počátku všeho stála databáze otázek vytvořená na Interní hematoonkologické klinice. Ve spolupráci s fakultním e- technikem zajištujícím elektronickou podporu výuky v rámci LF MU se sada otázek převedla do vhodného formátu a následně byla importována do Informačního sy­stému (IS). Masarykova univerzita sama vyvíjí a používá tento systém od roku 1999. Za desetiletí se IS zařadil do popředí mezi systémy pro řízení výuky, což mimo jiné dokumentuje i řada obdržených ocenění. Systém zajišťuje v unikátním rozsahu elektronickou podporu studijní administrativy a integruje řadu dalších správních, e- learningových a ko-munikačních služeb.

Právě široké možnosti testovací agendy umožnily snadný a rychlý import kompletní databáze otázek. Prostřednictvím tzv. odpovědníků se stalospuštění elektronických multiple choice testů jednoduchou záležitostí. V popisu odpovědníků však bylo třeba nastavit několik netriviálních parametrů. Mezi nejdůležitější atributy patří bezpečnost. IS disponuje několika možnostmi, jak ochránit přístup k testům pouze povoleným osobám, typicky studentům daného předmětu.

Ideálním řešením se jeví kombinace omezení přístupu k odpovědníkům k danému datu a omezení přístupu pro dané IP adresy počítačů v učebně. Monitorování e- technika přímo na místě spolu s bezpečnostním nastavením odpovědníků zaručuje plnou kontrolu nad všemi studenty a vylučuje jakýkoli pokus o podvod. Zajímavostí je zobrazování barevného pruhu v levé části obrazovky při spuštění samotného testu. Jakmile tento pruh zmizí z monitoru, značí to, že student opustil testovací agendu v IS MU, což má přísně zakázáno. Při vhodném výběru místa v učebně může vyučující velmi snadno kontrolovat díky barevnému označení všechny studenty, a ti tak nemohou test vyplňovat pomocí internetových vyhledávačů.

Výsledky testů jsou ukládány v systému IS MUNI a jsou dokladem o studiu

Všechny interakce studentů v průběhu odpovídání na elektronický test včetně finálního uložení a výsledků jsou evidovány a plně dostupné v případě potřeby. V době ostudných afér spojených s urychleným absolvováním studia na univerzitách je archivace výsledků nepochybně velmi důležitá. Na Masarykově univerzitě je možné zpětně zkontrolovat elektronické testy jakéhokoli studenta, jak odpověděl na danou otázku a jaké obdržel bodové hodnocení. Dostupnost veškeré dokumentace je časově neomezena.

A pohled do budoucna?

Nikdy nevkročíš dvakrát do stejné řeky (Herakleitos, 500 let před Kristem). Žijeme v době informační exploze. Počet nových a důležitých informací v medicíně se rok od roku zvyšuje. Průměrná kapacita lidského mozku se však nemění. Česká republika se pyšní velmi rychlým vzestupem relativního počtu vysokoškoláků na počet obyvatel. Logickým důsledkem musí být klesající průměrná inteligence studentů prvních ročníků. Mnoho bio­logických jevů je distribuováno dle Gaussovy křivky a je tomu tak i se stupněm inteligence jedinců v populaci. A když se zvyšuje počet studentů na vysokých školách v ČR, musí být v prvních ročnících zákonitě přítomni studenti s nižší inteligencí, než by tomu bylo v případě menšího počtu vysokoškoláků, pokud přijímací zkoušky plní svou roli kvalitního vstupního síta. Vše se mění a musí se měnit i forma kontroly výuky.

Považovali bychom proto za přínosné, kdyby se rozšířil počet počítačových učeben, aby bylo možné učinit podmínkou ke zkoušce absolvování předzkouškového testu. Tím by se odfiltrovali studenti, kteří chápou pojem zkouška tak, že to jdou prostě zkusit –  napoprvé s minimální přípravou. Pokud má student nedostačující znalosti a vyučující jej chce vyhodit až poté, co student alespoň na 2 otázkách prokáže, že nezná potřebné minimum, zabere to zkoušejícímu minimálně 30 min. Pokud je student opravu neschopný, tak pořád má nárok na 3 další zkoušky, takže dalších 3krát 30 min. A to již může zkoušející zvažovat, zda má ztrácet čas vyhazováním a znovuzkoušením, či zda to studentovi má dát za „E“, protože hodnocení učitele na vysoké škole se neodvíjí od toho, kolik energie a času vloží do zkoušení, jak dokonale plní roli výstupního síta, jak moc času věnuje prosívání studentů s cílem, aby školu absolvovali pouze studenti s dostatečnými znalostmi a schopnostmi a aby se titul Medicinae Universae Doctor nebyl udělen studentovi, který bude pro své pacienty spíše nebezpečím než pomocí. Hodnocení vysokoškolského učitele se v dnešní době zaměřené na úspěch odvíjí hlavně od naplňování vědeckých kritérií scientometrie –  tedy dle počtu přijatých publikací a grantů.

To je obecný vývoj, který tu je, ať se nám líbí, či ne, ale nezměníme jej. Pokud by se však zvýšil počet počítačových učeben a vytvořily se kvalitní testy, tedy testy s opravdu mnoha otázkami, aby pokryly vše důležité a zásadní pro absolvování zkoušky, odfiltrovali by se studenti, kteří to jdou zkusit, a k ústní zkoušce by přicházeli studenti s určitým minimem znalostí.

Závěr

Proto v dalších letech, pokud se nám podaří získat peníze na další počítačovou učebnu = zkušebnu, chtěli bychom před vlastní zkoušku předřadit předzkouškový test. Student, který bude chtít podstoupit zkoušku z onkologie, bude muset podstoupit test a pouze ti studenti, kteří splní požadované minimum, budou moci postoupit ke zkoušce. Student, který při testu neuspěje, se bude moci přihlásit na další kolo testů.

Předpokladem pro splnění této naší vize je ovšem vybudování další počítačové učebny a dále vytvoření velmi velkého počtu otázek, které budou pokrývat celou onkologii. Vytvořené otázky samozřejmě nejsou vytvořeny jednou provždy, bude nutné je kontinuálně upravovat tak, aby odpovídaly požadavkům doby. Zatím bychom chtěli tento systém –  napřed úspěšné absolvování předzkouškového testu a pak vlastní zkouška –  provádět v rámci předmětu onkologie, který vyučujeme. Pokud se osvědčí a pokud budou materiální podmínky, může se rozšířit i na další obory.

Závěrem lze říci, že optimální kontrola toho, zda lékařská fakulta funguje správně (= produkuje dobře připravené lékaře), nemůže spočívat pouzena zkouškách, jak tomu bylo dříve. Mnohem efektivnější je uzavření výuky jednoho oboru ústní zkouškou, jak tomu bylo dříve, v kombinaci s průběžnou kontrolou a udílení zápočtů za duševní účast ve výuce, ověřenou multiple choice testy. Zvýšení dostupnosti počítačových učeben by umožnilo standardně provádět i testy před ústní zkouškou.

prof. MU Dr. Zdeněk Adam, CSc.
www.fnbrno.cz
e-mail: z.adam@fnbrno.cz

Doručeno do redakce: 5. 5. 2010