Merlin 20/21 Test

Testovi se mogu rabiti za provjeru ili samoprovjeru znanja. Testovi se slažu od pitanja koja se nalaze u bazi pitanja. S obzirom na to da se pitanja u testu mogu pojavljivati nasumičnim odabirom, preporuča se slagati pitanja u kategorije i potkategorije prema područjima koja se obrađuju odnosno prema zahtjevnosti pitanja u njima. Na taj način svi studenti mogu dobiti ujednačeni test.

Za dodavanje aktivnosti Test odaberite:

Dodaj aktivnost ili resurs → Test.

U polje Ime upisuje se naziv testa, dok se u polje Uvod upisuju osnovne informacije o testu (vrijeme trajanja, broj zadataka, područje koje se ispituje itd.) i kratke upute studentima o tome što se od njih očekuje prilikom rješavanja.

Moguće je odrediti razdoblje u kojemu će pojedini test biti dostupan (mogućnosti Dostupan od i Dostupan do), kao i vrijeme potrebno za rješavanje testa (Vremensko ograničenje). Preporuka je vrijeme u kojem će test biti dostupan postaviti na 5-10 minuta dulje od postavljenog vremenskog ograničenja za rješavanje testa.

Postavka Nakon isteka roka određuje način na koji studenti predaju svoje pokušaje rješavanja testa. Ako je u postavkama odabrano Započeti pokušaji rješavanja se automatski predaju, u tom slučaju ako student nije predao test prije isteka vremenskog ograničenja, onda po isteku vremenskog ograničenja sustav izvrši taj zadatak. To je ujedno i preporučeni način kod testova za ocjenu.

Slika: Postavka Vrijeme

Kod testova za ocjenu Dopušteni broj pokušaja potrebno je postaviti na 1. Ako je pojedinom studentu potrebno omogućiti naknadni pokušaj rješavanja testa ili omogućiti dulje vrijeme rješavanja od vremena definiranog u postavkama testa to je moguće odabirom poveznice Izmjena pravila za korisnika u bloku Administracija.

Postavku Način navigacije moguće je postaviti na Slobodno ili Zadano. Kod slobodne navigacije studenti se prilikom rješavanja testa mogu vraćati na prethodne stanice, odnosno prethodna pitanja (ako je svako pitanje postavljeno na zasebnoj stranici), dok kod zadane navigacije nema mogućnosti vraćanja na prethodne stranice, odnosno pitanja.

Slika: Postavka Vrsta testa

Postavka Karakteristika pitanja odnosi se na vrstu testa. Kod testova za ocjenu preporuka je koristiti vrstu testa Povratna informacija nakon predaje testa, dok se ostale vrste testova koriste više za samoprovjeru znanja. Kod vrste testa Povratna informacija nakon predaje testa sustav automatski ocjenjuje sva pitanja, osim pitanja esejskog tipa koja zahtijevaju ručno ocjenjivanje.

Izmjena vrste testa nakon što su studenti rješavali nema utjecaja na naknadno ocjenjivanje pitanja.

Adaptivni način rješavanja testa omogućava studentu višekratno odgovaranje na isto pitanje, čime je eventualno omogućeno da iz drugoga ili trećega pokušaja osvoji dio bodova. I kod interaktivnoga oblika rješavanja testa student može više puta odgovarati na pojedino pitanje.

Razlika između adaptivnog testa i interaktivnog testa s višestrukim pokušajima rješavanja je u tome što kod adaptivnog testa ne postoji ograničenje koliko puta student može odgovarati na pojedino pitanje. Isto tako, prilikom svakoga od tih pokušaja mogu se uključiti kazneni bodovi.

Kod interaktivnog oblika testa student može odgovarati ovisno o broju savjeta koje je nastavnik upisao. Jednom kada odgovori ispravno ne može više pokušavati odgovoriti na pitanje dok kod adaptivnog ta mogućnost postoji.

Savjeti

Slika: Postavke pregleda testa

U postavkama pregleda testa nastavnik odabire informacije koje želi da studentima budu vidljive nakon završetka testa. Informacije koje nastavnik označi u stupcu Odmah nakon rješavanja vidljive su studentima unutar 2 minute nakon što su predali test. Informacije koje nastavnik označi u stupcu Kasnije, dok je test još otvoren vidljive su studentima po isteku 2 minute nakon predaje testa pa do postavljenog datuma zatvaranja testa. Informacije označene u stupcu Nakon zatvaranja testa vidljive su nakon isteka datuma zatvaranja testa (postavka Dostupan do).

Nastavnik može ograničiti pristup testu samo s određenih IP-adresa ili postaviti lozinku za pristup testu.

Mogućnost Prozor preko cijelog ekrana s dijelom JavaScript sigurnosnih postavki unutar postavke Zaseban prozor web preglednika otvara test u zasebnom prozoru preko cijelog zaslona. Budući da ispravnost prikaza navedene postavke uvelike ovisi o internetskom pregledniku korisnika, ne preporuča se njeno korištenje. Postavka također ne osigurava znatno veću sigurnost provedbe testa jer studenti mogu kraticama na tipkovnici prelaziti iz jednog u drugi prozor web preglednika te otvoriti bilo koji sadržaj za vrijeme testa.

Postizanje veće razine sigurnosti u izvođenju online testova moguće je korištenjem SafeExamBrowser-a. 

U postavkama aktivnosti Test nastavniku je dostupno nekoliko mogućnosti vezano uz korištenje SEB-a:

• Ručna konfiguracija - nastavnik ima mogućnost odabira nekoliko postavki SEB-a koje će sustav automatski konfigurirati. Generira se jedinstvena konfiguracijska datoteka za svaki test te se studentu otvara izravno pojedini test. Ova mogućnost koristi SEB config key.
• Postavi vlastitu konfiguracijsku datoteku - omogućava nastavniku postavljanje u Moodle SEB konfiguracijske datoteke koju je izradio u SEB konfiguracijskom alatu.
• Koristi konfiguracijsku datoteku SEB klijenta - kod ove mogućnosti nastavnik izrađuje SEB konfiguracijsku datoteku u SEB konfiguracijskom alatu te ju na određeni način dostavlja studentu (nije moguće izravno kroz postavke testa, ali je moguće, npr. u opis testa postaviti poveznicu na datoteku).

Slika: Dodatna ograničenja prilikom rješavanja testa

U Ocjenama je za test prikazan broj bodova, a ne ocjena. U sekciji Povratna informacija za test moguće je definirati bodovne granice (u postotcima) kao povratnu informaciju studentima o dobivenoj ocjeni temeljem ostvarenih bodova.

Slika: Povratna informacija za test

Uređivanje testa

Nakon uređivanja postavki testa pristupa se uređivanju testa odabirom dugmeta Uredi test.

Slika: Uređivanje testa

Pitanja se u test dodaju odabirom poveznice Dodaj i mogućnosti Dodaj pitanje iz baze pitanja. Moguće je dodati i određeni broj nasumično odabranih pitanja (od 1 do 100) odabirom mogućnosti Dodaj pitanje slučajnim odabirom.

Slika: Dodavanje pitanja u test

U svakome se testu mogu kombinirati različite kategorije pitanja. Pitanja se mogu ubacivati slučajnim odabirom sustava ili nastavnik sam može urediti cijeli test.

Svako pitanje nosi određeni broj bodova koje nastavnik odredi. Nasumično dodana pitanja imat će automatski postavljen 1 bod koji nastavnik može zamijeniti brojem bodova koji želi. Ovo je ujedno jedan od razloga zašto se preporuča koristiti kategorije i u nazivu kategorije postaviti informaciju o težini pitanja. Za ocjenjivanje se vrši skaliranje bodova (povezivanje ukupne ocjene i najviše ocjene). Nakon postavljanja svih pitanja, broj koji je sustav izračunao za ukupnu ocjenu potrebno je unijeti i u polje za najvišu ocjenu (Slika: Uređivanje bodova i redoslijeda pitanja).

Strelicama se mijenja raspored pojavljivanja pitanja u testu. Odabirom dugmeta Odaberi više pitanja moguće je odjednom izbrisati sva ili samo pojedina označena pitanja.

Nakon što su postavljena pitanja koja će test sadržavati, potrebno je odrediti broj bodova koje pojedino pitanje nosi jer se on ne mora slagati s bodovima koji su predefinirani, već mogu ovisiti o pojedinomu testu. Konačna ocjena određuje se u postotku ostvarenih bodova od maksimalnog broja bodova. U svakome trenutku nastavnik može promijeniti ocjenu ili bodove koje je sustav dodijelio nekom korisniku u testu.

Slika: Uređivanje bodova i redoslijeda pitanja

Kod testova vrste Interaktivni oblik s višestrukim pokušajima odgovaranja na pitanje i Povratna informacija nakon svakog predanog pitanja postoji mogućnost postavljanja uvjetovanosti pitanja (student mora odgovoriti na jedno pitanje kako bi mu postalo dostupno sljedeće pitanje). Ova se mogućnost uključuje za svako pitanje pojedinačno (ikona lokota pored pitanja u testu). Esejsko se pitanje ocjenjuje ručno i nema mogućnost uvjetovanja. U slučaju korištenja uvjetovanosti pitanja nije dostupan Slobodan oblik navigacije.

Analiza testa

Sustav Merlin za svaki riješeni test automatski radi analizu cijeloga testa i to analizu prema korisnicima i analizu prema pitanjima. Ta je analiza vrlo korisna nastavnicima, a posebno za izradu sljedećih testova.

Odabirom testa i prikaza svih pokušaja rješavanja testa dobije se analiza uspješnosti svakoga pojedinoga studenta.

Slika: Analiza testa prema studentima

Vidljivo je vrijeme koje je studentu bilo potrebno za rješavanje testa, ostvarena ukupna ocjena (broj bodova) kao i broj bodova za svako pojedino pitanje.

Klikom mišem na ostvareni broj bodova na pojedinome pitanju pojavit će se odgovor koji je student upisao, tj. odabrao prilikom rješavanja testa.

U bloku Administracija → Administracija testa → Rezultati odabirom mogućnosti Odgovori, ili odabirom navedene mogućnosti iz izbornika za administraciju testa, prikazuje se analiza svakoga pojedinoga pitanja za svakog korisnika. Moguće je pregledati izvještaj za određene studente ovisno o statusu pokušaja rješavanja, primjerice samo studenata koji još uvijek rješavaju test, koji su završili test ili onih koji nikad nisu predali neki test.

Rezultate testa za pojedinoga studenta moguće je pregledati odabirom poveznice Pregledaj pokušaj. Bojama i oznakama (simbolima) prikazane su informacije o pojedinome pitanju, u bloku Navigacija u testu.

Slika: Prikaz informacija o pojedinome pitanju

1. esejsko pitanje označeno je sivom bojom
2. pitanje koje je student točno odgovorio označeno je bijelom kvačicom na zelenoj pozadini
3. pitanje koje je djelomično točno odgovoreno označeno je bijelim krugom na narančastoj pozadini
4. pitanje koje je odgovoreno netočno označeno je crvenom pozadinom
5. pitanje koje je student označio ima crveni trokut u desnom kutu
6. pitanje ovisno o prethodnom pitanju označeno je lokotom.

Izvoz rezultata

Odabirom poveznice Administracija testa → Rezultati → Izvoz rezultata nastavnik ima mogućnost pregleda i izvoza pokušaja rješavanja testa pojedinog studenta u obliku prikladnom za ispis na papir ili u PDF.

Slika: Izvoz rezultata

Za pregled završenog pokušaja rješavanja pojedinog studenta, u tablici je potrebno odabrati poveznicu Pregled pokušaja rješavanja.

Osim pregleda završenih pokušaja rješavanja, nastavnik ima mogućnost izraditi novi prazan pokušaj za pojedinog studenta. Student pokušaj može riješiti online, a u slučaju nemogućnosti online rješavanja nastavnik može ispisati pokušaj na papir te ga student rješava na papiru. Odabirom poveznice Unesite odgovore… nastavnik potom ima mogućnost unijeti odgovore studenta i predati test umjesto njega kako bi mu se ostvareni rezultati bili evidentirani u sustavu.

Odabirom poveznice Točni odgovori moguć je ispis testa sa označenim točnim odgovorima.

Slika: Izrada i pregled pokušaja rješavanja

Povratna informacija u esejskom pitanju

Slika: Audio zapis kao povratna informacija u esejskom pitanju

Odgovore na sve vrste pitanja sustav ocjenjuje automatski, osim esejskog pitanja koje od nastavnika zahtijeva pregled i ručno ocjenjivanje. Prilikom ocjenjivanja esejskog pitanja nastavnik može izravno u Atto HTML uređivaču teksta snimiti audio ili video zapis kao povratnu informaciju studentu.

Za pitanja vrste Kratki odgovor ili Esej, kod kojih su studenti samostalno upisivali odgovore, prikazani su svi upisani odgovori. Kod ostalih su prikazani odgovori koje je upisao nastavnik. Pored svakoga odgovora može se prikazati tekst pitanja i traženi odgovor. Svi stupci mogu se smanjiti i povećati uporabom znaka –, odnosno +, čime se može postići preglednost izvještaja.

Statistika testa

Moguće je vidjeti i Statistiku rješavanja testa. Za svako je pitanje izračunato i prikazano nekoliko indeksa i koeficijenata.

Indeks složenosti pitanja (Facility index (%Correct))

Mjerilo složenosti pitanja dobije se dijeljenjem ukupnoga broja osvojenih bodova i mogućega broja bodova za to pitanje, dakle prosjek bodova za određeno pitanje. Što je postotak veći, veće su šanse da studenti na to pitanje odgovore ispravno.

Standardna devijacija (Standard Deviation)

Standardna devijacija (odstupanje) mjeri razliku između ukupnoga broja danih odgovora.

Što više različitih odgovora studenti daju, odstupanje će biti veće, a u slučaju kada bi svi studenti odgovorili jednako, SD bi bio jednak nuli.

Rezultat dobiven pogađanjem odgovora (Random guess score)

Broj bodova koje studenti mogu osvojiti slučajnim pogađanjem odgovora. Ovisi o vrsti pitanja.

Željena težina (Intended question weight)

Kolika je bila željena važnost rezultata toga pitanja u određivanju konačne ocjene testa.

Efektivna (ostvarena) težina (Effective question weight)

Procjena koliko neko pitanje određuje konačnu ocjenu testa.

Razlikovni indeks (Discrimination index)

Razlikovni indeks označava razlike među studentima. Prikazuje odnos između uspjeha na pojedinome pitanju i uspjeha na cijelome testu, a može imati vrijednosti između -100% i 100%. Rezultat od 0 do 100% znači da su studenti koji su dobro odgovorili na to pitanje ujedno imali i dobar uspjeh na testu. Rezultat od -100% do 0 znači da su na to pitanje dobro odgovorili studenti koji su inače loše riješili test. Uglavnom to znači da su studenti pogađali odgovor na to pitanje, a ne da su pokazali stvarno znanje.

Taj indeks uzima u obzir samo gornju i donju trećinu studenata, dok razlikovni koeficijent uzima u obzir rezultate svih studenata.

Razlikovni koeficijent (Discriminative efficiency)

Razlikovni koeficijent još je jedna od mjera za razlikovanje lošijih i boljih studenata. Računa se isto kao i razlikovni indeks, ali za izračun rezultata uzima u obzir sve studente, a ne samo najbolju i najlošiju trećinu studenata.

Slika: Statistika testa

Opisani izvještaji mogu se izvesti, za što je iz padajućeg izbornika potrebno odabrati Spremi podatke iz ove tablice kao željeni oblik, a potom dugme Preuzmi i podaci će se u strukturiranome obliku spremiti u tome obliku.