Merlin 22/23 Test

Testovi se mogu rabiti za provjeru ili samoprovjeru znanja. Testovi se slažu od pitanja koja se nalaze u bazi pitanja. S obzirom na to da se pitanja u testu mogu pojavljivati nasumičnim odabirom, preporuča se slagati pitanja u kategorije i potkategorije prema područjima koja se obrađuju odnosno prema zahtjevnosti pitanja u njima. Na taj način svi studenti mogu dobiti ujednačeni test. 

Za dodavanje aktivnosti Test odaberite:

Dodaj aktivnost ili resurs → Test.

U polje Ime upisuje se naziv testa, dok se u polje Uvod upisuju osnovne informacije o testu (vrijeme trajanja, broj zadataka, područje koje se ispituje itd.) i kratke upute studentima o tome što se od njih očekuje prilikom rješavanja.

Moguće je odrediti razdoblje u kojemu će pojedini test biti dostupan (mogućnosti Dostupan od i Dostupan do), kao i vrijeme potrebno za rješavanje testa (Vremensko ograničenje). Preporuka je vrijeme u kojem će test biti dostupan postaviti na 5-10 minuta dulje od postavljenog vremenskog ograničenja za rješavanje testa.

Postavka Nakon isteka roka određuje način na koji studenti predaju svoje pokušaje rješavanja testa. Ako je u postavkama odabrano Započeti pokušaji rješavanja se automatski predaju, u tom slučaju ako student nije predao test prije isteka vremenskog ograničenja, onda po isteku vremenskog ograničenja sustav izvrši taj zadatak. To je ujedno i preporučeni način kod testova za ocjenu.

Slika: Postavka Vrijeme

Kod testova za ocjenu Dopušteni broj pokušaja potrebno je postaviti na 1. Ako je pojedinom studentu potrebno omogućiti naknadni pokušaj rješavanja testa ili omogućiti dulje vrijeme rješavanja od vremena definiranog u postavkama testa to je moguće odabirom poveznice Izmijeni pravila iz izbornika Opširnije. Izmjena pravila za korisnika dodaje se odabirom dugmeta Dodaj promjenu pravila za korisnika.

Postavku Način navigacije moguće je postaviti na Slobodno ili Zadano. Kod slobodne navigacije studenti se prilikom rješavanja testa mogu vraćati na prethodne stanice, odnosno prethodna pitanja (ako je svako pitanje postavljeno na zasebnoj stranici), dok kod zadane navigacije nema mogućnosti vraćanja na prethodne stranice, odnosno pitanja.

Slika: Postavka Vrsta testa

Postavka Karakteristika pitanja odnosi se na vrstu testa. Kod testova za ocjenu preporuka je koristiti vrstu testa Povratna informacija nakon predaje testa, dok se ostale vrste testova koriste više za samoprovjeru znanja. Kod vrste testa Povratna informacija nakon predaje testa sustav automatski ocjenjuje sva pitanja, osim pitanja esejskog tipa koja zahtijevaju ručno ocjenjivanje.

Izmjena vrste testa nakon što su studenti rješavali nema utjecaja na naknadno ocjenjivanje pitanja.

Adaptivni način rješavanja testa omogućava studentu višekratno odgovaranje na isto pitanje, čime je eventualno omogućeno da iz drugoga ili trećega pokušaja osvoji dio bodova. I kod interaktivnoga oblika rješavanja testa student može više puta odgovarati na pojedino pitanje.

Razlika između adaptivnog testa i interaktivnog testa s višestrukim pokušajima rješavanja je u tome što kod adaptivnog testa ne postoji ograničenje koliko puta student može odgovarati na pojedino pitanje. Isto tako, prilikom svakoga od tih pokušaja mogu se uključiti kazneni bodovi.

Kod interaktivnog oblika testa student može odgovarati ovisno o broju savjeta koje je nastavnik upisao. Jednom kada odgovori ispravno ne može više pokušavati odgovoriti na pitanje dok kod adaptivnog ta mogućnost postoji.

Savjeti

Slika: Postavke pregleda testa

U postavkama pregleda testa nastavnik odabire informacije koje želi da studentima budu vidljive nakon završetka testa. Informacije koje nastavnik označi u stupcu Odmah nakon rješavanja vidljive su studentima unutar 2 minute nakon što su predali test. Informacije koje nastavnik označi u stupcu Kasnije, dok je test još otvoren vidljive su studentima po isteku 2 minute nakon predaje testa pa do postavljenog datuma zatvaranja testa. Informacije označene u stupcu Nakon zatvaranja testa vidljive su nakon isteka datuma zatvaranja testa (postavka Dostupan do).

Nastavnik može ograničiti pristup testu samo s određenih IP-adresa ili postaviti lozinku za pristup testu.

Mogućnost Prozor preko cijelog ekrana s dijelom JavaScript sigurnosnih postavki unutar postavke Zaseban prozor web preglednika otvara test u zasebnom prozoru preko cijelog zaslona. Budući da ispravnost prikaza navedene postavke uvelike ovisi o internetskom pregledniku korisnika, ne preporuča se njeno korištenje. Postavka također ne osigurava znatno veću sigurnost provedbe testa jer studenti mogu kraticama na tipkovnici prelaziti iz jednog u drugi prozor web preglednika te otvoriti bilo koji sadržaj za vrijeme testa.

Postizanje veće razine sigurnosti u izvođenju online testova moguće je korištenjem SafeExamBrowser-a. 

Safe Exam Browser je prilagođeni web preglednik temeljen na Mozilla Firefox Public licenci te je besplatno dostupan za sljedeće operacijske sustave:

• Windows (8.1, 10, 11)
• macOS (početno 11, preporučeno 10.15 ili novije)
• iOS (11 ili novije).

Safe Exam Browser je okruženje web preglednika koje omogućava sigurnije provođenje online testova jer softver privremeno pretvara računalo u sigurnu radnu stanicu (npr. ne prikazuje nikakve navigacijske elemente poput adresne trake, polja tražilice, onemogućava prečace putem tipkovnice, desnu tipku miša, snimku zaslona za vrijeme ispita, onemogućava korisniku pristup drugim aplikacijama ili web adresama itd).

SEB je potrebno instalirati na svako računalo s kojeg će se rješavati test. Stoga je navedeni alat odlično rješenje za računalne učionice u kojima nastavnik može kontrolirati konfiguraciju samog programa i nadgledati tijek provođenja testa.

U slučaju kada studenti test rješavaju kod kuće koristeći vlastita računala, instalaciju SEB-a na računalo treba napraviti svaki student. Nastavnik pritom treba uzeti u obzir činjenicu da možda neki studenti nemaju računala te imaju mogućnost korištenja samo mobilnih uređaja, poput mobitela ili tableta koji koriste Android operativni sustav, za koje SEB nije dostupan i na taj način im pristup testu ne bi bio moguć. Svakako se preporuča prije korištenja SEB-a provjeriti sa studentima koje uređaje koriste. Preporučamo uporabu računala.

Sustav Moodle, na kojem se temelji i sustav Merlin, ima ugrađenu mogućnost izvršavanja testova putem Safe Exam Browser-a.

U postavkama aktivnosti Test nastavniku je dostupno nekoliko mogućnosti vezano uz korištenje SEB-a:

• Ručna konfiguracija - nastavnik ima mogućnost odabira nekoliko postavki SEB-a koje će sustav automatski konfigurirati. Generira se jedinstvena konfiguracijska datoteka za svaki test te se studentu otvara izravno pojedini test. Ova mogućnost koristi SEB config key.
• Postavi vlastitu konfiguracijsku datoteku - omogućava nastavniku postavljanje u Moodle SEB konfiguracijske datoteke koju je izradio u SEB konfiguracijskom alatu.
• Koristi konfiguracijsku datoteku SEB klijenta - kod ove mogućnosti nastavnik izrađuje SEB konfiguracijsku datoteku u SEB konfiguracijskom alatu te ju na određeni način dostavlja studentu (nije moguće izravno kroz postavke testa, ali je moguće, npr. u opis testa postaviti poveznicu na datoteku).

Slika: Dodatna ograničenja prilikom rješavanja testa

Nastavnik u postavkama testa, u sekciji “Safe Exam Browser” te u padajućem izborniku “Zahtijevaj korištenje Safe Exam Browser-a” odabire mogućnost “Da – ručna konfiguracija”. Odabirom ručne konfiguracije nastavnik ima mogućnost odabira nekoliko postavki SEB-a koje će sustav automatski konfigurirati. Generira se jedinstvena konfiguracijska datoteka za svaki test te se studentu otvara izravno pojedini test. Ova mogućnost koristi SEB config key.

Preporučamo koristiti ovu opciju jer svaki student na taj način kroz sustav Merlin, tj. kroz aktivnost test može preuzeti generiranu konfiguracijsku datoteku kojom pokreće ispit putem SEB-a.

Ako se koriste druge opcije nastavnik sam mora urediti i generirati konfiguracijsku datoteku, koju nakon toga mora dostaviti svim studentima kako bi oni bili u mogućnosti pristupiti testu. Ove opcije preporučaju se samo ako nastavnici žele omogućiti rad i uporabu dodatnih programa tijekom trajanja testa. Odabirom opcije “Da – postavi vlastitu konfiguracijsku datoteku” nastavnik ju nakon izrade postavlja u sustav Merlin kroz postavke testa, te time omogućava preuzimanje datoteke putem samog sustava. Nastavnik postavlja nekriptiranu SEB konfiguracijsku datoteku na koju sustav zatim dodaje poveznicu do testa i ostale potrebne postavke, ne dostavlja ju sam studentima. Kod ove opcije se ne preporuča postavljanje dopuštenih ključeva jer Moodle sam generira dovoljnu zaštitu.

Slika: Postavljanje vlastite konfiguracijske datoteke

Odabirom opcije “Da – koristi konfiguracijsku datoteku SEB klijenta” nije moguće dostavljanje konfiguracijske datoteke studentu putem sustava Merlin, već nastavnik mora sam naći neki drugi način, a studenti moraju koristiti jednaku verziju SEB-a onoj na kojoj je nastavnik izradio konfiguracijski ključ kako bi mogli pristupiti testu. Nastavnik također mora za svaku verziju uređaja i operacijskog sustava koju studenti koriste izraditi vlastitu konfiguracijsku datoteku (Windows, iOS, MacOS). Ovako izrađena konfiguracijska datoteka također se treba kriptirati od strane nastavnika (Moodle ju neće sam kriptirati kao kod ostalih opcija).

Ako se nastavnik odluči provesti test u sustavu za e-učenje Merlin izradom vlastite konfiguracijske datoteke u SEB konfiguracijskom alatu postupak je sljedeći:

1) U postavkama testa (Administracija testa -> Uredi postavke) mogućnost “ Zahtijevaj korištenje Safe Exam Browser-a ” potrebno je postaviti na “Da – postavi vlastitu konfiguracijsku datoteku” ili “Da – koristi konfiguracijsku datoteku SEB klijenta”.

2) Nastavnik preuzima Safe Exam Browser i instalira ga na svoje računalo. Nakon instalacije na Windows OS-u, SEB aplikacija se smješta u programsku mapu računala (obično C: \ Program Files ili C: \ Programske datoteke (x86)) i sadrži dvije datoteke SafeExamBrowser.exe izvršnu datoteku i SEBConfigTool.exe konfiguracijsku datoteku.

3) Nastavnik konfigurira SEBConfigTool.exe prema željenim postavkama te odabrane postavke sprema kao .seb datoteku na računalo.

Slika: Konfiguriranje SEBConfigTool.exe datoteke

U postavkama ove datoteke može se postaviti početna stranica koju će preglednik otvoriti, kao i niz postavki kiosk moda.

Važne postavke prilikom konfiguracije SEBConfigTool-a su tri vrste lozinke (lozinka administratora (nastavnika), lozinka za pristup testu te lozinka za izlaz iz testa. Lozinka administratora (nastavnika) je lozinka kojom se zaključava cijela .seb datoteka. Lozinka za ulaz je lozinka kojom student pokreće test u

SafeExamBrowser-u i blokira računalo, a lozinka za izlaz omogućava izlazak iz testa jer bez te lozinke računalo studenta će ostati blokirano. Stoga

je važno da nastavnik studentu dostavi obje lozinke (za pristup testu i za izlazak iz testa).

4) Nastavnik konfiguriranu .seb datoteku postavlja u izrađenu aktivnost test ili je šalje studentima nekim drugim načinom (npr. putem e-maila, foruma Obavijesti i sl.). Također, iz navedene konfiguracije nastavnik može kopirati ključ i postaviti ga u postavke testa na sustavu Merlin, kako bi studenti mogli pristupiti samo sa SEB-om koji je pokrenut s izrađenom konfiguracijskom datotekom (preporuča se koristiti samo kada nastavnik sam dostavlja konfiguracijsku datoteku studentima, opcija Da – koristi konfiguracijsku datoteku SEB klijenta).

Slika: Mjesto za unos dopuštenih ključeva

Nastavnici mogu online test organizirati na način da studenti tijekom testa moraju imati upaljene kamere da se vidi tko i kako rješava test. U slučaju da nastavnik odabere ovu opciju, svakako treba prvo provjeriti imaju li svi studenti kamere.

Za potrebu testa na ovaj način nastavnik može kreirati sobu za webinar u jednoj od aplikacija za webinare (Adobe Connect, Zoom, MicrosoftTeams, Google Meet, Webex…) i upisati studente kako bi studenti mogli ući u sobu prije početka testa.

U slučaju da studenti trebaju priložiti i datoteku s izračunom predlažemo da test sadrži esejsko pitanje u kojem je moguće postaviti predaju jedne ili više datoteka te će studenti moći skenirati/fotografirati papir i predati ga u testu. Studenti datoteku nastavniku mogu poslati i putem e-maila. Nakon toga studenti izlaze i iz sobe za webinare.

U slučaju da snimate test, potrebno je o tome obavijestiti studenta i tražiti njegov pisani pristanak (GDPR).

Student treba preuzeti Safe Exam Browser i instalirati ga na svoje računalo.

Student preuzima i otvara .seb datoteku koju je nastavnik pripremio te pokreće online test koristeći lozinku za ulaz koju je postavio nastavnik. Nakon pokretanja .seb datoteke na računalu studenta, blokiraju se sve funkcije računala dok test ne završi i student ne izađe iz Safe Exam Browser-a upisujući lozinku za izlaz koju je postavio nastavnik.

Predlaže se da nastavnik barem nekoliko dana prije testa pripremi i provede probni test sa studentima na uređajima na kojima će studenti rješavati stvarni test. Na ovaj način studenti su u mogućnosti isprobati radi li im Safe Exam Browser ispravno te na vrijeme prilagoditi računalo za pristup testu.

U Ocjenama je za test prikazan broj bodova, a ne ocjena. U sekciji Povratna informacija za test moguće je definirati bodovne granice (u postotcima) kao povratnu informaciju studentima o dobivenoj ocjeni temeljem ostvarenih bodova.

Slika: Povratna informacija za test

Uređivanje testa

Nakon uređivanja postavki testa pristupa se uređivanju testa dodavanjem pitanja u test odabirom dugmeta Dodaj pitanje.

Slika: Uređivanje testa

Pitanja se u test dodaju odabirom poveznice Dodaj i mogućnosti Dodaj pitanje iz baze pitanja. Moguće je dodati i određeni broj nasumično odabranih pitanja (od 1 do 100) odabirom mogućnosti Dodaj pitanje slučajnim odabirom.

Slika: Dodavanje pitanja u test

U svakome se testu mogu kombinirati različite kategorije pitanja. Pitanja se mogu ubacivati slučajnim odabirom sustava ili nastavnik sam može urediti cijeli test. Prilikom dodavanja pitanja, moguće je odabrati inačicu pitanja koju želimo dodati.

Svako pitanje nosi određeni broj bodova koje nastavnik odredi. Nasumično dodana pitanja imat će automatski postavljen 1 bod koji nastavnik može zamijeniti brojem bodova koji želi. Ovo je ujedno jedan od razloga zašto se preporuča koristiti kategorije i u nazivu kategorije postaviti informaciju o težini pitanja. Za ocjenjivanje se vrši skaliranje bodova (povezivanje ukupne ocjene i najviše ocjene). Nakon postavljanja svih pitanja, broj koji je sustav izračunao za ukupnu ocjenu potrebno je unijeti i u polje za najvišu ocjenu (Slika: Uređivanje bodova i redoslijeda pitanja).

Strelicama se mijenja raspored pojavljivanja pitanja u testu. Odabirom dugmeta Odaberi više pitanja moguće je odjednom izbrisati sva ili samo pojedina označena pitanja. Odabirom dugmeta Repaginiraj moguće je promijeniti broj pitanja po stranici.

Nakon što su postavljena pitanja koja će test sadržavati, potrebno je odrediti broj bodova koje pojedino pitanje nosi jer se on ne mora slagati s bodovima koji su predefinirani, već mogu ovisiti o pojedinomu testu. Konačna ocjena određuje se u postotku ostvarenih bodova od maksimalnog broja bodova. U svakome trenutku nastavnik može promijeniti ocjenu ili bodove koje je sustav dodijelio nekom korisniku u testu.

Slika: Uređivanje bodova i redoslijeda pitanja

Kod testova vrste Interaktivni oblik s višestrukim pokušajima odgovaranja na pitanje i Povratna informacija nakon svakog predanog pitanja postoji mogućnost postavljanja uvjetovanosti pitanja (student mora odgovoriti na jedno pitanje kako bi mu postalo dostupno sljedeće pitanje). Ova se mogućnost uključuje za svako pitanje pojedinačno (ikona lokota pored pitanja u testu). Esejsko se pitanje ocjenjuje ručno i nema mogućnost uvjetovanja. U slučaju korištenja uvjetovanosti pitanja nije dostupan Slobodan oblik navigacije.

Kako bi nastavnici lakše provjerili koje su uvjete i ograničenja postavili, sada su im informacije o postavljenoj prolaznoj ocjeni i o izmjeni pravila za grupu ili korisnika vidljive odabirom naziva testa. 

Slika: Informacije dostupne prilikom pregleda testa

Analiza testa

Sustav Merlin za svaki riješeni test automatski radi analizu cijeloga testa i to analizu prema korisnicima i analizu prema pitanjima. Ta je analiza vrlo korisna nastavnicima, a posebno za izradu sljedećih testova.

Odabirom testa i prikaza svih pokušaja rješavanja testa dobije se analiza uspješnosti svakoga pojedinoga studenta.

Slika: Analiza testa prema studentima

Vidljivo je vrijeme koje je studentu bilo potrebno za rješavanje testa, ostvarena ukupna ocjena (broj bodova) kao i broj bodova za svako pojedino pitanje.

Klikom mišem na ostvareni broj bodova na pojedinome pitanju pojavit će se odgovor koji je student upisao, tj. odabrao prilikom rješavanja testa.

Na poveznici Rezultati odabirom iz izbornika mogućnosti Odgovori prikazuje se analiza svakoga pojedinoga pitanja za svakog korisnika. Moguće je pregledati izvještaj za određene studente ovisno o statusu pokušaja rješavanja, primjerice samo studenata koji još uvijek rješavaju test, koji su završili test ili onih koji nikad nisu predali neki test.

Rezultate testa za pojedinoga studenta moguće je pregledati odabirom poveznice Pregledaj pokušaj. Bojama i oznakama (simbolima) prikazane su informacije o pojedinome pitanju, u bloku Navigacija u testu.

Slika: Prikaz informacija o pojedinome pitanju

1. esejsko pitanje označeno je sivom bojom
2. pitanje koje je student točno odgovorio označeno je bijelom kvačicom na zelenoj pozadini
3. pitanje koje je djelomično točno odgovoreno označeno je bijelim krugom na narančastoj pozadini
4. pitanje koje je odgovoreno netočno označeno je crvenom pozadinom
5. pitanje koje je student označio ima crveni trokut u desnom kutu
6. pitanje ovisno o prethodnom pitanju označeno je lokotom.

Izvoz rezultata

Odabirom poveznice Rezultati → Izvoz rezultata nastavnik ima mogućnost pregleda i izvoza pokušaja rješavanja testa pojedinog studenta u obliku prikladnom za ispis na papir ili u PDF.

Slika: Izvoz rezultata

Za pregled završenog pokušaja rješavanja pojedinog studenta, u tablici je potrebno odabrati poveznicu Pregled pokušaja rješavanja.

Osim pregleda završenih pokušaja rješavanja, nastavnik ima mogućnost izraditi novi prazan pokušaj za pojedinog studenta. Student pokušaj može riješiti online, a u slučaju nemogućnosti online rješavanja nastavnik može ispisati pokušaj na papir te ga student rješava na papiru. Odabirom poveznice Unesite odgovore… nastavnik potom ima mogućnost unijeti odgovore studenta i predati test umjesto njega kako bi mu se ostvareni rezultati bili evidentirani u sustavu.

Odabirom poveznice Točni odgovori moguć je ispis testa sa označenim točnim odgovorima.

Slika: Izrada i pregled pokušaja rješavanja

Povratna informacija u esejskom pitanju

Slika: Audio zapis kao povratna informacija u esejskom pitanju

Odgovore na sve vrste pitanja sustav ocjenjuje automatski, osim esejskog pitanja koje od nastavnika zahtijeva pregled i ručno ocjenjivanje. Prilikom ocjenjivanja esejskog pitanja nastavnik može izravno u Atto HTML uređivaču teksta snimiti audio ili video zapis kao povratnu informaciju studentu.

Za pitanja vrste Kratki odgovor ili Esej, kod kojih su studenti samostalno upisivali odgovore, prikazani su svi upisani odgovori. Kod ostalih su prikazani odgovori koje je upisao nastavnik. Pored svakoga odgovora može se prikazati tekst pitanja i traženi odgovor. Svi stupci mogu se smanjiti i povećati uporabom znaka –, odnosno +, čime se može postići preglednost izvještaja.

Statistika testa

Moguće je vidjeti i Statistiku rješavanja testa. Za svako je pitanje izračunato i prikazano nekoliko indeksa i koeficijenata.

Indeks složenosti pitanja (Facility index (%Correct))

Mjerilo složenosti pitanja dobije se dijeljenjem ukupnoga broja osvojenih bodova i mogućega broja bodova za to pitanje, dakle prosjek bodova za određeno pitanje. Što je postotak veći, veće su šanse da studenti na to pitanje odgovore ispravno.

Standardna devijacija (Standard Deviation)

Standardna devijacija (odstupanje) mjeri razliku između ukupnoga broja danih odgovora.

Što više različitih odgovora studenti daju, odstupanje će biti veće, a u slučaju kada bi svi studenti odgovorili jednako, SD bi bio jednak nuli.

Rezultat dobiven pogađanjem odgovora (Random guess score)

Broj bodova koje studenti mogu osvojiti slučajnim pogađanjem odgovora. Ovisi o vrsti pitanja.

Željena težina (Intended question weight)

Kolika je bila željena važnost rezultata toga pitanja u određivanju konačne ocjene testa.

Efektivna (ostvarena) težina (Effective question weight)

Procjena koliko neko pitanje određuje konačnu ocjenu testa.

Razlikovni indeks (Discrimination index)

Razlikovni indeks označava razlike među studentima. Prikazuje odnos između uspjeha na pojedinome pitanju i uspjeha na cijelome testu, a može imati vrijednosti između -100% i 100%. Rezultat od 0 do 100% znači da su studenti koji su dobro odgovorili na to pitanje ujedno imali i dobar uspjeh na testu. Rezultat od -100% do 0 znači da su na to pitanje dobro odgovorili studenti koji su inače loše riješili test. Uglavnom to znači da su studenti pogađali odgovor na to pitanje, a ne da su pokazali stvarno znanje.

Taj indeks uzima u obzir samo gornju i donju trećinu studenata, dok razlikovni koeficijent uzima u obzir rezultate svih studenata.

Razlikovni koeficijent (Discriminative efficiency)

Razlikovni koeficijent još je jedna od mjera za razlikovanje lošijih i boljih studenata. Računa se isto kao i razlikovni indeks, ali za izračun rezultata uzima u obzir sve studente, a ne samo najbolju i najlošiju trećinu studenata.

Slika: Statistika testa

Opisani izvještaji mogu se izvesti, za što je iz padajućeg izbornika potrebno odabrati Spremi podatke iz ove tablice kao željeni oblik, a potom dugme Preuzmi i podaci će se u strukturiranome obliku spremiti u tome obliku.