W badaniu opublikowanym w 2001 roku Jamal Abedi i Carol Lord sprawdzili, co się stanie, gdy zadania z amerykańskiego testu matematycznego zostaną zapisane prostszym językiem. Liczby i obliczenia zostały te same, zmieniły się tylko zdania: krótsze konstrukcje, znane słowa, mniej strony biernej. Badanie objęło 1174 uczniów ósmej klasy. Wyniki były średnio nieco lepsze, a niektóre grupy, w tym uczniowie uczący się angielskiego i uczniowie z klas matematycznych o niższym poziomie, skorzystały szczególnie. Część ich wyniku w pierwotnym teście zależała więc od czytania, a nie od matematyki.
Wracam do tego badania, odkąd przygotowuję sprawdziany z pomocą AI. W 2024 roku, kiedy pierwszy raz pokazywałem to nauczycielom, największe wrażenie robiła szybkość. Podawałem klasę, przedmiot i zakres materiału, a po chwili miałem zestaw zadań z odpowiedziami. Dziś bardziej interesuje mnie, czego dowiem się o uczniach, kiedy sprawdzę ich prace. Model napisze dziesięć poprawnie sformatowanych poleceń w kilka sekund, ale nie wie, po co każde z nich miałoby trafić do arkusza.
W tym wpisie pokazuję, jak planuję sprawdzian z pomocą AI: od rozpisania umiejętności, przez zadania i klucz, po wersje A i B oraz pracę z wynikami. Przykład dotyczy procentów, ale ten sam sposób działa na innych przedmiotach. Na końcu jest polecenie do skopiowania i Konstruktor Sprawdzianów, czyli formularz, który takie polecenie złoży za Ciebie.
Co sprawdzian ma właściwie zmierzyć?
Dylan Wiliam zwraca uwagę, że trafność dotyczy przede wszystkim wniosków, które wyciągamy z wyników oceniania. Jeśli z wyniku sprawdzianu z procentów wnioskuję, że uczeń umie obliczać podwyżki cen, to zadania muszą rzeczywiście tego wymagać. I nic innego nie może uczniowi przeszkadzać: ani zawiły język, ani nieznany kontekst, ani zbyt mało czasu.
John Biggs opisał w 1996 roku podobną zasadę i nazwał ją zgodnością konstruktywną (constructive alignment). Cele, zajęcia i sposób sprawdzania mają do siebie pasować. Jeśli na lekcjach uczniowie uzasadniali, czy wynik ma sens, sprawdzian też powinien o to zapytać, zamiast ograniczać się do rachunków.
Jest jeszcze trzecia sprawa. Sprawdzian nie tylko mierzy. Henry Roediger i Jeffrey Karpicke pokazali, że przypominanie sobie materiału podczas testu poprawia jego późniejsze zapamiętanie. Paul Black i Dylan Wiliam opisali z kolei, jak wykorzystanie informacji ze sprawdzania wiedzy do zmiany nauczania może wspierać postępy uczniów. Dlatego zależy mi, żeby arkusz dawał informacje, z którymi da się potem coś zrobić na lekcji.
Najpierw umiejętności, potem pytania
Załóżmy, że kończymy dział o procentach. Na lekcjach uczniowie obliczali procent liczby, zmieniali ceny o podany procent i uzasadniali, dlaczego wynik jest rozsądny. Jeśli AI przygotuje osiem łatwych przykładów na 10% i 20% oraz dwa zadania z materiału, którego na lekcjach nie było, arkusz może wyglądać świetnie. Tyle że nie sprawdzi tego, co planowałem.
Zanim powstaną pytania, rozpisuję prostą tabelę: umiejętność, zadania, punkty i przewidywany czas. Dopiero wtedy widzę, czy proporcje mają sens i czy ważnego celu nie sprawdzam jednym przypadkowym pytaniem.
| Co chcę sprawdzić? | Proponowane zadania | Punkty | Czas |
|---|---|---|---|
| Obliczanie procentu liczby | 2 krótkie zadania | 6 | 8 min |
| Podwyżki i obniżki cen | 3 zadania, w tym tekstowe | 12 | 16 min |
| Uzasadnianie i wykrywanie błędu | 2 zadania z wyjaśnieniem | 8 | 11 min |
| Łącznie | 7 zadań + 5 minut na sprawdzenie pracy | 26 | 40 min |
To przykładowy plan. Podział czasu i punktów trzeba dopasować do konkretnej klasy.
Najwięcej miejsca dostały tu zmiany procentowe, bo na lekcjach wymagały kilku rodzajów rozumowania. Zadania z wyjaśnieniem błędu są osobną pozycją, ponieważ sama poprawna liczba nie powie mi, czy uczeń rozumie, skąd wziął się wynik. Inny dział albo inna klasa mogą wymagać zupełnie innego rozkładu.
Taka tabela nie musi być formalnym dokumentem. Dla mnie to szybki sposób, żeby sprawdzić, czy arkusz odpowiada temu, czego uczyłem. Na innych przedmiotach działa to tak samo. Jeśli na historii celem była analiza źródła, odtworzenie dat jej nie sprawdzi. Jeśli na polskim chcę ocenić uzasadnianie interpretacji, nie zastąpię tego serią pytań o szczegóły fabuły.
Jak pracuję z AI
Najpierw plan
Podaję klasę, czas pisania i dział, ale przede wszystkim konkretne umiejętności i to, jak były ćwiczone. Proszę o tabelę podobną do tej wyżej i o wskazanie, czego w niej brakuje. Na tym etapie model ma się zatrzymać. Plan czytam, poprawiam i dopiero wtedy idę dalej.
Potem zadania
Przy każdym zadaniu sprawdzam, co ono właściwie sprawdza. Czy uczeń ma coś obliczyć, wyjaśnić, a może rozpoznać błędne rozumowanie? Czy polecenie da się zrozumieć tylko na jeden sposób? Czy kontekst nie wymaga wiedzy spoza przedmiotu? AI potrafi wskazać słabe miejsca, ale każde zadanie i tak czytam sam, tak jak przeczytałby je uczeń.
Na końcu rozwiązuję arkusz i poprawiam klucz
Na zapewnienia modelu, że odpowiedzi są poprawne, nie polegam. Rozwiązuję zadania sam, szukam innych poprawnych metod i poprawiam schemat punktowania. Jeśli do pełnej liczby punktów prowadzi kilka dróg, klucz musi każdą z nich uwzględniać. Mierzę też, ile czasu zajmuje mi cały arkusz. Jeśli rozwiązuję go w kwadrans, uczniowie w czterdzieści minut mogą nie zdążyć.
Na koniec zadaję sobie jedno pytanie: czy uczeń, który naprawdę opanował te umiejętności, będzie mógł je tu pokazać? Jeśli przeszkadza mu niejasny język albo nieznana fabuła zadania, problem leży po stronie sprawdzianu.
Wersje A i B
Często proszę AI o dwie wersje sprawdzianu. To, że oba arkusze mają po siedem zadań i tyle samo punktów, jeszcze nic nie znaczy. Uczniowie mają w obu wersjach pokazać te same umiejętności przy podobnej trudności.
Cena biletu wynosiła 80 zł. Wzrosła o 25%. Oblicz nową cenę. Pokaż obliczenia.
Cena biletu wynosiła 120 zł. Wzrosła o 25%. Oblicz nową cenę. Pokaż obliczenia.
Odpowiedzi to 100 zł i 150 zł. W obu zadaniach można policzyć 25% ceny i dodać je do ceny wyjściowej albo od razu pomnożyć cenę przez 1,25. Liczby dobrałem tak, żeby rachunek był równie wygodny: 25% z 80 i 25% ze 120 łatwo policzyć w pamięci. Gdybym w wersji B zmienił 25% na 17%, zadanie stałoby się trudniejsze rachunkowo, a nie to chciałem sprawdzić.
Punkty przyznaję tak samo w obu wersjach. Jeden za poprawną metodę (na przykład 80 · 1,25 albo 80 + 0,25 · 80), drugi za poprawną cenę końcową. Każda poprawna metoda daje pełną liczbę punktów, także ta, której AI nie podało w kluczu. Dopisałem „Pokaż obliczenia”, bo chcę widzieć sposób rozwiązania. Jeśli polecenie wymaga tylko wyniku, nie mogę potem odejmować punktów za brak zapisu. Kryteria ustalam przed sprawdzianem, zgodnie z zasadami oceniania w szkole.
To jedno zadanie pokazuje sposób myślenia, ale nie dowodzi, że całe arkusze są jednakowo trudne. Przy pełnym sprawdzianie porównuję jeszcze liczbę kroków, język poleceń, dobór danych, czas i łączną punktację.
Ciekawsza fabuła zadań
Zdarzało mi się zmieniać z AI kontekst sprawdzianu, choćby na walentynkowy, i dodawać krótkie żartobliwe wprowadzenie. Uczniowie to lubią i trochę rozładowuje to napięcie. Kłopot pojawia się wtedy, gdy nowa historia wprowadza trudne słownictwo, wymaga wiedzy o jakiejś grze albo po cichu zmienia obliczenia.
Tu wraca badanie Abediego i Lord. Jeśli nie oceniam czytania długich tekstów, prosty rachunek nie potrzebuje pięciozdaniowej fabuły. Nie chcę, żeby uczeń stracił punkty dlatego, że nie zna Minecrafta albo zasad spalonego. Po każdej zmianie kontekstu pytam AI, co zmieniło się w wymaganiach zadania, a nie tylko w opowieści.
Poniżej zrzut z mojego wpisu z 29 kwietnia 2024 roku. To przykład tego, jak zaczynałem korzystać z AI przy sprawdzianach, a nie arkusz, który dziś wydrukowałbym bez zmian.
Polecenie do skopiowania
To rozbudowana wersja pomysłu, który pokazywałem w 2024 roku. Wklej je do rozmowy z AI i uzupełnij fragmenty w nawiasach kwadratowych. Model zatrzyma się po przygotowaniu planu, żebyś mógł go poprawić, zanim powstanie arkusz. Kolejne etapy uruchamiasz, odpisując w tej samej rozmowie. Jeśli wolisz zaznaczać opcje niż pisać, przejdź od razu do Konstruktora Sprawdzianów opisanego niżej.
Uzupełnij pola w nawiasach. Najpierw sprawdź plan przygotowany przez AI, dopiero potem zamów zadania.
Konstruktor Sprawdzianów
Polecenie powyżej dobrze sprawdza się przy jednym sprawdzianie, ale przy każdym kolejnym trzeba je przepisywać i pamiętać o tych samych zasadach. Dlatego zrobiłem Konstruktor Sprawdzianów. To formularz, w którym zaznaczasz to, o czym piszę w tym wpisie, a on składa z tego prompt do skopiowania.
Zaczynasz od podstaw: przedmiot, klasa, czas pisania i forma, od kartkówki po test próbny przed egzaminem. Potem wpisujesz zakres materiału, umiejętności do sprawdzenia i to, czego sprawdzian ma nie obejmować. Ustawiasz typy zadań, poziom trudności, udział wymagań podstawowych i ponadpodstawowych oraz rozkład punktów między odtwarzanie, rozumienie, zastosowanie i analizę. Dalej są dostosowania dla uczniów, wersje arkusza (A i B, dla uczniów ze specjalnymi potrzebami edukacyjnymi, z większą czcionką, dla nieobecnych) i materiały dla nauczyciela: klucz, schemat punktowania, rubryka do zadań otwartych, kartoteka testu, progi procentowe na oceny i lista typowych błędów do omówienia po sprawdzianie.
Osobna część to zasady konstrukcji zadań, które zebrałem z badań nad testami szkolnymi. Warto wiedzieć, jaką umiejętność lub jakie powiązane umiejętności sprawdza dane zadanie, błędne odpowiedzi w zadaniach zamkniętych wynikają z typowych pomyłek uczniów, nie ma podwójnych przeczeń ani pytań podchwytliwych. Jedna z tych zasad najbardziej dziwi nauczycieli: trzy odpowiedzi do wyboru zamiast czterech. Michael Rodriguez przeanalizował w 2005 roku osiemdziesiąt lat badań nad zadaniami wielokrotnego wyboru i doszedł do wniosku, że trzy dobrze dobrane odpowiedzi często wystarczą i pozwalają sprawdzić więcej treści w tym samym czasie. Nie jest to jednak zasada, że każde pytanie musi mieć dokładnie trzy odpowiedzi. Czwarta opcja często jest tak słaba, że prawie nikt jej nie wybiera, a jej wymyślenie zajmuje sporo czasu.
Formularz otwiera się z przykładem sprawdzianu działowego z biologii dla klasy 7 o układzie krążenia, więc od razu widać, jak wygląda gotowy prompt. Jeśli nie wiesz, co zaznaczyć, przycisk „Zaproponuj ustawienia” podpowie rozwiązania. Formularz jest dostępny w serwisie Claude. Nie wprowadzaj do niego danych osobowych uczniów; przed skorzystaniem sprawdź aktualne zasady przetwarzania danych.
Konstruktor przygotowuje prompt, a nie gotowy sprawdzian. Wszystko, o czym pisałem wyżej, nadal obowiązuje: plan czytam przed zadaniami, arkusz rozwiązuję sam, a klucz poprawiam.
- Przedmiot, klasa, umiejętności i czas pracy
- Typy zadań, ich trudność oraz punkty
- Wersje A i B, dostosowania, klucz odpowiedzi
- Gotowy prompt do skopiowania
Po sprawdzianie
Wystawienie stopni nie kończy pracy. Jeśli połowa klasy myli cenę po obniżce z samą kwotą obniżki, ta informacja jest dla mnie ważniejsza niż średnia ocen. Wiem, od czego zacząć następną lekcję.
Mogę opisać AI powtarzający się błąd, bez żadnych danych uczniów, i poprosić o kilka krótkich zadań, które pokażą, czy klasa już go rozumie. Z propozycji wybieram te, które pasują do mojej klasy. Decyzji o stopniach i oceny pracy konkretnych dzieci chatbotowi nie oddaję.
Education Endowment Foundation w przewodniku o informacji zwrotnej (2021) zwraca uwagę, że informacja zwrotna działa wtedy, gdy uczniowie mogą ją wykorzystać. Po sprawdzianie oznacza to krótką lekcję poprawy, a nie tylko oddanie prac z oceną.
Sześć rzeczy, które sprawdzam przed wydrukiem
- Każde zadanie sprawdza umiejętność, która była celem nauki.
- Punkty i czas rozkładają się sensownie, żaden temat nie zdominował arkusza.
- Polecenia są jednoznaczne i nie wymagają wiedzy o kontekście spoza przedmiotu.
- Rozwiązania, wyniki i jednostki sprawdziłem sam.
- Klucz punktuje różne poprawne rozwiązania według tych samych zasad.
- Wersje A i B są porównywalne, a zasady oceniania i dostosowania zgadzają się z ustaleniami szkoły.
Pamiętam też o poufności. Do zewnętrznych narzędzi nie trafiają imienne prace, wykazy ocen, opinie ani żadne dane konkretnych uczniów. Arkusza nie zostawiam przed sprawdzianem w miejscach dostępnych dla innych. Korzystam z narzędzi dopuszczonych w szkole i sprawdzam, co robią z danymi.
Na koniec
AI przyspiesza przygotowanie sprawdzianu i dobrze sobie radzi z wersjami, kluczem czy listą typowych błędów. Nie wie jednak, czego uczyłem przez ostatnie tygodnie ani jak moi uczniowie czytają polecenia. Sprawdzian przygotowany z AI mówi mi coś prawdziwego o uczniach dopiero wtedy, gdy plan, zadania i klucz przejdą przez ręce nauczyciela.
Co przeczytać dalej
Źródła i publikacje
- Abedi, J., Lord, C. (2001). The Language Factor in Mathematics Tests. Applied Measurement in Education, 14(3).
- Biggs, J. (1996). Enhancing Teaching Through Constructive Alignment. Higher Education, 32(3).
- Black, P., Wiliam, D. (1998). Inside the Black Box: Raising Standards Through Classroom Assessment. Phi Delta Kappan, 80(2).
- Education Endowment Foundation (2021). Teacher Feedback to Improve Pupil Learning.
- Rodriguez, M. C. (2005). Three Options Are Optimal for Multiple-Choice Items. Educational Measurement: Issues and Practice, 24(2).
- Roediger, H. L., Karpicke, J. D. (2006). Test-Enhanced Learning. Psychological Science, 17(3).
- Wiliam, D. (2010). What Counts as Evidence of Educational Achievement? Review of Research in Education, 34(1).
- Wiliam, D. (2011). Embedded Formative Assessment. Solution Tree Press.
