DIAGNOSTIKA DYSLEXIE S VYUŽITÍM EYE-TRACKINGU A UMĚLÉ INTELIGENCE
O nás
Projekt TAČR Diagnostika dyslexie s využitím eye-trackingu a umělé inteligence (TL05000177)
O nás
Jsme interdisciplinární výzkumný tým z Masarykovy univerzity, který sestává z výzkumníků v oblasti pedagogiky, psychologie, eye-trackingu, strojového učení a umělé inteligence a zároveň i odborníků z pedagogicko-psychologické praxe. Cílem práce našeho výzkumného týmu je pomoci nástrojů umělé inteligence a pokročilého technického vybavení (eye trackingu) efektivněji diagnostikovat jednu z nejrozšířenějších specifických poruch učení (dyslexii), a tím výrazně přispět ke zlepšení reedukačních postupů u dyslektického žáka.
Aplikujeme současné vědecké poznatky pedagogiky, psychologie a informační vědy a skrze přesnou detekci očních pohybů dyslektických žáků při řešení verbálních a neverbálních úloh a jejich následnou analýzu s využitím nástrojů strojového učení vytvoří efektivní řešení pro přesnější diagnostiku dyslexie.
Hlavní dosavadní výsledky
Projekt TAČR Diagnostika dyslexie s využitím eye-trackingu a umělé inteligence (TL05000177)
Projekt TAČR vedl k vývoji diagnostické platformy DYSLEX, která značně zlepšuje přesnost diagnostiky dyslexie díky specificky upraveným diagnostickým úlohám, eye-trackingovému měření a analýze s pomocí strojového učení a umělé inteligence. Algoritmy strojového učení dosáhly klasifikační přesnosti až 91 %, což představuje významný pokrok v oblasti. Projekt rovněž přinesl rozsáhlé záznamy očních pohybů dětských čtenářů, což otevírá nové možnosti pro budoucí zefektivnění diagnostiky dyslexie a její reedukace.
Dílčí popis jednotlivých částí projektu:
- Projekt reaguje na potřeby pedagogicko-psychologických poraden zkvalitnit a zefektivnit možnosti diagnostiky dyslexie, zároveň rozvíjet znalosti a kompetence zaměstnanců těchto center, a možnost nabídnout klientům pedagogicko-psychologických poraden efektivní diagnostiku specifické poruchy čtení doplněnou o parametry očních pohybů s možností klasifikace a vyhledání podobných případů v databázi.
- Projekt unikátním způsobem propojuje oblasti sociálních věd (netechnická část) s počítačovými vědami (technická část) a snaží se poukázat na nové interdisciplinární možnosti. Díky tomu můžeme vytěžit technický pokrok pro potřeby společenských věd.
- Projekt se zaměřuje na diagnostiku dyslexie, která je dlouhodobě řešena mnoha sociálními vědami, ovšem v této interdisciplinární podobě a rozsahu nebyla doposud řešena v České republice ani v zahraničí.
- Výsledné řešení aplikuje doposud nevyužité, a především nevytvořené přístupy v dané oblasti.
TAČR Diagnostika dyslexie s využitím eye-trackingu a umělé inteligence (TL05000177), doba řešení 05/2021–12/2023
Platforma DYSLEX
Platforma DYSLEX
Diagnostická platforma DYSLEX značně zlepšuje přesnost diagnostiky dyslexie díky specificky upraveným diagnostickým úlohám, eye-trackingovému měření a analýze s pomocí strojového učení a umělé inteligence. Algoritmy strojového učení dosáhly klasifikační přesnosti až 91 %, což představuje významný pokrok v oblasti. Platforma sestává z několika modulů, které zajišťují spouštění diagnostické baterie včetně nahrávání očních pohybů a zároveň také výpočetní a klasifikační fázi celého diagnostického procesu. Hlavním výstupem diagnostické platformy DYSLEX je přehledný protokol s klasifikačními výsledky čtenáře a detailními informacemi o výkonu v jednotlivých úlohách.
Jak platforma DYSLEX funguje?
Pro koho je platforma DYSLEX určena?
Diagnostická platforma DYSLEX je určena pro žáky 3. a 4. tříd základních škol (tzn. ve věku 9 - 10 let) s mateřským českým jazykem. Metodu lze využít pro intaktní i klinickou populaci.
Test má široké možnosti využití, od oblasti neuropsychologie přes samotnou psychodiagnostiku (klinická psychologie, psychologie výchovy a vzdělávání), až po speciální pedagogiku a poradenství. Celá baterie je administrována na počítači a lze ji, včetně přípravy měřených participantů a zadání instrukcí, realizovat v přibližně 30 minutách. Během administrace testu je přítomen pouze měřený subjekt a administrátor baterie. Testy lze využít pouze individuálně s dozorem administrátora.
Obsah platformy
Diagnostická baterie, která je součástí platformy DYSLEX, obsahuje sadu 4 úloh, které jsou založeny na verbálních podnětech (tzn. hlasité čtení slabik, souvislého textu a bezvýznamového textu) a neverbálních podnětech (zraková diferenciace). S pomocí těchto úloh jsou sledovány oblasti čtenářských dovedností a zrakové diferenciace, které jsou složkou klíčové pro nabytí a rozvoj školních dovedností (např. čtení). Úlohy posléze dodržují totožnou administrační proceduru. Úlohy jsou pro všechny participanty prezentovány v následujícím pořadí:
- Hlasité čtení slabik
- Čtení souvislého textu
- Čtení bezvýznamového textu
- Zraková diferenciace
Hardwarové vybavení
Hardware: Počítač nebo notebook s USB porty pro připojení přídavných zařízení.
Eye-Tracker: Kompatibilní s počítačem/notebookem a platformou DYSLEX, pracující na 250 Hz, využívající software iViewX od SMI.
Periferie: Mikrofon a počítačová myš pro realizaci specifických úloh.
Externí monitor: Připojený k řídicímu počítači, nastavený na rozlišení 1680 x 1050.
Vizualizace dat
Pro účely analýzy i zobrazení eye-trackingových dat jsme vyvinuli velmi jednoduché a přehledné vizualizací fixací očních pohybů, které odborníkům v oblasti pedagogicko-psychologické diagnostiky pomohou identifikovat významné a problémové oblasti během procesu čtení, a to jak u čtenářů s dyslexií, tak i u intaktní populace. Každá fixace (tzn. moment, kdy je oko v relativním klidu a dochází k percepci textu) je zobrazena jako bod, jehož tvar reprezentuje přibližnou podobu fixace (např. elipsa nebo kulatý tvar). Barva tvaru potom určuje dobu trvání fixace, přičemž světlejší odstín značí delší dobu trvání fixace.
Obecné zásady při práci s platformou DYSLEX
1. Všechny kroky měření jsou prováděny dle přesných pokynů manuálu.
2. Měření se koná pouze s přítomností jednoho participanta a administrátora.
3. Měření probíhá v klidné, odhlučněné místnosti s konstantním osvětlením, vhodnou teplotou a vybavení zahrnující stůl, polohovatelné židle, ovládací počítač, monitor a eye-trackingovézařízení.
4. Administrátor vytváří pro dětského participanta pohodlné prostředí a motivuje ho k řešení úloh.
5. Administrátor přizpůsobuje tempo zadávání úloh individuálním potřebám dítěte a zajišťuje jeho porozumění zadání.
Hlavní výstup diagnostiky pomocí platformy DYSLEX
V poslední fázi celé diagnostiky administrátor získá automatizovaný výstup celého procesu, který je následně vizualizován v podobě jednoduchého souboru ve formátu PDF. Finální podoba výstupu obsahuje výsledky čtyř vybraných klasifikátorů pro vybrané verbální i neverbální úlohy.
V horní části výstupu jsou uvedeny základní údaje týkající se měřeného participanta (simulováno). Ve spodní části jsou zobrazeny výsledky pro vybrané úlohy a čtyři implementované klasifikátory. V tabulce jsou následně popsány výsledky a kategorizace (DYS/INT) i procentuální hodnota výpočtu pro přesnější interpretaci. Pro usnadnění orientace jsou výsledky klasifikátorů pro jednotlivé úlohy barevně zvýrazněny (intaktní výstup je červeně, dyslektický potom zeleně).
Zároveň byla podoba platformy DYSLEX cíleně vytvořena ve výše popsané modulární podobě, a to za účelem budoucí adaptability platformy pro další diagnostické potřeby (např. implementace nových diagnostických úloh pro jiné typy poruch apod.).
Výzkumný tým
Výzkumný tým
Filozofická fakulta MU - Ústav pedagogických věd
Mgr. Bc. Nicol Dostálová
specialista v oblasti čtení, dyslexie a eye-trackingu
| e‑mail: |
|
|---|
Mgr. Zuzana Juříková, Ph.D.
specialista v oblasti eye-trackingu
| e‑mail: |
|
|---|
Mgr. Jiřina Bednářová
specialista v oblasti diagnostiky dyslexie
| e‑mail: |
|
|---|
Filozofická fakulta MU - Kabinet informačních studií a knihovnictví
doc. Mgr. Čeněk Šašinka, Ph.D.
specialista v oblasti technologického řešení platformy DYSLEX
| e‑mail: |
|
|---|
Ing. Mgr. Jiří Čeněk, Ph.D.
statistické zpracování dat
| e‑mail: |
|
|---|
Fakulta informatiky MU - Katedra strojového učení a zpracování dat
doc. RNDr. Jan Sedmidubský, Ph.D.
specialista v oblasti umělé inteligence a strojového zpracování dat
| e‑mail: |
|
|---|
prof. Ing. Pavel Zezula, CSc.
specialista v oblasti umělé inteligence a strojového zpracování dat
| e‑mail: |
|
|---|
University Duisburg-Essen, Germany
M.Sc. Wolf Culemann
Psychologist, eye-tracking and IT specialist
Pedagogicko-psychologická poradna Brno, příspěvková organizace (externí aplikační garant)
Mgr. Libor Mikulášek
ředitel PPP Brno
Mgr. Martina Mejzlíková
speciální pedagog
Kontakt
Kontakt
Rádi byste se dozvěděli více informací o platformě DYSLEX?
Máte dotazy týkající se věděckých poznatků z našich výzkumů ohledně čtení, dyslexie s pomocí eye-trackingu?
Máte zájem o případnou spolupráci?
Spojte se s námi prostřednictvím kontaktního formuláře!
Načítám...