Ha az iTOLC ebben a formában és ezen a színvonalon akkreditált nyelvvizsgát adhat ki Magyarországon, akkor nyugodtan felejtsük el, hogy a hazai nyelvvizsgákat bárki is komolyan fogja venni.
Mutatok majd konkrét példákat is, de először nézzük a hátteret röviden. Amíg Magyarországon csak egyetlen, állami nyelvvizsga létezett („Rigó utca”), nagyon alacsony volt a megbecsültsége – valójában rosszabb volt a híre, mint amit megérdemelt volna, de ez más kérdés. Az államilag elismert nyelvvizsgák bevezetésével (2000 januárja óta) hatalmas előrelépés történt: a Nyelvvizsgáztatási Akkreditációs Központ (NYAK) felügyelete alá került nyelvvizsgaközpontok mindegyike szigorú szakmai standardok alapján működik, és a szabályok betartását rendszeresen ellenőrzik. Nem mondható, hogy az elmúlt 19 év zökkenőmentes lett volna a nyelvvizsgáztatás terén, de egy dolog nem merült fel soha: a NYAK szakmai kritikája. Pedig nem egyszer kellett súlyos döntéseket hozniuk – sőt, még legsúlyosabb döntésük, az egyik nyelvvizsgarendszer felfüggesztése is csak egyetértést váltott ki a szakmai közvéleményből.
Az már nem az ő hibájuk, hogy az akkreditált nyelvvizsga, mint a nyelvtudás érvényes bizonyítéka még mindig nem elég elismert hazánkban. A mai napig hallani olyan egészen elképesztő, tényekkel alá nem támasztható véleményeket, mint például hogy „a nyelvvizsgákon csak a nyelvtant nézik”, „anyanyelvi is megbukna”, „a nyelvvizsgaközpontok csak a pénzre mennek, azért buktatnak”, és sorolhatnám. Ezzel szemben minden érintett tudja a szakmában, hogy aki ma bármelyik akkreditált nyelvvizsgarendszerben megszerez egy adott szintű bizonyítványt, az valóban tud azon a szinten (nyilván hibahatáron belül). Ha pedig megbukott, akkor nem tud, ez ilyen egyszerű. Ebben közmegegyezés van – és ez került most valós veszélybe.
Miért lehet ezt kijelenteni, amikor az iTOLC még egyetlen vizsgát sem bonyolított le, hiszen csak május 6-án lesz az első időpont? Két dologból tudható: a nyelvvizsganaptáruk és a letölthető mintavizsgáik alapján.
Már a májusi naptár is egészen hihetetlen: május 6-tól minden egyes munkanapra van meghirdetett iTOLC vizsganap sőt, több napra (hatra!) kettő is. Ez 26 naptári nap alatt 26 vizsga – vagy másként nézve, 20 munkanap alatt 26 vizsga. Találjon valaki ennél sűrűbb vizsganaptárt a világ bármelyik vizsgaközpontjánál! És ezt egy vadiúj vizsgaközpont tudja felmutatni – teljesen reális és hihető, nem? Májustól decemberig 36 angol B2 (középfokú) vizsgaidőpontot hirdetett meg az iTOLC. Harminchatot. 8 hónapra, közte a nyári hónapokkal. Az egész év hátralevő részére 80 (!) vizsgaidőpontjuk van különböző szinteken. Nyolcvan. Az érvényben lévő vizsgaszabályzat szerint ezeknek mindnek teljesen új feladatokból kell állnia, nulla ismétlődéssel.
Akárki ellenőrizheti, hogy az évek óta működő nyelvvizsgaközpontok évi hány vizsganapot kínálnak: angol B2 szinten (erre van a legnagyobb igény) az évi nyolc már nem számít rossznak. Még egyszer: az iTOLC-nál 8 hónap alatt van 36 – ez máshol 4-5 év.
De mi a baj a sűrű vizsganaptárral, kérdezhetné a laikus, hiszen a vizsgázóknak csak jó, ha több időpontból választhatnak. De ezt a nyolcvan vizsgafeladatsort valakinek meg is kellett alkotnia. Ezután jön a több körös ellenőrzés, átírás, újabb ellenőrzés, megint átírás. Ez időbe telik, sok időbe, még rutinos, gyakorlott vizsgafejlesztőknek is. Nyolcvan vizsga pedig nyolcvanszor annyi időbe telik. Aki már dolgozott ilyenen, az tudja, hogy ennek a 80 vizsgának a korrekt színvonalú megírása elképzelhetetlen az iTOLC vizsgaközpont által kommunikált 5+5 szakemberrel (angol+német). Olyan mennyiségben kell előállítaniuk a vizsgafeladatokat, ami kizárja a minőségi munkavégzést és korrekt ellenőrzést. És még egyszer: ezeknek persze mind különböző feladatoknak kell lenniük, nulla átfedéssel, mielőtt valaki felvetné az ellenkezőjét.
Nem is tudom, milyen hasonlattal lehetne érzékeltetni a feladat elképesztő méretét – a szakmabeliek értik, tudják, hogy ez teljességgel lehetetlen, megoldhatatlan, és kódolva van a botrány ebben a mennyiségben.
De ennél sokkal konkrétabb bizonyíték az iTOLC nyelvvizsgaközpont által letöltésre kínált mintavizsgák minősége. A Nyelv és Tudomány nyelvi hírportál egészen elképesztő mennyiségű és súlyosságú nyelvi hibát talált a vizsgált angol B1, B2 és C1 szintű vizsgák szövegében. Ugyebár ezek azok a nyilvánosságnak szánt anyagok, amikkel a nyelvvizsgaközpont meggyőzi a vizsgára készülőket, hogy náluk érdemes vizsgázni. Ezekkel csábítják a nyelvtanárokat, hogy a vizsga annyira jól mér, annyira jó feladatokat tartalmaz, hogy erre érdemes küldeni a tanítványokat. Ez a referenciapont. Ha ilyen igényességgel készítették el ezeket az anyagokat, akkor milyen színvonalat várhatunk el azoktól a feladataiktól, amiket nem tesznek ki a nyilvánosság próbájának?
Frissítés: az iTOLC levette a mintateszteket. Nem jelezték se Facebook-oldalukon, se a honlapjukon, hanem csak simán nincsenek ott a linkek már. Ettől függetlenül a cikkünkben szereplő, oda mutató linkek élnek, tehát magukat az anyagokat nem törölték, csak most már nem érthetők el közvetlenül.
Újabb frissítés: most már teljesen levették a mintateszteket, nem csak a rájuk mutató linkeket. Természetesen ezt sem jelezték – mellesleg a mintatesztek kötelezőek, tehát ilyen szempontból is szabálytanul működnek.
Tényleg csak néhány példa, a B1-es angol feladatsorból:
„It took me few weeks” – „It took me a few weeks” helyett: nem, ez nem egyetlen betű, hanem ettől gyakorlatilag az ellenkezőjére fordul a mondat jelentése, ráadásul elég szerencsétlenül.
„It’s packed with benefits, no commute to work, save money…” – inkább: „It’s packed with benefits, no commute to work, saving money …” – eleve nem túl jó ez az egész így, de a nyelvtani hiba felteszi rá a koronát. Már csak egyet, pedig van még benne: „What I have learnt on how to stay productive when working remotely?” – ezt nem is magyarázom, csak gratulálok a kérdőjelhez (vagy a szórendhez, ahogy tetszik).
Itt már elkezdtem gyanakodni, és rákeresve persze könnyű volt megtalálni az eredetit – itt bizony egy az egyben, minden kritika nélkül vették át a szöveget, ami nem egy szerkesztett újságból vagy más, valamelyest megbízható forrásból származik, hanem egy szoftveres szolgáltatásokat nyújtó cég blogjából… Hajrá, kopipészt! Attól, hogy angolul van, semmi garancia sincs rá, hogy egy reklámszöveget megfelelő nyelvhelyességgel raktak össze, ahogy arra se, hogy anyanyelvi készítette. Ettől még nem lesz belőle egy az egyben felhasználható vizsgaanyag, ezt talán magyarázni sem kellene…
De ugyanebben a feladatban az egyik kérdés így lett megfogalmazva: „Commuting he misses because during that time he…” – Yoda mester személyesen? Mert rajta kívül ezt mindenki más így írta volna: „He misses commuting…” Ráadásul itt az egyik megadott (hibás) válasz így hangzik: „did a special mental training” – a training főnév angolul megszámlálhatatlan, tehát semmiképpen sem állhat előtte „a” – nem, ez sem csak egyetlen betű vagy elütés, hanem komoly nyelvtani hiba, és ezt a vizsgafeladat írója követte el. Gondoljuk meg, hány vizsgázó hányszor fogja a fejében megforgatni ezt a nyelvileg teljesen hibás alakot, és hogy ez milyen hatással lesz a nyelvtudására. Ráadásul ez tipikusan Hunglish hiba, mert magyarul az „egy képzés” vagy „egy tréning” teljesen jó. Ennek a kiszúrásához nem kell anyanyelvi lektor, elég egy stabil B2 szintű nyelvtudás. Csak hát láttuk, hogy ellenőrzésre nem maradt idő. Bár vizsgaíróként eleve nem lenne szabad ilyen szintű hibákat elkövetni, akármilyen rövid idő alatt sem.
Még két példa a kérdések szövegéből, csak gyorsan, magyarázatok nélkül, a feladatíró nyelvi kompetenciájának érzékeltetésére, és az ellenőrzési folyamat minőségének illusztrálására: „The packing is not ready yet” és „The wooden statue doesn’t match her room’s colour.” És tényleg csak azokból válogattam, amiket a nyest.hu nem írt meg, de maradt még elég sok, innen letölthető: B1 – B2 – C1.
Képzeljük el azt a jelenetet, amikor megbukik az iTOLC-on egy vizsgázó, és a vizsgamegtekintésre a vizsgázó magával viszi angoltanárát, aki ott szembesül a feladatsor színvonalával. Hány fellebbezés lesz? És hányan fogják megkérdezni , hogy akkor mennyit ér azoknak a vizsgája, akik átmentek? Mert ezzel a vizsgával nem az a baj, hogy túl könnyű vagy túl nehéz adott szinten, hanem az, hogy kiszámíthatatlan. Teljesen lutri lesz az ilyen kérdésekkel, hogy ki megy át és ki bukik meg.
A másik nagyon nagy probléma a nyilvánosságra hozott feladatsorokkal, hogy rosszul mérik a tudásszintet. Nem vagyok hajlandó elhinni, hogy a NYAK látta ezeket a feladatsorokat, és elfogadta őket, mint az angol B1, B2 és C1 szinteken korrekt teszteket. (A német feladatsorokról hasonlókat mondtak németes kollégák, de én csak az angolról tudok írni.)
Már a korábban említett súlyos nyelvi problémák önmagukban is diszkvalifikálnák ezeket a feladatokat (sőt, negyedennyi is elég lenne), de sajnos, van még tovább. Szinte véletlenszerűen lehet választani a feladatok közül, majdnem mindegyikkel van probléma a nyelvi kompetenciamérés szempontjából is. Tulajdonképpen jól használhatók lennének ezek a feladatsorok egy Testing egyetemi kurzuson, mert állatorvosi lóként szinte minden elkövethető vizsgáztatás-módszertani hiba előfordul bennük.
Nézzünk ismét csak párat, ízelítőül:
iTOLC angol B1 vizsga, Reading, Task 1 – az egész vizsga legelső kérdése kapásból rossz:
Japan is ( 0) ….home… to a unique and vibrant culture, along with beautiful (1) ……… and exciting, ultra-modern ( 2) …..…
A felhasználható szavak között szerepel a cities és a landscapes, ez utóbbit várják helyes megoldásnak az (1)-nél és a cities-t a (2)-nél, de könnyen belátható, hogy a cities hibátlanul működik az (1) helyen is – több jó megoldás is elképzelhető tehát, így a kérdés hibás.
Ugyanitt a formázás is nehezíti a vizsgázó dolgát (ugyanez a tipográfiai probléma több helyen is visszaköszön egyébként – nem figyeltek oda egészen egyszerűen):
disadvantage
s
Ezt nem lehetett volna megoldani egy sorban? Kicsit szélesebbre venni az oszlopot, hogy kiférjen? A mellette levő oszlopban úgyis rövidebb a szöveg, még jobban is nézett volna ki, ráadásul olvashatóbb.
Homályos instrukció: ez rengetegszer előfordul. Eleve rossz ötlet a „You read an article about diets” típusú megfogalmazás (iTOLC angol C1, Reading, Task 1 – megint elég volt az első feladat legelejéig menni, hogy hibát találjunk, remek), de ugyanezt használják szinte mindenhol, pedig nagyon nem bevett itt a Present Simple. Az instrukció többi részéhez igazodva itt is a sima felszólító mód lenne a jó: „Read this article…”. De szintén rosszul hangzik a „You don’t need 2 extracts” is – ez sokkal inkább „There are 2 extracts that you don’t need” szokott lenni ilyen kontextusban. Ez is érthetetlen egyébként, mert aki látott már ilyen instrukciókat, az tudja, hogy miket szoktak írni adott feladattípusoknál – de hogy még annak se tűnjön fel, aki ezeket ellenőrzi? Senki nem látott itt még nyelvvizsgatesztet?
Zavaró témaválasztás – igen, ez is egy típushiba a vizsgáztatásban, és persze az iTOLC is elkövette, nem is egyszer. Most nem is csak a legszebb „John’s breast” megoldásra gondolok (ráadásul tetoválás van John mellén, az sem kellene, hogy téma legyen!) – ez persze egyben a nyelvi hiba kategóriája is, tehát ha így vesszük, három hiba egy csapásra, igazán szép teljesítmény. Az könnyen belátható, hogy a szex, a vallás vagy a politika miért nem elfogadható téma nyelvvizsgáztatásban: egyesek érzékenységét sértheti, és ezáltal befolyásolhatja a teljesítményt. De mennyire megosztó lehet az iTOLC angol C1 Reading Task 4, aminek a címe Schools vital tool in combating Roma exclusion. Ilyet egészen egyszerűen nem lehet nyelvvizsgára beengedni: „Roma children often …..
A) have intellectual disabilities.”
Teljesen mindegy, hogy a cikk milyen állást foglal a témában, vagy hogy „csak” a rossz válaszok között szerepelnek a botrányos kifejezések – ez abszolút alkalmatlan vizsgatéma. Aki ezt nem érti, ne menjen vizsgafejlesztés közelébe.
Persze többször előfordul az egyik legklasszikusabb hibás feladat is, amikor a szöveg elolvasása vagy meghallgatása nélkül is megválaszolható a kérdés. Csak a változatosság kedvéért most nézzünk egy A2 szintű iTOLC feladatot (korrektek tehát, mert szinttől függetlenül egyforma a színvonal – egyformán pocsék):
Your password should be…
A) easy to remember.
B) a combination of characters.
C) your dog’s name.
Vajon melyik lehet itt a jó megoldás?
Hibás feladatkijelölés – az ember azt hinné, hogy ilyen hiba azért már nem fordulhat elő, de valószínűleg minél több tesztkészítési hibát akartak bemutatni. iTOLC angol B1, Writing Task 2: „You have to fill in the following form to win.” – és nincs semmi, amit ki lehetne tölteni, csak egy üres lap. Ennyi – nincs megadva az sem, hogy milyen műfajú írásművet várnak, csak ez: Answer the questions in about 100 words. Az most mellékszál, hogy a négy kérdésből háromban hiba van, ezt lassan megszoktuk már. De mit írjon a vizsgázó? Mert a nyomtatványkitöltés B1-en már túl könnyű, de nincs itt a nyomtatvány, amit kér kitölteni. Akkor levelet? De kinek? Esszét? Azt hová? Újságcikket? Milyen kiadványba? Jó, mondjuk már az első írásfeladatnál is az volt az instrukció, hogy „react to her email” – itt vajon mire gondolhattak?
De itt inkább abba is hagyom és az érdeklődő közönségre bízom, hogy megtalálják a felsorolt hét után a többi vizsgáztatás-módszertani hibát, mert persze van még bőven – a többiek szerintem ennyi után bemondásra elhiszik, hogy van például túl könnyen (automatikusan) kiszűrhető rossz válasz a feleletválasztásosok között, hibás megoldókulcs (nem kell ám annak örülni, ha rossz megoldást is elfogadnak, mert akkor gyanús, hogy máshol meg a jót nem fogják – erre írtunk is már példát), és még sorolhatnám.
Egészen elképesztő egyébként, hogy még a saját Vizsgaszabályzatuk is több helyen hibás, például “Szükség esetén az auditív szövegeket a teremfelügyelő a fogyatékkal élő vizsgázó részére újból lejátssza (összesen maximum 3 alkalommal) az auditív szöveget.” és “A feladatsorokat az iTOLC Nyelvvizsgaközpont Vizsgafejlesztő Bizottsága végzi, amely öt-öt nyelvtanárt foglal magában mind német, mind andol nyelvől, élükön a szakmai vezetőkkel.” Komolyan az a benyomása alakul ki az embernek, hogy itt nem csak nyelvi-szakmai hiányosságokkal állunk szemben, hanem nem is figyelnek oda.
Természetesen elméletben nem kizárható, hogy a májusi vizsgacunamira elkészített 26 vizsgájuk mind kiváló munka, hibátlan egytől egyig, vagy legfeljebb minimális, az érdemi részt nem érintő hibák vannak bennük. Csak ezt most már kevesen fogják elhinni. Ha ezek a vizsganapok így lemennek, ahogy meghirdették őket, az akkora sebet üt a hazai nyelvvizsgáztatás hitelességén, ami sokára fog begyógyulni. Majdnem húsz év telt el a modern nyelvvizsgák bevezetése óta, és a közvélemény jelentős részében még mindig nem tudatosult, hogy ez már nem a régi rendszer. Ha egy ennyi sebből vérző nyelvvizsgát be lehet vezetni, akkor nem azt fogja mondani a nyelvtanulók széles tábora, hogy ja, hát az iTOLC rossz minőségű, de a többi nyelvvizsga korrektül mér, hanem azt, hogy kiszámíthatatlanok a magyar nyelvvizsgák, úgy általában. Ez ellen kellene valamit tenni, de nagyon gyorsan.
