Task dependent interlinguistic mediation performance as translanguaging practice: The use to KPG data for an emperically based study
Maria Stathopoulou
Faculty of English Language and Literature
School of Philosophy, National and Kapodistrian University of Athens
Abstract
This research is concerned with interlingual mediation, which involves relaying in one language information purposefully extracted from a source text in another language so as to restore communication gaps between interlocutors. Strategies for effective interlingual performance are essential in today's multilingual contexts, and the ability to mediate across languages is considered important by the influential Common European Framework of Reference for Languages (CEFR). However, due to the monolingual paradigm still prevalent in mainstream foreign language teaching and testing, mediation has not received the attention it deserves.
Retrieving data from the KPG Task Repository and the KPG English Corpus, both of which have been compiled with information (tasks and scripts) from the Greek foreign language national exams known as the KPG exams –the only proficiency testing system which tests mediation performance, this project aims at exploring the complex nature of interlinguistic mediation in a testing context. The focus is on written mediation in English, produced by test takers on the basis of messages in Greek texts. By viewing mediation as inextricably linked to the tasks which instigate and thus affect performance, this work attempts a systematic linguistic description of KPG mediation test tasks by level, which leads to the construction of a task taxonomy, organised in terms of task characteristics. Task- dependent performance exploration follows. It is empirically investigated through the textual analysis of scripts, with a view to finding task dependent mediation strategies used for successful communication at different levels of proficiency. The KPG task and learner data are analysed using both top-down and bottom-up methodologies. Task analysis involving the systematic description of tasks on the basis of specified categories determined by the theory of language and the theory of writing which informs KPG task design, is a top-down method. Textual analysis of mediation scripts, which leads to an understanding of how task parameters affect written mediation strategies, is a bottom up method used to empirically develop a framework for the mediation strategy descriptors.
The methodology and results of this study may both be useful in that task and mediation strategy descriptors may facilitate the development of mediation levelled tasks for teaching and testing purposes, while they may also contribute to the creation of standardised measures and clear benchmarks for a more reliable assessment of mediation competence, thus providing a critical supplement to the CEFR and to the curricula of language courses interested in developing learners' interlinguistic competence.
World representations in language exam batteries: critical discourse analysis of texts used to test reading comprehension
Amalia Balourdi
Faculty of English Language and Literature
School of Philosophy, National and Kapodistrian University of Athens
Abstract
Adopting the view that “anything said or written about the world is articulated through language from a particular ideological position” (Fowler, 1991: 10), the basic assumption upon which this thesis rests is that the texts used by English language examination systems are invested with the particular ideologies that characterise the institutions which are responsible for the exams. The basic aim of the thesis is twofold: (a) to explore the ways in which the texts used to test reading comprehension in three popular English language proficiency exam batteries in Greece (i.e. the state certificate for language proficiency, known as the KPG Exams, the Cambridge ESOL Exams, and the Michigan Exams) linguistically construe or represent the world, and the subject positions they create for their readers, and (b) to develop a systematic and accurate model of analysis that will best serve this purpose.
Understanding that “the grammar of a language is its theory of reality” (Kress & Hodge, 1993: 7), the present study, which follows the traditions of Critical Discourse Analysis and Critical Testing and adheres to the principles of Halliday’s theory of language as social semiotic, combines the methodological tools of Systemic Functional Linguistics with corpus linguistics techniques and attempts a detailed lexicogrammatical analysis of a corpus of texts. This corpus of texts consists of three sub-corpora, each containing 31 texts from each exam battery. The analysis, which focuses on the investigation of the experiential and interpersonal meanings the texts make, indicates that the texts of each examination battery sub-corpus are characterised by particular linguistic and discursive choices, by means of which three different realities are construed. The method of analysis applied in this study has helped reveal the different ideological positions from which the texts of each exam battery are articulated, thus demonstrating the effectiveness of the SFL analytical tools, particularly in combination with those of corpus linguistics, in studies with critical aims.
The importance of this study lies in that, apart from providing a systematic method of lexicogrammatical analysis, by revealing the ideological implications of English language tests viewed as powerful social institutions which administer and introduce specific knowledge, it also introduces a critical and political angle from which to view texts for teaching and testing language(s). In fact, the ultimate goal of this thesis, and consequently the gap in the current literature it hopes to fill in is to generate a critical stance to the content of foreign language testing, by clearly demonstrating that there are particular linguistic constructions of reality in the texts used for testing reading comprehension.
Μεταπτυχιακες και Διδακτορικες Διατριβες
Διδακτορικές διατριβές που έχουν ήδη εκπονηθεί για τις εξετάσεις στην Αγγλική
- World representations in language exam batteries: critical discourse analysis of texts used to test reading comprehension. (Απρίλιος 2012)
- Task dependent interlinguistic mediation performance as translanguaging practice: The use to KPG data for an emperically based study (Φεβρουάριος 2013)
- The effect of text and reader variables on reading comprehension: the case of the Greek State Certificate of English Language Proficiency Exams (KPG) - A New Text Difficulty Index for Automatic Text Classification (Φεβρουάριος 2013)
Πλήθος διδακτορικών διατριβών με ποικίλα θέματα που βρίσκονται εν εξελίξει για τις εξετάσεις στην Αγγλική. Ενδεικτικά παρατίθενται οι παρακάτω:
- Listening comprehension in language proficiency tests: a study of EFL test-takers’ strategy based performance in listening testing situations
- Investigating literacy requirements of reading and listening comprehension test tasks: the case of the KPG English and French exams
- A corpus-based research of candidates’ scripts concerning text grammar
- Exploring listening comprehension difficulty in language proficiency testing: the case of the Greek State Certificate Examination
- Interlocutor performance variability in language proficiency testing: the case of the Greek State Certificate Examinations
- Towards the validation of the KPG activities of oral performance
- Factors affecting writing and written mediation task difficulty
Μεταπτυχιακές διατριβές στις οποίες το RCeL προσέφερε ερευνητική υποστήριξη παρατίθενται παρακάτω:
- Γραπτή διαμεσολάβηση στις Εθνικές Εξετάσεις Πιστοποίησης Γλωσσομάθειας: διερεύνηση γλωσσικών υβριδικών σχηματισμών λόγω της κανονιστικής επενέργειας του αρχικού κειμένου (2009).
- Αξιολογώντας την πραγματολογική ικανότητα των υποψηφίων του ΚΠΓ στις δραστηριότητες παραγωγής γραπτού λόγου: σχεδιάζοντας σκάλες αξιολόγησης συγκεκριμένων δραστηριοτήτων (2009).
- Σύνδεση του Κρατικού Πιστοποιητικού Γλωσσομάθειας (ΚΠΓ) με το Ολοήμερο Σχολείο: ένα προτεινόμενο πρόγραμμα διδασκαλίας για την ανάπτυξη στρατηγικών αντιμετώπισης της εξέτασης Επιπέδου Α' (2009).
- Investigating aspects of validity in mediation tasks: a case study from the Greek State Certificate of Language Proficiency.
- Relating language tests to the Common European Framework: a case study of a reading comprehension test.
Έρευνα για το ΚΠΓ
Διεξάγεται συστηματική έρευνα με βάση δεδομένα που συλλέγονται ή προκύπτουν από τη διενέργεια των εξετάσεων του ΚΠΓ.
Εξεταστές Προφορικού Λόγου
Η στάση των εξεταστών σε σχέση με την εξέταση και τις συγκεκριμένες δραστηριότητες διερευνώνται μέσα από ερωτηματολόγια που διανέμονται στους εξεταστές σε όλα τα εξεταστικά κέντρα την ημέρα των εξετάσεων. Αυτά τα ερωτηματολόγια περιλαμβάνουν ερωτήσεις σχετικά με τη διαδικασία των προφορικών εξετάσεων, τη συμπεριφορά του εξεταστή, τη μορφή της εξέτασης, το περιεχόμενο των δραστηριοτήτων καθώς επίσης και τις στρατηγικές που απαιτούνται.
Βαθμολογητές (Παραγωγής) Γραπτού Λόγου
Ερωτηματολόγια χρησιμοποιούνται για να διερευνηθούν οι απόψεις των βαθμολογητών γραπτού λόγου για την ίδια τη διαδικασία της βαθμολόγησης, για το πρόγραμμα εκπαίδευσής τους ως βαθμολογητές, για τα εργαλεία βαθμολόγησης και για την εμπειρία τους ως βαθμολογητές. Τα ερωτηματολόγια αυτά συμπληρώνονται πάντα στο τέλος της διαδικασίας της βαθμολόγησης.
Υποψήφιοι
Οι απόψεις των υποψηφίων του ΚΠΓ απέναντι στα θέματα των εξετάσεων διερευνώνται μέσα από ειδικά σχεδιασμένα ερωτηματολόγια που τους διανέμονται σε κάθε εξεταστική περίοδο. Σκοπός της έρευνας είναι να καταδείξει ποιες δραστηριότητες παρουσιάζουν δυσκολίες για τους υποψηφίους, ποιοι παράγοντες πιστεύουν οι υποψήφιοι ότι επηρεάζουν την απόδοσή τους, τι είδους στρατηγικές χρησιμοποιούν για να βελτιώσουν την απόδοσή τους ή τι είδους θεματικές τους κεντρίζουν περισσότερο το ενδιαφέρον. Τα δεδομένα αυτά αναλύονται μέσω ειδικών στατιστικών πακέτων, π.χ. SPSS, και τα αποτελέσματα της ανάλυσης αξιοποιούνται για περαιτέρω έρευνα. Κατά το τελευταίο στάδιο της έρευνας συντάσσονται ειδικές αναφορές (reports) με τα πορίσματα που προκύπτουν.
Ανάλυση Ερωτημάτων (Item Analysis)
Οι απαντήσεις των υποψηφίων στα ερωτήματα κατανόησης γραπτού και προφορικού λόγου μελετώνται προκειμένου να διερευνηθεί: α) ο βαθμός αξιοπιστίας της εξέτασης (Cronbach’s Alpha), β) ο βαθμός ευκολίας του κάθε ερωτήματος της εξέτασης (difficulty index), γ) κατά πόσο συνέβαλε το κάθε ερώτημα στη διάκριση των υποψηφίων βάσει του βαθμού κατοχής της ικανότητας ή της γνώσης που μετριέται μέσω της εξέτασης (discrimination indices), και δ) κατά πόσο ο κάθε παραπλανητής (distractor) -εφόσον πρόκειται για ερώτημα που περιλαμβάνει παραπλανητές- συνέβαλε στη δυσκολία του ερωτήματος, παραπλανώντας όχι μόνο τους υποψήφιους που δεν κατείχαν τη γνώση ή την ικανότητα, αλλά και όσους αναμενόταν ότι την κατείχαν (distractor analysis). Μια σειρά πιο περίπλοκων αναλύσεων συνοδεύει τις παραπάνω στατιστικές μετρήσεις αποσκοπώντας στην εξασφάλιση της αξιοπιστίας και εγκυρότητας των εξετάσεων του ΚΠΓ στην Αγγλική γλώσσα.
Ανάλυση Διαβαθμολογικής Αξιοπιστίας
Η ανάλυση της διαβαθμολογικής αξιοπιστίας στοχεύει στην αξιολόγηση της ποιότητας βαθμολόγησης των γραπτών καθώς και της αποτελεσματικότητας των χρησιμοποιούμενων κατά τη διαδικασία της βαθμολόγησης οργάνων, τα οποία είναι: (α) η Σχάρα/Πλέγμα Αξιολόγησης – Κριτήρια Αξιολόγησης, (β) το Εκπαιδευτικό Υλικό & Εκπαιδευτικά Σεμινάρια και (γ) η συμβουλευτική καθοδήγηση κατά τη διάρκεια της βαθμολόγησης. Τα δεδομένα συλλέγονται από τυχαίο δείγμα γραπτών από κάθε εξεταστική περίοδο για τα επίπεδα Α1/Α2, B1/B2 και Γ1 σε αριθμό που ανέρχεται σε τουλάχιστον 40% του συνόλου.
Διερεύνηση Στρατηγικών Αντιμετώπισης των Θεμάτων
Η συγκεκριμένη έρευνα αφορά στη διερεύνηση των στρατηγικών (test-taking strategies) που χρησιμοποιούν οι υποψήφιοι των επιπέδων Β1/Β2 και Γ1 για να αντιμετωπίσουν τις δραστηριότητες των εξετάσεων του ΚΠΓ στην Αγγλική γλώσσα. Στόχος της συγκεκριμένης έρευνας είναι να καθορίσει τις επιτυχημένες στρατηγικές για την αντιμετώπιση των θεμάτων του ΚΠΓ και αν αυτές μπορούν επιτυχώς να διδαχθούν. Ειδικά ερωτηματολόγια (κλειστού και ανοιχτού τύπου) για την κάθε ενότητα των εξετάσεων εξάγουν χρήσιμα συμπεράσματα σχετικά με τις στρατηγικές που χρησιμοποιούν οι υποψήφιοι όταν καλούνται να ανταποκριθούν στις διάφορες γραπτές και προφορικές δραστηριότητες.
Τα επίπεδα που πιστοποιούνται είναι: A1-A2 (Βασικός χρήστης), B1-B2 (Ανεξάρτητος χρήστης) και Γ1 (Ικανός χρήστης).
Χρήσιμα Έντυπα:
- Σύντομες προδιαγραφές επιπέδου Β (τελευταία ενημέρωση: Σεπτέμβριος 2012)
- Προδιαγραφές επιπέδου Α1-Α2 (τελευταία ενημέρωση: 2008)
- Προδιαγραφές επιπέδου B1 (τελευταία ενημέρωση: 2008)
- Προδιαγραφές επιπέδου B2 (τελευταία ενημέρωση: 2007)
- Προδιαγραφές επιπέδου C1 - C2 (τελευταία ενημέρωση: 2013)
Έρευνα για το ΚΠΓ
Έρευνα στην Ξενόγλωσση Εκπαίδευση
- Το «προφίλ» του Έλληνα μαθητή των ξένων γλωσσών
- Έργο περιγραφής των θεμάτων εξέτασης των γλωσσών του ΚΠΓ
- Ανάπτυξη ενός συστήματος αυτόματης αξιολόγησης γραπτών
Σκοπός του έργου αυτού είναι η ενσωμάτωση λεξικογραμματικών χαρακτηριστικών της γλωσσικής παραγωγής, όπως αυτά μοντελοποιούνται για το έργο περιγραφής του «γλωσσικού προφίλ» του Έλληνα χρήστη της ξένης γλώσσας, σε ένα αλγοριθμικό σύστημα αυτόματης αξιολόγησης της γλωσσικής επίδοσης. Σημαντικό κενό στην υπάρχουσα έρευνα στο πεδίο της αυτόματης βαθμολόγησης ελεύθερου κειμένου σχετίζεται με την απουσία συστημάτων αξιολόγησης των γλωσσικών πραγματώσεων σε ορισμένα επικοινωνιακά συμφραζόμενα. Στο έργο αυτό, σχεδιάζεται και αναπτύσσεται σύστημα με το οποίο τα γραπτά των υποψηφίων του ΚΠΓ θα ταξινομούνται σε βαθμολογικά σύνολα για κάθε επίπεδο γλωσσομάθειας βάσει ειδικών γλωσσικών στοιχείων και της καταλληλότητας των τελευταίων για το επικοινωνιακό πλαίσιο στο οποίο λειτουργεί το κείμενο. Το σύστημα αυτό θα κατηγοριοποιεί μη βαθμολογημένα γραπτά υπολογίζοντας την ομοιότητά τους με ένα πρότυπο σώμα βαθμολογημένων γραπτών. Από το αναγκαίο στάδιο πειραματισμού με διαφορετικούς συνδυασμούς χαρακτηριστικών (λεξικών, σημασιολογικών, γραμματικών/ μορφο-συντακτικών) πρόκειται να προκύψουν διαφορετικές εκδοχές του μοντέλου, οι οποίες θα αξιολογηθούν σε σχέση με την επίδοση συναφών συστημάτων. Το σύστημα θα ενσωματωθεί σε πιλοτικό στάδιο στη βαθμολόγηση γραπτών του ΚΠΓ και θα καταρτιστεί τεχνική μελέτη αξιολόγησης της αξιοπιστίας του σε συνάρτηση με τη μείωση του κόστους των ανθρωπίνων πόρων για τη βαθμολόγηση.
Έρευνα για το ΚΠΓ
Έρευνα στην Ξενόγλωσση Εκπαίδευση
- Το «προφίλ» του Έλληνα μαθητή των ξένων γλωσσών
- Έργο περιγραφής των θεμάτων εξέτασης των γλωσσών του ΚΠΓ
Πρόκειται για το έργο της συστηματικής περιγραφής των θεμάτων εξέτασης των γλωσσών του ΚΠΓ, που σκοπό έχει τη συλλογή μεταδεδομένων για την τυποποίηση του οργάνου μέτρησης και τον έλεγχο των προδιαγραφών αξιολόγησης της γλωσσομάθειας. Το έργο αυτό συνδέεται με τη δημιουργία και το συνεχή εμπλουτισμό μιας Βάσης δεδομένων όπου καταχωρίζονται οι δοκιμασίες για κάθε γλώσσα, εξεταστική περίοδο και επίπεδο γλωσσομάθειας, και κωδικοποιούνται πληροφορίες σχετικά με τον τύπο (πολλαπλής επιλογής, αντιστοίχισης, συμπλήρωσης κενού, κ.λπ.) και το τι ελέγχει κάθε δοκιμασία (κατανόηση γραπτού λόγου, γλωσσική επίγνωση, παραγωγή γραπτού ή προφορικού λόγου, γραπτή ή προφορική διαμεσολάβηση), καθώς και πληροφορίες σχετικά με τα κείμενα που συνδέονται με τη δοκιμασία (αυτό που δίνεται ως ερέθισμα, αυτό που ζητείται να παραχθεί). Στη θεωρία της γλώσσας που υιοθετεί το ΚΠΓ, το κείμενο νοείται ως πραγμάτωση διαφορετικών πλευρών του επικοινωνιακού περιβάλλοντος για το οποίο παράγεται ή στο οποίο λειτουργεί. Στη Bάση περιγραφής θεμάτων, τα κείμενα χαρακτηρίζονται βάσει συνόλων χαρακτηριστικών τα οποία προσδιορίζουν την επικοινωνιακή λειτουργία του λόγου ή, όπως ονομάζεται, το κειμενικό είδος (genre). Τα χαρακτηριστικά αυτά περιλαμβάνουν τη θεματική και το ευρύτερο θεματικό πεδίο του κειμένου (λ.χ. ψυχαγωγία, περιβάλλον, ταξίδια, αθλητισμός, κ.λπ.), το κειμενικό περιβάλλον (λ.χ. εφημερίδα, περιοδικό, ιστοσελίδα, εγκυκλοπαίδεια, λεξικό, κ.λπ.) στο οποίο ενσωματώνονται διακρίσεις σχετικές με την επικοινωνιακή ταυτότητα και τους ρόλους του ομιλητή και του αποδέκτη, τον κειμενικό τύπο (λ.χ. άρθρο, ανακοίνωση, αναφορά, διαφήμιση, ηλεκτρονική επιστολή, κ.λπ.) ο οποίος ορίζεται βάσει του επικοινωνιακού στόχου και της δομής του κειμένου, και τέλος την κειμενική διεργασία (λ.χ. περιγραφή, αφήγηση, επιχειρηματολογία, εξήγηση, οδηγία) με την οποία υλοποιούνται οι επικοινωνιακοί στόχοι. Το μοντέλο κειμενικών ειδών που έχει υλοποιηθεί, σύμφωνα με το οποίο τα κειμενικά είδη περιγράφονται ως συνδυασμοί παραμέτρων, έχει σημαντικά πλεονεκτήματα έναντι της συνήθους θεώρησής τους ως ατομικών κατηγοριών. Επιτρέπει όχι μόνο την ταξινόμηση των κειμένων βάσει σαφώς ορισμένων χαρακτηριστικών τα οποία ορίζουν συνεκτικές κατηγορίες, αλλά και τη σύνδεση των γλωσσικών επιλογών που παρατηρούνται στα κείμενα με τις ειδικές παραμέτρους του επικοινωνιακού πλαισίου, ξεχωριστά.
- Ανάπτυξη ενός συστήματος αυτόματης αξιολόγησης γραπτών
Έρευνα για το ΚΠΓ
Έρευνα στην Ξενόγλωσση Εκπαίδευση
- Τo «προφίλ» του Έλληνα μαθητή των ξένων γλωσσών
Σκοπός του έργου είναι ο προσδιορισμός του «γλωσσικού προφίλ» του Έλληνα μαθητή/χρήστη των ξένων γλωσσών οι οποίες περιλαμβάνονται στο Εθνικό Πρόγραμμα Σπουδών. Το έργο αποτελεί την αναγκαία επιστημονική και ερευνητική βάση για τη διαρκή ενημέρωση του Ενιαίου Προγράμματος Σπουδών για τις Ξένες Γλώσσες (ΕΠΣ-ΞΓ) καθώς και για την ανάπτυξη νέου διδακτικού-μαθησιακού υλικού, προτυποποιημένων κριτηρίων και σταθμισμένων προδιαγραφών αξιολόγησης της γλωσσομάθειας, προσαρμοσμένων στο μαθητή με πρώτη γλώσσα την Ελληνική. Για το σκοπό αυτό, περιγράφεται γλωσσολογικά και τεκμηριώνεται συστηματικά, βάσει εκτεταμένων γλωσσικών δεδομένων από σώματα κειμένων ομιλητών, η κοινωνικά προσδιορισμένη χρήση της ξένης γλώσσας σε ποικίλα επικοινωνιακά περιβάλλοντα, σε καθένα από τα έξι επίπεδα γλωσσομάθειας, σύμφωνα με την κλίμακα που ορίζεται από το Συμβούλιο της Ευρώπης (και περιγράφεται στο Κοινό Ευρωπαϊκό Πλαίσιο Αναφοράς για τις Γλώσσες, στο εξής ΚΕΠΑ). Συνδυάζοντας ένα θεωρητικά επαρκές μοντέλο αναπαράστασης της λεξικής σημασίας και ένα μοντέλο ανάλυσης του λειτουργικού πλαισίου χρήσης της γλώσσας (μοντέλο κειμενικών ειδών), υλοποιούμε μια καινοτόμα, γενερική μεθοδολογία αποτύπωσης των λεξικογραμματικών χαρακτηριστικών της γλωσσικής παραγωγής των χρηστών της ξένης γλώσσας κατά επίπεδο γλωσσομάθειας, σε ποικίλα επικοινωνιακά περιβάλλοντα. Προϊόν της ανάλυσης αυτής πρόκειται να αποτελέσουν λεπτομερείς, συνεκτικοί περιγραφικοί δείκτες οι οποίοι θα εξειδικεύουν πώς οι μαθητές αρθρώνουν με γλωσσικά μέσα κοινωνικά προσδιορισμένα νοήματα σε καθένα από τα επίπεδα του ΚΕΠΑ. Οι δείκτες που θα προκύψουν σκοπό έχουν να κάνουν σαφή τη διάκριση μεταξύ των επιπέδων του ΚΕΠΑ, δίνοντας συγκεκριμένα παραδείγματα για το πώς η γνώση της γλώσσας κατακτάται σε διακριτά στάδια από ορισμένους ομιλητές. Πρόκειται να συνδεθούν με τους γενικούς δείκτες επικοινωνιακής επάρκειας που αρθρώνονται στο ΕΠΣ-ΞΓ για κάθε επίπεδο γλωσσομάθειας, οι οποίοι συνάδουν με τις ενδεικτικές περιγραφές του ΚΕΠΑ για καθένα από τα επίπεδα γλωσσομάθειας.
Στην πρώτη φάση του έργου γίνεται διερεύνηση γλωσσικών δεδομένων από το σώμα κειμένων (corpus) της Αγγλικής του Κέντρου Έρευνας για τη Διδασκαλία Ξένων Γλωσσών και την Αξιολόγηση Γλωσσομάθειας. Το σώμα αυτό αποτελείται από συλλογές γραπτών που έχουν παραχθεί από υποψηφίους στις εξετάσεις του Κρατικού Πιστοποιητικού Γλωσσομάθειας (ΚΠΓ) στην Αγγλική. Οι συλλογές γραπτών του ΚΠΓ, που έχουν αναπτυχθεί σε περίοδο επτά ετών και μέχρι σήμερα περιλαμβάνουν 3,5 εκατομμύρια λέξεις, έχουν συστηματοποιηθεί σε Βάση δεδομένων η οποία εμπλουτίζεται διαρκώς, διατηρώντας ισορροπία στην αποτύπωση των επιπέδων γλωσσομάθειας, των τύπων δραστηριοτήτων και των επικοινωνιακών περιβαλλόντων στα οποία οι υποψήφιοι καλούνται να εκφραστούν γλωσσικά. Μελλοντικά, το σώμα κειμένων του ΚΠΓ θα συμπεριλάβει και γραπτά υποψηφίων στη Γερμανική και την Ισπανική γλώσσα.
- Έργο περιγραφής των θεμάτων εξέτασης των γλωσσών του ΚΠΓ
- Ανάπτυξη ενός συστήματος αυτόματης αξιολόγησης γραπτών
Έρευνα για το ΚΠΓ
- Έρευνα σε Εξέλιξη
Διεξάγεται συστηματική έρευνα με βάση δεδομένα που συλλέγονται ή προκύπτουν από τη διενέργεια των εξετάσεων του ΚΠΓ στα Αγγλικά. Πιο συγκεκριμένα, η έρευνα αφορά στους:
ΕΞΕΤΑΣΕΙΣ ΠΡΟΦΟΡΙΚΟΥ ΛΟΓΟΥ
Η στάση των εξεταστών σε σχέση με την εξέταση και τις συγκεκριμένες δραστηριότητες διερευνώνται μέσα από ερωτηματολόγια που διανέμονται στους εξεταστές σε όλα τα εξεταστικά κέντρα την ημέρα των εξετάσεων. Αυτά τα ερωτηματολόγια περιλαμβάνουν ερωτήσεις σχετικά με τη διαδικασία των προφορικών εξετάσεων, τη συμπεριφορά του εξεταστή, τη μορφή της εξέτασης, το περιεχόμενο των δραστηριοτήτων καθώς επίσης και τις στρατηγικές που απαιτούνται.
ΒΑΘΜΟΛΟΓΗΤΕΣ ( ΠΑΡΑΓΩΓΉΣ ) ΓΡΑΠΤΟΥ ΛΟΓΟΥ
Ερωτηματολόγια χρησιμοποιούνται για να διερευνηθούν οι απόψεις των βαθμολογητών γραπτού λόγου για την ίδια τη διαδικασία της βαθμολόγησης, για το πρόγραμμα εκπαίδευσής τους ως βαθμολογητές, για τα εργαλεία βαθμολόγησης και για την εμπειρία τους ως βαθμολογητές. Τα ερωτηματολόγια αυτά συμπληρώνονται πάντα στο τέλος της διαδικασίας της βαθμολόγησης.
ΥΠΟΨΗΦΙΟΙ
Οι απόψεις των υποψηφίων του ΚΠΓ απέναντι στα θέματα των εξετάσεων διερευνώνται μέσα από ειδικά σχεδιασμένα ερωτηματολόγια που τους διανέμονται σε κάθε εξεταστική περίοδο. Σκοπός της έρευνας είναι να καταδείξει ποιες δραστηριότητες παρουσιάζουν δυσκολίες για τους υποψηφίους, ποιοι παράγοντες πιστεύουν ότι επηρεάζουν την απόδοσή τους, τι είδους στρατηγικές χρησιμοποιούν για να βελτιώσουν την απόδοσή τους ή τι είδους θεματικές τους κεντρίζουν περισσότερο το ενδιαφέρον. Τα δεδομένα αυτά αναλύονται μέσω ειδικών στατιστικών πακέτων, π.χ. SPSS, και τα αποτελέσματα της ανάλυσης αξιοποιούνται για περαιτέρω έρευνα. Κατά το τελευταίο στάδιο της έρευνας συντάσσονται ειδικές αναφορές (reports) με τα πορίσματα που προκύπτουν.
ΑΝΑΛΥΣΗ ΕΡΩΤΗΜΑΤΩΝ ( ITEM ANALYSIS )
Οι απαντήσεις των υποψηφίων στα ερωτήματα κατανόησης γραπτού και προφορικού λόγου μελετώνται προκειμένου να διερευνηθεί: α) ο βαθμός αξιοπιστίας της εξέτασης (Cronbach’s Alpha), β) ο βαθμός ευκολίας του κάθε ερωτήματος της εξέτασης (difficulty index), γ) κατά πόσο συνέβαλε το κάθε ερώτημα στη διάκριση των υποψηφίων βάσει του βαθμού κατοχής της ικανότητας ή της γνώσης που μετριέται μέσω της εξέτασης (discrimination indices), και δ) κατά πόσο ο κάθε παραπλανητής (distractor) -εφόσον πρόκειται για ερώτημα που περιλαμβάνει παραπλανητές- συνέβαλε στη δυσκολία του ερωτήματος, παραπλανώντας όχι μόνο τους υποψήφιους που δεν κατείχαν τη γνώση ή την ικανότητα, αλλά και όσους αναμενόταν ότι την κατείχαν (distractor analysis). Μια σειρά πιο περίπλοκων αναλύσεων συνοδεύει τις παραπάνω στατιστικές μετρήσεις αποσκοπώντας στην εξασφάλιση της αξιοπιστίας και εγκυρότητας των εξετάσεων του Κρατικού Πιστοποιητικού Γλωσσομάθειας στην Αγγλική γλώσσα.
ΑΝΑΛΥΣΗ ΔΙΑΦΑΘΜΟΛΟΓΙΚΗΣ ΑΞΙΟΠΙΣΤΙΑΣ
Η ανάλυση της διαβαθμολογικής αξιοπιστίας στοχεύει στην αξιολόγηση της ποιότητας βαθμολόγησης των γραπτών καθώς και της αποτελεσματικότητας των χρησιμοποιούμενων κατά τη διαδικασία της βαθμολόγησης οργάνων, τα οποία είναι: (α) η Σχάρα/Πλέγμα Αξιολόγησης – Κριτήρια Αξιολόγησης, (β) το Εκπαιδευτικό Υλικό & Εκπαιδευτικά Σεμινάρια και (γ) η συμβουλευτική καθοδήγηση κατά τη διάρκεια της βαθμολόγησης. Τα δεδομένα συλλέγονται από τυχαίο δείγμα γραπτών από κάθε εξεταστική περίοδο για τα επίπεδα Α1/Α2, B1/B2 και Γ1 σε αριθμό που ανέρχεται σε τουλάχιστον 40% του συνόλου.
ΔΙΕΥΡΥΝΣΗ ΣΤΡΑΤΗΓΙΚΩΝ ΑΝΤΙΜΕΤΩΠΙΣΗΣ ΤΩΝ ΘΕΜΑΤΩΝ ΤΟΥ ΚΠΓ
Πρόκειται για έρευνα που διεξάγεται στο Κέντρο Έρευνας για την Διδασκαλία Ξένων Γλωσσών και την Αξιολόγηση Γλωσσομάθειας και αφορά στη διερεύνηση των στρατηγικών (test-taking strategies) που χρησιμοποιούν οι υποψήφιοι των επιπέδων Β1/Β2 και Γ1 για να αντιμετωπίσουν τις δραστηριότητες των εξετάσεων του ΚΠΓ στην Αγγλική γλώσσα. Στόχος της συγκεκριμένης έρευνας είναι να καθορίσει τις επιτυχημένες στρατηγικές για την αντιμετώπιση των θεμάτων του ΚΠΓ και αν αυτές μπορούν επιτυχώς να διδαχθούν. Ειδικά ερωτηματολόγια (κλειστού και ανοιχτού τύπου) σχεδιάστηκαν για την κάθε ενότητα των εξετάσεων ώστε να εξαχθούν χρήσιμα συμπεράσματα σχετικά με τις στρατηγικές που χρησιμοποιούν οι υποψήφιοι όταν καλούνται να ανταποκριθούν στις διάφορες γραπτές και προφορικές δραστηριότητες.
