Apa itu PISA?

Dibuat oleh Organization for Economic Co-operation and Development (OECD) , PISA menguji keterampilan dan pengetahuan siswa berusia 15 tahun dalam membaca, matematika, dan sains. Tujuh puluh sembilan negara dan ekonomi mengambil bagian dalam penilaian 2018, yang berfokus pada membaca, dan data tersebut dirilis oleh OECD pada 3 Desember 2019.

Hasil tambahan tentang literasi keuangan, organisasi sekolah dan kompetensi global akan dirilis pada tahun 2020.

Apa yang dinilai PISA dan mengapa?

PISA berfokus pada penilaian kinerja siswa dalam membaca, matematika dan sains karena mereka adalah dasar untuk pendidikan berkelanjutan siswa. PISA juga mengumpulkan informasi berharga tentang sikap dan motivasi siswa, dan secara formal menilai keterampilan seperti pemecahan masalah kolaboratif dan kompetensi global. Ini juga menyelidiki peluang untuk menilai keterampilan penting lainnya yang terkait, misalnya, untuk berpikir kreatif.

PISA mengacu pada konten yang dapat ditemukan dalam kurikulum di seluruh dunia dan melihat kemampuan siswa untuk menerapkan pengetahuan dan keterampilan dan untuk menganalisis, alasan dan berkomunikasi secara efektif saat mereka memeriksa, menafsirkan dan memecahkan masalah. PISA tidak meresepkan atau mempromosikan salah satu kurikulum juga tidak dibatasi oleh kebutuhan untuk menemukan penyebut yang sama. Pada tahun 2018, tujuan PISA adalah untuk menilai pengetahuan dan keterampilan membaca yang dianggap paling penting oleh para ahli di negara dan ekonomi yang berpartisipasi bagi partisipasi penuh siswa dalam masyarakat berbasis pengetahuan yang semakin bergantung pada teknologi digital.

Apa saja fitur utama PISA 2018?

Isi : Survei PISA 2018 berfokus pada membaca, dengan matematika, sains, dan kompetensi global sebagai bidang penilaian minor. PISA 2018 juga menyertakan penilaian literasi keuangan kaum muda, yang bersifat opsional untuk negara dan ekonomi.

Siswa : Sekitar 600.000 siswa menyelesaikan penilaian pada tahun 2018, mewakili sekitar 32 juta anak berusia 15 tahun di sekolah dari 79 negara dan ekonomi yang berpartisipasi.

Tes : Tes berbasis komputer digunakan di sebagian besar negara, dengan penilaian berlangsung total dua jam. Dalam membaca, pendekatan adaptif multi-tahap diterapkan dalam tes berbasis komputer dimana siswa diberi blok item tes berdasarkan kinerja mereka di blok sebelumnya. Siswa juga menjawab kuesioner latar belakang, yang membutuhkan waktu sekitar 35 menit untuk menyelesaikannya. Item tes adalah campuran dari pertanyaan pilihan ganda dan pertanyaan yang mengharuskan siswa untuk membangun tanggapan mereka sendiri. Item tersebut disusun ke dalam kelompok berdasarkan bagian teks yang menggambarkan situasi kehidupan nyata. Lebih dari 15 jam item tes untuk membaca, matematika, sains dan kompetensi global dibahas, dengan siswa yang berbeda mengambil kombinasi item tes yang berbeda.

Kuesioner: Kuesioner mencari informasi tentang siswa itu sendiri, sikap, watak dan keyakinan mereka, rumah mereka, serta sekolah dan pengalaman belajar mereka. Kepala sekolah mengisi kuesioner yang mencakup manajemen dan organisasi sekolah, dan lingkungan belajar. Beberapa negara/ekonomi juga membagikan kuesioner tambahan untuk mendapatkan informasi lebih lanjut. Ini termasuk: di 19 negara/ekonomi, kuesioner untuk guru menanyakan tentang diri mereka sendiri dan praktik mengajar mereka; dan di 17 negara/ekonomi, kuesioner untuk orang tua meminta mereka untuk memberikan informasi tentang persepsi dan keterlibatan mereka di sekolah dan pembelajaran anak mereka. Negara/ekonomi juga dapat memilih untuk mendistribusikan tiga kuesioner opsional lainnya untuk siswa: 52 negara/ekonomi membagikan kuesioner tentang keakraban siswa dengan komputer; 32 negara/ekonomi mendistribusikan kuesioner tentang harapan siswa untuk pendidikan lebih lanjut; dan 9 negara/ekonomi membagikan kuesioner, yang dikembangkan untuk PISA 2018, tentang kesejahteraan siswa.

Lihat informasi lebih lanjut di bagian Apa itu PISA dalam Volume I Hasil PISA 2018 [Tautan ke publikasi akan tersedia pada 3 Desember 2019].

Bagaimana hasil PISA terkait dengan hasil kehidupan dewasa?

Empat negara – Australia, Kanada, Denmark dan Swiss – telah melakukan studi longitudinal yang mengikuti kelompok siswa yang mengikuti penilaian PISA pertama di awal 2000-an melalui transisi mereka ke masa dewasa. Di semua negara ini, siswa yang berprestasi lebih baik di PISA pada usia 15 tahun lebih mungkin untuk mencapai tingkat pendidikan yang lebih tinggi pada usia 25 tahun. Mereka juga cenderung tidak keluar dari pasar tenaga kerja secara keseluruhan, yang diukur dengan persentase siswa yang tidak dalam pendidikan, pekerjaan atau pelatihan (NEET).

Tentu saja, ada hubungan antara status sosial ekonomi rumah tangga siswa – termasuk kondisi kehidupan materi dan pencapaian pendidikan orang tua – dan kinerja siswa di PISA. Namun, bahkan setelah memperhitungkan faktor-faktor ini, siswa yang berprestasi lebih baik di PISA pada usia 15 tahun memiliki hasil pendidikan dan pekerjaan yang lebih kuat pada usia 25 tahun. Selain itu, apa yang siswa katakan tentang diri mereka dalam kuesioner PISA juga muncul terkait dengan kehidupan masa depan kaum muda. prospek. Untuk keterangan lebih lanjut, silakan lihat PISA in Focus November 2019 dan laporan Equity in Education .

Apa yang baru di PISA 2018?

Kerangka baru untuk penilaian membaca dikembangkan untuk mencerminkan perubahan sejak 2009 – tahun terakhir di mana membaca adalah subjek utama penilaian dalam PISA dan terakhir kali kerangka membaca diperbarui – dalam hal apa dan bagaimana orang membaca. Secara khusus, selama dekade terakhir, membaca semakin berpindah ke format elektronik dan telah terjadi proliferasi jumlah bahan yang tersedia untuk dibaca. Akibatnya, penilaian membaca PISA 2018 lebih menekankan pada kemampuan untuk menemukan, membandingkan, membedakan, dan mengintegrasikan informasi di berbagai sumber teks.

Pengujian adaptif diterapkan dalam penilaian membaca. Siswa yang melakukan dengan baik pada bagian awal penilaian membaca lebih mungkin untuk menerima pertanyaan yang lebih sulit kemudian dalam penilaian. Sebaliknya, siswa yang berkinerja buruk di bagian awal penilaian lebih mungkin menerima pertanyaan yang lebih mudah di kemudian hari dalam penilaian.

Kompetensi global diuji untuk pertama kalinya di PISA 2018; hasil untuk subjek ini akan dipublikasikan pada akhir 2020.

Beberapa negara yang juga pertama kali mengikuti PISA adalah Belarusia, Bosnia dan Herzegovina, Brunei Darussalam, Maroko, Filipina, Arab Saudi dan Ukraina. Untuk keterangan lebih lanjut, silakan lihat Oktober 2019 PISA di Focus dan Pengkajian dan Analytical Framework PISA 2018 .

Siapa yang dinilai oleh PISA?

PISA menilai siswa antara usia 15 tahun dan 3 bulan dan 16 tahun dan 2 bulan, dan yang terdaftar di lembaga pendidikan di kelas 7 atau lebih tinggi. Daftar sekolah dan siswa yang dipilih untuk penilaian PISA mencakup semua siswa yang memenuhi kriteria ini, terlepas dari jenis lembaga pendidikan tempat mereka terdaftar dan apakah mereka terdaftar dalam pendidikan penuh waktu atau paruh waktu.

Namun, beberapa sekolah dan siswa yang terdaftar dapat dikeluarkan dari sampel PISA. Standar PISA menetapkan bahwa pengecualian tersebut tidak boleh mewakili lebih dari 5% dari populasi target. Dalam batas itu, siswa dapat dikeluarkan karena berbagai alasan, termasuk keterpencilan dan tidak dapat diaksesnya sekolah mereka, cacat intelektual atau fisik, kurangnya kemahiran dalam bahasa uji (misalnya jika siswa telah menerima instruksi dalam bahasa uji kurang dari satu tahun), atau kurangnya materi tes dalam bahasa pengantar. Untuk negara-negara di mana tingkat pengecualian keseluruhan melebihi batas secara signifikan, informasi lebih lanjut diminta untuk mendukung kasus bahwa tidak ada bias dalam perbandingan dari waktu ke waktu dan dengan negara lain akan dihasilkan dari pengecualian.

Kecuali di negara dan ekonomi yang sangat kecil, tidak semua siswa yang tersisa mengikuti penilaian PISA; melainkan, sampel sekolah, dan siswa di dalam sekolah, diambil, dan siswa yang dipilih diberi bobot sampel untuk mewakili seluruh kohort yang memenuhi syarat PISA.

Komposisi demografis sampel PISA dapat berubah dari waktu ke waktu, yang mencerminkan, misalnya, perubahan dalam tingkat pendaftaran atau arus migrasi. Perubahan ini juga dapat mempengaruhi interpretasi tren. Untuk mendukung interpretasi tren yang benar, PISA membahas perubahan kontekstual utama bersama tren kinerja. Ini menyajikan tren yang disesuaikan yang memperhitungkan perubahan dalam populasi siswa di samping tren kinerja dasar yang tidak disesuaikan.

Informasi lebih lanjut tentang populasi target PISA untuk masing-masing negara dapat ditemukan di Bab 3 dan di Lampiran A2 Hasil PISA 2018 (Volume I) [Tautan ke publikasi akan tersedia pada 3 Desember 2019].

Berapa banyak anak berusia 15 tahun yang diwakili oleh sampel PISA?

Sampel PISA mewakili semua siswa antara usia 15 tahun dan 3 bulan dan 16 tahun dan 2 bulan, dan yang terdaftar di lembaga pendidikan di kelas 7 atau lebih tinggi, dikurangi mereka yang dikecualikan. PISA melaporkan proporsi dari total populasi berusia 15 tahun yang diwakili oleh sampel PISA (ini dikenal sebagai Indeks Cakupan 3). Proporsi ini berkisar dari hampir 100% di negara-negara dengan pengecualian terbatas dan pendaftaran universal di lembaga pendidikan untuk anak usia 15-16 tahun, hingga kurang dari 50% di beberapa negara berpenghasilan rendah dan menengah. Di sebagian besar negara dan ekonomi yang berpartisipasi, lebih dari 80% anak berusia 15 tahun tercakup.

Cakupan kelompok berusia 15 tahun telah meningkat di banyak negara sejak penilaian PISA sebelumnya. Misalnya, antara tahun 2003 dan 2018, Indonesia menambahkan hampir 1,8 juta siswa, dan Meksiko dan Turki lebih dari 400.000 siswa, ke total populasi anak berusia 15 tahun yang memenuhi syarat untuk berpartisipasi dalam PISA. Uruguay dan Brasil juga meningkatkan jumlah anak berusia 15 tahun yang memenuhi syarat untuk berpartisipasi dalam PISA, meskipun memiliki populasi anak berusia 15 tahun yang lebih kecil pada tahun 2018 dibandingkan pada tahun 2003.

Informasi lebih lanjut tentang pangsa dan jumlah anak berusia 15 tahun yang dicakup oleh PISA dapat ditemukan di Bab 3 dan di Lampiran A2 Hasil PISA 2018 (Volume I). [Tautan ke publikasi akan tersedia pada 3 Desember 2019].

Mengapa PISA menguji anak berusia 15 tahun?

Usia 15 tahun dipilih karena pada usia ini kaum muda di sebagian besar negara OECD mendekati akhir wajib belajar. Pemilihan sekolah dan siswa dilakukan se-inklusif mungkin, sehingga sampel siswa berasal dari berbagai latar belakang dan kemampuan.

Apa yang membuat PISA unik?

PISA mendapat manfaat dari cakupannya di seluruh dunia dan keteraturannya. Lebih dari 90 negara dan ekonomi telah mengambil bagian dalam PISA sejauh ini dan survei, yang dilakukan setiap tiga tahun, memungkinkan negara dan ekonomi yang berpartisipasi untuk melacak kemajuan mereka dalam memenuhi tujuan pembelajaran utama. PISA adalah satu-satunya survei pendidikan internasional yang mengukur pengetahuan dan keterampilan anak usia 15 tahun.

PISA juga unik dalam hal:

  • Masalah kebijakan publik: Pemerintah, kepala sekolah, guru, dan orang tua semua menginginkan jawaban atas pertanyaan seperti, “Apakah sekolah kita cukup mempersiapkan kaum muda untuk menghadapi tantangan kehidupan orang dewasa?”, “Apakah beberapa jenis pengajaran dan sekolah lebih efektif daripada yang lain?” dan, “Dapatkah sekolah berkontribusi untuk meningkatkan masa depan siswa dari latar belakang imigran atau yang kurang beruntung?”
  • Keaksaraan: Daripada memeriksa penguasaan kurikulum sekolah tertentu, PISA melihat kemampuan siswa untuk menerapkan pengetahuan dan keterampilan dalam bidang mata pelajaran utama dan untuk menganalisis, alasan dan berkomunikasi secara efektif saat mereka memeriksa, menafsirkan dan memecahkan masalah.
  • Pembelajaran seumur hidup: Siswa tidak dapat mempelajari semua yang perlu mereka ketahui di sekolah. Untuk menjadi pembelajar seumur hidup yang efektif, kaum muda tidak hanya membutuhkan pengetahuan dan keterampilan, tetapi juga kesadaran tentang mengapa dan bagaimana mereka belajar. PISA mengukur kinerja siswa dalam membaca, matematika dan literasi sains, dan menanyakan siswa tentang motivasi, keyakinan tentang diri mereka sendiri dan strategi belajar.

Bagaimana cara mengetahui lebih lanjut tentang penilaian PISA dan siapa yang mengembangkannya?

Melalui situs web dan publikasinya, OECD menyediakan kepada publik dan spesialis semua informasi penting tentang metode dan proses yang terkait dengan PISA. Dokumen-dokumen berikut tersedia di halaman Publikasi dan halaman Data : kerangka penilaian yang menjelaskan apa yang akan dinilai, mengapa dan bagaimana; contoh item kuesioner; data hasil penilaian; perangkat pelaksanaan survei untuk administrasi dan jaminan kualitas bahasa; dan laporan teknis yang komprehensif untuk setiap siklus, yang mencakup informasi teknis terperinci pada setiap aspek penilaian dan analisis.

Untuk setiap siklus penilaian, pilihan materi tes PISA juga tersedia untuk masyarakat umum. Untuk memungkinkan negara-negara mengikuti kinerja mereka dari waktu ke waktu, banyak pertanyaan digunakan di lebih dari satu survei PISA. Pertanyaan-pertanyaan ini tidak dapat dipublikasikan selama masih digunakan.

Selain staf dan kontraktor OECD, ratusan pakar, akademisi, dan peneliti di negara dan ekonomi peserta PISA terlibat dalam pengembangan, analisis, dan pelaporan PISA; rincian peserta ini disediakan dalam laporan PISA.

Pemerintahan

Bagaimana PISA diatur?

PISA dikembangkan dan dilaksanakan di bawah tanggung jawab kementerian pendidikan melalui badan pembuat keputusan PISA, Dewan Pengurus PISA. Dewan memiliki perwakilan dari semua negara anggota ditambah negara mitra dengan status Associate, saat ini Brasil dan Thailand. Negara-negara menunjuk perwakilan ke Dewan yang memiliki pengetahuan tentang penilaian siswa skala besar dan antarmuka mereka dengan kebijakan dan praktik pendidikan. Perwakilan terdiri dari campuran pejabat pemerintah dan staf lembaga penelitian dan akademik.

Dewan menentukan prioritas kebijakan untuk PISA dan mengawasi kepatuhan terhadap prioritas ini selama implementasi. Ini termasuk menetapkan prioritas dan standar untuk pengembangan data, analisis dan pelaporan, serta menentukan ruang lingkup pekerjaan yang kemudian akan menjadi dasar penerapan PISA.

Untuk memastikan ketangguhan teknis PISA, Kelompok Penasihat Teknis (TAG) ditunjuk oleh OECD yang terdiri dari para ahli independen yang terkenal di dunia di bidang yang mendukung metodologi PISA, seperti pengambilan sampel, desain survei, penskalaan, dan analisis. TAG secara teratur diminta untuk memutuskan metode PISA dan hasil masing-masing negara untuk memastikan bahwa apa yang diterbitkan dari PISA kuat dan dapat dibandingkan secara internasional.

Institusi dan tim mana yang berada di belakang PISA?

Dewan Pengurus PISA: Dewan Pengurus PISA terdiri dari perwakilan anggota OECD dan rekanan PISA.* Negara dan ekonomi yang berpartisipasi dalam PISA tetapi tidak memiliki status rekanan dipersilakan untuk berpartisipasi dalam pertemuan PGB sebagai pengamat. Perwakilan diangkat oleh kementerian pendidikan mereka, dan Ketua PGB dipilih oleh Dewan itu sendiri. Dipandu oleh tujuan pendidikan OECD, Dewan menentukan prioritas kebijakan untuk PISA dan memastikan bahwa ini dihormati selama pelaksanaan setiap survei PISA.

*Rekanan adalah negara atau ekonomi yang bukan anggota OECD tetapi memiliki hak dan kewajiban keanggotaan terkait dengan badan dan program OECD tertentu.

The Sekretariat OECD : Sekretariat OECD bertanggung jawab atas manajemen sehari-hari PISA. Artinya, tim PISA memantau pelaksanaan survei, mengelola urusan administrasi untuk Dewan Pengurus PISA, membangun konsensus antar negara dan berfungsi sebagai perantara antara Dewan Pengurus PISA dan Konsorsium PISA.

Manajer Proyek Nasional PISA : Bekerja dengan Sekretariat OECD, Dewan Pengurus PISA dan kontraktor internasional, Manajer Proyek Nasional PISA mengawasi pelaksanaan PISA di setiap negara/ekonomi yang berpartisipasi. Manajer Proyek Nasional PISA ditunjuk oleh pemerintah mereka. Daftar Manajer Proyek Nasional 2015 tersedia di sini .

Kontraktor internasional (“Konsorsium PISA”): Untuk setiap survei PISA, kontraktor internasional (biasanya terdiri dari lembaga pengujian dan penilaian) bertanggung jawab atas desain dan pelaksanaan survei. Kontraktor dipilih oleh Dewan Pengatur PISA melalui panggilan internasional untuk tender. Kontraktor biasanya disebut sebagai Konsorsium PISA.

Otoritas pendidikan: PISA tidak akan mungkin terjadi tanpa dukungan dan bimbingan dari kementerian pendidikan di negara-negara dan ekonomi yang berpartisipasi.

Kelompok Ahli Mata Pelajaran PISA: PISA memiliki Kelompok Ahli Mata Pelajaran untuk tiga bidang utama pengujian – membaca, matematika dan sains – serta untuk mata pelajaran lain bila sesuai (kompetensi global dalam PISA 2018, misalnya). Kelompok-kelompok ini terdiri dari para ahli dunia di setiap bidang. Mereka merancang kerangka teoritis untuk setiap survei PISA.

Kelompok Ahli Kuesioner PISA: Kelompok Ahli Kuesioner memberikan kepemimpinan dan bimbingan dalam konstruksi kuesioner konteks PISA. Anggota Kelompok Ahli Kuesioner dipilih oleh Dewan Pengurus PISA.

Siapa yang membayar PISA?

PISA dibiayai secara eksklusif melalui kontribusi langsung dari negara-negara yang berpartisipasi dan otoritas pemerintah ekonomi, biasanya kementerian pendidikan.

Berapa biaya PISA?

Meskipun PISA adalah survei internasional tiga tahunan, paling mudah untuk mempertimbangkan biaya untuk negara-negara peserta setiap tahun. Biaya tersebut terdiri dari biaya internasional (negara yang berpartisipasi berkontribusi pada biaya Kontraktor Internasional dan staf OECD dan biaya terkait) dan biaya nasional yang terkait dengan pelaksanaan survei PISA di negara masing-masing (pembentukan pusat nasional, biaya pengambilan sampel, terjemahan dll.)

Partisipasi

  • Partisipasi dalam PISA terbuka untuk semua Anggota OECD .
  • Undangan ke – dan partisipasi – negara/ekonomi mitra dalam PISA dengan status Rekanan di Dewan Pengatur PISA (“PGB”) disetujui oleh Dewan dengan mengikuti rekomendasi dari PGB.
  • Negara/ekonomi mitra lain dapat berpartisipasi dalam survei PISA dan dapat diundang oleh PGB sebagai Peserta dalam PGB.

Biaya partisipasi

a) Biaya internasional     

Anggota dan Rekanan: Biaya partisipasi ditentukan oleh Sekretariat PISA. Biaya terdiri dari kontribusi minimum, yang ditentukan oleh Dewan Pengurus PISA (PGB); sisa biaya dibebankan kepada Anggota dan Rekanan berdasarkan prinsip dan aturan OECD untuk menentukan skala iuran oleh Anggota, dengan menggunakan statistik masukan, data pendapatan nasional, dan nilai tukar yang digunakan dalam penghitungan skala untuk tahun sebelumnya. Akibatnya, biaya partisipasi bervariasi antar negara.

Mitra: Biaya PISA internasional untuk negara/ekonomi mitra ditentukan oleh Sekretariat PISA pada awal setiap siklus PISA, setelah penandatanganan kontrak dengan kontraktor internasional. Biaya umumnya tersebar selama periode empat tahun dengan biaya rata-rata sekitar EUR 50.000 per tahun (perkiraan berdasarkan biaya untuk partisipasi dalam PISA 2021).

b) biaya nasional    

Biaya nasional untuk penerapan PISA berbeda-beda di setiap negara, sesuai dengan faktor-faktor seperti ukuran sampel, jumlah bahasa yang akan diuji dalam penilaian, statistik pendapatan nasional, dan standar hidup. Misalnya, negara kecil mungkin membelanjakan sekitar EUR 75 000 per tahun sementara negara menengah EUR 30 000 per tahun; sebuah negara besar bisa menghabiskan hingga dua atau tiga kali lipat dari jumlah yang terakhir.

 

Proses

 

Jenis item tes apa yang digunakan dalam PISA dan mengapa?

 

PISA menggunakan pengujian pilihan ganda sebagai fitur utama penilaiannya karena dapat diandalkan, efisien, dan mendukung analisis yang kuat dan ilmiah. Pertanyaan pilihan ganda dalam PISA memiliki berbagai format, termasuk penyorotan kata dalam teks, menghubungkan potongan informasi dan membuat pilihan ganda dari menu drop-down. Selain itu, biasanya hingga sepertiga pertanyaan dalam penilaian PISA bersifat terbuka.

 

Siswa juga menjawab kuesioner latar belakang, memberikan informasi tentang diri mereka sendiri, sikap mereka terhadap pembelajaran dan rumah mereka. Selain itu, kepala sekolah diberikan kuesioner tentang sekolah mereka. Negara dan ekonomi juga dapat memilih untuk mendistribusikan beberapa kuesioner PISA opsional: kuesioner keakraban komputer, kuesioner karir pendidikan, kuesioner kesejahteraan, kuesioner orang tua dan kuesioner guru. Kuesioner PISA 2018 tersedia di sini . Selain itu, banyak negara dan ekonomi memilih untuk mengumpulkan informasi lebih lanjut melalui kuesioner nasional. Informasi yang dikumpulkan membantu negara dan ekonomi mengeksplorasi hubungan antara kinerja siswa di PISA dan faktor-faktor seperti latar belakang imigran, jenis kelamin dan status sosial ekonomi siswa, serta sikap siswa terhadap sekolah dan pembelajaran.

 

Siapa yang membuat soal tes?

 

Negara dan ekonomi PISA yang berpartisipasi diundang untuk mengajukan pertanyaan yang kemudian ditambahkan ke item yang dikembangkan oleh para ahli dan kontraktor OECD. Pertanyaan-pertanyaan tersebut ditinjau oleh kontraktor internasional dan oleh negara-negara dan ekonomi yang berpartisipasi, dan diperiksa secara hati-hati untuk bias budaya. Hanya pertanyaan yang lolos pemeriksaan ini yang digunakan dalam PISA. Selanjutnya, sebelum uji coba utama dilakukan ada uji coba uji coba di semua negara dan ekonomi yang berpartisipasi. Jika ada pertanyaan tes yang terbukti terlalu mudah atau terlalu sulit di negara dan ekonomi tertentu, karena alasan yang tidak terkait dengan tingkat kemahiran siswa secara keseluruhan (seperti yang ditunjukkan pada pertanyaan yang tersisa), mereka dikeluarkan dari tes utama di semua negara dan ekonomi.

 

Mengapa tidak semua siswa menjawab semua pertanyaan tes yang sama?

 

Tes PISA dirancang untuk memberikan penilaian kinerja di tingkat sistem (atau negara). Itu tidak dirancang untuk menghasilkan nilai bagi siswa secara individu, jadi tidak perlu bagi setiap siswa untuk menerima set item tes yang sama persis. Dengan demikian, PISA mengadopsi desain yang efisien di mana set lengkap bahan uji, yang mencakup semua aspek kerangka kerja, didistribusikan ke sejumlah besar formulir uji. Prosedur ini memungkinkan OECD untuk memperoleh cakupan konten yang jauh lebih luas daripada jika semua siswa telah menyelesaikan versi tes yang sama.

 

Dalam matematika dan sains, tugas siswa untuk menguji formulir sepenuhnya acak. Dalam membaca, yang dinilai melalui tes adaptif, tugas awal adalah acak, tetapi bentuk yang tepat hanya ditentukan selama penilaian, dengan mempertimbangkan kinerja siswa di bagian awal penilaian. Sebagai hasil dari desain adaptif multi-tahap ini, siswa berkinerja tinggi lebih cenderung diarahkan ke pertanyaan yang lebih sulit (dan siswa berprestasi rendah ke pertanyaan yang lebih mudah). Ini memberikan akurasi yang lebih besar dalam pengukuran kedua nilai ujian dan hubungan antara nilai ujian dan faktor-faktor lain, seperti status sosial-ekonomi.

 

Di PISA 2018, semua siswa mengambil urutan pertanyaan membaca selama satu jam. Materi tes untuk masing-masing asesmen matematika dan IPA yang tidak disajikan melalui uji adaptif, dibagi menjadi enam testlet dan digabungkan menjadi bentuk yang terdiri dari dua testlet; kebanyakan siswa duduk baik dua matematika atau dua testlet sains, di samping tes membaca.

 

PISA 2015 dan 2018 disampaikan sebagai tes berbasis komputer, sedangkan pada 2012 dan sebelumnya, PISA disampaikan di atas kertas. Apa pentingnya ini?

 

Komputer dan teknologi komputer adalah bagian dari kehidupan kita sehari-hari dan sudah sewajarnya dan tak terelakkan bahwa PISA telah berkembang menjadi mode pengiriman berbasis komputer. Selama beberapa dekade terakhir, teknologi digital telah mengubah cara kita membaca dan mengelola informasi secara mendasar. Teknologi digital juga mengubah pengajaran dan pembelajaran, dan bagaimana sekolah menilai siswa. Untuk mencerminkan bagaimana siswa dan masyarakat sekarang umumnya mengakses, menggunakan, dan mengkomunikasikan informasi, dimulai dengan siklus penilaian 2015, tes PISA disampaikan terutama di komputer. Tugas yang ada diadaptasi untuk pengiriman di layar; tugas baru (awalnya hanya dalam sains, kemudian, untuk PISA 2018, juga dalam membaca) dikembangkan yang memanfaatkan kemampuan pengujian berbasis komputer dan yang mencerminkan situasi baru di mana siswa menerapkan sains atau keterampilan membaca mereka dalam kehidupan nyata. Untuk komparabilitas tes berbasis komputer dan kertas, lihat FAQ di bawah “Hasil”.

 

Bagaimana sekolah dipilih di negara-negara untuk berpartisipasi dalam PISA?

 

PISA menerapkan standar teknis yang ketat termasuk untuk pengambilan sampel sekolah dan siswa di dalam sekolah. Prosedur pengambilan sampel dijamin kualitasnya dan sampel yang dicapai serta tingkat respons yang sesuai tunduk pada proses ajudikasi yang memverifikasi bahwa mereka telah memenuhi standar yang ditetapkan. Jika tingkat respons negara mana pun berada di bawah ambang batas yang ditentukan, itu akan dilaporkan. Informasi lebih lanjut tentang tingkat respon dalam PISA dapat ditemukan di situs PISA OECD , dan informasi tertentu pada tingkat partisipasi untuk masing-masing negara dapat ditemukan dalam Lampiran A2 dari Volume I dari PISA 2018 Hasil. Mengenai bobot penyesuaian untuk mengurangi dampak sekolah non-respon dan mahasiswa non-respon pada mereka di bawah-representasi dalam data, lihat Bab 8 dari 2018 Laporan Teknis PISA .

Bagaimana OECD memperlakukan anomali data?

 

Berikut ini daftar kasus di mana OECD, berdasarkan saran teknis dari Konsorsium PISA, menghapus atau membubuhi keterangan data nasional dalam laporan karena anomali teknis atau karena data tidak memenuhi standar teknis OECD untuk PISA. Kasus-kasus tersebut tercantum di bawah ini untuk penilaian sebelumnya. Untuk PISA 2018, lihat Lampiran A4 dari Volume I dari PISA 2018 Hasil . 

 

  • Albania: Pada PISA 2012, Albania mengirimkan data pekerjaan orang tua yang tidak lengkap dan tampak tidak akurat, karena penggunaan rentang pekerjaan yang sempit secara berlebihan. Masalah ini tidak dapat diselesaikan selama pembersihan data, dan akibatnya baik data pekerjaan orang tua maupun indeks yang bergantung pada data ini tidak disertakan dalam kumpulan data internasional. Hasil untuk Albania dihilangkan dari setiap analisis yang bergantung pada indeks ini. Pada PISA 2015, penilaian dilakukan sesuai dengan standar operasional dan pedoman OECD. Namun, karena cara pengambilan data, tidak mungkin untuk mencocokkan data dalam tes dengan data dari angket siswa. Hasil dari,
  • Argentina: Dalam PISA 2015, penilaian PISA dilakukan sesuai dengan standar dan pedoman operasional OECD. Namun, ada penurunan yang signifikan dalam proporsi anak berusia 15 tahun yang dicakup oleh tes, baik secara absolut maupun relatif. Telah terjadi restrukturisasi sekolah menengah Argentina, kecuali sekolah-sekolah di wilayah yang diputuskan di Ciudad Autonoma de Buenos Aires, yang kemungkinan besar telah mempengaruhi cakupan sekolah yang memenuhi syarat yang terdaftar dalam kerangka sampel. Akibatnya, hasil Argentina mungkin tidak sebanding dengan negara lain atau hasil untuk Argentina dari tahun-tahun sebelumnya.
  • Kazakhstan : Di PISA 2015, para pembuat kode nasional ditemukan lunak dalam menandai. Akibatnya, item berkode manusia tidak memenuhi standar PISA dan dikeluarkan dari data internasional. Karena item berkode manusia merupakan bagian penting dari konstruksi yang diuji oleh PISA, pengecualian item ini menghasilkan cakupan tes PISA yang jauh lebih kecil. Akibatnya, hasil Kazakhstan mungkin tidak sebanding dengan negara lain atau hasil untuk Kazakhstan dari tahun-tahun sebelumnya.
  • Malaysia: Dalam PISA 2015, penilaian dilakukan sesuai dengan standar operasional dan pedoman OECD. Namun, tingkat respons tertimbang di antara sekolah-sekolah Malaysia yang awalnya dijadikan sampel (51%) jauh di bawah standar tingkat respons PISA sebesar 85%. Oleh karena itu, hasilnya mungkin tidak dapat dibandingkan dengan negara lain atau hasil untuk Malaysia dari tahun-tahun sebelumnya.
  • Austria:  Sebagaimana dicatat dalam Laporan Teknis PISA 2000 (OECD, 2003) , sampel Austria untuk penilaian PISA 2000 tidak cukup mencakup siswa yang terdaftar di sekolah gabungan dan program kejuruan berbasis kerja seperti yang dipersyaratkan oleh standar teknis untuk PISA. Oleh karena itu, estimasi PISA 2000 yang diterbitkan untuk Austria menjadi bias (OECD, 2001). Ketidaksesuaian ini diperbaiki dalam penilaian PISA 2003. Untuk memungkinkan perbandingan yang andal, penyesuaian dan modifikasi bobot siswa dikembangkan yang membuat estimasi PISA 2000 sebanding dengan yang diperoleh di PISA 2003 Makalah Kerja OECD No. 5 “PISA 2000: Sample Weight Problems in Austria” ) .Untuk penilaian PISA 2009, perselisihan antara serikat guru dan menteri pendidikan di Austria menyebabkan pengumuman boikot PISA yang ditarik setelah minggu pertama pengujian. Boikot tersebut mengharuskan OECD untuk menghapus kasus yang dapat diidentifikasi dari kumpulan data. Meskipun kumpulan data Austria memenuhi standar teknis PISA 2009 setelah penghapusan kasus-kasus ini, suasana negatif dalam kaitannya dengan penilaian pendidikan mempengaruhi kondisi di mana penilaian dilakukan dan dapat mempengaruhi motivasi siswa untuk menanggapi tugas-tugas PISA. Oleh karena itu, komparabilitas data 2009 dengan data dari penilaian PISA sebelumnya tidak dapat dipastikan, dan oleh karena itu data untuk Austria dikeluarkan dari perbandingan tren.
  •  Luksemburg: Untuk Luksemburg, perubahan diterapkan dalam kondisi penilaian antara PISA 2000 dan PISA 2003 terkait dengan aspek organisasi dan bahasa untuk meningkatkan kepatuhan terhadap standar OECD dan untuk lebih mencerminkan karakteristik nasional sistem sekolah. Dalam PISA 2000, siswa di Luksemburg telah diberikan satu buklet penilaian, dengan bahasa pengujian dipilih oleh setiap siswa satu minggu sebelum penilaian. Namun, dalam praktiknya, keakraban dengan bahasa penilaian menjadi penghalang yang signifikan bagi sebagian besar siswa di Luksemburg pada PISA 2000. Oleh karena itu, dalam PISA 2003 dan PISA 2006, siswa masing-masing diberi dua buklet penilaian – satu di masing-masing dari dua buklet penilaian. bahasa pengantar – dan dapat memilih bahasa pilihan mereka segera sebelum penilaian. Ini memberikan kondisi penilaian yang lebih sebanding dengan negara-negara yang hanya memiliki satu bahasa pengantar dan menghasilkan penilaian yang lebih adil terhadap kinerja siswa dalam matematika, sains, membaca, dan pemecahan masalah. Sebagai akibat dari perubahan prosedur ini, kondisi penilaian dan karenanya hasil penilaian untuk Luksemburg tidak dapat dibandingkan antara PISA 2000 dan PISA 2003. Kondisi penilaian antara PISA 2003 dan PISA 2006 tidak berubah dan oleh karena itu hasilnya dapat dibandingkan.
  • Belanda : Sebagaimana dicatat dalam Laporan Teknis PISA 2000 (OECD, 2003) , tingkat respons sekolah di Belanda untuk PISA 2000 tidak cukup untuk menjamin inklusi dalam database PISA 2000. Oleh karena itu, Belanda dikeluarkan dari analisis tren yang berkaitan dengan PISA 2000.
  • Britania Raya: Pada PISA 2000, tingkat respons awal untuk Inggris Raya turun 3,7% dari persyaratan minimum. Pada saat itu, Inggris memberikan bukti kepada Konsorsium PISA yang mengizinkan penilaian kinerja yang diharapkan dari sekolah yang tidak berpartisipasi. Berdasarkan informasi tersebut, Konsorsium PISA menyimpulkan bahwa bias respons kemungkinan dapat diabaikan dan oleh karena itu hasilnya dimasukkan dalam laporan internasional. Dalam PISA 2003, tingkat respons Inggris sedemikian rupa sehingga standar pengambilan sampel yang diperlukan tidak terpenuhi dan penyelidikan lebih lanjut oleh Konsorsium PISA tidak mengkonfirmasi bahwa bias respons yang dihasilkan dapat diabaikan. Oleh karena itu, data ini tidak dianggap sebanding secara internasional dan tidak termasuk dalam sebagian besar jenis perbandingan. Untuk PISA 2006, standar yang lebih ketat diterapkan,
  • Amerika Serikat:  Dalam PISA 2006, kesalahan dalam mencetak buklet tes di Amerika Serikat, di mana paginasi diubah dan instruksi untuk beberapa item bacaan mengarahkan siswa ke halaman yang salah, mungkin telah mempengaruhi kinerja siswa. Dampak potensial dari kesalahan pencetakan pada kinerja siswa diperkirakan dengan memeriksa kinerja relatif siswa di Amerika Serikat pada set item yang umum antara PISA 2006 dan PISA 2003, setelah mengontrol kinerja pada item yang tidak mungkin. terpengaruh oleh kesalahan pencetakan.Efek yang diprediksi dari kesalahan pencetakan dan arah yang salah pada kinerja rata-rata siswa pada tes membaca hingga 6 poin skor, dan dengan demikian melebihi satu kesalahan standar pengambilan sampel. Membaca data kinerja untuk Amerika Serikat karena itu dikeluarkan dari publikasi dan database PISA.

    Efek yang diprediksi dari kesalahan pencetakan pada kinerja rata-rata siswa pada tes matematika dan sains adalah satu poin. Oleh karena itu, data kinerja matematika dan sains untuk Amerika Serikat dipertahankan.

Hasil

Apakah hasil dan data dari survei PISA tersedia untuk umum?

Tiga jilid pertama Hasil PISA 2018 tersedia secara online (Volume I, II dan III) [Tautan ke publikasi akan tersedia pada 3 Desember 2019]. Volume IV tentang literasi keuangan, Volume V tentang organisasi sekolah dan Volume VI tentang kompetensi global akan tersedia pada tahun 2020. Hasil dari siklus sebelumnya tersedia di halaman Temuan Utama . Semua data dari survei PISA dapat ditemukan di halaman Data .

Apa yang dimaksud dengan nilai ujian?

Skor PISA dapat ditempatkan di sepanjang skala khusus yang dikembangkan untuk setiap bidang studi, yang dirancang untuk menunjukkan kompetensi umum yang diuji oleh PISA. Skala ini dibagi ke dalam level yang mewakili kelompok pertanyaan tes PISA, dimulai dari Level 1 dengan pertanyaan yang hanya membutuhkan keterampilan paling dasar untuk diselesaikan dan semakin sulit untuk diselesaikan di setiap level. (Lebih khusus lagi, skala matematika dimulai pada Level 1; level terendah dari skala sains adalah Level 1b, dan diikuti oleh Level 1a; dan level terendah dari skala membaca adalah Level 1c, diikuti oleh Level 1b dan 1a.)

Setelah tanggapan siswa terhadap tes dinilai, skor keseluruhannya dalam membaca, matematika, dan sains (ditambah kompetensi global dalam PISA 2018) dapat ditempatkan pada skala yang sesuai. Misalnya, seorang siswa yang tidak memiliki keterampilan yang dibutuhkan untuk menyelesaikan dengan benar pertanyaan termudah pada tes PISA akan diklasifikasikan sebagai di bawah Level 1 (atau Level 1b atau 1c, sesuai domain), sedangkan siswa yang jawabannya menunjukkan penguasaan keterampilan ini akan diklasifikasikan pada tingkat yang lebih tinggi.

Dalam setiap mata pelajaran tes, secara teoritis tidak ada nilai minimum atau maksimum dalam PISA; sebaliknya, hasilnya diskalakan agar sesuai dengan distribusi normal, dengan rata-rata untuk negara-negara OECD sekitar 500 poin skor dan standar deviasi sekitar 100 poin skor. Sekitar dua pertiga siswa di seluruh negara OECD mendapat skor antara 400 dan 600 poin. Kurang dari 2% siswa, rata-rata di seluruh negara OECD, mencapai skor di atas 700 poin, dan paling banyak beberapa siswa dalam sampel PISA untuk negara mana pun mencapai skor di atas 800 poin.

Bagaimana peringkat negara dan ekonomi yang berpartisipasi dalam PISA?

PISA memeringkat negara dan ekonomi yang berpartisipasi menurut kinerja mereka dalam membaca, matematika, dan sains. PISA tidak memberikan skor kolektif untuk semua mata pelajaran yang digabungkan; melainkan memberikan skor untuk setiap bidang studi, dan skor rata-rata di setiap mata pelajaran dapat digunakan untuk menentukan peringkat negara. Namun, bahkan dalam satu subjek, tidak mungkin untuk menetapkan peringkat yang tepat untuk setiap negara atau ekonomi berdasarkan skor rata-ratanya. Ini karena PISA hanya menguji sampel siswa dari setiap negara atau ekonomi, dan memperkirakan, berdasarkan hasil mereka, distribusi kinerja di seluruh populasi siswa berusia 15 tahun. Ketidakpastian statistik yang terkait dengan perkiraan ini berarti bahwa hanya mungkin untuk melaporkan rentang posisi (peringkat atas dan peringkat bawah) di mana suatu negara atau ekonomi dapat ditempatkan. Sebagai contoh,

Seberapa sebandingkah tes berbasis komputer dan kertas PISA 2018?

Sebagian besar negara yang berpartisipasi dalam PISA 2018 memiliki siswa yang menyelesaikan tes di komputer. Sejumlah kecil negara yang tidak siap untuk pengiriman berbasis komputer melakukan tes di atas kertas. Kinerja siswa dapat dibandingkan antara tes berbasis komputer dan tes pena-dan-kertas yang digunakan dalam PISA 2018, dan juga antara tes berbasis komputer yang digunakan PISA 2015 dan 2018 dan siklus berbasis kertas sebelumnya. Namun, beberapa kehati-hatian disarankan saat membandingkan skor membaca dan sains di dua mode penyampaian. Tes berbasis komputer yang digunakan dalam PISA 2018 memperluas jangkauan sains dan keterampilan membaca yang dinilai di luar yang tercakup dalam tes berbasis kertas, untuk memasukkan, misalnya, membaca dalam format digital atau kemampuan untuk melakukan eksperimen dan melakukan penelitian ilmiah. penyelidikan.Volume I dari PISA 2018 Hasil   dan dalam Lampiran A5 dari Volume I dari PISA 2015 Hasil .

Bagaimana PISA mengukur perubahan kinerja dari waktu ke waktu?

Skor PISA dilaporkan pada skala yang sama dari waktu ke waktu. Skala ditetapkan pada tahun pertama di mana setiap mata pelajaran menjadi fokus utama penilaian (2000 untuk membaca, 2003 untuk matematika dan 2006 untuk sains).

Untuk menentukan apakah kinerja meningkat, tetap stabil, atau menurun, PISA menggunakan perbandingan tahun-ke-tahun (misalnya antara 2015 dan 2018, atau antara 2009 dan2018) dan tren rata-rata selama tiga tahun penilaian atau lebih (yaitu selama periode 6 tahun). atau lebih lama).

Perbandingan tahun-ke-tahun paling kuat ketika membandingkan penilaian yang berbagi sejumlah besar item dan fitur desain lainnya, Misalnya, perbandingan antara 2015 dan 2018 untuk semua mata pelajaran, atau (pada tingkat lebih rendah) antara 2018 dan tahun sebelumnya di yang mana domain minat merupakan domain utama (2009 untuk membaca dan 2012 untuk matematika). Namun, dalam beberapa kasus, perbandingan dari tahun ke tahun dapat dikacaukan oleh keadaan tertentu yang mempengaruhi pelaksanaan tes dalam salah satu dari dua tahun saja.

Tren rata-rata yang menggabungkan data dari tiga atau lebih pengukuran dapat mengurangi ketidakpastian yang terlibat dalam perbandingan tren dan membatasi kemungkinan efek pengganggu dari keadaan unik yang mungkin memengaruhi administrasi pengujian dalam satu tahun. Dalam laporan PISA, tren rata-rata adalah ukuran yang lebih disukai untuk perubahan kinerja rata-rata selama rentang waktu sembilan tahun atau lebih. Tren rata-rata juga memungkinkan perbandingan tren yang bermakna antara negara-negara yang tidak dapat membandingkan data di semua tahun penilaian, meskipun perbedaan dalam partisipasi harus dipertimbangkan saat menafsirkan perbandingan ini. Untuk informasi lebih lanjut tentang tren pengukuran dan sumber ketidakpastian dalam pengukuran ini, lihat [ Lampiran A7 ] dalam Laporan PISA 2018 (Volume I) .

Perubahan nyata, dalam pendidikan, bersifat kumulatif dan seringkali lambat; dengan pengukuran yang baik, seseorang harus mengharapkan peningkatan atau penurunan bertahap. Dalam situasi ini, perbandingan dari tahun ke tahun mungkin tidak signifikan, diambil secara individual, tetapi akumulasi perubahan jangka pendek yang mengarah ke arah yang sama merupakan tren yang signifikan. Memasang garis regresi ke beberapa pengukuran memungkinkan ekstraksi sinyal dari data yang, kadang-kadang, berisik, dan untuk mendeteksi apakah ada pola yang mendasari peningkatan atau penurunan.

Langkah-langkah apa yang diambil untuk memastikan tes PISA dan hasilnya kuat?

Keyakinan akan kekokohan PISA didasarkan pada ketelitian yang diterapkan pada semua aspek teknis dari desain, implementasi, dan analisis survei, bukan hanya pada sifat model statistik, yang telah berkembang dari waktu ke waktu dan akan terus berlanjut. Khusus mengenai pengembangan tes, kekokohan penilaian terletak pada ketelitian prosedur yang digunakan dalam pengembangan item, uji coba lapangan, analisis, review dan seleksi.

Tugas para ahli yang mengembangkan penilaian adalah untuk memastikan bahwa semua aspek ini diperhitungkan, dan menggunakan penilaian ahli mereka untuk memilih satu set item tes sedemikian rupa sehingga ada keseimbangan yang cukup di semua aspek ini. Dalam PISA ini dilakukan oleh spesialis penilaian yang bekerja dengan kelompok penasihat yang terdiri dari pakar internasional. Negara dan ekonomi yang berpartisipasi juga memainkan peran kunci dalam proses pemilihan item ini.

Detail dari desain pengujian dan proses pengembangan tersedia di Laporan Teknis PISA 2018 . Laporan teknis untuk penilaian sebelumnya juga tersedia di situs web PISA. Misalnya, laporan Teknis PISA 2015 .

Bagaimana PISA memastikan komparabilitas pertanyaan lintas negara dan bahasa?

Nilai perbandingan lintas negara merupakan inti dari survei internasional berskala besar seperti PISA. PISA mengikuti beberapa standar dan prosedur yang berkaitan dengan memastikan perbandingan yang adil dan valid dari hasil PISA di seluruh negara. Ini termasuk implementasi PISA yang konsisten dan penggunaan sampel yang representatif di setiap negara dan ekonomi yang berpartisipasi. Banyak upaya juga dilakukan untuk memastikan bahwa pertanyaan yang digunakan dalam PISA mempertahankan sifat pengukurannya di masing-masing dari banyak versi bahasa (dalam PISA 2018, sekitar 100 versi bahasa yang berbeda digunakan). Langkah-langkah untuk memastikan bahwa langkah-langkah yang dihasilkan setara meliputi:

  • Tinjauan kualitatif dari semua item tes dan kuesioner, pada berbagai tahap perkembangannya, oleh para ahli nasional dan internasional di masing-masing domain. Penilaian dan komentar yang disampaikan oleh pakar nasional menentukan revisi item dan panduan pengkodean untuk studi utama, dan memandu pemilihan akhir pertanyaan.
  • Prosedur yang ditentukan untuk terjemahan dan adaptasi. Ini termasuk persiapan dua versi sumber (Inggris dan Prancis), terjemahan rinci dan pedoman adaptasi, persyaratan desain terjemahan ganda (dua terjemahan independen direkonsiliasi oleh orang ketiga), dan kontrol kualitas akhir dari terjemahan yang dihasilkan. (“verifikasi”), yang dilakukan oleh konsorsium PISA internasional. Negara-negara yang berbagi bahasa uji didorong untuk mengembangkan versi umum yang kemudian disesuaikan dengan konteks nasional. Terjemahan dan adaptasi prosedur dijelaskan dalam Bab 4  dari  2018 Laporan Teknis PISA .
  • Untuk skala tes dan kuesioner yang mengandalkan beberapa pertanyaan, analisis sistematis kesetaraan pengukuran melalui indikator statistik konsistensi skala dan model fit. Analisis ini didokumentasikan dalam Bab 12 dan 16 dari Laporan Teknis PISA 2018 , di Annex A6 dari PISA 2018 Hasil (Volume I) , dan dalam Lampiran A5 dari PISA 2018 Hasil (Volume III) . Perbandingan nilai skala didukung oleh sejumlah besar item yang parameter modelnya dapat dibatasi ke nilai yang sama dan karenanya dapat berfungsi sebagai “jangkar” pada skala pelaporan.

Bisakah siswa menyontek di PISA?

PISA adalah program penilaian pendidikan internasional, berkualitas tinggi dan berdampak tinggi terkemuka di dunia, jadi sangat penting bahwa data PISA akurat dan otentik. Oleh karena itu OECD menerapkan ketentuan yang ketat di semua tingkatan untuk memastikan data siswa secara akurat mencerminkan kemampuan dan kinerja siswa, dan tidak melibatkan segala bentuk kecurangan. Penjaminan ini dimulai dengan Perjanjian Partisipasi antara OECD dan masing-masing negara. Pasal 4 dari perjanjian tersebut mengharuskan negara-negara untuk mematuhi Standar Teknis yang komprehensif untuk PISA, termasuk pengelolaan bahan uji yang aman dan administrasi penilaian yang aman. Persyaratan ini kemudian diperkuat melalui Manual Operasi PISA, Manual Koordinator Sekolah dan Manual Administrator Tes. Manual ini memiliki instruksi eksplisit untuk penerimaan, penanganan, dan penyimpanan yang aman dari semua materi terkait pengujian, dan untuk administrasi pengujian itu sendiri secara aman. Tidak seorang pun selain staf proyek yang disetujui yang memiliki akses untuk mengamankan data PISA, dan materi yang diembargo serta pengaturan kerahasiaan formal tersedia untuk semua staf proyek yang disetujui.

Kepatuhan terhadap standar dipantau di seluruh fase implementasi proyek, dan semua penyimpangan (misalnya penyimpangan dari protokol administrasi tes yang disepakati), baik kecil maupun besar, dicatat untuk ditinjau lebih lanjut. Setelah siswa mengikuti penilaian, setiap kumpulan data nasional ditinjau dan setiap ketidakkonsistenan ditandai untuk analisis lebih lanjut. Ketidakkonsistenan tersebut mencakup, misalnya, perbedaan antara satu negara dan negara lain dalam cara item berfungsi, dan perbedaan di suatu negara antara uji coba lapangan dan studi utama dalam cara item berfungsi. Ajudikasi data adalah proses kontrol kualitas di mana setiap kumpulan data nasional dan laporan pemantauan kualitas ditinjau, dan melaluinya penilaian tentang kesesuaian data untuk tujuan pelaporan utama dibentuk.

Data untuk daerah yang diadili juga ditinjau, meskipun tidak semua yurisdiksi sub-nasional memilih untuk menjalani proses ajudikasi data.

Proses dan hasil penilaian data untuk PISA 2018 dijelaskan dalam Bab 14 Laporan Teknis PISA 2018 [akan datang].

Mengapa seluruh Republik Rakyat Tiongkok tidak berpartisipasi dalam PISA?

Selama siklus terakhir, kementerian nasional telah mengujicobakan PISA di beberapa provinsi/kota dalam persiapan untuk partisipasi penuh di seluruh China. Shanghai telah berpartisipasi sejak PISA 2009. Dalam PISA 2015, kotamadya Beijing dan Shanghai serta provinsi Jiangsu dan Guangdong berpartisipasi. Dalam PISA 2018, kotamadya Beijing dan Shanghai serta provinsi Jiangsu dan Zhejiang berpartisipasi.

Bagaimana pelajaran dari PISA membantu negara dan ekonomi meningkatkan sistem pendidikan mereka?

Dalam survei OECD tahun 2012 terhadap negara dan ekonomi yang berpartisipasi dalam PISA, sebagian besar responden melaporkan bahwa kebijakan negara berkinerja tinggi atau sistem yang ditingkatkan telah berpengaruh dalam proses pembuatan kebijakan mereka sendiri. Jumlah negara dan ekonomi yang sama juga menunjukkan bahwa PISA telah mempengaruhi pengembangan elemen baru dari strategi penilaian nasional atau federal. Sehubungan dengan penetapan dan standar kurikulum, banyak negara dan ekonomi menyebutkan pengaruh kerangka kerja PISA pada: perbandingan kurikulum nasional dengan kerangka kerja dan penilaian PISA; pembentukan standar umum secara nasional; berdampak pada kerangka membaca mereka; penggabungan kompetensi seperti PISA dalam kurikulum mereka; dan untuk menetapkan standar kecakapan nasional.

Bagaimana hasil PISA mendukung perbaikan sistem pendidikan?

OECD berusaha untuk mengidentifikasi kebijakan dan praktik apa yang tampaknya “berfungsi” di negara dan ekonomi yang mencatat kinerja tinggi atau menunjukkan bukti peningkatan signifikan dari waktu ke waktu pada PISA. Kemudian melaporkan temuan tersebut dan mendukung negara dan ekonomi yang ingin menyelidiki dan mengeksplorasi sejauh mana mereka akan mendapat manfaat dari program serupa. OECD menyadari keadaan yang berbeda di berbagai negara dan ekonomi (dengan hampir 80 berpartisipasi dalam PISA 2018). Tidak ada model pendidikan ‘satu ukuran untuk semua’ untuk negara dan ekonomi. Tidaklah mungkin atau tepat untuk “memotong dan menempelkan” sistem pendidikan satu negara ke negara atau ekonomi lain.

Apakah penilaian PISA 2015 secara akurat mengukur kemampuan siswa untuk berkolaborasi dengan manusia lain?

Dalam penilaian pemecahan masalah kolaboratif PISA 2015, siswa peserta tes berinteraksi dengan agen komputer alih-alih agen manusia lainnya. Hal ini memungkinkan untuk pengukuran yang konsisten dari kemampuan siswa, karena hubungan interpersonal yang sudah ada sebelumnya antara teman sekelas tidak berdampak pada kinerja siswa. Sebuah studi validasi menyimpulkan bahwa hasil siswa dalam penilaian manusia-komputer informatif tentang bagaimana mereka akan tampil dalam interaksi dengan manusia lain. Secara khusus, kinerja kelompok siswa yang berbeda dapat dibandingkan dengan andal.

Ada tiga komponen untuk penelitian ini. Pertama, empat unit pemecahan masalah kolaboratif PISA diformat ulang dengan mengganti salah satu agen komputer dengan siswa manusia lain yang, seperti peserta tes utama, juga melihat pilihan pilihan ganda dari kemungkinan tanggapan. Siswa bekerja di lokasi terpisah. Yang kedua melibatkan guru yang telah mengamati siswa mereka selama tahun ajaran dan dengan demikian diharapkan untuk membuat penilaian yang akurat tentang kemampuan siswa mereka untuk bekerja secara kolaboratif. Komponen ketiga menampilkan siswa yang bekerja tatap muka pada unit lain yang diformat ulang dan dapat dengan bebas merumuskan tanggapan mereka.

Hasil komponen pertama hanya menunjukkan perbedaan kecil dalam skor kinerja absolut antara siswa yang berinteraksi dengan agen komputer dan mereka yang berinteraksi dengan agen manusia. Ini tidak signifikan dari sudut pandang praktis karena ukurannya dan karena nilai siswa dalam penilaian manusia-manusia dan manusia-komputer sangat berkorelasi. Hasil komponen kedua menunjukkan bahwa skor kinerja siswa dalam unit pemecahan masalah kolaboratif asli dan yang diformat ulang berkorelasi dengan pendapat guru mereka tentang kinerja mereka. Hasil komponen ketiga menunjukkan bahwa kinerja siswa dalam unit asli dan yang diformat ulang, yang keduanya berlangsung dalam pengaturan virtual berbasis komputer, merupakan prediktor yang cukup baik untuk kinerja mereka dalam pengaturan tatap muka. . Lihat Kotak V.2.Laporan Awal PISA 2015 (Volume V) untuk informasi lebih lanjut.

https://www.oecd.org/pisa/pisafaq/