TOEIC Programının Teorisi

TOEIC^® Testleri için Geçerlilik Argümanlarının Artikulasyonu ve Değerlendirilmesi adlı makale , argüman temelli yaklaşıma, TOEIC testleri için uygulanmasına ve paydaşlar için algılanan faydalarına erişilebilir bir giriş sunar. 

Makale, değerlendirme kullanımı argümanının kısa bir özetiyle başlar; bu, doğrulamada öne çıkan bir argümana dayalı yaklaşımdır. Sonrasında, TOEIC testleri için doğrulama argümanları oluşturmak için kullanılan süreci tanımlar.

Bu süreç, test dokümantasyonu, izleme faaliyetleri ve araştırma dahil olmak üzere çeşitli kaynaklardan kanıtlar içeriyordu. Son olarak, makale TOEIC doğrulama argümanlarının kullanıldığı iki ana yönteme genel bir bakış sunar: araştırmayı önceliklendirmek ve paydaşlarla iletişim kurmak.

Genel olarak, bu süreç TOEIC araştırmalarının TOEIC testlerinin uygun kullanımlarını desteklemek için geniş, eleştirel ve titiz bir yaklaşım benimsediğini göstermektedir. Bu çalışma ayrıca, tüm test geliştiricilerinin desteklemesi gereken kritik iddialara odaklanarak paydaşların değerlendirme okuryazarlığını artırmayı amaçlamaktadır.

Amaç

Test kullanımını gerekçelendirmek için argümana dayalı yaklaşım, test geliştiricilerinin testin amaçlanan kullanımının haklı olduğuna paydaşları (yani testten etkilenen herkesi) ikna etmesi gerektiğini varsayar. Bu amaçla, test geliştiricisi, test puanlarının nasıl yorumlanıp karar verirken nasıl kullanılacağı konusunda açık iddialarda bulunur. Bu iddialar, test geliştirme sürecinden ve/veya devam eden araştırmalardan belgelenme gibi kanıtlarla desteklenir veya zayıflatılır. Test geliştiricisinin iddialarını ve bunları destekleyen kanıtları inceleyerek, paydaşlar testin amaçlanan kullanımının haklı olup olmadığına dair küresel bir değerlendirmeye varabilirler. Bu yaklaşım şu amaçlarla kullanılır:

• Kılavuz Test Geliştirme
• Devam eden araştırmalar için yönlendirme sağlamak
• farklı paydaş grupları için bir hesap verebilirlik aracı olarak hizmet veriyor

Yapı

Değerlendirme Kullanım Argümanı, "belirli bir dil değerlendirmesinin geliştirilmesi ve kullanımını yönlendiren kavramsal bir çerçevedir; değerlendirme temelinde yaptığımız yorumlar ve kullanımlar da dahil olmak üzere" (Bachman ve Palmer, 2010, 99). Çerçeve, test puanlarının nasıl yorumlanıp karar verirken kullanılacağına dair test geliştiricisinin yaptığı hiyerarşik bir iddialar seti olarak yapılandırılmıştır. Genel olarak şu biçimi alır:

Yukarıdaki şekildeki her bileşen bir iddiayı temsil eder. En üst düzeyde, test geliştiricisi  , teste dayalı alınan kararların sonucunun tüm paydaş grupları için faydalı olduğunu iddia edebilir (örneğin, karar hataları en aza indirildi). Bu, puan yorumlarından çıkan kararlarla ilgili bir iddiayı varsayır — özellikle kararların ilgili kurumların (eğitim, toplumsal, organizasyonel, hukuki) değerlerine duyarlı ve adil olduğu iddiası. Test yapan yeteneklerle ilgili skorlara dayalı yorumları gerekçelendirmek için, test geliştiricisi yorumların anlamlılığı, tarafsızlığı, genellenebilirliği, önemliliği ve yeterliliği hakkında iddialarda bulunur. Son olarak, tüm bu iddialar, sınav yapanların performanslarına dayalı puanların test formları, yönetimler ve puancılar arasında tutarlı olduğu temel iddiasına dayanır. Dolayısıyla, bir AUA'daki her iddia şunlardan oluşur:

• test kullanımının bir sonucu (örneğin, sınav veren yeteneklere dair yorumlardan kaynaklanan kararlar)
• o sonucun nitelikleri (örneğin, kararların değerlere duyarlı ve adil olması)

Hem karar vericiler hem de test geliştiricileri değerlendirme kullanımını gerekçelendirme sorumluluğunu paylaşır. Test geliştiricilerinden, test puanlarının tutarlı olduğu iddiasını destekleyecek kanıtlar sunmaları ve puanların sınav yapan yetenekler hakkında yorumlar yapmak için kullanılabileceği iddiasını desteklemeleri beklenmektedir. Karar vericiler, kararların değerlere duyarlı ve adil olduğunu, kararların sonuçlarının faydalı olduğunu göstermelidir. Ne yazık ki, karar vericiler bu iddialara yeterli destek sağlayacak uzmanlıktan yoksun (örneğin, standart belirleme belgeleri, karar hatalarının tahminleri). Sonuç olarak, bir AUA karar vericiler ile test geliştiricileri arasındaki iş birliğiyle geliştirilebilir. En azından, test kullanımına dayalı kararlar ve sonuçlarla ilgili iddiaların haklı olup olmadığını belirlemek için test geliştiricilerinden geri bildirim alınmalıdır.

Kullanım Alanı

Genel olarak, bir AUA'nın yapısı, gerçek dünyadaki kararlar ve sonuçları ile ilgili endişeleri test geliştiricilerinin geleneksel endişeleriyle — güvenilirlik ve geçerlilik — bağlayan kapsamlı bir test kullanımının gerekçelendirilmesi için bir temel sağlar. Kapsamlı bir iddia, emir, destek ve çürütme listesi olarak, test kullanımı için genel argümandaki zayıf noktaları belirlemek ve araştırma veya test geliştirme projelerine öncelik vermek için kullanılabilir.

Son olarak, yukarıdaki şekilde gösterildiği gibi basit bir hiyerarşik iddia seti olarak, AUA, bir testin faydalılığının önemli niteliklerini belirleyen temel konuları (adalet, etki, güvenilirlik ve geçerlilik) gösteren bir iletişim aracı olarak kullanılabilir. Bireylerin ve paydaş grupların endişeleri farklıdır ve araştırmanın zorluklarından biri, bu endişeleri tutarlı bir şekilde ele almak ve paydaşların değerlendirme okuryazarlığını artırmaktır. Endişeler şunları içerebilir:

• Skor tutarlılığı
  "Tüm puan verenlerin puanlama rehberlerine uymasını nasıl sağlarsın?"
• Notların yorumlanması
  "Kriter geçerliliğini hesaplarken, kriter kim ya da nedir?"
• Bu yorumlara dayanan kararlar
  "Diğer kurumlarda kesintiler ne?"
• Test kullanımının sonuçları
  "TOEIC testleri iş arayanlara nasıl yardımcı oldu?"
• Bu konuların birkaçınla ilgili test kullanımı
  "İşe alımcılar TOEIC puanlarının pazarın ihtiyaçlarını karşıladığını nasıl bilebilir?"

Belirli paydaş gruplarına yönelik AUA versiyonları sunarak, güçlü bir araştırma programına sahip bir test geliştiricisi, paydaşların sorularına yanıt bulmasına ve değerlendirme ürünlerinin daha sofistike tüketicileri haline gelmesine yardımcı olabilir.

Bu yaklaşımın yeniden tasarlanan TOEIC Köprü^® testleri için nasıl uygulandığına dair bir açıklamayı "Yeni bir dil yeterlilik değerlendirmesinin kalitesi ve kullanımı için gerekçe oluşturmak: Yeniden tasarlanmış TOEIC Köprü testleri için geçerlilik argümanı" başlıklı makalede sunuyoruz. Bu makalede, araştırmacılar puan tutarlılığı ile ilgili belirli iddiaları destekleyen kanıtları açıklarlar, sınav puanlarının yorumlanması, test puanlarına dayalı kararlar ve sınav kullanımının sonuçları. Bu sentez, paydaşların, bir testin neyi ölçtüğü ve nasıl kullanılacağı konusundaki gerçek iddialarla (ve kanıtlarla) eleştirel bir şekilde ilgilenmeye teşvik eder. Bu düzeyde katılım, paydaşların testlerin ihtiyaçlarına uygun olup olmadığını ve testlerin etkili kullanımını kolaylaştırmadaki rollerini daha iyi anlamalarına yardımcı olabilir.

Bachman, L. F., & Palmer, A. (2010). Pratikte dil değerlendirmesi. Oxford: Oxford Üniversitesi Yayınları.

Schmidgall, J. (2017). TOEIC^® testleri için geçerlilik argümanlarının ifade edilmesi ve değerlendirilmesi (Araştırma Memorandumu No.  RM-13-09). ETS.

Schmidgall, J., Cid, J., Carter Grissom, E., & Li, L. (2021). Yeni bir dil yeterliliği değerlendirmesinin kalitesi ve kullanımı için gerekçe savunmak: Yeniden tasarlanmış TOEIC Köprü^® Testleri için geçerlilik argümanı (Araştırma Raporu No. RR-21-20). ETS.