GS. TSKH. LÂM QUANG THIỆP

1. Yêu cầu về tính khách quan của phép đo dùng ĐTN

Trắc nghiệm là một phép đo. Cũng như mọi phép đo khác trong khoa học và đời sống, ở phép đo bằng trắc nghiệm ta cũng có một thước đo và một đối tượng đo

 : thước đo là ĐTN và đối tượng đo là khả năng nào đó của các cá thể trong một nhóm TS.

Phép đó bằng trắc nghiệm phải có giá trị (valid), phải tin cậy (reliable) trong một giới hạn sai số có thể chấp nhận được nào đó.

Cũng như những phép đo khác, phép đo bằng trắc nghiệm cũng phải thoả mãn một số yêu cầu nào đó thì nó mới đảm bảo được độ giá trị và độ tin cậy. Từ đầu thế kỷ 20 một số nhà nghiên cứu về đo lường trong giáo dục đã phát biểu yêu cầu của phép đo trong giáo dục, cũng như nhiều phép đo khác, đó là: trong quá trình đo thước đo không được làm biến đổi đối tượng đo, và ngược lại đối tượng đo không được làm biến đổi thước đo. Mức chính xác của phép đo phụ thuộc vào mức độ ảnh hưởng tương hỗ này giữa thước đo và đối tượng đo.

2. Lý thuyết ứng đáp câu hỏi

Trong thế kỷ 20 nhiều nhà nghiên cứu về đo lường trong tâm lý và giáo dục đã nghiên cứu mô hình hoá việc đáp ứng CH trắc nghiệm để có thể tính toán định lượng các quá trình này.

Trước hết, có thể xem việc một người có một năng lực nào đó trả lời đúng hay sai một CH trắc nghiệm - là một điều ngẫu nhiên, không thể nói trước một cách chắc chắn. Do đó lý thuyết đáp ứng CH (Item Response Theory - IRT) phải xây dựng trên khoa học về xác suất và thống kê. Các công trình quan trọng của lý thuyết này ra đời vào ba thập niên cuối của thế kỷ 20 và đạt được nhiều thành tựu quan trọng, được công nhận và áp dụng phổ biến trong thực tiễn.

2.1. Các mối quan hệ nguyên tố trong một phép đo lường giáo dục và mô hình Rasch:

Giả sử ta ra một ĐTN gồm 100 CH cho một kỳ thi có 500 TS tham gia để xác định năng lực của TS về một lĩnh vực nào đó. Mỗi TS có một mức năng lực nào đó về lĩnh vực được đo, và mỗi CH trắc nghiệm có một độ khó nào đó. Phải xem xét TS thứ n có năng lực q_n đứng trước một CH thứ i có độ khó b_i sẽ ứng đáp CH đó như thế nào. Trong thí dụ của ta rõ ràng có 50.000 mối quan hệ nguyên tố như vậy.

Nhà toán học Đan Mạch, Georg Rasch, đã đưa ra một mô hình "ứng đáp câu hỏi" để mô tả mối tương tác nguyên tố giữa một TS với một CH của ĐTN, và dùng mô hình đó để phân tích các dữ liệu thật của ĐTN.

Rasch nói: "một TS có khả năng hơn TS khác phải có một xác suất lớn hơn để trả lời đúng một CH bất kỳ, cũng tương tự như vậy, một CH khó hơn một CH khác có nghĩa là đối với bất kỳ TS nào xác suất để trả lời đúng CH sau là lớn hơn so với CH trước" ⁴.

Dựa trên giả thiết đó Rasch đã xây dựng hàm ứng đáp CH (Item Response Function - IRF) và đường cong đặc trưng CH (Item Characteristic Curve – ICC) tương ứng. Để biểu diễn các mối quan hệ này Rasch phải sử dụng các thủ thuật để có thể biểu diễn được năng lực q_n và độ khó b_i trên cùng một thang đo: biểu diễn năng lực dưới dạng tỉ đối và sử dụng hàm log để biến tỷ số thành hiệu số. Rasch đã biểu diễn hàm ứng đáp CH dưới dạng hàm mũ:

(3.2)

trong đó P_i(q_n -b_i) là xác suất trả lời đúng câu hỏi, e là cơ số logarit tự nhiên.

Hình 2. Biểu diễn đường cong đặc trưng CH theo mô hình Racsh.

Đường cong đặc trưng CH ICC tương ứng với IRF (3.2) có dạng như ở Hình 2.

2.2. Các mô hình IRF 2 và 3 tham số:

Mô hình Rasch ứng với hàm ứng IRF dạng đơn giản nhất, chỉ chứa một tham số ứng với độ khó b. Nhiều nhà nghiên cứu cũng đưa ra nhiều IRF có dạng phức tạp hơn, chứa 2 tham số (có tham số ứng với độ khó b và tham số ứng với độ phân biệt a); chứa 3 tham số (có tham số ững với độ khó b, tham số ứng với độ phân biệt a và tham số phỏng đoán c). Việc chọn mô hình nào để sử dụng là tùy thuộc tính chất của ngân hàng CH, thông thường phải qua thử nghiệm tính toán để xác định mô hình nào phù hợp tốt nhất với dữ liệu thực tế. Cần lưu ý là các tham số b và a liên quan với độ khó và độ phân biệt nhưng không trùng hợp với độ khó và độ phân biệt trong lý thuyết trắc nghiệm cổ điển về cả định nghĩa và đơn vị đo.

Công thức biểu diễn xác suất của TS thứ ν có năng lực θ_ν trả lời đúng CH thứ i ứng với mô hình 2 tham số có dạng:

(2);

trong đó có thêm tham số a_i là tham số ứng với độ phân biệt của CH thứ i;

ứng với mô hình 3 tham số có dạng:

(3);

trong đó có thêm tham số c_i là tham số phỏng đoán, xác định tính chất “đoán mò” của TS đối với CH thứ i.

Ví dụ, đường cong đặc trưng câu hỏi ứng với mô hình một tham số với b=0 có dạng:

Hình 1

ĐCĐTCH ứng với mô hình 2 tham số với b=0 , a= 2 có dạng:

Hình 2

ĐCĐTCH ứng với mô hình 3 tham số b=0, a=2,5 , c= 0,2 có dạng:

Hình 3

2.3. Các tham số tổng quát của một đề trắc nghiệm:

Khi đã xác định được các tham số đặc trưng cho mọi CH trong ngân hàng CH, chúng ta có thể thiết kế các ĐTN (test - ĐTN) để đánh giá dải năng lực theo ý muốn. Từ các ICC của mọi CH trong ĐTN có thể xác định đường cong đặc trưng của ĐTN (bằng tổng các ICC của mọi CH trong ĐTN) hoặc đường cong điểm thực của ĐTN, tức là:

. (4)

Đường cong này cho biết một TS có năng lực θ nào đó sẽ đạt được bao nhiêu điểm thô đối với ĐTN có n CH đã cho.

Ngoài đường cong điểm thực của ĐTN, mỗi ĐTN còn có một hàm đặc trưng quan trọng là hàm thông tin của ĐTN, được tính biểu thức:

, (5)

trong đó I_i là hàm thông tin của CH thứ i. Hàm thông tin liên quan chặt chẽ với độ chính xác của phép đo, được xác định bằng nghịch đảo của phương sai σ² :

I(θ)=1/ σ(θ)^2. (6)

Chẳng hạn đối với CH theo mô hình hai tham số hàm thông tin này được cho bởi công thức:

. (6)

Thí dụ áp dụng: Để làm rõ tiến trình xây dựng các ĐTN theo lý thuyết đo lường hiện đại IRT, dưới đây sẽ nêu vài ví dụ minh họa. Vì là ví dụ có tính giáo khoa nên chỉ giới hạn cho một ĐTN 10 CH, tuy rằng việc xây dựng một ĐTN có hàng trăm CH về nguyên tắc cũng không có gì khác.

Giả sử chúng ta thiết kế một một ĐTN có 10 CH theo mô hình hai tham số với các tham số như sau:

ĐTN này cho đường cong điểm thực có dạng như sau:

Hình 4

Tương ứng với đường cong điểm thực nêu trên, đường biểu diễn hàm thông tin của ĐTN có dạng như Hình 5.

Hình 5

Từ đường cong điểm thực ở Hình 4 và đường biểu diễn hàm thông tin ở Hình 5 chúng ta có thể thấy ĐTN này cho phép xác định tốt điểm thực của các TS có năng lực trong khoảng -2< θ <2. Bằng cách bổ sung hoặc thay thế các CH có các tham số đặc trưng khác nhau ở từng khoảng năng lực khác nhau ta có thể thu được các ĐTN có các đường cong đặc trưng điểm thực hoặc hàm thông tin tương ứng. Chính đường cong đặc trưng của ĐTN hoặc hàm thông tin của ĐTN là cơ sở để thiết kế các ĐTN tương đương theo IRT. Như vậy, khác với quan niệm ĐTN tương đương của lý thuyết trắc nghiệm cổ điển chỉ dựa vào một số đặc trưng tổng quát của ĐTN và các khoảng độ khó và độ phân biệt cổ điển không ổn định, trong IRT các ĐTN tương đương là các ĐTN có đường cong điểm thực hoặc đường biểu diễn hàm thông tin trùng nhau (hiển nhiên trong phạm vi sai số cho phép).

Như vậy chúng ta có thể sử dụng các thuật toán nhằm lựa chọn các tập hợp CH thích hợp để thiết kế một ĐTN đánh giá chính xác ở khoảng năng lực nào đó của các TS mà ta mong muốn.

Trong trường hợp cần thiết kế các ĐTN để đánh giá xem các TS có năng lực vượt một ngưỡng nào đó hay không, ta cần xác định chính xác các điểm thực nằm lân cận điểm cắt (cut off score) ứng với ngưỡng đó, muốn vậy cần chọn các CH sao cho hàm thông tin của ĐTN có giá trị lớn ở lân cận điểm cắt mong muốn. Chẳng hạn, muốn có một ĐTN có điểm cắt ở lân cận năng lực θ = -1 ta có thể thiết kế nó từ tập hợp các CH theo bảng sau đây:

Bảng 2

Tập hợp các CH đó tạo nên một ĐTN cho đường cong đặc trưng điểm thực có dạng như ở Hình 6:

Hình 6

và cho và hàm thông tin tương ứng có dạng như Hình 7:

Hình 7

Rõ ràng các đường cong điểm thực và đường biểu diễn hàm thông tin của ĐTN nói trên cho phép đánh giá điểm cắt ở cỡ θ= -1 một cách chính xác.

(Lưu ý: trong các thí dụ trên đây để tiện trình bày vấn đề từ góc độ lý luận, chúng tôi dùng dãi năng lực cỡ từ -3 đến +3 theo thang logit, và điểm thực tính theo điểm thô ứng với ĐTN 10 câu. Dễ dàng đưa ra các công thức biến đổi thích hợp để chuyển thang năng lực về một thang điểm xác định tùy ý: thang điểm 5, thang điểm 10, thang điểm 100 v..v…).

2.4. Về việc áp dụng lý thuyết ứng đáp câu hỏi

Từ thập niên 1970 lý thuyết ứng đáp CH được áp dụng ngày càng rộng rãi để tính toán các kết quả đo đạc năng lực bằng các ĐTN và định cỡ các CH trắc nghiệm (tức là tính toán các tham số đặc trưng cho các đường cong đặc trưng CH a, b và c). Trong các mô hình ứng đáp câu hỏi, mô hình Rasch được sử dụng nhiều nhất vì nó mô tả quá trình ứng đáp CH tương đối đơn giản nhưng kết qủa tính toán khá phù hợp với thực tế. Việc tính toán theo lý thuyết IRT thường được tiến hành đại khái như sau: người ta lấy số liệu thực nghiệm từ kết quả trả lời các CH của một ĐTN trên một nhóm mẫu nào đó các TS, từ đó phỏng tính các số đo năng lực của mỗi TS và các đặc trưng của từng CH. Từ các giá trị phỏng tính này người ta tính toán các IRF, và lập một phiếm hàm so sánh tương quan số liệu phỏng tính theo mô hình IRT với các số liệu ứng đáp CH thu được từ phép thử thực nghiệm và xem xét độ phù hợp giữa chúng theo một tiêu chuẩn nào đó. Nếu độ phù hợp chưa đạt mức chính xác quy định, quá trình tính toán được lặp lại nhiều lần cho đến lúc giá trị của phiếm hàm đạt được sự phù hợp mong muốn. Các phép tính lặp được thực hiện nhanh chóng nhờ máy tính điện tử.

Thực tế áp dụng lý thuyết đáp ứng CH chứng tỏ lý thuyết này cho phép tạo dựng các phép đo lường trong giáo dục thoả mãn hai yêu cầu được đặt ra với một sai số có thể chấp nhận trong thực tế. Đó là yêu cầu: các đặc trưng của CH trắc nghiệm xác định được không phụ thuộc vào mẫu TS (sample free) và các mức năng lực xác định được của TS không phụ thuộc vào ĐTN đã được định cỡ (item free). Đó là tính bất biến (invariance) quan trọng được đề ra đối với phép đo lường mà các mô hình IRT cho phép thỏa mãn.

Với việc áp dụng lý thuyết ứng đáp CH, người ta có thể xây dựng các ngân hàng CH trắc nghiệm chứa các CH được định cỡ chính xác, từ đó lập các ĐTN có khả năng đo lường năng lực với độ chính xác cao. Cũng nhờ các thành tựu này người ta có thể thiết kế các trắc nghiệm thích ứng nhờ máy tính (computer adaptive test - CAT) cho phép đo lường chính xác năng lực với một số lượng không lớn các CH thích hợp. Có thể nói: lý thuyết ứng đáp CH tạo một cuộc cách mạng thật sự trong phép đo lường trong tâm lý và giáo dục.

Người ta đã soạn thảo nhiều phần mềm máy tính để tính toán các phép đo lường trong giáo dục dựa vào các mô hình được xây dựng bởi IRT. Các phần mềm được sử dụng phổ biến trên thế giới: BIGSTEP, RASCAL, LOGIST, NOHARM ⁷, BILOG ¹⁶ (Mỹ), QUEST¹³, CONQUEST (Úc) ¹⁴ . Phần mềm QUEST do trung tâm ACER (Australian Center for Educational Research) sản xuất, viết theo mô hình Rasch đã được sử dụng ở Việt Nam trong nhiều năm qua, phần mềm BILOG viết cho các IRF nhiều tham số cũng đã được chúng tôi sử dụng rất có hiệu quả.