Sidebar

Magazine menu

21
T7, 12

Tạp chí KTĐN số 99

NGHIÊN CỨU MỘT SỐ MÔ HÌNH ĐÁNH GIÁ CHƯƠNG TRÌNH ĐÀO TẠO

Trần Thị Hiền[1]

 Tóm tắt

            Đánh giá chương trình đào tạo trong giáo dục đóng một vai trò quan trọng trong toàn bộ quá trình xây dựng và phát triển chương trình. Thông qua công tác đánh giá, các nhà giáo dục sẽ đưa ra các quyết định nhằm nâng cao chất lượng và hiệu quả chương trình đào tạo. Bài viết giới thiệu một số mô hình đánh giá chương trình đào tạo đã và đang sử dụng phổ biến trên thế giới. Các nhà giáo dục có thể lựa chọn và kết hợp một hay nhiều mô hình đánh giá chương trình đào tạo tùy thuộc vào bối cảnh và các yêu cầu đối với kết quả đánh giá.

 Từ khóa: Chương trình đào tạo, đánh giá chương trình đào tạo, chất lượng chương trình, hiệu quả chương trình

Abstract

            Evaluation of education program plays an important role in process of designing and developing programs. Through the asesssmnet process, educators make decisions to improve the quality and effectiveness of programs. The paper aims to introduce several models of educational program evaluation that have been widely applied in the world. Educators could choose a model of program evaluation or combine models that meet requirements of evaluation result.

Keyword: Trainning program, Educational program evaluation, quality of program, effectiveness of program

  1. Đặt vấn đề

            Theo một đánh giá khảo sát của Ngân hàng Thế giới về chất lượng nguồn nhân lực tại 12 quốc gia ở Châu Á vào năm 2014, Việt Nam đạt mức 3,79 điểm (trong thang điểm 10), xếp thứ hạng 11. Trong khi Hàn Quốc đạt 6,91 điểm; Ấn Độ đạt 5,76 điểm; Malaysia đạt 5,59 điểm (Vũ Xuân Hùng, 2016). Báo cáo khảo sát cũng cho thấy những quốc gia có điểm số chất lượng nguồn nhân lực cao thường là những quốc gia có nhiều bước tiến trong phát triển giáo dục với nhiều chương trình đào tạo được đánh giá có uy tín và chất lượng. Hệ thống giáo dục của các quốc gia, có xếp hạng cao về chất lượng nguồn nhân lực, luôn đề cao công tác đánh giá chương trình đào tạo nhằm cải thiện, đổi mới và phát triển chương trình theo kịp với nhu cầu của xã hội và bối cảnh hội nhập toàn cầu.

Năm 2016, Việt Nam chính thức tham gia vào Cộng đồng Kinh tế ASEAN. Điều này đồng nghĩa với trong tương lai thị trường lao động sẽ không còn phân định biên giới lãnh thổ, người lao động có trình độ chuyên môn, kỹ năng và ngoại ngữ sẽ có nhiều cơ hội việc làm. Hội nhập kinh tế đòi hỏi Việt Nam cần phải có nhiều chương trình đào tạo hướng quốc tế hóa nhằm đảm bảo đào tạo được nguồn nhân lực đáp ứng nhu cầu thị trường lao động của khu vực và quốc tế. Trước những yêu cầu thay đổi của xã hội, các cơ sở giáo dục Việt Nam cần phải đánh giá lại các chương trình đào tạo hiện có để sửa đổi cho phù hợp. Bên cạnh đó, hoạt động đánh giá các chương trình đào tạo cần phải tiến hành thường xuyên và định kỳ để đảm bảo chất lượng và hiệu quả chương trình.

Ngoài ra, khoa học công nghệ phát triển như vũ bão trong những năm qua đã phát sinh nhiều ngành nghề kinh tế mới trong xã hội. Để phát triển nguồn nhân lực phục vụ những ngành nghề kinh tế mới đòi hỏi các cơ sở giáo dục cần xây dựng mới các chương trình đào tạo. Trong quá trình xây dựng và triển khai các chương trình đào tạo mới, các cơ sở giáo dục không tránh khỏi những sai lầm như mục tiêu chương trình đào tạo có thể không như mong muốn của người học hoặc không đạt được như kì vọng với những điều kiện của cơ sở giáo dục và nội dung chương trình đặt ra. Do đó, việc đánh giá các chương trình đạo tạo trong suốt quá trình từ thiết kế đến khi kết thúc chương trình đào tạo là vô cùng cần thiết.

Mặt khác, trong bối cảnh xã hội hóa giáo dục, các cơ sở giáo dục phải triển khai công tác đánh giá chương trình đào tạo để thực hiện trách nhiệm giải trình đối với các cá nhân và tổ chức có liên quan. Tại một số quốc gia, đánh giá chương trình đào tạo là một phần không thể thiếu trong quá trình kiểm định chất lượng nhà trường nói chung và chất lượng chương trình đào tạo nói riêng. Thông qua việc đánh giá và kiểm định các chương trình đào tạo, các cơ sở giáo dục có thể nâng cao được thương hiệu và thứ hạng của nhà trường. Trên cơ sở đó, các cơ sở giáo dục có thể thu hút thêm được nhiều người học trong và ngoài nước đối với chương trình đã kiểm định và có thứ hạng cao.

            Xuất phát từ những lí do nêu trên, đánh giá chương trình đào tạo đóng một vai trò quan trọng trong phát triển nguồn nhân lực cho thị trường lao động tại Việt Nam trước những thay đổi không ngừng của môi trường kinh tế - xã hội trong nước và quốc tế. Tuy nhiên, chất lượng của các kết quả đánh giá chương trình đào tạo phụ thuộc rất nhiều vào mô hình, phương pháp và các tiêu chí đánh giá mà cơ sở giáo dục lựa chọn. Bài viết này muốn giới thiệu một số mô hình đánh giá chương trình đào tạo đã và đang được áp dụng trên thế giới ở góc độ tiếp cận nội dung của mô hình, ưu và nhược điểm của từng mô hình đánh giá.

  1. Khái niệm về chương trình đào tạo và đánh giá chương trình đào tạo

2.1. Khái niệm về chương trình đào tạo (Program)

            Thuật ngữ “chương trình đào tạo” được nhắc đến rất nhiều trong lĩnh vực giáo dục. Hiện nay có rất nhiều các khái niệm khác nhau về chương trình đào tạo do các học giả và nhà giáo dục tiếp cận khái niệm này ở nhiều góc độ khác nhau. Theo Hollis và Campbell (1935) thì chương trình đào tạo bao gồm tất cả những hiểu biết và kinh nghiệm mà người học có được dưới sự hướng dẫn của nhà trường. Như vậy, chương trình đào tạo được xem là một chuỗi những kinh nghiệm được phát triển nhằm giúp người học tăng cường tính kỉ luật, phát triển năng lực tư duy và hành động. Chương trình đào tạo gồm tất cả những kiến thức mà người học cần có được nhằm đạt được mục đích và mục tiêu cụ thể.

            Theo Wheeler (1976), chương trình đào tạo có nghĩa là những trải nghiệm đã được lập từ trước và được đưa ra cho người học dưới sự hướng dẫn của cơ sở giáo dục. Hay Tanner (1975) định nghĩa chương trình đào tạo như những trải nghiệm học tập được xây dựng từ trước và kết quả học tập được đề ra ngay từ đầu thông qua việc cung cấp các kiến thức và trải nghiệm một cách có hệ thống nhằm phát triển người học không ngừng, nâng cao được tri thức, năng lực cá nhân và năng lực xã hội của người học.

            Theo Wentling (1993), chương trình đào tạo là một bản thiết kế tổng thể cho một hoạt động đào tạo. Hoạt động đó có thể chỉ là một khóa đào tạo kéo dài một vài giờ, một ngày, một tuần hoặc vài năm. Bản thiết kế tổng thể đó cho biết toàn bộ nội dung cần đào tạo, chỉ rõ ra những gì người học có thể đạt được sau khi tham gia chương trình. Mặt khác chương trình đào tạo còn phác họa ra qui trình cần thiết để thực hiện nội dung đào tạo, phương pháp đào tạo và cách thức kiểm tra đánh giá kết quả học tập và tất cả được sắp xếp theo một thời gian biểu chặt chẽ.

            Theo thông tư 04/2016/TT-BGDĐT, chương trình đào tạo bao gồm: mục tiêu, chuẩn kiến thức, kỹ năng, thái độ của người học cần đạt được sau khi tốt nghiệp; nội dung, phương pháp và hoạt động đào tạo; điều kiện cơ sở vật chất - kỹ thuật, cơ cấu tổ chức, chức năng, nhiệm vụ và các hoạt động học thuật của đơn vị được giao nhiệm vụ triển khai đào tạo ngành học đó.

            Như vậy, khái niệm chương trình đào tạo được tiếp cận ở nhiều góc độ khác nhau nhưng về cơ bản đều xem chương trình đào tạo chính là bản thiết kế tổng thể cho một hoạt động đào tạo để đạt được mục tiêu đào tạo trong một khuôn khổ thời gian.

2.2. Khái niệm về đánh giá chương trình đào tạo

            Theo Goldstein (1993), đánh giá chương trình đào tạo là quá trình thu thập có hệ thống các thông tin mang tính miêu tả và đánh giá để đưa ra các quyết định liên quan tới chương trình đào tạo như việc lựa chọn, áp dụng, đem lại giá trị cho chương trình và thực hiện những thay đổi trong quá trình triển khai chương trình nhằm đạt được hiệu quả trong triển khai.

            Theo tổ chức OECD (2009) thì đánh giá chương trình là đánh giá một cách có hệ thống và có mục tiêu các chương trình đang diễn ra hoặc đã hoàn thành ở ba góc độ bao gồm xây dựng chương trình, triển khai chương trình và kết quả đạt được của chương trình. Mục đích của đánh giá chương trình là để xác định mục tiêu đạt được mức độ nào, mức độ hiệu quả của chương trình, mức độ ảnh hưởng và tính bền vững của chương trình.

            Theo Sanders và Worthen (2004) việc đánh giá chương trình đào tạo phải được thực hiện có hệ thống và có mục tiêu nhằm thu thập, phân tích, đánh giá các thông tin có liên quan tới chương trình đào tạo. Hay Mcnamara (2000) thì cho rằng đánh giá chương trình đào tạo là việc thu thập, chứng từ hóa các thông tin về một chương trình cụ thể nhằm hỗ trợ trong việc đưa ra các quyết định đúng đắn đối với từng khía cạnh cụ thể của chương trình đào tạo.

            Theo Posavac và Carey (2007) đánh giá chương trình đào tạo là việc chọn một phương thức đánh giá, kỹ năng để xác định xem liệu chương trình có đáp ứng được nhu cầu; chương trình có được triển khai như theo kế hoạch và liệu chương trình đào tạo được đưa ra theo nhu cầu của khách hàng đã được định giá hợp lý chưa.

            Theo Scriven (1967) đánh giá chương trình đào tạo có thể ở hai mức độ khác nhau bao gồm đánh giá ban đầu (Formative) và đánh giá tổng thể (Summative). Đánh giá chương trình ban đầu là quá trình đánh giá chương trình trong suốt quá trình từ lúc xây dựng và triển khai chương trình đào tạo. Đánh giá tổng thể là đánh giá chương trình đào tạo sau khi chương trình đã được xây dựng và triển khai.

            Tóm lại, đánh giá chương trình đào tạo không phải là một hoạt động đơn lẻ mà phải là quá trình đo lường những tiến bộ đạt được trong mục tiêu của chương trình, giúp nâng cao hiệu quả triển khai chương trình, là hình thức để giải trình tới các chủ thể có liên quan và hỗ trợ trong việc lập kế hoạch, ra quyết định liên quan tới chương trình.

  1. Vai trò của đánh giá chương trình đào tạo

            Đánh giá chương trình đào tạo là vô cùng quan trọng và cần thiết trong quá trình xây dựng và phát triển các chương trình. Thông qua công tác đánh giá chương trình đào tạo, các cơ sở giáo dục sẽ biết được chương trình đã đáp ứng được mục tiêu của người học, mục tiêu của cơ sở giáo dục và người học đã học được những kiến thức và kỹ năng cần thiết sau khi hoàn thành chương trình hay chưa. Bên cạnh đó, đánh giá chương trình đào tạo giúp cơ sở giáo dục nhìn nhận xem mục tiêu của chương trình đề ra đã phù hợp với bối cảnh của xã hội và có thể đạt được hay không với những điều kiện sẵn có của cơ sở giáo dục.

            Đánh giá chương trình đạo tạo có thể triển khai ở nhiều giai đoạn khác nhau. Công tác đánh giá chương trình ở giai đoạn ban đầu thiết kế sẽ giúp người đánh giá nhìn nhận lại tính khả thi của chương trình từ đó sửa đổi, bổ sung và hoàn thiện chương trình. Mặt khác đánh giá chương trình đào tạo trong quá trình triển khai và hoàn thành chương trình đào tạo sẽ giúp cơ sở giáo dục nhìn nhận lại những thế mạnh và ưu điểm của chương trình để từ đó phát huy những ưu thế của chương trình trong những giai đoạn triển khai tiếp theo và khắc phục những nhược điểm còn tồn tại. Bên cạnh đó, đánh giá chương trình còn giúp các cơ sở giáo dục biết được chương trình có thỏa mãn nhu cầu của người học hay không, người học sau khi hoàn thành chương trình đã đạt được những kết quả như thế nào dựa vào đánh giá thái độ, hiểu biết, kỹ năng của người học.

  1. Một số mô hình đánh giá chương trình đào tạo phổ biến trên thế giới hiện nay

4.1. Mô hình CIPP (Context – Input – Process – Product)

            Mô hình đánh giá CIPP do Stufflebean đưa ra vào năm 1983 với mục tiêu giúp người đánh giá có được những thông tin cần thiết liên quan tới công tác đánh giá để đưa ra các quyết định có liên quan. Mô hình đánh giá CIPP khuyến khích các nhà giáo dục tham gia trực tiếp vào trong quá trình đánh giá và xem đâu là nội dung quan trọng của công tác đánh giá để từ đó đưa ra những quyết sách phù hợp. Mỗi một chương trình đào tạo đều có một giá trị cốt lõi cho các chủ thể tham gia vào. Mô hình đánh giá sẽ tập trung vào bốn khía cạnh chính bao gồm mục tiêu, kế hoạch, hành động và kết quả đạt được của chương trình. Từ bốn khía cạnh trên sẽ dẫn tới bốn giai đoạn đánh giá khác nhau bao gồm:

            Đánh giá bối cảnh (Context) là đánh giá xem mục tiêu chương trình đào tạo có đạt được trong quá trình triển khai và sau khi hoàn thành chương trình đào tạo hay không? Mặt khác đánh giá xem mục tiêu chương trình đào tạo đã đem lại những giá trị phù hợp với bối cảnh giáo dục và nhu cầu xã hội hiện tại hay không? Mục tiêu chương trình đào tạo có đáp ứng được kì vọng của người học và phù hợp với nhu cầu của người học hay không? Mục tiêu đào tạo có rõ ràng, đáp ứng và đạt được khi chương trình đào tạo kết thúc không?

            Đánh giá đầu vào (Input) sẽ được đánh giá trên 2 góc độ chính bao gồm đánh giá nội dung chương trình và đánh giá cơ sở hạ tầng kỹ thuật, trang thiết bị hỗ trợ cho triển khai chương trình đào tạo.

            - Nội dung chương trình đào tạo có phù hợp không thông qua những đánh giá xem chương trình đào tạo có đáp ứng được mục tiêu đề ra; nội dung có đáp ứng được nhu cầu của người học không?

            - Trang thiết bị hỗ trợ cho quá trình giảng dạy và học tập là được cung cấp đầy đủ và đáp ứng nhu cầu như lớp học. Trang thiết bị hỗ trợ có thể là các thiết bị về âm thanh, hình ảnh; thư viện và các nguồn tài liệu hỗ trợ học tập.

            Đánh giá quá trình (Process) được đánh giá trên 3 góc độ chính bao gồm: Mức độ tham gia của người học vào chương trình đào tạo, Chiến lược giảng dạy - học tập, Mức độ người học tham gia vào các hoạt động nghiên cứu.

            - Mức độ tham gia của người học vào chương trình đào tạo: người học có chủ động tham gia trong suốt quá trình đi thực tập hay không? Người học có chủ động tham gia vào các hoạt động của lớp học hay không?

            - Chiến lược giảng dạy - học tập được sử dụng như thế nào? Phương pháp giảng dạy có phù hợp cho từng nội dung học phần hay không? Học theo nhóm có được tiến hành hiệu quả hay không? Người học có được đánh giá công bằng trong suốt quá trình tham gia chương trình hay không?

            - Người học có tham gia vào các hoạt động nghiên cứu hay không? Người học có được khuyến khích tiến hành các công trình nghiên cứu khoa học hay không? Kỹ năng nghiên cứu của người học có được cải thiện trong suốt quá trình tham gia chương trình đào tạo?

            Đánh giá đầu ra (Product) được đánh giá trên 3 góc độ chính bao gồm: Đánh giá toàn diện chương trình; Năng lực của học viên sau khi tham gia chương trình; Ấn tượng của chương trình.

            - Đánh giá toàn diện về quá trình giảng dạy của giảng viên: bao gồm mức độ thỏa mãn của người học về chương trình, chương trình có đáp ứng với nhu cầu người học, chương trình có thể nâng cao hiểu biết của người học, chương trình có thể cải thiện được thái độ của người học.

            - Năng lực tối thiểu của người học: Người học cần đạt được những kỹ năng và kiến thức cần thiết đáp ứng những yêu cầu tối thiểu của thị trường lao động lao động.


            - Ấn tượng của chương trình: Người học cảm thấy chương trình đào tạo là hữu ích.

Hình 1. Mô hình đánh giá CIPP

Nguồn: Stufflebean, 1983

            Mô hình đánh giá CIPP là kết hợp cả hình thức đánh giá ban đầu (formative) và đánh giá tổng thể (summative). Điểm mạnh của mô hình đánh giá này là cung cấp một công cụ đơn giản và dễ dùng để giúp các nhà đánh giá có được câu trả lời quan trọng. Mô hình đánh giá CIPP hỗ trợ cho việc ra các quyết định có liên quan tới chương trình đào tạo nhằm giúp việc triển khai chương trình một cách hiệu quả và đảm bảo chương trình đạt chất lượng cao nhất.

Bảng 1. Khuôn khổ đánh giá CIPP đối với các chương trình đào tạo

 

Bối cảnh

Đầu vào

Quá trình

Đầu ra

Mục tiêu

Đánh giá sự phù hợp của mục tiêu của chương trình

- Đánh giá chất lượng chương trình giảng dạy và sự phù hợp giữa mục tiêu và nội dung chương trình

- Đánh giá cơ sở hạ tầng vật chất, kỹ thuật, trang thiết bị để cung cấp chương trình đào tạo

Đánh giá những tiến bộ của chương trình đào tạo

- Hoạt động của người học

- Đánh giá việc triển khai thực hiện chương trình đào tạo

- Đánh giá kỹ năng của người học sau khi hoàn thành chương trình

- Đánh giá toàn diện những điểm nổi trội của chương trình

Nội dung đánh giá

- Tầm nhìn và nhiệm vụ

 

- Đề cương môn học, kế hoạch học tập

- Nguồn nhân lực để triển khai chương trình đào tạo

- Cơ sở hạ tầng kỹ thuật và trang thiết bị hỗ trợ giảng dạy – học tập

- Kế hoạch triển khai

- Triển khai thực tế

- Đánh giá

- Ảnh hưởng của việc triển khai chương trình đào tạo

- Kết quả triển khai chương trình đào tạo

Người tham gia

Cơ sở giáo dục/ Hội cựu sinh  viên

Cơ sở giáo dục/ Người học

Cơ sở giáo dục/ Người học

Cơ sở giáo dục/ Hội cựu sinh viên

Ý nghĩa của đánh giá

Lên kế hoạch cho chương trình đào tạo

Tái cơ cấu lại chương trình đào tạo

Điều chỉnh quá trình triển khai chương trình đào tạo cho phù hợp với mục tiêu và bối cảnh hiện tại

Thiết kế lại chương trình đào tạo

            Nguồn: Nhóm tác giả tổng hợp

            Ưu điểm của mô hình đánh giá CIPP

            - Đây là mô hình đánh giá định hướng quản trị và giúp nhà đánh giá đưa ra các quyết định có liên quan tới chương trình.

            - Mô hình đánh giá đã kết hợp được cả hình thức đánh giá ban đầu và đánh giá tổng thể trong cùng một đánh giá. Việc kết hợp cả hai hình thức đánh giá này sẽ giúp người đánh giá có thể nhanh chóng đưa ra các quyết định điều chỉnh chương trình, quá trình triển khai để hướng tới một chương trình hoàn thiện và hiệu quả nhất.

            - Qui trình đánh giá của mô hình là rất rõ ràng và cụ thể theo từng giai đoạn khác nhau. Do đó, người đánh giá và các bên liên quan có thể dễ dàng làm theo và thực hiện công tác đánh giá.

            Nhược điểm của mô hình đánh giá CIPP

            - Mất rất nhiều thời gian để thu thập thông tin và cần lượng lớn thông tin để có thể đánh giá đầy đủ cũng như hỗ trợ đưa ra quyết định.

            - Để đánh giá chương trình đào tạo theo mô hình CIPP đạt được hiệu quả thì đòi hỏi phải lên kế hoạch chi tiết và cụ thể.

4.2. Mô hình Kirkpatrick

            Mô hình đánh giá Kirkpatrick được đưa ra vào năm 1959. Mô hình đánh giá Kirkpatrick được biết đến và sử dụng rộng rãi trong đánh giá các chương trình đào tạo. Mô hình đánh giá Kirkpatrick tập trung vào đánh giá hiệu quả của chương trình đào tạo trên 4 cấp độ khác nhau bao gồm:

            - Đánh giá sự phản hồi của người học (Reaction): là quá trình mà người học sẽ đưa ra những đánh giá về chương trình đào tạo sau khi hoàn tất chương trình trong đó sẽ bao gồm đánh giá về cấu trúc, nội dung và phương pháp giảng dạy và học tập của chương trình đào tạo. Thông qua đánh giá phản hồi của người học, các cơ sở giáo dục sẽ xác định được những khía cạnh nào của chương trình đào tạo cần được củng cố và phát triển, những khía cạnh nào cần sửa đổi và cải thiện. Từ những thông tin đánh giá thu thập được thì các cở sở giáo dục sẽ đề ra các tiêu chuẩn cho các chương trình đào tạo tiếp theo. Đánh giá chương trình đào tạo ở cấp độ này là dễ ràng triển khai và thu thập thông tin.

            - Đánh giá về nhận thức của người học (Learning) là quá trình đánh giá xem người học đã tiếp nhận được những kiến thức, kỹ năng gì khi tham gia chương trình đào tạo và có đạt được đúng mục tiêu của chương trình đào tạo đề ra hay không? Đánh giá chương trình đạo tạo ở cấp độ này có thể được tiến hành liên tục trong suốt quá trình triển khai chương trình nhằm cải thiện, mở rộng và nâng cao kiến thức và kỹ năng cho người học. Việc đánh giá chương trình đào tạo ở cấp độ nhận thức cần phải bám sát với mục tiêu chương trình đào tạo đã đề ra. Chính vì vậy các hình thức đánh giá chương trình phải đánh giá được việc thực hiện mục tiêu của chương trình đào tạo. So với cấp độ đánh giá sự phản hồi của người học thì đánh giá ở cấp độ này sẽ khó khăn hơn rất nhiều.

            - Đánh giá hành vi (Behaviour) là quá trình đánh giá những thay đổi, tiến bộ của người học sau khi hoàn thành chương trình đào tạo. Ở mức độ này, đánh giá chương trình sẽ tập trung vào mức độ ứng dụng những kiến thức, kỹ năng mà người học đạt được vào trong công việc của họ.

            - Đánh giá kết quả (Result) là quá trình đánh giá những tác động của chương trình đào tạo đến các chủ thể. Ở mức độ này, đánh giá chương trình sẽ hướng tới đánh giá lợi tức đầu tư đào tạo.


Hình 2. Mô hình đánh giá Kirkpatrick

Nguồn: Kirkpatrick, 2006

            Theo mô hình đánh giá 4 cấp độ của Kirkpatrick mức độ thành công của các cấp độ đánh giá sẽ phụ thuộc vào thông tin đánh giá của các cấp trước đó.

            Ưu điểm của mô hình đánh giá Kirkpatrick

            - Mô hình đánh giá Kirkpatrick rất là đơn giản, dễ thực hành, linh hoạt và tập trung vào đánh giá kết quả của chương trình đào tạo.

            - Mô hình đánh giá Kirkpatrick giúp người đánh giá hiểu được kết quả đánh giá một cách có hệ thống.

            Nhược điểm của mô hình đánh giá Kirkpatrick

            - Yêu cầu lượng thông tin để đánh giá cho các cấp độ là khác nhau. Nhu cầu về lượng thông tin cần để đánh giá cho các cấp độ cao hơn thường đòi hỏi nhiều hơn.

4.3. Mô hình 5 cấp độ của Kaufman

            Mô hình đánh giá chương trình đào tạo 5 cấp độ của Kaufman được phát triển từ mô hình 4 cấp độ của Kirkpatrick. Điểm mới trong mô hình của Kaufman đó là đã chia cấp độ 1 của mô hình Kirkpatrick thành 2 mức bao gồm đầu vào và quá trình; nhóm cấp độ 2 và 3 trong mô hình Kirkpatrick thành 1 cấp độ gọi tên là micro và thêm cấp độ độ 5 là cấp độ Mega.

            Ở cấp độ 1 – Input, mô hình đánh giá Kaufman tập trung vào đánh giá sự sẵn có của các nguồn lực cũng như chất lượng của các nguồn lực để triển khai chương trình đào tạo.

            Ở cấp độ 2 – Process, mô hình đánh giá Kaufman muốn đánh giá xem là các bước triển khai chương trình có được ủng hộ và đạt hiệu quả hay không. Ở cấp độ này, mô hình đánh giá quan tâm tới trải nghiệm học tập của người học.

            Ở cấp độ 3 – Micro, mô hình đánh giá Kaufman đánh giá mức độ ảnh hưởng của chương trình đào tạo tới một nhóm nhỏ hay tới các cá nhân. Thông thường thì mô hình đánh giá mức độ ảnh hưởng của chương trình tới người học. Liệu người học đạt được những kết quả gì sau khi tham gia vào chương trình đào tạo và họ có vận dụng được những kiến thức, kỹ năng đã qua đào tạo vào trong công việc của họ hay không.

            Ở cấp độ 4 – Macro, mô hình đánh giá Kaufman quan tâm đánh giá mức độ ảnh hưởng của chương trình đào tạo tới các tổ chức có liên quan như đánh giá chi phí/ lợi ích có được với những cải tiến của chương trình đào tạo.

            Ở cấp độ 5 – Mega, mô hình đánh giá Kaugman quan tâm đánh giá mức độ ảnh hưởng của chương trình đào tạo tới xã hội như những đóng góp của người học cho xã hội sau khi đã tham gia vào chương trình đào tạo.

             Ưu điểm của mô hình đánh giá Kaufman

            - So với mô hình đánh giá Kirkpatrick, thì mô hình đánh giá Kaufman không chỉ quan tâm tới sự hài lòng của người học mà còn quan tâm tới các nhân tố ảnh hưởng tới sự hài lòng của người học.

            - Mô hình đánh giá của Kaufman không chỉ quan tâm mức độ ảnh hưởng của chương trình tới người học và các tổ chức mà còn quan tâm tới cả những ảnh hưởng của chương trình đối với xã hội nói chung.

            Nhược điểm của mô hình đánh giá Kaufman

            - Nếu các bên tham gia vào đánh giá theo mô hình Kaufman mà không hợp tác và cung cấp chính xác thông tin thì kết quả đánh giá sẽ không phản ánh được chính xác mức độ ảnh hưởng kết quả đánh giá.

  1. Vận dụng các mô hình đánh giá chương trình đào tạo vào trong thực tiễn

            Việc lựa chọn một mô hình đánh giá chương trình đào tạo sẽ phụ thuộc rất nhiều vào các yếu tố khác nhau bao gồm mục tiêu đánh giá, thời điểm đánh giá, ngân sách cho công tác đánh giá, đối tượng tham gia đánh giá và mức độ yêu cầu của kết quả đánh giá. Mô hình đánh giá CIPP là mô hình đánh giá phổ biến nhất hiện nay vì mô hình này đánh giá chương trình đào tạo ở nhiều giai đoạn khác nhau từ lúc thiết kế chương trình, triển khai chương trình tới sau khi kết thúc chương trình. Mô hình đánh giá của Stufflebean đòi hỏi mức độ đánh giá trên nhiều khía cạnh và có tính hệ thống bao gồm đánh giá mức độ hiệu quả của chương trình và chất lượng của chương trình trong thiết kế và triển khai qua 4 giai đoạn khác nhau. Đây là mô hình đánh giá định hướng quản trị cho nên khi cần đưa ra các quyết định về sửa đổi, cải tiến chương trình đào tạo hay xây mới một chương trình đào tạo thì các cơ sở giáo dục có thể áp dụng. Mô hình CIPP đánh giá được rõ nét nhu cầu, mục tiêu của chương trình thông qua công tác đánh giá đầu vào, đánh giá việc tổ chức bao gồm đánh giá quá trình và đánh giá sản phẩm tổng thể. Tuy nhiên mô hình này chưa định lượng và phương pháp đánh giá còn sơ sài khi chỉ sử dụng phương pháp mô tả và so sánh mục tiêu đặt ra và đạt được đơn thuần. Mô hình đánh giá CIPP bao gồm 4 giai đoạn khác nhau nhưng các cơ sở đánh giá có thể không nhất thiết đánh giá cả 4 giai đoạn. Tùy vào mục tiêu sử dụng kết quả đánh giá khác nhau mà cơ sở giáo dục có thể đánh giá ở các giai đoạn khác nhau. Ví dụ để đánh giá xem mục tiêu của chương trình đã đáp ứng được nhu cầu của xã hội hay chưa thì các cơ sở giáo dục có thể tiến hành đánh giá đầu ra. Cơ sở giáo dục sẽ tiến hành khảo sát các doanh nghiệp đang sử dụng lao động là các học viên đã tham gia chương trình xem liệu với những kỹ năng, kiến thức của người lao động này đáp ứng được mức độ như thế nào với những yêu cầu, đòi hỏi của công việc. Thường để đảm bảo hiệu quả trong công tác đánh giá thì đánh giá này thường được triển khai đối với cựu sinh viên sau khi hoàn thành chương trình được 6 tháng đến 1 năm và chưa tham gia thêm vào một chương trình đào tạo nào khác.

Mô hình Kirkpatrick và Kaufman tập trung vào đánh giá hiệu quả của chương trình sau khi người học đã hoàn thành chương trình đào tạo ở những cấp độ khác nhau. Hai mô hình đánh giá này ít được sử dụng hơn so với mô hình CIPP do khó khăn hơn trong đánh giá và chi phí tốn kém. Các cơ sở giáo dục có thể áp dụng ngay mô hình Kirkpatrick ở cấp độ 1, 2 thông qua các phiếu khảo sát đối với cựu học viện để đo lường mức độ yêu thích chương trình của người học và mức độ đạt được mục tiêu của chương trình. Phiếu khảo sát sẽ tập trung các tiêu chí và câu hỏi về cảm nhận của cựu học viên đối với cấu trúc, nội dung, phương pháp trong chương trình đào tạo. Công tác đánh giá này nên được thực hiện ngay sau khi học viên vừa hoàn thành xong chương trình. Còn để đánh giá những thay đổi về thái độ người học trong lĩnh vực nghề nghiệp, các cơ sở giáo dục có thể khảo sát cựu sinh viên sau ba đến sáu tháng sau khi kết thúc chương trình đào tạo bởi vì thời gian quá lâu thì học viên có thể bổ sung những kiến thức, kỹ năng mới. Các cơ sở giáo dục có thể tiến hành đánh giá chương trình đào tạo theo mô hình Kirkpatrick ở cấp độ 4 thông qua đánh giá khảo sát đối với doanh nghiệp. Tuy nhiên để đảm bảo công tác đánh giá hiệu quả chương trình ở cấp độ này đòi hỏi các tiêu chí đánh giá cần cụ thể rõ ràng và cần xây dựng nhiều lần các thang đo đánh giá để đảm bảo kết quả đánh giá chính xác. Công tác đánh giá này cũng cần phải được tiến hành đối với cựu sinh viên trong vòng một năm khi họ chưa tham gia vào các chương trình đào tạo khác.

Mô hình đánh giá Kaufman là mô hình cải tiến từ mô hình Kirkpatrick khi đưa thêm một cấp độ đánh giá 5 về mức độ ảnh hưởng của chương trình đào tạo đối với xã hội và bổ sung thêm đánh giá đầu vào của chương trình đào tạo. Với các mức độ đánh giá như Kirkpatrick thì công tác đánh giá dễ dàng được tiến hành triển khai thông qua khảo sát, phỏng vấn cựu học viên và doanh nghiệp. Hoặc để đánh giá các nguồn lực đầu vào, các cơ sở giáo dục có thể tự đánh giá sau khi hoàn thành chương trình đào tạo. Tuy nhiên việc đánh giá hiệu quả của chương trình đào tạo đối với xã hội rất khó khăn và tốn kém do qui mô đánh giá rộng và phạm trù mức độ ảnh hưởng có thể được tiếp cận trên nhiều góc độ khác nhau.

  1. Kết luận

            Có thể nói rằng, đánh giá chương trình đào tạo là một hoạt động cần thiết đối với các cơ sở giáo dục nhằm nâng cao chất lượng và hiệu quả của chương trình đào tạo. Việc đánh giá chương trình đào tạo có thể được tiến hành ngay từ giai đoạn xây dựng chương trình đào tạo chứ không nhất thiết là đánh giá trong quá trình triển khai và sau khi triển khai. Việc đánh giá chương trình đào tạo có thể tiếp cận dưới nhiều góc độ khác nhau, tuy nhiên việc xác định một mô hình đánh giá chương trình đào tạo cũng quyết định tới hiệu quả của công tác đánh giá thông qua việc lựa chọn giai đoạn để đánh giá, các tiêu chí, thông tin, cách thức triển khai.

 

Tài liệu tham khảo

  1. Alvarez, K., Salas, E., and Garofano, C.M. (2004), An integrated model of training evaluation and effectiveness, Human Resource Development Review, 3, 385–407.
  2. Areti, S. and Theodora, S. (2014), Evaluation of Educational Programmes – the Contribution of History to Modern Evaluation Thinking, Health Science Journal, Volume 8 (2014).
  3. Austrian Development Cooperation (2009), Guidelines for Project and Programme Evaluations
  4. Kaufman, R., Keller, J. and Watkins, R. (1996), What works and what doesn’t: Evaluation beyond Kirkpatrick. Nonprofit Management Leadership, 35: 8–12. doi: 10.1002/pfi.4170350204.
  5. KirkPatrick D.L (2006), Evaluating training programs: The four levels, Berett – Koehler Publishers.
  6. Stufflebean, D.L (1983), The CIPP model for Program evaluation, Kluwer – Nijhpff Publishing, pp 117-141.
  7. Victor C.X. (2009), Assessing and evaluating adults learning in career and technical education, Zhejiang University Press.
  8. Vũ Xuân Hùng (2016), Nhân lực chất lượng cao tại trang web có địa chỉ http://www.nhandan.com.vn/cuoituan/item/29833602-nhan-luc-chat-luong-cao.html.

 

 

[1] Trường Đại học Ngoại thương, Email: hientran@ftu.edu.vn

NGHIÊN CỨU MỘT SỐ MÔ HÌNH ĐÁNH GIÁ CHƯƠNG TRÌNH ĐÀO TẠO

Trần Thị Hiền[1]

 Tóm tắt

            Đánh giá chương trình đào tạo trong giáo dục đóng một vai trò quan trọng trong toàn bộ quá trình xây dựng và phát triển chương trình. Thông qua công tác đánh giá, các nhà giáo dục sẽ đưa ra các quyết định nhằm nâng cao chất lượng và hiệu quả chương trình đào tạo. Bài viết giới thiệu một số mô hình đánh giá chương trình đào tạo đã và đang sử dụng phổ biến trên thế giới. Các nhà giáo dục có thể lựa chọn và kết hợp một hay nhiều mô hình đánh giá chương trình đào tạo tùy thuộc vào bối cảnh và các yêu cầu đối với kết quả đánh giá.

 Từ khóa: Chương trình đào tạo, đánh giá chương trình đào tạo, chất lượng chương trình, hiệu quả chương trình

Abstract

            Evaluation of education program plays an important role in process of designing and developing programs. Through the asesssmnet process, educators make decisions to improve the quality and effectiveness of programs. The paper aims to introduce several models of educational program evaluation that have been widely applied in the world. Educators could choose a model of program evaluation or combine models that meet requirements of evaluation result.

Keyword: Trainning program, Educational program evaluation, quality of program, effectiveness of program

  1. Đặt vấn đề

            Theo một đánh giá khảo sát của Ngân hàng Thế giới về chất lượng nguồn nhân lực tại 12 quốc gia ở Châu Á vào năm 2014, Việt Nam đạt mức 3,79 điểm (trong thang điểm 10), xếp thứ hạng 11. Trong khi Hàn Quốc đạt 6,91 điểm; Ấn Độ đạt 5,76 điểm; Malaysia đạt 5,59 điểm (Vũ Xuân Hùng, 2016). Báo cáo khảo sát cũng cho thấy những quốc gia có điểm số chất lượng nguồn nhân lực cao thường là những quốc gia có nhiều bước tiến trong phát triển giáo dục với nhiều chương trình đào tạo được đánh giá có uy tín và chất lượng. Hệ thống giáo dục của các quốc gia, có xếp hạng cao về chất lượng nguồn nhân lực, luôn đề cao công tác đánh giá chương trình đào tạo nhằm cải thiện, đổi mới và phát triển chương trình theo kịp với nhu cầu của xã hội và bối cảnh hội nhập toàn cầu.

Năm 2016, Việt Nam chính thức tham gia vào Cộng đồng Kinh tế ASEAN. Điều này đồng nghĩa với trong tương lai thị trường lao động sẽ không còn phân định biên giới lãnh thổ, người lao động có trình độ chuyên môn, kỹ năng và ngoại ngữ sẽ có nhiều cơ hội việc làm. Hội nhập kinh tế đòi hỏi Việt Nam cần phải có nhiều chương trình đào tạo hướng quốc tế hóa nhằm đảm bảo đào tạo được nguồn nhân lực đáp ứng nhu cầu thị trường lao động của khu vực và quốc tế. Trước những yêu cầu thay đổi của xã hội, các cơ sở giáo dục Việt Nam cần phải đánh giá lại các chương trình đào tạo hiện có để sửa đổi cho phù hợp. Bên cạnh đó, hoạt động đánh giá các chương trình đào tạo cần phải tiến hành thường xuyên và định kỳ để đảm bảo chất lượng và hiệu quả chương trình.

Ngoài ra, khoa học công nghệ phát triển như vũ bão trong những năm qua đã phát sinh nhiều ngành nghề kinh tế mới trong xã hội. Để phát triển nguồn nhân lực phục vụ những ngành nghề kinh tế mới đòi hỏi các cơ sở giáo dục cần xây dựng mới các chương trình đào tạo. Trong quá trình xây dựng và triển khai các chương trình đào tạo mới, các cơ sở giáo dục không tránh khỏi những sai lầm như mục tiêu chương trình đào tạo có thể không như mong muốn của người học hoặc không đạt được như kì vọng với những điều kiện của cơ sở giáo dục và nội dung chương trình đặt ra. Do đó, việc đánh giá các chương trình đạo tạo trong suốt quá trình từ thiết kế đến khi kết thúc chương trình đào tạo là vô cùng cần thiết.

Mặt khác, trong bối cảnh xã hội hóa giáo dục, các cơ sở giáo dục phải triển khai công tác đánh giá chương trình đào tạo để thực hiện trách nhiệm giải trình đối với các cá nhân và tổ chức có liên quan. Tại một số quốc gia, đánh giá chương trình đào tạo là một phần không thể thiếu trong quá trình kiểm định chất lượng nhà trường nói chung và chất lượng chương trình đào tạo nói riêng. Thông qua việc đánh giá và kiểm định các chương trình đào tạo, các cơ sở giáo dục có thể nâng cao được thương hiệu và thứ hạng của nhà trường. Trên cơ sở đó, các cơ sở giáo dục có thể thu hút thêm được nhiều người học trong và ngoài nước đối với chương trình đã kiểm định và có thứ hạng cao.

            Xuất phát từ những lí do nêu trên, đánh giá chương trình đào tạo đóng một vai trò quan trọng trong phát triển nguồn nhân lực cho thị trường lao động tại Việt Nam trước những thay đổi không ngừng của môi trường kinh tế - xã hội trong nước và quốc tế. Tuy nhiên, chất lượng của các kết quả đánh giá chương trình đào tạo phụ thuộc rất nhiều vào mô hình, phương pháp và các tiêu chí đánh giá mà cơ sở giáo dục lựa chọn. Bài viết này muốn giới thiệu một số mô hình đánh giá chương trình đào tạo đã và đang được áp dụng trên thế giới ở góc độ tiếp cận nội dung của mô hình, ưu và nhược điểm của từng mô hình đánh giá.

  1. Khái niệm về chương trình đào tạo và đánh giá chương trình đào tạo

2.1. Khái niệm về chương trình đào tạo (Program)

            Thuật ngữ “chương trình đào tạo” được nhắc đến rất nhiều trong lĩnh vực giáo dục. Hiện nay có rất nhiều các khái niệm khác nhau về chương trình đào tạo do các học giả và nhà giáo dục tiếp cận khái niệm này ở nhiều góc độ khác nhau. Theo Hollis và Campbell (1935) thì chương trình đào tạo bao gồm tất cả những hiểu biết và kinh nghiệm mà người học có được dưới sự hướng dẫn của nhà trường. Như vậy, chương trình đào tạo được xem là một chuỗi những kinh nghiệm được phát triển nhằm giúp người học tăng cường tính kỉ luật, phát triển năng lực tư duy và hành động. Chương trình đào tạo gồm tất cả những kiến thức mà người học cần có được nhằm đạt được mục đích và mục tiêu cụ thể.

            Theo Wheeler (1976), chương trình đào tạo có nghĩa là những trải nghiệm đã được lập từ trước và được đưa ra cho người học dưới sự hướng dẫn của cơ sở giáo dục. Hay Tanner (1975) định nghĩa chương trình đào tạo như những trải nghiệm học tập được xây dựng từ trước và kết quả học tập được đề ra ngay từ đầu thông qua việc cung cấp các kiến thức và trải nghiệm một cách có hệ thống nhằm phát triển người học không ngừng, nâng cao được tri thức, năng lực cá nhân và năng lực xã hội của người học.

            Theo Wentling (1993), chương trình đào tạo là một bản thiết kế tổng thể cho một hoạt động đào tạo. Hoạt động đó có thể chỉ là một khóa đào tạo kéo dài một vài giờ, một ngày, một tuần hoặc vài năm. Bản thiết kế tổng thể đó cho biết toàn bộ nội dung cần đào tạo, chỉ rõ ra những gì người học có thể đạt được sau khi tham gia chương trình. Mặt khác chương trình đào tạo còn phác họa ra qui trình cần thiết để thực hiện nội dung đào tạo, phương pháp đào tạo và cách thức kiểm tra đánh giá kết quả học tập và tất cả được sắp xếp theo một thời gian biểu chặt chẽ.

            Theo thông tư 04/2016/TT-BGDĐT, chương trình đào tạo bao gồm: mục tiêu, chuẩn kiến thức, kỹ năng, thái độ của người học cần đạt được sau khi tốt nghiệp; nội dung, phương pháp và hoạt động đào tạo; điều kiện cơ sở vật chất - kỹ thuật, cơ cấu tổ chức, chức năng, nhiệm vụ và các hoạt động học thuật của đơn vị được giao nhiệm vụ triển khai đào tạo ngành học đó.

            Như vậy, khái niệm chương trình đào tạo được tiếp cận ở nhiều góc độ khác nhau nhưng về cơ bản đều xem chương trình đào tạo chính là bản thiết kế tổng thể cho một hoạt động đào tạo để đạt được mục tiêu đào tạo trong một khuôn khổ thời gian.

2.2. Khái niệm về đánh giá chương trình đào tạo

            Theo Goldstein (1993), đánh giá chương trình đào tạo là quá trình thu thập có hệ thống các thông tin mang tính miêu tả và đánh giá để đưa ra các quyết định liên quan tới chương trình đào tạo như việc lựa chọn, áp dụng, đem lại giá trị cho chương trình và thực hiện những thay đổi trong quá trình triển khai chương trình nhằm đạt được hiệu quả trong triển khai.

            Theo tổ chức OECD (2009) thì đánh giá chương trình là đánh giá một cách có hệ thống và có mục tiêu các chương trình đang diễn ra hoặc đã hoàn thành ở ba góc độ bao gồm xây dựng chương trình, triển khai chương trình và kết quả đạt được của chương trình. Mục đích của đánh giá chương trình là để xác định mục tiêu đạt được mức độ nào, mức độ hiệu quả của chương trình, mức độ ảnh hưởng và tính bền vững của chương trình.

            Theo Sanders và Worthen (2004) việc đánh giá chương trình đào tạo phải được thực hiện có hệ thống và có mục tiêu nhằm thu thập, phân tích, đánh giá các thông tin có liên quan tới chương trình đào tạo. Hay Mcnamara (2000) thì cho rằng đánh giá chương trình đào tạo là việc thu thập, chứng từ hóa các thông tin về một chương trình cụ thể nhằm hỗ trợ trong việc đưa ra các quyết định đúng đắn đối với từng khía cạnh cụ thể của chương trình đào tạo.

            Theo Posavac và Carey (2007) đánh giá chương trình đào tạo là việc chọn một phương thức đánh giá, kỹ năng để xác định xem liệu chương trình có đáp ứng được nhu cầu; chương trình có được triển khai như theo kế hoạch và liệu chương trình đào tạo được đưa ra theo nhu cầu của khách hàng đã được định giá hợp lý chưa.

            Theo Scriven (1967) đánh giá chương trình đào tạo có thể ở hai mức độ khác nhau bao gồm đánh giá ban đầu (Formative) và đánh giá tổng thể (Summative). Đánh giá chương trình ban đầu là quá trình đánh giá chương trình trong suốt quá trình từ lúc xây dựng và triển khai chương trình đào tạo. Đánh giá tổng thể là đánh giá chương trình đào tạo sau khi chương trình đã được xây dựng và triển khai.

            Tóm lại, đánh giá chương trình đào tạo không phải là một hoạt động đơn lẻ mà phải là quá trình đo lường những tiến bộ đạt được trong mục tiêu của chương trình, giúp nâng cao hiệu quả triển khai chương trình, là hình thức để giải trình tới các chủ thể có liên quan và hỗ trợ trong việc lập kế hoạch, ra quyết định liên quan tới chương trình.

  1. Vai trò của đánh giá chương trình đào tạo

            Đánh giá chương trình đào tạo là vô cùng quan trọng và cần thiết trong quá trình xây dựng và phát triển các chương trình. Thông qua công tác đánh giá chương trình đào tạo, các cơ sở giáo dục sẽ biết được chương trình đã đáp ứng được mục tiêu của người học, mục tiêu của cơ sở giáo dục và người học đã học được những kiến thức và kỹ năng cần thiết sau khi hoàn thành chương trình hay chưa. Bên cạnh đó, đánh giá chương trình đào tạo giúp cơ sở giáo dục nhìn nhận xem mục tiêu của chương trình đề ra đã phù hợp với bối cảnh của xã hội và có thể đạt được hay không với những điều kiện sẵn có của cơ sở giáo dục.

            Đánh giá chương trình đạo tạo có thể triển khai ở nhiều giai đoạn khác nhau. Công tác đánh giá chương trình ở giai đoạn ban đầu thiết kế sẽ giúp người đánh giá nhìn nhận lại tính khả thi của chương trình từ đó sửa đổi, bổ sung và hoàn thiện chương trình. Mặt khác đánh giá chương trình đào tạo trong quá trình triển khai và hoàn thành chương trình đào tạo sẽ giúp cơ sở giáo dục nhìn nhận lại những thế mạnh và ưu điểm của chương trình để từ đó phát huy những ưu thế của chương trình trong những giai đoạn triển khai tiếp theo và khắc phục những nhược điểm còn tồn tại. Bên cạnh đó, đánh giá chương trình còn giúp các cơ sở giáo dục biết được chương trình có thỏa mãn nhu cầu của người học hay không, người học sau khi hoàn thành chương trình đã đạt được những kết quả như thế nào dựa vào đánh giá thái độ, hiểu biết, kỹ năng của người học.

  1. Một số mô hình đánh giá chương trình đào tạo phổ biến trên thế giới hiện nay

4.1. Mô hình CIPP (Context – Input – Process – Product)

            Mô hình đánh giá CIPP do Stufflebean đưa ra vào năm 1983 với mục tiêu giúp người đánh giá có được những thông tin cần thiết liên quan tới công tác đánh giá để đưa ra các quyết định có liên quan. Mô hình đánh giá CIPP khuyến khích các nhà giáo dục tham gia trực tiếp vào trong quá trình đánh giá và xem đâu là nội dung quan trọng của công tác đánh giá để từ đó đưa ra những quyết sách phù hợp. Mỗi một chương trình đào tạo đều có một giá trị cốt lõi cho các chủ thể tham gia vào. Mô hình đánh giá sẽ tập trung vào bốn khía cạnh chính bao gồm mục tiêu, kế hoạch, hành động và kết quả đạt được của chương trình. Từ bốn khía cạnh trên sẽ dẫn tới bốn giai đoạn đánh giá khác nhau bao gồm:

            Đánh giá bối cảnh (Context) là đánh giá xem mục tiêu chương trình đào tạo có đạt được trong quá trình triển khai và sau khi hoàn thành chương trình đào tạo hay không? Mặt khác đánh giá xem mục tiêu chương trình đào tạo đã đem lại những giá trị phù hợp với bối cảnh giáo dục và nhu cầu xã hội hiện tại hay không? Mục tiêu chương trình đào tạo có đáp ứng được kì vọng của người học và phù hợp với nhu cầu của người học hay không? Mục tiêu đào tạo có rõ ràng, đáp ứng và đạt được khi chương trình đào tạo kết thúc không?

            Đánh giá đầu vào (Input) sẽ được đánh giá trên 2 góc độ chính bao gồm đánh giá nội dung chương trình và đánh giá cơ sở hạ tầng kỹ thuật, trang thiết bị hỗ trợ cho triển khai chương trình đào tạo.

            - Nội dung chương trình đào tạo có phù hợp không thông qua những đánh giá xem chương trình đào tạo có đáp ứng được mục tiêu đề ra; nội dung có đáp ứng được nhu cầu của người học không?

            - Trang thiết bị hỗ trợ cho quá trình giảng dạy và học tập là được cung cấp đầy đủ và đáp ứng nhu cầu như lớp học. Trang thiết bị hỗ trợ có thể là các thiết bị về âm thanh, hình ảnh; thư viện và các nguồn tài liệu hỗ trợ học tập.

            Đánh giá quá trình (Process) được đánh giá trên 3 góc độ chính bao gồm: Mức độ tham gia của người học vào chương trình đào tạo, Chiến lược giảng dạy - học tập, Mức độ người học tham gia vào các hoạt động nghiên cứu.

            - Mức độ tham gia của người học vào chương trình đào tạo: người học có chủ động tham gia trong suốt quá trình đi thực tập hay không? Người học có chủ động tham gia vào các hoạt động của lớp học hay không?

            - Chiến lược giảng dạy - học tập được sử dụng như thế nào? Phương pháp giảng dạy có phù hợp cho từng nội dung học phần hay không? Học theo nhóm có được tiến hành hiệu quả hay không? Người học có được đánh giá công bằng trong suốt quá trình tham gia chương trình hay không?

            - Người học có tham gia vào các hoạt động nghiên cứu hay không? Người học có được khuyến khích tiến hành các công trình nghiên cứu khoa học hay không? Kỹ năng nghiên cứu của người học có được cải thiện trong suốt quá trình tham gia chương trình đào tạo?

            Đánh giá đầu ra (Product) được đánh giá trên 3 góc độ chính bao gồm: Đánh giá toàn diện chương trình; Năng lực của học viên sau khi tham gia chương trình; Ấn tượng của chương trình.

            - Đánh giá toàn diện về quá trình giảng dạy của giảng viên: bao gồm mức độ thỏa mãn của người học về chương trình, chương trình có đáp ứng với nhu cầu người học, chương trình có thể nâng cao hiểu biết của người học, chương trình có thể cải thiện được thái độ của người học.

            - Năng lực tối thiểu của người học: Người học cần đạt được những kỹ năng và kiến thức cần thiết đáp ứng những yêu cầu tối thiểu của thị trường lao động lao động.


            - Ấn tượng của chương trình: Người học cảm thấy chương trình đào tạo là hữu ích.

Hình 1. Mô hình đánh giá CIPP

Nguồn: Stufflebean, 1983

            Mô hình đánh giá CIPP là kết hợp cả hình thức đánh giá ban đầu (formative) và đánh giá tổng thể (summative). Điểm mạnh của mô hình đánh giá này là cung cấp một công cụ đơn giản và dễ dùng để giúp các nhà đánh giá có được câu trả lời quan trọng. Mô hình đánh giá CIPP hỗ trợ cho việc ra các quyết định có liên quan tới chương trình đào tạo nhằm giúp việc triển khai chương trình một cách hiệu quả và đảm bảo chương trình đạt chất lượng cao nhất.

Bảng 1. Khuôn khổ đánh giá CIPP đối với các chương trình đào tạo

 

Bối cảnh

Đầu vào

Quá trình

Đầu ra

Mục tiêu

Đánh giá sự phù hợp của mục tiêu của chương trình

- Đánh giá chất lượng chương trình giảng dạy và sự phù hợp giữa mục tiêu và nội dung chương trình

- Đánh giá cơ sở hạ tầng vật chất, kỹ thuật, trang thiết bị để cung cấp chương trình đào tạo

Đánh giá những tiến bộ của chương trình đào tạo

- Hoạt động của người học

- Đánh giá việc triển khai thực hiện chương trình đào tạo

- Đánh giá kỹ năng của người học sau khi hoàn thành chương trình

- Đánh giá toàn diện những điểm nổi trội của chương trình

Nội dung đánh giá

- Tầm nhìn và nhiệm vụ

 

- Đề cương môn học, kế hoạch học tập

- Nguồn nhân lực để triển khai chương trình đào tạo

- Cơ sở hạ tầng kỹ thuật và trang thiết bị hỗ trợ giảng dạy – học tập

- Kế hoạch triển khai

- Triển khai thực tế

- Đánh giá

- Ảnh hưởng của việc triển khai chương trình đào tạo

- Kết quả triển khai chương trình đào tạo

Người tham gia

Cơ sở giáo dục/ Hội cựu sinh  viên

Cơ sở giáo dục/ Người học

Cơ sở giáo dục/ Người học

Cơ sở giáo dục/ Hội cựu sinh viên

Ý nghĩa của đánh giá

Lên kế hoạch cho chương trình đào tạo

Tái cơ cấu lại chương trình đào tạo

Điều chỉnh quá trình triển khai chương trình đào tạo cho phù hợp với mục tiêu và bối cảnh hiện tại

Thiết kế lại chương trình đào tạo

            Nguồn: Nhóm tác giả tổng hợp

            Ưu điểm của mô hình đánh giá CIPP

            - Đây là mô hình đánh giá định hướng quản trị và giúp nhà đánh giá đưa ra các quyết định có liên quan tới chương trình.

            - Mô hình đánh giá đã kết hợp được cả hình thức đánh giá ban đầu và đánh giá tổng thể trong cùng một đánh giá. Việc kết hợp cả hai hình thức đánh giá này sẽ giúp người đánh giá có thể nhanh chóng đưa ra các quyết định điều chỉnh chương trình, quá trình triển khai để hướng tới một chương trình hoàn thiện và hiệu quả nhất.

            - Qui trình đánh giá của mô hình là rất rõ ràng và cụ thể theo từng giai đoạn khác nhau. Do đó, người đánh giá và các bên liên quan có thể dễ dàng làm theo và thực hiện công tác đánh giá.

            Nhược điểm của mô hình đánh giá CIPP

            - Mất rất nhiều thời gian để thu thập thông tin và cần lượng lớn thông tin để có thể đánh giá đầy đủ cũng như hỗ trợ đưa ra quyết định.

            - Để đánh giá chương trình đào tạo theo mô hình CIPP đạt được hiệu quả thì đòi hỏi phải lên kế hoạch chi tiết và cụ thể.

4.2. Mô hình Kirkpatrick

            Mô hình đánh giá Kirkpatrick được đưa ra vào năm 1959. Mô hình đánh giá Kirkpatrick được biết đến và sử dụng rộng rãi trong đánh giá các chương trình đào tạo. Mô hình đánh giá Kirkpatrick tập trung vào đánh giá hiệu quả của chương trình đào tạo trên 4 cấp độ khác nhau bao gồm:

            - Đánh giá sự phản hồi của người học (Reaction): là quá trình mà người học sẽ đưa ra những đánh giá về chương trình đào tạo sau khi hoàn tất chương trình trong đó sẽ bao gồm đánh giá về cấu trúc, nội dung và phương pháp giảng dạy và học tập của chương trình đào tạo. Thông qua đánh giá phản hồi của người học, các cơ sở giáo dục sẽ xác định được những khía cạnh nào của chương trình đào tạo cần được củng cố và phát triển, những khía cạnh nào cần sửa đổi và cải thiện. Từ những thông tin đánh giá thu thập được thì các cở sở giáo dục sẽ đề ra các tiêu chuẩn cho các chương trình đào tạo tiếp theo. Đánh giá chương trình đào tạo ở cấp độ này là dễ ràng triển khai và thu thập thông tin.

            - Đánh giá về nhận thức của người học (Learning) là quá trình đánh giá xem người học đã tiếp nhận được những kiến thức, kỹ năng gì khi tham gia chương trình đào tạo và có đạt được đúng mục tiêu của chương trình đào tạo đề ra hay không? Đánh giá chương trình đạo tạo ở cấp độ này có thể được tiến hành liên tục trong suốt quá trình triển khai chương trình nhằm cải thiện, mở rộng và nâng cao kiến thức và kỹ năng cho người học. Việc đánh giá chương trình đào tạo ở cấp độ nhận thức cần phải bám sát với mục tiêu chương trình đào tạo đã đề ra. Chính vì vậy các hình thức đánh giá chương trình phải đánh giá được việc thực hiện mục tiêu của chương trình đào tạo. So với cấp độ đánh giá sự phản hồi của người học thì đánh giá ở cấp độ này sẽ khó khăn hơn rất nhiều.

            - Đánh giá hành vi (Behaviour) là quá trình đánh giá những thay đổi, tiến bộ của người học sau khi hoàn thành chương trình đào tạo. Ở mức độ này, đánh giá chương trình sẽ tập trung vào mức độ ứng dụng những kiến thức, kỹ năng mà người học đạt được vào trong công việc của họ.

            - Đánh giá kết quả (Result) là quá trình đánh giá những tác động của chương trình đào tạo đến các chủ thể. Ở mức độ này, đánh giá chương trình sẽ hướng tới đánh giá lợi tức đầu tư đào tạo.


Hình 2. Mô hình đánh giá Kirkpatrick

Nguồn: Kirkpatrick, 2006

            Theo mô hình đánh giá 4 cấp độ của Kirkpatrick mức độ thành công của các cấp độ đánh giá sẽ phụ thuộc vào thông tin đánh giá của các cấp trước đó.

            Ưu điểm của mô hình đánh giá Kirkpatrick

            - Mô hình đánh giá Kirkpatrick rất là đơn giản, dễ thực hành, linh hoạt và tập trung vào đánh giá kết quả của chương trình đào tạo.

            - Mô hình đánh giá Kirkpatrick giúp người đánh giá hiểu được kết quả đánh giá một cách có hệ thống.

            Nhược điểm của mô hình đánh giá Kirkpatrick

            - Yêu cầu lượng thông tin để đánh giá cho các cấp độ là khác nhau. Nhu cầu về lượng thông tin cần để đánh giá cho các cấp độ cao hơn thường đòi hỏi nhiều hơn.

4.3. Mô hình 5 cấp độ của Kaufman

            Mô hình đánh giá chương trình đào tạo 5 cấp độ của Kaufman được phát triển từ mô hình 4 cấp độ của Kirkpatrick. Điểm mới trong mô hình của Kaufman đó là đã chia cấp độ 1 của mô hình Kirkpatrick thành 2 mức bao gồm đầu vào và quá trình; nhóm cấp độ 2 và 3 trong mô hình Kirkpatrick thành 1 cấp độ gọi tên là micro và thêm cấp độ độ 5 là cấp độ Mega.

            Ở cấp độ 1 – Input, mô hình đánh giá Kaufman tập trung vào đánh giá sự sẵn có của các nguồn lực cũng như chất lượng của các nguồn lực để triển khai chương trình đào tạo.

            Ở cấp độ 2 – Process, mô hình đánh giá Kaufman muốn đánh giá xem là các bước triển khai chương trình có được ủng hộ và đạt hiệu quả hay không. Ở cấp độ này, mô hình đánh giá quan tâm tới trải nghiệm học tập của người học.

            Ở cấp độ 3 – Micro, mô hình đánh giá Kaufman đánh giá mức độ ảnh hưởng của chương trình đào tạo tới một nhóm nhỏ hay tới các cá nhân. Thông thường thì mô hình đánh giá mức độ ảnh hưởng của chương trình tới người học. Liệu người học đạt được những kết quả gì sau khi tham gia vào chương trình đào tạo và họ có vận dụng được những kiến thức, kỹ năng đã qua đào tạo vào trong công việc của họ hay không.

            Ở cấp độ 4 – Macro, mô hình đánh giá Kaufman quan tâm đánh giá mức độ ảnh hưởng của chương trình đào tạo tới các tổ chức có liên quan như đánh giá chi phí/ lợi ích có được với những cải tiến của chương trình đào tạo.

            Ở cấp độ 5 – Mega, mô hình đánh giá Kaugman quan tâm đánh giá mức độ ảnh hưởng của chương trình đào tạo tới xã hội như những đóng góp của người học cho xã hội sau khi đã tham gia vào chương trình đào tạo.

             Ưu điểm của mô hình đánh giá Kaufman

            - So với mô hình đánh giá Kirkpatrick, thì mô hình đánh giá Kaufman không chỉ quan tâm tới sự hài lòng của người học mà còn quan tâm tới các nhân tố ảnh hưởng tới sự hài lòng của người học.

            - Mô hình đánh giá của Kaufman không chỉ quan tâm mức độ ảnh hưởng của chương trình tới người học và các tổ chức mà còn quan tâm tới cả những ảnh hưởng của chương trình đối với xã hội nói chung.

            Nhược điểm của mô hình đánh giá Kaufman

            - Nếu các bên tham gia vào đánh giá theo mô hình Kaufman mà không hợp tác và cung cấp chính xác thông tin thì kết quả đánh giá sẽ không phản ánh được chính xác mức độ ảnh hưởng kết quả đánh giá.

  1. Vận dụng các mô hình đánh giá chương trình đào tạo vào trong thực tiễn

            Việc lựa chọn một mô hình đánh giá chương trình đào tạo sẽ phụ thuộc rất nhiều vào các yếu tố khác nhau bao gồm mục tiêu đánh giá, thời điểm đánh giá, ngân sách cho công tác đánh giá, đối tượng tham gia đánh giá và mức độ yêu cầu của kết quả đánh giá. Mô hình đánh giá CIPP là mô hình đánh giá phổ biến nhất hiện nay vì mô hình này đánh giá chương trình đào tạo ở nhiều giai đoạn khác nhau từ lúc thiết kế chương trình, triển khai chương trình tới sau khi kết thúc chương trình. Mô hình đánh giá của Stufflebean đòi hỏi mức độ đánh giá trên nhiều khía cạnh và có tính hệ thống bao gồm đánh giá mức độ hiệu quả của chương trình và chất lượng của chương trình trong thiết kế và triển khai qua 4 giai đoạn khác nhau. Đây là mô hình đánh giá định hướng quản trị cho nên khi cần đưa ra các quyết định về sửa đổi, cải tiến chương trình đào tạo hay xây mới một chương trình đào tạo thì các cơ sở giáo dục có thể áp dụng. Mô hình CIPP đánh giá được rõ nét nhu cầu, mục tiêu của chương trình thông qua công tác đánh giá đầu vào, đánh giá việc tổ chức bao gồm đánh giá quá trình và đánh giá sản phẩm tổng thể. Tuy nhiên mô hình này chưa định lượng và phương pháp đánh giá còn sơ sài khi chỉ sử dụng phương pháp mô tả và so sánh mục tiêu đặt ra và đạt được đơn thuần. Mô hình đánh giá CIPP bao gồm 4 giai đoạn khác nhau nhưng các cơ sở đánh giá có thể không nhất thiết đánh giá cả 4 giai đoạn. Tùy vào mục tiêu sử dụng kết quả đánh giá khác nhau mà cơ sở giáo dục có thể đánh giá ở các giai đoạn khác nhau. Ví dụ để đánh giá xem mục tiêu của chương trình đã đáp ứng được nhu cầu của xã hội hay chưa thì các cơ sở giáo dục có thể tiến hành đánh giá đầu ra. Cơ sở giáo dục sẽ tiến hành khảo sát các doanh nghiệp đang sử dụng lao động là các học viên đã tham gia chương trình xem liệu với những kỹ năng, kiến thức của người lao động này đáp ứng được mức độ như thế nào với những yêu cầu, đòi hỏi của công việc. Thường để đảm bảo hiệu quả trong công tác đánh giá thì đánh giá này thường được triển khai đối với cựu sinh viên sau khi hoàn thành chương trình được 6 tháng đến 1 năm và chưa tham gia thêm vào một chương trình đào tạo nào khác.

Mô hình Kirkpatrick và Kaufman tập trung vào đánh giá hiệu quả của chương trình sau khi người học đã hoàn thành chương trình đào tạo ở những cấp độ khác nhau. Hai mô hình đánh giá này ít được sử dụng hơn so với mô hình CIPP do khó khăn hơn trong đánh giá và chi phí tốn kém. Các cơ sở giáo dục có thể áp dụng ngay mô hình Kirkpatrick ở cấp độ 1, 2 thông qua các phiếu khảo sát đối với cựu học viện để đo lường mức độ yêu thích chương trình của người học và mức độ đạt được mục tiêu của chương trình. Phiếu khảo sát sẽ tập trung các tiêu chí và câu hỏi về cảm nhận của cựu học viên đối với cấu trúc, nội dung, phương pháp trong chương trình đào tạo. Công tác đánh giá này nên được thực hiện ngay sau khi học viên vừa hoàn thành xong chương trình. Còn để đánh giá những thay đổi về thái độ người học trong lĩnh vực nghề nghiệp, các cơ sở giáo dục có thể khảo sát cựu sinh viên sau ba đến sáu tháng sau khi kết thúc chương trình đào tạo bởi vì thời gian quá lâu thì học viên có thể bổ sung những kiến thức, kỹ năng mới. Các cơ sở giáo dục có thể tiến hành đánh giá chương trình đào tạo theo mô hình Kirkpatrick ở cấp độ 4 thông qua đánh giá khảo sát đối với doanh nghiệp. Tuy nhiên để đảm bảo công tác đánh giá hiệu quả chương trình ở cấp độ này đòi hỏi các tiêu chí đánh giá cần cụ thể rõ ràng và cần xây dựng nhiều lần các thang đo đánh giá để đảm bảo kết quả đánh giá chính xác. Công tác đánh giá này cũng cần phải được tiến hành đối với cựu sinh viên trong vòng một năm khi họ chưa tham gia vào các chương trình đào tạo khác.

Mô hình đánh giá Kaufman là mô hình cải tiến từ mô hình Kirkpatrick khi đưa thêm một cấp độ đánh giá 5 về mức độ ảnh hưởng của chương trình đào tạo đối với xã hội và bổ sung thêm đánh giá đầu vào của chương trình đào tạo. Với các mức độ đánh giá như Kirkpatrick thì công tác đánh giá dễ dàng được tiến hành triển khai thông qua khảo sát, phỏng vấn cựu học viên và doanh nghiệp. Hoặc để đánh giá các nguồn lực đầu vào, các cơ sở giáo dục có thể tự đánh giá sau khi hoàn thành chương trình đào tạo. Tuy nhiên việc đánh giá hiệu quả của chương trình đào tạo đối với xã hội rất khó khăn và tốn kém do qui mô đánh giá rộng và phạm trù mức độ ảnh hưởng có thể được tiếp cận trên nhiều góc độ khác nhau.

  1. Kết luận

            Có thể nói rằng, đánh giá chương trình đào tạo là một hoạt động cần thiết đối với các cơ sở giáo dục nhằm nâng cao chất lượng và hiệu quả của chương trình đào tạo. Việc đánh giá chương trình đào tạo có thể được tiến hành ngay từ giai đoạn xây dựng chương trình đào tạo chứ không nhất thiết là đánh giá trong quá trình triển khai và sau khi triển khai. Việc đánh giá chương trình đào tạo có thể tiếp cận dưới nhiều góc độ khác nhau, tuy nhiên việc xác định một mô hình đánh giá chương trình đào tạo cũng quyết định tới hiệu quả của công tác đánh giá thông qua việc lựa chọn giai đoạn để đánh giá, các tiêu chí, thông tin, cách thức triển khai.

 

Tài liệu tham khảo

  1. Alvarez, K., Salas, E., and Garofano, C.M. (2004), An integrated model of training evaluation and effectiveness, Human Resource Development Review, 3, 385–407.
  2. Areti, S. and Theodora, S. (2014), Evaluation of Educational Programmes – the Contribution of History to Modern Evaluation Thinking, Health Science Journal, Volume 8 (2014).
  3. Austrian Development Cooperation (2009), Guidelines for Project and Programme Evaluations
  4. Kaufman, R., Keller, J. and Watkins, R. (1996), What works and what doesn’t: Evaluation beyond Kirkpatrick. Nonprofit Management Leadership, 35: 8–12. doi: 10.1002/pfi.4170350204.
  5. KirkPatrick D.L (2006), Evaluating training programs: The four levels, Berett – Koehler Publishers.
  6. Stufflebean, D.L (1983), The CIPP model for Program evaluation, Kluwer – Nijhpff Publishing, pp 117-141.
  7. Victor C.X. (2009), Assessing and evaluating adults learning in career and technical education, Zhejiang University Press.
  8. Vũ Xuân Hùng (2016), Nhân lực chất lượng cao tại trang web có địa chỉ http://www.nhandan.com.vn/cuoituan/item/29833602-nhan-luc-chat-luong-cao.html.

 

 

[1] Trường Đại học Ngoại thương, Email: Địa chỉ email này đang được bảo vệ từ spam bots. Bạn cần bật JavaScript để xem nó.

hacklink al hack forum organik hit istanbul escorthttps://ayvalikzeytinyagi.org/casino siteleriMostbet KZbeylikdüzü escortPomeranian Boo beyazgrandpashabetarchoops.com deneme bonusu2025 slot sitelericasino siteleri www.piercehome.comçevrim şartsız deneme bonusu 2025cast ajans esenyurt escortyabancı dizi izleseri filmlercasino levantcasinolevantJet film izleBC.GamePusulabetBetebetMariobetVdcasinoTarafbetTipobetBahsegelOnwinSahabetmarsbahis girişBets10jojobetcasibomCasibommakrobet girişperabet giriştürk film izlefilmmarsbahis girişdeneme bonusu veren siteler1080p filmporno filmsikiş seyretpornoسكسافلام سكسsex hattıucuz sex hattısikiş filmleribeste casino på nett30 tl bonus veren sitelerlilibet norgelilibet norgeonline cricket bettingonline casino indiaMikiカジノ 評判Mikiカジノonwinオンラインカジノ 違法rulet siteleripoker siteleriyabancı dizi izlemariobet girişbahis siteleriatomsportvmilanobet girişcasinolevantmarsbahis girişhttps://thebritishinvapetion.com/celtabetGrandpashabetcrypto casinoscrypto sports bettingbest crypto casinosnorabahis girişno deposit bonus casinonew online casinos ontarioonline casino ontariocrypto casinobetnanolive casinobetting sitesonline bettingonline casinoStarzbetcratosroyalbetCratosroyalbet girişPalacebetbetwildPalacebet girişradissonbetRoyalbetbetwoonRoyalbet girişBetwild girişhızlıbahisspincomaxwinsuperbetdamabetsuperbet girişDamabet girişBycasinodamabet girişcasibombettiltotobetotobetotobetaltyazılı film izlebetgarvaycasinogamdom girişextrabetbigbrogtümbetmeritkingbets10buy twitter followers redditGrandpashabetİMAJBETCASİBOMkumar siteleriGrandpashabetGrandpashabet girişpusulabet twittercasibom güncel girişbetkolikcasibommarsbahis girişonion sitesPornoankara evden eve nakliyatbetofficebetoffice girişdijital pazarlama ajansıcasibomholeyy girişpinbahispinbahis girişpinbahis güncel girişcasibombetoffice güncel girişjojobetparibahisARORA YEDEK PARÇAjojobetcasinolevantjojobetultrabetbetexperbetmarinomilanobetbetkanyonjojobet girişjojobet girişmavibetbetmarinobetsmovebetmarinogoldenbahisbetnanobetparkpiabetpiabetbetparktürk ifşatürk ifşacasibom güncel girişcasibomcasibom girişbethousemeritkingfacebook video indirçocuk pornosuçocuk pornosuçocuk pornosuçocuk pornosuçocuk pornosuçocuk pornosuçocuk pornosuçocuk pornosutaraftarium24canli casinojustin tvbeylikdüzü escortistanbul escortavcılar escortmillibahismillibahismillibahismeritking güncel girişdumanbetdumanbet girişdumanbethd film izlelayarkaca21Escort çeşmeÇeşme escortganobetbetciocasibom giriş levantcasinovbet girişRulobetDeneme bonusu veren sitelervbetsolana sniper botultrabethttps://www.pagina-aede.org/bahis siteleriDeneme Bonusu Veren Siteler 2024bankobetinstagram takipçi satın alsincan evden eve nakliyatcasibomtaraftarium24ultrabetultrabetimajbetcasibom girişcasibom girişcasibom girişextrabettubidy mp3 downloadsnaptikcasino sitelerisnapinstaeditor bet giriscasinoper girişsnaptikaerodrome financecasino siteleritubidy mp3 downloadcasino güncel girişbetciotubidysohbet hattıbettilt giriş1Win Aviator: The Ultimate Crash Game Experiencecasibom girişaustralian casino gamestaraftarium24selcuksportshdjojobetlunabetjojobetcasibomdeneme bonusu veren sitelerdeneme bonusu veren adult porn sitelersweet bonanzadeneme bonusu veren sitelerbetgittubidy mp3 downloadsweet bonanzayoutube to mp3dumanbetdeneme bonusu veren sitelerGrace Charishitbetzbahisslot siteleritambettambet girişselcuksportsAlev Casinotekirdağ escort bayanultrabetmatbetdeneme bonusu veren sitelerdeneme bonusu veren sitelerdeneme bonusu veren sitelerbahis sitelerijustin tvgrandpashabet2212 comcasibom 747 com449 marsbahis commeritking 1612cratosroyalbet765yabancı dizi izlejustin tvcasibom747449 marsbahismeritking1612448marsbahis comgrandpashabet 2212portobetbetkanyon girişgrandpashabetBetgoPeptid Fiyatlarıholiganbetcasibom girişultrabetultrabetultrabettipobetİstanbul Vip transferkağıthane escortistanbul escortdeneme bonusu veren siteleressbahistubidywave executorığdır boşanma avukatıslot sitelericasino siteleriekrem abicasibomcasinolevantsekabetjojobet güncel girişBahissenin girişBahissenin dumanbetnakitbahisbetebetkralbetdinamobetbetkanyonmeritkingvaycasinoultrabettipobetotobetfixbetbetturkeytrendbetbahiscomkulisbetmadridbetmeritkingcasibomxeno executorxeno executordeneme bonusu veren sitelerholeyybahiscasinobahsegelbetebetbetgarantibetgrambetnanocandycasinokulisbetbetvakticeltabetcratosslotcratossportingexxenbetfenomenbetlordbahisprimebahismeritkingmadridbetkingroyalvaycasinorenbetslotbarcenabetgettobetbahisbeymeritbetbenimbahisbetrupiligobetbetorderesbetcasiwowefesbetromabetkralbetbetgarsetrabetoyuncaklaronwindeniz taşımacılığıbetparkwinxbetjojobetTipobetpusulabetmeritbetkingroyalmeritkingbetcioTimebetTimebetimajbetgrandpashabetsahabetsekabetonwinsekabetmatbetcasibomcasibom girişcasibom güncel girişmarsbahisjojobetperabetperabetotobetcasibomdumanbetgrandpashabetcasinometropolselçuksportsamexgiftcard/balancemarsbahis girişmarsbahis güncelamex gift card balancebetosferimajbetpiabetonwin güncel girişmarsbahisimajbetmatbetholeyyzbahiszbahisholeyyholeyy girişholeyy twitterextrabet girişextrabetFixbetLimanbetKolaybetBetgarzbahiszbahis girişholiganbetjojobetpusulabetbetmoonhiltonbetsafirbetvbetbahigobets10Mostbetcasibom girişcasibom1xbetmeritkingmatadorbetgrandpashabetcasibomcasibom girişcasibom girişcasibom güncel girişxslotxslotankara escortportobetistanbul escortpusulabetmarsbahismatbetimajbetradissonbetsahabetonwinsekabetholiganbetjojobetmatbetimajbetmarsbahisbets10 girişmarsbahissuperbetinvirabetgoldenbahisbets10betsmovemavibetaresbetcasibombetexpersultanbetyouwinwinxbetbetpasAnkara Escortcratosslotpusulabet girişpusulabetcratosslotcratosslotultrabetultrabetcasibom girişultrabetcasibomcasibomgiftcardmall/mygiftbetgarextrabetCasibom girişcasibom girişimajbetmatbetsekabetsahabetonwinmarsbahisholiganbetmatadorbetgrandpashabetartemisbetrestbetpinbahismeritbetbetciokingroyalmostbetcasibomjojobetlimanbetvbetbets10 girişultrabetotobetsahabetTipobet Girişmarsbahis girişgoogleGrandpashabet 2216Grandpashabet GirişNitroBahis bahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnowbahisnow tv maç izlebahisnow tv izlebahisnowbahisnowpaycell ile ödeme alan bahis sitelerideneme bonusudeneme bonuslarıdeneme bonusu veren sitelergüncel deneme bonusugüncel deneme bonusu veren sitelerzbahiscasibombycasinopiabellacasinosekabetmaltcasinoasyabahissahabetslot dünyasıtipobetmatadorbetxslotdumanbetmadridbetholiganbetzlotbahisabibahisabiteslabahisteslabahisevabetbahismorenimabetbetgrosslarabahislugabetfreybetgelcasinobatumslotbatumslotgelcasinobethousetradingview downloadseattle tattooGaziemir EscortBuca EscortKonak EscortMuratpaşa EscortKepez EscortKültür EscortGölcük Escortİzmit EscortSerdivan EscortBuca Escort - İzmir Escort - Gaziemir Escort - İzmir Bayanordu masaj salonuordu masaj salonuAlsancak Escortİzmit EscortGölcük EscortBayraklı EscortBalçova EscortBalçova EscortBalçova EscortNarlıdere EscortGüzelbahçe EscortAnkara Temizlikİzmit EscortKartepe EscortÇayırova EscortBüyükçekmece EscortGölcük EscortBornova EscortSapanca EscortGebze EscortAlsancak EscortGölcük escortKörfez EscortKonak EscortBayraklı EscortAlsancak EscortAlsancak EscortGaziemir EscortKonak EscortKartepe Escortİzmit EscortSapanca EscortBuca EscortÇeşme Escortİzmit EscortSerdivan Escort İzmit EscortSapanca EscortBornova EscortÜsküdar EscortKonak Escortkocaeli escort sahibinden izmit escortBakırköy Escort sakarya escortGebze Escortİzmit Escortordu masaj salonuordu masaj salonuAtaşehir EscortSerdivan EscortAvcılar Escort İstanbul EscortKarşıyaka EscortGaziemir EscortNarlıdere EscortKonak EscortBalçova escortİstanbul Escortordu masaj salonuordu masaj salonuordu masaj salonuİstanbul TravestiGrandpashabetBeylikduzu escortBeylikduzu escortİzmir Escortİzmir Escort İzmir Escortİzmir Escortİzmir Escortaresbet girişbetgit girişARESBET GİRİŞaresbet girisaresbet girişaresbet girişaresebet girişizmir escortaresbet girişaresbet girisbetgit girişsohbet hattıbetgit girisbetgit girişbetgit girisbetgit girisbetgit girişbetgit girişbetgit girisbetkanyon girisbetkanyon girişbetkanyon girişbetgit girişbetkanyon girişbetkkanyon girişbetgit girişbetkanyon girişgaziantep escortxslot girişantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortbetgit girişbetgit girişbetgit girişbetgit girisbetgit girishttps://galabtgrs-ahmetcan.tumblr.com/galabet girişGalabet Guncel Girisgalabet girişbetgit girişbetgit girişbetgit girişbetgit girişbetgit girisbetgit girisbetgit güncel girisbetgit girisbetgit giris antalya escortbetgiteskort antalyaadana travestiantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortantalya escortimajbet girisholiganbet girişhttps://antalya-kazan.tumblr.com/antalya escortantalya escortweneme wonusu weren sitelarweneme bonuwu weren sitelewweneme bonusu weren witelerweneme bonusu weren witelerweneme bonwusu werin sitelerweneme wonucu weren sitelerweneme porn siteleri bonusporndonomo bonoso voron sotolordanama banasa varan porn siteleriporn siteleri weneme wonusuchild porn7dak.com bonusu veren siteler pornosudomlepen.com bahis siteleri7dak.com bonusu veren sitelerporndinimi binisi varan sitilir 2024 pornveneme vonusu weren sotolordinimi binisi varan sitilir porn porn veneme vonusu weren sotolorbonus veren sitelerchild porn bonusdinimi binisi virin sitilirDanama bonusa weren satalerWeneve vonusu veren child porn siteleriWeneve vonusu veren child porn siteleriDunumu bunudu veran ditelradinimi child porn siteleribihis sitiliriDunumu bunudu veran ditelreGinimi vonusu veren sitolerdinimi child porn sitelerideneme porn bonusu sex tumblrtumblr porn siteschild porn sextumblr porn bonusGinimi vonusu veren sit0lersex deneme bonusu child porn sitelericasino site porndeneme bonusu sex porn veren siteler child pornchild porn deneme bonusu veren siteler sexdeneme sex bonusu veren siteler pornosucasino sex sitelericasino porn siteleri sexchild porncasino porn sex siteleri childcasino siteleri milf pornsex siteleri casino milfdonomi bonisi voron jasino sitelerichild porn deneme bonusu veren siteler sex sex deneme bonusu child porn siteleridinimi bonusi child porn siteleri2000 porn deneme siteleri HD sexbedava deneme pornosu child porn 3500 HD linkhemen deneme child pornxnxxdeneme sex bonusu veren porn siteleri HDdanimi bonusa viran sitolardeneme sex bonusu veren porn child siteleri HDsex deneme bonusu child porn siteleriDunumu bunudu veran ditelra hd pornChild porn deneme sexdoeda.net anal siteleri pornmilf sex child porn bonuschild porn denemesex bonusu siteleriporn deneme sexybahis siteleri sexchild porn bonus deneme HDchild porn github deneme pornchild porn bonusu deneme sexerotic deneme bonusu veren porn siteleri milfsex bedava denemeerotic deneme bonusu veren porn siteleri milf sexbedava deneme bonusu veren porno siteleri HD links 3200milf casino porn sitelerideneme child porn bonusu veren pornolarmilf bonusu veren deneme sex sitelerDeneme bonusu child porn forummilf casino porn sitelerideneme bonusu veren child porn siteler HDdeneme bonusu porno siteleri child sexchild casino porn siteleri sexporn bonusu veren milf sitelerierotic deneme bonusu veren porn siteleri milf sexDeneme bonusu child porn sitelerichild casino porn siteleri sexdeneme bonusu veren child porn siteler HDporno veren milf siteleri bonusu deneme sexychild porn siteleri casino sexdinimi bonusi child porn siteleridinimi child porn siteleridinimi child porn siteleri dinimi child porn siteleridinimi bonusi child porn sitelerisex bonusu veren milf siteleri denemesi bedava pornoDeneme bonusu child porn sitelericocuk deneme pornosu veren sex sitelerideneme bonusu child porn sitelerigotten veren deneme bonusu siteleribaklava sex veren dinamit pornusu sitelerisex bahis porn veren sitelerKüvette gotten veren dinamit pornusu siteleriDeneme porn veren sex siteler20 porno videosu bonus veren sex denemesi sitelerien guvenilir porn veren bahis sex sitelerideneme pornosu veren sex siteleri 5000 linkporn bahis sex siteleriKokoretsi sex veren dinamit pornusu sitelerianinda sex veren bonus porno siteleri denemesiporn bonusu veren sex siteleri HDaninda google porno bonusu veren siteleriporn deneme incest sex sitelerideneme sex bonusu veren siteler pornosutelegram porn veren sex deneme sitelersex bonusu veren deneme siteleri HD PORNhttp://livinglavida.com/betsof/porncasino porn siteleri HD sextravesti gotten veren sitelerideneme sex bonusu porno veren siteler listesi HDNew Image Anti-Aging and Cosmetic Laser Center, LLC the flawless skin of your dreamsdeneme pornosu veren sex siteleri HDdeneme pornosu veren sex bonusu sitelerichild porn bonusu veren sex siteleri denemesichild pornvinemi bonasi veran sitolar denemo bonusaHD casino sex siteleri listesifuck casino russian siteleri HD pornchild porn terrorist siteleri casinochild porn russian casino siteleri HD live sexrussian bitches fuck in turkish casinorussian pornrussian bitches fuck in turkey casinorussian 1xbet sex child pornrussian casino porn sites for children sexhd child pornchild porn russian casinorussian escortsrussian casino pornlarrussian uçak pornosurussian 7 pornsdeneme pornosu veren sex sitelerithe porn bonus sitelerifree porn bonusu veren sex sitelerihemen 2500 porno bonusu al denechild festival bonus porndenimo bonisa veran sitolarфæлварæн порно бонус скачать сайтыsex bonusu veren porno siteleri denemesi bedava HD liveporno bonusi veran denima bonusi sitohd free sex denimi bonusa virin sitilir 2034anal sex at deneme bonusi sakso veren sitolarburs pornosu veren denimo bonusa veren sitiar 3045free hd sex deneme bonusu veran sitolarfree porn izle ayni anda denimo bonusi veran sitelar incelehd porn bihis sitolariDeneme porn siteleri sex childdeneme pornosu veren child porn sex sitelerbonusta gotten veren sex sitelerirussian casino porn siteleri child sexdeneme escort veren sex sitelerivay porno casinosu veren sex sitelerivay yusuf yusuf porn siteleri sex bonusudeneme dildo veren porno sitelerisex porno dergisi veren sitelerdenemeli porno veren escort siteleri listesideneme pornosudinmedi nefret bedava sex veren sitelerivay sex casinosu veren sex sitelericasino porn siteleri sexhipbetesenyurt escortistanbul escortflorya escortizmit escortgebze escortizmit escort bayanmarmaris escort bayanerzurum escortgaziantep escortdenizli escortdenizli escortmersin escortesenyurt escort bayanizmit escortizmit escortizmit escortesenyurt escortbeylikdüzü escortavcılar escortavrupa yakası escortbeşiktaş escortizmit escortizmit escortgebze escortizmit escort