Статистический анализ агрегированного рейтинга российских вузов как измерительного инструмента

Анатолий Андреевич Маслак; Анатолий Иванович Коробко

doi:10.17308/sait/1995-5499/2023/1/68-79

Анатолий Андреевич Маслак Кубанский государственный университет https://orcid.org/0000-0002-3189-4858
Анатолий Иванович Коробко Кубанский государственный университет https://orcid.org/0000-0003-3282-8411

DOI: https://doi.org/10.17308/sait/1995-5499/2023/1/68-79

Ключевые слова: агрегированный рейтинг, качество образования, латентная переменная, конструктная валидность, измерение, линейная шкала, модель Раша

Аннотация

Рейтинги во всех сферах жизни становятся всё более востребованными. В нашей стране в области образования существует несколько рейтингов вузов, классифицирующих их по качеству образования. Эти рейтинги различаются своими целями и подходами к определению, что такое качество образования. Для объединения этих подходов Гильдией экспертов в сфере профессионального образования разрабатываются национальные агрегированные рейтинги учреждений высшего образования. Цель данной работы состоит в статистическом анализе агрегированного рейтинга вузов по качеству образования в 2021 году. Рассмотрены восемь национальных рейтингов, на основе которых построен агрегированный рейтинг. Статистический анализ агрегированного рейтинга как измерительного инструмента осуществляется в рамках теории латентных переменных. Агрегированный рейтинг рассматривается как латентная переменная, индикаторами которой являются национальные восемь национальных рейтингов. Определена совместимость использованных национальных рейтингов. Измерено на линейной шкале качество образования в вузах. В рамках теории латентных переменных агрегированный рейтинг обладает в десятки раз большей разрешающей способностью по сравнению с традиционной балльной системой оценивания. Определены рейтинги, которые лучше других национальных рейтингов дифференцируют вузы с низким и высоким качеством образования соответственно. Показаны также рейтинги, которые наиболее и наименее адекватны модели измерения. Проведенный в рамках теории латентных переменных совместный анализ всех рейтингов позволил выявить сильные и слабые стороны каждого рейтинга. Важными преимуществами использования теории латентных переменных являются высокая дифференцирующая способность, а также то, что качество образования в вузах измеряется на линейной шкале, это важно для проведения мониторинга и использования многих методов статистического анализа, предполагающих линейную шкалу. Планируется в рамках теории латентных переменных провести мониторинг агрегированного рейтинга вузов за несколько лет.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Анатолий Андреевич Маслак, Кубанский государственный университет

д–р техн. наук, проф., профессор кафедры математики, информатики, естественнонаучных и общетехнических дисциплин филиала Кубанского государственного университета в г. Славянске-на-Кубани

Анатолий Иванович Коробко, Кубанский государственный университет

руководитель отделения среднего профессионального образования филиала Кубанского государственного университета в г. Славянске-на-Кубани

Литература

1. Bolotov V. A., Motova G. N., Navodnov V. G., Ryzhakova O. E. (2020) How to Design a National Aggregated Ranking? Higher Education in Russia. Vol. 29. No. 1. P. 9–24. (In Russ., abstract in Eng.) DOI
2. Hou Y. W., Jacob W. J. (2017) What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings. International Education Journal: Comparative Perspectives. Vol. 16. No 4. P. 29–46.
3. Kusumastuti D., Idrus N. (2017) Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries. Quality in Higher Education. Vol. 23. Iss. 3. P. 230–248.
4. Gaisenok V. A., Naumovich O. A., Samokhval V. V. (2018) Correlations of university positions in international rankings. Higher Education in Russia. Vol. 27. No. 12. P. 20–28. (In Russ., abstract in Eng.)
5. Zadorozhnyuk I. E., Korosteleva L. Yu. Tebiev B. K. (2019) TOP–200 universities in four international rankings. Higher Education in Russia. Vol. 28. No. 3. P. 85–95. DOI (In Russ., abstract in Eng.)
6. Matveeva O. A. (2019) Development of voluntary accreditation of educational programs in Russia. Higher Education in Russia. Vol. 28. No. 7. P. 19–28. DOI (In Russ., abstract in Eng.)
7. Seeram Ramakrishna, Sachsenmeier Peter (2019) Shortcomings of Higher Education Evaluation Systems. International Journal of Chinese Education. Vol. 8. 1. P. 25–42.
8. Ryan M., Allen A. (2017) Comparison of China’s “Ivy League” to Other Peer Groupings Through Global University Rankings. Journal of Studies in International Education. Vol. 21. 5. P. 395–411.
9. Solomon Arulraj David, Motala Shireen (2017) Can BRICS build ivory towers of excellence? Giving new meaning to world-class universities. Research in Comparative and International Education. Vol. 12. 4. P. 512–528.
10. Fisher Nicholas I. (2022) Assessing the Quality of Universities: A Gedankenexperiment Derived from Creating Stakeholder Value. Journal of Creating Value. Vol. 8. 1. P. 25–44.
11. Navodnov V. G., Motova G. N., Ryzhakova O. E. (2019) Comparison of international ratings and the results of Russian monitoring of the effectiveness of universities by the method of league analysis. Educational Studies. no. 3. P. 130–151. (In Russ., abstract in Eng.)
12. Bolotov V. A. [et al.] (2016) Key Issues of Development of National and Regional Systems of Education Quality Assessment (Expert Review). Moscow : Publishing House of the Higher School of Economics. 232 p. (In Russ., abstract in Eng.)
13. Bolotov V. A. (2018) The Past, Present, and Possible Future of the Russian Education Assessment System. Educational Studies. No. 3. P. 287– 297. (In Russ., abstract in Eng.) DOI
14. Andrich D., Marais I. (2019) A course in Rasch measurement theory: Measuring in the educational, social and health sciences. Singapore : Springer. 482 p.
15. Bond, T. G., Yan Z., Heene M. (2020) Applying the Rasch Model: Fundamental Measurement in the Human Sciences. 3rd Ed. New York : Routledge. 376 p.
16. Leus O., Maslak A. (2018) Measurement and Analysis of Teachers’ Professional Performance. Society, integration, education : Proceeding of the International Scientific Conference. Vol. II, Higher Education (Rezekne May 25th–26th, 2018, Rezekne : Rezekne Academy of Technologies, P. 308–319.
17. Maslak A., Pozdniakov S. (2018) Measurement and Multifactorial Analysis of Students’ Patriotism. Society, integration, education. Proceeding of the International Scientific Conference. Vol. I, Higher Education, May 25th–26th, 2018). Rezekne : Rezekne Academy of Technologies. P. 373–383.
18. Maslak A. A. [et al.] (2017) Investigation of measurement precision of latent variable depending on the range of variation of indicators set. Radio Electronics, Computer Science, Control. № 1 (40). P. 42–49. (In Russ., abstract in Eng.)
19. Osipov S. A., Maslak A. A. (2011) Estimation of the parameters of the Rasch model by the method of paired comparisons. Theory and practice of measuring competencies and other latent variables in education. Proceedings of All-Russia (with international participation) scientific- practical conf. XV (03–05 February 2011) and XVI (01 – 03 July 2011). Slavyansk-on-Kuban : Publishing House SSPI P. 65–72. (In Russ., abstract in Eng.)
20. Andrich D., Sheridan B., Luo G. (2005) RUMM2020: Rasch Unidimensional Measurement Models software and manual. Perth, Australia – RUMM Laboratory. 87 p.