Разработка веб-приложения для визуализации результатов анализа модели распознавания нежелательных вокализаций
Аннотация
Расстройство аутистического спектра (РАС) является одной из актуальных проблем современного общества. Подсчет количества вокализаций у детей с РАС представляет собой важную задачу для диагностики и мониторинга их поведения. Эффективным механизмом подсчета таких вокализаций при наличие большой выборки звуковых дорожек могут служить методы машинного обучения, а для визуализации полученных результатов – современные веб-технологии. Статья посвящена разработке веб-приложения, предназначенного для визуализации результатов анализа, проводимого моделями, которые распознают и классифицируют нежелательные вокализации. Основу инструментария составляют методы глубокого обучения, такие как сверточные нейронные сети (CNN) способные классифицировать и подсчитывать количество нежелательных вокализаций у детей с аутизмом в условиях учебного занятия на основе аудиозаписей. Используя новейшие веб-технологии, приложение предоставляет интерактивные информационные панели, настраиваемые визуализации данных и аналитику в реальном времени, что позволяет пользователям эффективно изучать закономерности, тенденции и показатели эффективности проводимых с детьми занятий. Предложенная в работе модель показывает высокие результаты классификации вокализаций.
Скачивания
Литература
2. Elistratova N. A., Sturbabin V. I., Khidirova L. D. (2023) Actual aspects of the development of pervasive disorders. The attending physician. Vol. 26, No 10. P. 24–32DOI
3. Vocalization in autism and methods of its treatment. URL
4. Zhu G., Yan Y., Caceres J. -P., Duan Z. (2023) Transcription free filler word detection with Neural semi-CRFs. IEEE ICASSP. P. 1–5. DOI
5. Abdul Z. K., Faeq A. K. (2017) Mel Frequency Cepstral Coefficient and its Applications: A Review. IEEE Access. 18 p. DOI
6. Rostovtsev V. S. (2014) Artificial neural networks: textbook. Kirov : Vyatka Publishing House. 208 p.
7. Documentation – Python. – URL
8. Lutz M. (2011) Programming in Python. Vol. 1. 922 p.
9. Brawn E. (2017) Learn JavaScript. Tutorial for making modern websites. Saint Petersburg : Alpha-book. 368 p.
10. Introduction – Vue.js. DOI
3. Vocalization in autism and methods of its treatment. URL
4. Zhu G., Yan Y., Caceres J. -P., Duan Z. (2023) Transcription free filler word detection with Neural semi-CRFs. IEEE ICASSP. P. 1–5. DOI
5. Abdul Z. K., Faeq A. K. (2017) Mel Frequency Cepstral Coefficient and its Applications: A Review. IEEE Access. 18 p. DOI
6. Rostovtsev V. S. (2014) Artificial neural networks: textbook. Kirov : Vyatka Publishing House. 208 p.
7. Documentation – Python. – URL
8. Lutz M. (2011) Programming in Python. Vol. 1. 922 p.
9. Brawn E. (2017) Learn JavaScript. Tutorial for making modern websites. Saint Petersburg : Alpha-book. 368 p.
10. Introduction – Vue.js. DOI
12. Voronezh regional public organization VROO “AutMama”. URL
11. Reznikov K. G., Podvalny S. L. (2023) Software development for rendering of polymerization processes. Bulletin of the Voronezh State Technical University. Vol. 19. No 2. DOI
12. Voronezh regional public organization VROO “AutMama”. DOI
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
