Обучение глубоких нейронных сетей в условиях малой выборки для классификации биологических объектов по мультиспектральным измерениям

А. О. Донских; А. А. Сирота

doi:10.17308/sait.2019.4/2686

А. О. Донских Воронежский государственный университет
А. А. Сирота Воронежский государственный университет

DOI: https://doi.org/10.17308/sait.2019.4/2686

Ключевые слова: глубокие нейронные сети, сверточные сети, перенос обучения, спектральные измерения, машинное обучение

Аннотация

Исследуется возможность применения глубоких нейронных сетей для обработки мультиспектральных измерений в задачах классификации биологических объектов с определенными патологиями. Для классификации используются сверточные нейронные сети, принимающие на вход несколько спектральных функций (зависимостей амплитуды от частоты), полученных одновременно по каждому объекту с помощью различных методов (спектры отражения, спектры пропускания) и/или в различных участках спектра электромагнитных волн. Описывается структура глубокой сети с двумя слоями свертки и двумя полносвязными слоями, используемая для классификации элементов неоднородного потока зерновых смесей (на примере пшеницы), пораженных грибковыми заболеваниями, и определения сортовой принадлежности. Предлагается метод повышения качества обучения сети на основе технологии переноса обучения с использованием предварительного обучения по искусственно размноженным данным мультиспектральных измерений. На примере задачи классификации зарегистрированных спектров отражения и пропускания элементов зерновых смесей приводится сравнение результатов, полученных при традиционном обучении глубоких сетей для каждого спектрального метода в отдельности, при обучении с использованием данных для двух спектральных методов (одновременная обработка двух каналов данных, описывающих спектры пропускания и отражения), и при обучении с использованием предлагаемого метода на основе технологии переноса обучения.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

А. О. Донских, Воронежский государственный университет

аспирант кафедры Технологий обработки и защиты информации, факультет компьютерных наук, Воронежский государственный университет

А. А. Сирота, Воронежский государственный университет

д. т. н., профессор, заведующий кафедрой Технологий обработки и защиты информации, факультет компьютерных наук, Воронежский государственный университет, Россия

Литература

1. LeCun, Y. Deep Learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. – 2015. – V. 521 – P. 436–444. – DOI.
2. Bengio, Y. Representation Learning: A Re-view and New Perspectives / Y. Bengio, A. Courville, P. Vincent // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2013. – V. 35. – P. 1798–1828. – DOI.
3. Hinton, G. E. Reducing the dimensionality of data with neural networks / G. E. Hinton, R. Salakhutdinov // Science. – 2006. – V. 313(5786) – P. 504–507. – DOI.
4. Bengio, Y. Greedy layer-wise training of deep networks / Y. Bengio, P. Lamblin, D. Popovici, H. Larochelle // In Proc. Advances in Neural Information Processing Systems. – 2007. – V. 19
5. Bengio, Y. Deep learning of representations for unsupervised and transfer learning / Y. Bengio // JMLR W&CP: Proc. Unsupervised and Transfer Learning. – 2012.
6. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. Hinton // In Proc. Advances in Neural Information Processing Systems. – 2012. – V. 25 – P. 1090–1098. – DOI.
7. Farabet, C. Learning hierarchical features for scene labeling / C. Farabet, C. Couprie, L. Najman, Y. LeCun // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2013. – V. 35 – P. 1915–1929. – DOI.
8. Tompson, J. Joint training of a convolutional network and a graphical model for human pose estimation / J. Tompson, A. Jain, Y. LeCun, C. Bregler. // In Proc. Advances in Neural Information Processing Systems. – 2014. – V. 27 – P. 1799–1807.
9. Szegedy, C. Going deeper with convolution / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. E. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // IEEE Conference on Computer Vision and Pattern Recognition. – 2015. – P. 1–9. – DOI.
10. Mikolov, T. Strategies for training large scale neural network language models / T. Mikolov, A. Deoras, D. Povey, L. Burget, J. Cernocky // In Proc. Automatic Speech Recognition and Understanding. – 2011. – P. 196–201. – DOI.
11. Hinton, G. Deep neural networks for acoustic modeling in speech recognition / G. Hin-ton, L. Deng, D. Yu, G. Dahl, A.-R. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. Sainath, B. Kingsbury// IEEE Signal Processing Magazine. – 2012. – V. 29 – P. 82–97. – DOI.
12. Sainath, T. Deep convolutional neural networks for LVCSR / T. Sainath, A.-R. Mohamed, B. Kingsbury, B. Ramabhadran // In Proc. Acoustics, Speech and Signal Processing. – 2013. – P. 8614–8618. – DOI.
13. Leung, M. K. Deep learning of the tis-sue-regulated splicing code / M. K. Leung, H. Y. Xiong, L.J. Lee, B.J. Frey // Bioinformatics. – 2014. – V. 30 – P. i121–i129. – DOI.
14. Ciodaro, T. Online particle detection with neural networks based on topological calorime-try information / T. Ciodaro, D. Deva, J. de Seixas, D. Damazio // Journal of Physics: Conference Series. – 2012. – V. 368 – DOI.
15. Itakura, K. Estimation of Citrus Maturity with Florescence Spectroscopy Using Deep Learning / K. Itakura, Y. Saito, T. Suzuki, N. Kondo, F. Hosoi // Horticulturae. – 2018. – V. 5. – DOI.
16. Liu, L. Transfer learning for soil spectros-copy based on convolutional neural networks and its application in soil clay content mapping using hyperspectral imagery / L. Liu, M. Ji, M. Buchroithner // Sensors. – 2018. – V. 18(3169). – DOI.
17. Chatzidakis, M. Towards calibration-in-variant spectroscopy using deep learning / M. Chatzidakis, G.A. Botton // Scientific Reports. – 2019. – V. 9(2126). – DOI.
18. Tan, C. A Survey on Deep Transfer Learning / C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, C. Liu // In Proc. 27th International Conference on Artificial Neural Networks, Rhodes, Greece, October 4–7, 2018, Part III. – 2018. – DOI.
19. Wang, J. The effectiveness of data augmentation in image classification using deep learning / J. Wang, L. Perez // Stanford University research report. – 2017.