Модели смешанного целочисленного линейного программирования оптимизации решений по распределенным хранению и обработке данных
Аннотация
Современные методы идентификации эффективных решений по распределенному хранению и распределенной обработке данных не предусматривают оптимизацию производительности вычислительных устройств, выделяемой каждому процессу, реализующему операции с данными, в зависимости от директивных сроков и бюджетов на их выполнение, задаваемых пользователями. В связи с этим разработаны две математические модели смешанного целочисленного линейного программирования, позволяющие оптимизировать распределенное хранение и обработку данных (в том числе оптимизировать производительность вычислительных устройств, выделяемую каждому процессу обработки), а также передачу данных между устройствами. Указанные модели реализуют идентификацию оптимальных решений при условии минимизации общей стоимости выполнения операций (с учетом ограничений на директивные сроки получения результатов и на общую производительность устройств), а также минимизации общей длительности реализации указанных операций (с учетом ограничений на бюджеты обработки данных и на производительность устройств). Полученные первоначально нелинейные модели линеаризованы путем введения дополнительных переменных. Разработанные модели реализованы программно с использованием пакета для решения задач дискретной оптимизации OR-Tools, позволяющего средствами его библиотеки и языка Phython осуществлять интерпретацию целевых функций и ограничений указанных моделей. Разработанное приложение позволило выполнить исследование процесса распределенного хранения, передачи и обработки данных при различных значениях параметров, его характеризующих. На основе анализа полученных результатов исследований сформулированы выводы, касающиеся зависимости общей длительности выполнения операций от значений директивных сроков при различных значениях количества выполняемых операций с данными, а также зависимости общей длительности обработки данных от задаваемых бюджетов и стоимости вычислительных операций и хранения данных.
Скачивания
Литература
2. Kucukkoc I. (2019) MILP models to minimise makespan in additive manufacturing machine scheduling problems. Computers and Operations Research. N 105. P. 58–67. DOI
3. Nakandala S., Zhang Yu. and Kumar A. (2020) Cerebro: A Data System for Optimized Deep Learning Model Selection. Proceedings of the VLDB Endowment. Vol. 13, № 11. P. 2159– 2173. DOI
4. Gonzalez M., López-Espín J.J., Aparicio J. and Talbi E.-G. (2022) A hyper-matheuristic approach for solving mixed integer linear optimization models in the context of data envelopment analysis. PeerJ Computer Science. N 1. Article ID: 8:e828. DOI
5. Senthil K. and Karthiga P. (2022) Big Data Processing in Geo-Distributed Data Centers Using Cost Minimization Methods. International Journal for Research in Applied Science & Engineering Technology (IJRASET). Vol. 10, Iss. VI. P. 113–116. DOI
6. Krotov K. V. (2023) Hierarchical model and algorithm for optimizing solutions for distributed data storage and processing. Proceedings of educational institutions of communications. Vol. 9, No. 2. P. 112–127. DOI
7. Shorinwa O., Haksar R., Washington P., Schwager M. (2023) Distributed Multi-Robot Task Assignment via Consensus ADMM. IEEE Transactions on Robotics. Vol. 39, Iss. 3. P. 1781– 1800. DOI
8. Naresh U. (2017) A Study on Many-TaskComputing using Data Aware Scheduling in Cloud Computing. International Journal of Innovations & Advancement in Computer Science (IJIACS). Vol. 6, Iss. 9. P. 360–366.
9. Arabnejad V., Bubendorfer K. and Ng B. (2019) Budget and Deadline Aware e-Science Workflow Scheduling in Clouds. IEEE Transactions on Parallel and Distributed Systems. Vol. 30, N 1. P. 29–44. DOI
10. Dong J., Jin X., Wang H., Li Y., Zhang P. and Cheng Sh. (2013) Energy-Saving Virtual Machine Placement in Cloud Data Centers. 13th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing. P. 618–624. DOI
11. Stefanello F., Buriol L. S., Aggarwal V. and Resende M. G. (2015) A new linear model for placement of virtual machines across geo-separated data centers. Conference Anais do XLV Simpósio Brasileiro de Pesquisa Operacional. Brasil. DOI
12. Lin M.-H., Tsai J.-F., Hu Y.-Ch. and Su T.-H. (2018) Optimal Allocation of Virtual Machines in Cloud Computing. N 10. ArticleID 756. DOI
13. Alworafi M. A., Dhari A., El-Booz Sh. A. and Mallappa S. (2019) Budget-aware task scheduling technique for efficient management of cloud resources. International Journal High Performance Computing and Networking. Vol. 14, N 4. P. 453–465.
14. Qin Y., Wang H., Yi S. [et al.] (2020) An energy-aware scheduling algorithm for budget-constrained scientific workflows based on multi-objective reinforcement learning. The Journal of Supercomputing. N 1. P. 455–480. DOI
15. Liu X., Wu J., Sha G. and Liu Sh. (2020) Virtual Machine Consolidation with Minimization of Migration Thrashing for Cloud Data Centers. Hindawi Mathematical Problems in Engineering. Article ID 7848232. 13 pages. DOI
16. Mochalov V. P., Linets G. I., Bratchenko N. Y. and Palkanov I. S. (2021) Methods and models of resource allocation service in clusters with load balancing of data processing centers. Infocommunication technologies. Vol. 19, No 2. P. 163–172. DOI
17. Mochalov V. P., Linets G. I., Bratchenko N. Y. and Palkanov I. S. (2021) Mathematical model of resource allocation of a computing cluster of cloud data centers. Modern science and in novations. No. 4. P. 10–22. DOI
18. Kuchumov R. I. and Korkhov V. V. (2021) HPC workload balancing algorithm for co-scheduling environments. Proceedings of the 9th International Conference “Distributed Computing and Grid Technologies in Science and Education” (GRID’2021). Dubna. Russia. P. 133–137.
19. Er-Rahmadi B. and Ma T. (2022) Data-driven mixed-Integer linear programming-based optimization for efficient failure detection in largescale distributed systems. European Journal of Operational Research. N 2. P. 337–353. DOI
20. Gu L., Zeng D., Li P. and Guo S. (2014) Cost Minimization for Big Data Processing in Geo-Distributed Data Centers. IEEE Transaction of Emerging Topics In Computing. Vol. 2, N 3. P. 314–323. DOI
21. Asghari M., Fathollahi-Fard A. M.,Mirzapour Al-e-hashem S. M. J. and Dulebenets M. (2022) Transformation and Linearization Techniques in Optimization: A State-of-the-Art Survey. Mathematics. N 10. Article ID 283. DOI
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
