Обучение с подкреплением в управлении производственной логистикой судостроительных предприятий: сравнительный анализ результатов и перспективы развития

В статье выполнен системный анализ современного состояния исследований, посвященных применению методов обучения с подкреплением для оптимизации производственной логистики и управления цепями поставок в судостроительной отрасли. Подробно охарактеризована специфика судостроения как производства типа «разработка под заказ», при котором каждое изделие проектируется и изготавливается «с нуля» в соответствии с уникальными требованиями заказчика, что отличает его от серийного производства. Показано, что данная особенность предъявляет повышенные требования к адаптивности систем планирования, которые должны функционировать в условиях неопределенности и частых изменений. Проведен сравнительный анализ трех основных классов методов оптимизации: классических эвристических правил диспетчеризации, метаэвристических подходов, включая генетические алгоритмы и алгоритмы роевого интеллекта, а также алгоритмов глубокого обучения с подкреплением различных типов. Выполнено сравнение по важным критериям качества решений, вычислительной эффективности, устойчивости к возмущениям и способности к дообучению в реальном времени. Отмечается, что обучение с подкреплением обеспечивает более высокую адаптивность и оперативность принятия решений по сравнению с традиционными методами, особенно в динамически изменяющейся производственной среде. Отдельное внимание уделено цифровым двойникам как обязательной среде для безопасного обучения агентов в соответствии с требованиями международного стандарта; показано, что только такая среда позволяет проводить многократные эксперименты без остановки реального производства. Систематизированы примеры внедрения элементов обучения с подкреплением на судостроительных верфях и в смежных отраслях, включая пилотные проекты в Южной Корее, Испании и Норвегии. На основе выявленных пробелов сформулированы перспективные направления исследований: разработка мультиагентных систем для координации множества решений, применение трансферного обучения для ускоренной адаптации к новым типам заказов и интеграция с генеративным искусственным интеллектом для синтеза альтернативных сценариев планирования.

1. Bordbar A. Digitalisation of shipyard production planning: a review of simulation, optimisation, AI, and digital twin methods (2010–2025) / A. Bordbar, M. Tadros, A. Nazemian [et al] // Journal of Marine Science and Engineering. — 2026. — Vol. # - Is. #. — Pp. 396. — DOI: 10.3390/jmse14040396.

2. Digitalized Manufacturing Logistics in Engineer-to-Order Operations / J. W. Strandhagen, S.-V. Buer, M. Semini, E. Alfnes / J. W. Strandhagen // IFIP Advances in Information and Communication Technology. — 2019. — Vol. 567. — Pp. 23–30. — DOI: 10.1007/978-3-030-30000-5_71.

3. Rearticulating supply chain design and operation principles to mitigate uncertainty in the Norwegian engineer-to-order shipbuilding sector / E. Alfnes, J. Gosling, M. Naim, H. C. Dreyer // International Journal of Production Economics. — 2023. — Vol. 262. — Art. 108903. — DOI: 10.1016/j.ijpe.2023.108903.

4. Fatouh T. Shipbuilding Engineer-To-Order Supply Chain: a Systematic Literature Review / T. Fatouh, N. Rego / T. Fatouh // Procedia Computer Science. — 2023. — Vol. 219. — Pp. 1868–1876. — DOI: 10.1016/j.procs.2023.01.485.

5. Jun D. Constrained Programming Model for the Optimization of Industrial-Scale Scheduling Problems in the Shipbuilding Industry / D. Jun, D. Jones, M. Li // Journal of Marine Science and Engineering. — 2023. — Vol. 11, № 8. — Art. 1517. — DOI: 10.3390/jmse11081517.

6. Gong L. A hybrid NSGA-III and Q-learning algorithm for multi-mode and multi-objective resource constrained project scheduling considering two-layered stochastic inputs / L. Gong, Z. Chen, Y. Wang // Applied Soft Computing. — 2026. — Art. 115483. — DOI: 10.1016/j.asoc.2026.115483.

7. Zhou Z. A Comparative Simulation Study of Deep Reinforcement Learning and Dispatching Rules for a Complex Job Shop / Z. Zhou, O. Rose // Simulation in Produktion und Logistik 2025 : 21. ASIM-Fachtagung. — Dresden : Technische Universität Dresden, 2025. — Pp. 387–396. — DOI: 10.25368/2025.237.

8. Планирование процесса изготовления секции корпуса судна / А. Г. Гривачевский, В. Д. Гривачевский, М. Я. Ковалев, А. И. Сухомлинов // Информатика. — 2015. — № 4. — С. 49–60. — EDN YLJORG.

9. A Self-Learning Hyper-Heuristic Algorithm Based on a Genetic Algorithm: A Case Study on Prefabricated Modular Cabin Unit Logistics Scheduling in a Cruise Ship Manufacturer / J. Li, R. Dong, X. Wu [et al] // Biomimetics. — 2024. — Vol. 9 (№ 9). — Art. 516. — DOI: 10.3390/biomimetics9090516.

10. Akan E. Optimizing Shipbuilding Production Project Scheduling Under Resource Constraints Using Genetic Algorithms and Fuzzy Sets / E. Akan, G. Alkan // Marine Science and Technology Bulletin. — 2023. — Vol. 12, № 3. — P. 380–401. — DOI: 10.33714/masteb.1324266.

11. Design patterns of deep reinforcement learning models for job shop scheduling problems / S. Wang, J. Li, Q. Jiao, F. Ma // Journal of Intelligent Manufacturing. — 2025. — Vol. 36, № 6. — P. 3741–3759. — DOI: 10.1007/s10845-024-02454-8.

12. Deep reinforcement learning for dynamic distributed job shop scheduling problem with transfers / Y. Lei, Q. Deng, M. Liao, S. Gao // Expert Systems with Applications. — 2024. — Vol. 251. — Art. 123970. — DOI: 10.1016/j.eswa.2024.123970.

13. Pugliese V. Hybrid flow shop scheduling through reinforcement learning: a systematic literature review / V. Pugliese, O. F. de A. Ferreira, F. A. Faria // Proceedings of the 40th ACM/SIGAPP Symposium on Applied Computing (SAC ‘25). — New York : ACM, 2025. — P. 1240–1249. — DOI: 10.1145/3672608.3707903.

14. Parallel Deep Reinforcement Learning Framework for Controlling Industrial Assembly Lines / A. Tortorelli, M. Imran, F. Delli Priscoli, F. A. Liberati // Electronics. — 2022. — Vol. 11, № 4. — Art. 539. — DOI: 10.3390/electronics11040539.

15. Shi J. Production-logistics collaborative scheduling in dynamic flexible job shops using nestedhierarchical deep reinforcement learning / J. Shi, F. Qiao, J. Liu [et al] // AI in Engineering. — 2025. — Vol. 65. — Art. 103195. — DOI: 10.1016/j.aei.2025.103195.

16. Kim Y. H., Yang G. Solving Pre-erection Area Block Placement Problem Using Deep Reinforcement Learning // Advancesin Computer Science and Ubiquitous Computing (CUTECSA 2022) / Eds.J. S. Park, L. T.Yang, Y. Pan, J. H. Park. — Singapore : Springer, 2023. — P. 615–621. — (Lecture Notes in Electrical Engineering, Vol. 1028). — DOI: 10.1007/978-981-99-1252-0_83.

17. Sánchez-Fernández Á. Framework for the Development of a Process Digital Twin in Shipbuilding: A Case Study in a Robotized Minor Pre-Assembly Workstation / Á. Sánchez-Fernández, E.-D. Vlad-Voinea, J. PernasÁlvarez [et al] // Journal of Marine Science and Engineering. — 2026. — Vol. 14, № 1. — Art. 106. — DOI: 10.3390/jmse14010106. ,

18. Internet of Things Driven Digital Twin for Intelligent Manufacturing in Shipbuilding Workshops / C. Liang, X. Li, W. Niu, Y. Zhang // Future Internet. — 2025. — Vol. 17, № 8. — Art. 368. — DOI: 10.3390/ fi17080368.

19. Sun M. Enhancing shipyard transportation efficiency through dynamic scheduling using digital twin technology / M. Sun, C. Liang, D. Chang // PLOS ONE. — 2024. — Vol. 19, № 2. — Art. e0297069. — DOI: 10.1371/journal.pone.0297069.

20. Mao R. Systematic Survey of Digital Twin Applications: Transferring Knowledge From Automotive and Aviation to Maritime Industry / R. Mao, Y. Li, G. Li [et al] // IEEE Transactions on Intelligent Transportation Systems. — 2025. — Vol. 26, № 4. — Pp. 4240–4259. — DOI: 10.1109/TITS.2025.3535593.

21. Romsdal A. Designing a Digital Twin Architecture for Resource Planning in ETO Shipyards: A Case-Informed Approach from the Norwegian Maritime Sector / A. Romsdal, M. Aarhaug, J. O. Strandhagen // IFIP Advancesin Information and Communication Technology.—2025.—Vol. 767.—Pp. 438–452.—DOI: 10.1007/978-3-032-03542-4_30.

22. Zhou T. Solving Panel Block Assembly Line Scheduling Problem via a Novel Deep Reinforcement Learning Approach / T. Zhou, L. Luo, Y.He [et al] // Applied Sciences. — 2023. — Vol. 13, № 14. — Art. 8483. — DOI: 10.3390/app13148483.

23. Learn to optimise for job shop scheduling: a survey with comparison between genetic programming and reinforcement learning / M. Xu, Y. Mei, F. Zhang, M. Zhang // Artificial Intelligence Review. — 2025. — Vol. 58 (№ 6). — Art. 160. — DOI: 10.1007/s10462-024-11059-9.

24. Nam S. Simulation-based deep reinforcement learning for multi-objective identical parallel machine scheduling problem / S. Nam, Y. Cho, J. H. Woo // International Journal of Naval Architecture and Ocean Engineering. — 2024. — Vol. 16. — Art. 100629. — DOI: 10.1016/j.ijnaoe.2024.100629.

25. Scheduling optimization of hull block assembly line using constraint programming and discrete-event simulation / D. H. Kwak, K. Y. Cho, H. C. Yoon, J. H. Woo // International Journal of Naval Architecture and Ocean Engineering. — 2025. — Vol. 17. — Art. 100675. — DOI: 10.1016/j.ijnaoe.2025.100675.

26. Chen S. Dataset of Ship Block Scheduling / S. Chen. — Mendeley Data, 2026. — Version 1. — DOI: 10.17632/4ds6t24mx2.1.