<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">gumrf</journal-id><journal-title-group><journal-title xml:lang="ru">Вестник Государственного университета морского и речного флота имени адмирала С. О. Макарова</journal-title><trans-title-group xml:lang="en"><trans-title>Vestnik Gosudarstvennogo universiteta morskogo i rechnogo flota imeni admirala S. O. Makarova</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2309-5180</issn><issn pub-type="epub">2500-0551</issn><publisher><publisher-name>ФГБОУ ВО «Государственный университет морского и речного флота имени адмирала С.О. Макарова»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.21821/2309-5180-2024-16-3-456-466</article-id><article-id custom-type="elpub" pub-id-type="custom">gumrf-469</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ТЕХНОЛОГИЧЕСКИМИ ПРОЦЕССАМИ И ПРОИЗВОДСТВАМИ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>AUTOMATION AND CONTROL OF TECHNOLOGICAL PROCESSES AND PRODUCTIONS</subject></subj-group></article-categories><title-group><article-title>Оптимизация процесса тестирования на проникновение в АСУ технологическими процессами с использованием алгоритмов машинного обучения</article-title><trans-title-group xml:lang="en"><trans-title>Optimization of the penetration testing process in automated process control systems using machine learning algorithms</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Нырков</surname><given-names>А. П.</given-names></name><name name-style="western" xml:lang="en"><surname>Nyrkov</surname><given-names>A. P.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Нырков Анатолий Павлович — доктор технических наук, профессор</p><p>198035, Санкт-Петербург, ул. Двинская, 5/7</p></bio><bio xml:lang="en"><p>Nyrkov, Anatoliy P. — Dr. of Technical Sciences, professor</p><p>5/7 Dvinskaya Str., St. Petersburg, 198035</p></bio><email xlink:type="simple">kaf.koib@gmail.com</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Юмашева</surname><given-names>Е. С.</given-names></name><name name-style="western" xml:lang="en"><surname>Yumasheva</surname><given-names>E. S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Юмашева Елена Сергеевна — аспирант</p><p>198035, Санкт-Петербург, ул. Двинская, 5/7</p></bio><bio xml:lang="en"><p>Yumasheva, Elena S. — Postgraduate</p><p>5/7 Dvinskaya Str., St. Petersburg, 198035</p></bio><email xlink:type="simple">yumasheva.lena@list.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Кириков</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Kirikov</surname><given-names>A. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Кириков Антон Викторович — аспирант</p><p>198035, Санкт-Петербург, ул. Двинская, 5/7</p></bio><bio xml:lang="en"><p>Kirikov, Anton V. — Postgraduate</p><p>5/7 Dvinskaya Str., St. Petersburg, 198035</p></bio><email xlink:type="simple">tony68@yandex.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>ФГБОУ ВО «ГУМРФ имени адмирала С. О. Макарова»</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Admiral Makarov State University of Maritime and Inland Shipping</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>01</day><month>08</month><year>2024</year></pub-date><volume>16</volume><issue>3</issue><fpage>456</fpage><lpage>466</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Нырков А.П., Юмашева Е.С., Кириков А.В., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Нырков А.П., Юмашева Е.С., Кириков А.В.</copyright-holder><copyright-holder xml:lang="en">Nyrkov A.P., Yumasheva E.S., Kirikov A.V.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://journal.gumrf.ru/jour/article/view/469">https://journal.gumrf.ru/jour/article/view/469</self-uri><abstract><p>Темой работы является исследование процесса широкого внедрения автоматизированных информационно-управляющих систем в промышленности, энергетике и на транспорте. Отмечается, что повышение их сложности неизбежно приводит к возникновению различного рода уязвимостей в этих системах, наличие которых позволяет злоумышленникам проникать в автоматизированные управляющие системы, брать их под свой контроль, а также нарушать нормальный режим работы управляемых ими технологических процессов. Подчеркивается, что в течение последнего десятилетия успешные кибератаки были зафиксированы в энергетике, в том числе атомной, в морском судоходстве, в портовых перегрузочных комплексах, а также в других системах. Превентивный подход к обеспечению безопасности автоматизированных управляющих систем заключается в выявлении и использовании существующих уязвимостей путем имитации возможных кибератак. Отмечается, что автоматизация такого достаточно трудоемкого процесса, как «тестирование на проникновение», позволяет сократить время, финансовые затраты и другие ресурсы. Исследованы основные методы выявления уязвимостей, в том числе с применением искусственного интеллекта. В представленном подходе к оптимизации процесса тестирования на проникновение в автоматизированные системы управления технологическими процессами использованы алгоритмы машинного обучения. Предпочтение отдано машинному обучению с подкреплением, основу которого составляет алгоритм Deep Q-learning. Предлагается интеграция методов сканирования сети, построения графа атак и обучения нейронных сетей для эффективного выявления уязвимостей и рисков в сетевых инфраструктурах. Для построения графа атак используются базы знаний MITRE ATT&amp;CK с применением GBVA Framework, для выбора оптимальных действий в процессе тестирования — алгоритм Deep Q-learning.</p></abstract><trans-abstract xml:lang="en"><p>The process of widespread implementation of automated information management systems in industry, energy and transport is studied in the paper. It is noted that an increase in their complexity inevitably leads to the emergence of various kinds of vulnerabilities in these systems, the presence of which allows attackers to penetrate automated control systems, take control of them, and also disrupt the normal operation of the technological processes they control. It is emphasized that over the past decade, successful cyber attacks have been recorded in the energy sector, including nuclear, in maritime shipping, in port transshipment complexes, as well as in other systems. A preventive approach to ensuring the security of automated control systems is to identify and exploit existing vulnerabilities by simulating possible cyber attacks. It is noted that automation of such a rather labor-intensive process as “penetration testing” allows reducing time, financial costs and other resources. The main methods for identifying vulnerabilities, including the use of artificial intelligence, have been studied. The presented approach to optimizing the penetration testing process in automated process control systems uses machine learning algorithms. Preference is given to machine learning with reinforcement, which is based on the Deep Q-learning algorithm. The integration of network scanning methods, building an attack graph and training neural networks to effectively identify vulnerabilities and risks in network infrastructures is proposed in the paper. To build an attack graph, the MITER ATT&amp;CK knowledge base using the GBVA Framework is utilized, and the Deep Q-learning algorithm is used to select optimal actions during testing.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>язвимости</kwd><kwd>информационная безопасность</kwd><kwd>тестирование на проникновение</kwd><kwd>машинное обучение</kwd><kwd>Deep Q-learning</kwd></kwd-group><kwd-group xml:lang="en"><kwd>vulnerabilities</kwd><kwd>information security</kwd><kwd>penetration testing</kwd><kwd>machine learning</kwd><kwd>Deep Q-learning</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Федеральный закон «О безопасности критической информационной инфраструктуры» от 26.07.2017 № 187 [Электронный ресурс]. — Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_220885/ (дата обращения 21.10.2023).</mixed-citation><mixed-citation xml:lang="en">Federal’nyi zakon “O bezopasnosti kriticheskoi informatsionnoi infrastruktury” ot 26.07.2017 № 187. Web. 21 Oct. 2023 &lt;http://www.consultant.ru/document/cons_doc_LAW_220885/&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">An Unprecedented Look at Stuxnet, the World’s First Digital Weapon [Электронный ресурс]. — Режим доступа: https://www.wired.com/2014/11/countdown-to-zero-day-stuxnet/ (дата обращения: 03.11.2023).</mixed-citation><mixed-citation xml:lang="en">An Unprecedented Look at Stuxnet, the World’s First Digital Weapon. Web. 3 Nov. 2023 &lt;https://www.wired.com/2014/11/countdown-to-zero-day-stuxnet/&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Когтев А. В. Обоснование необходимости создания автоматизированной информационной системы оценки и прогнозирования киберугроз на морских судах под флагом РФ / А. В. Когтев // Современные тенденции и перспективы развития водного транспорта России: матер. межвуз. науч.-практ. конф. аспирантов, студентов и курсантов. 20 мая 2021 г. — СПб.: Изд-во ГУМРФ им. адм. С. О. Макарова, 2021. — 2 часть. — С. 37–41.</mixed-citation><mixed-citation xml:lang="en">Kogtev A. V. “Justification of the need to create an automated information system for assessing and predicting cyber threats on sea vessels under the flag of the Russian Federation.” Sovremennye tendentsii i perspektivy razvitiya vodnogo transporta Rossii: mater. mezhvuz. nauch.-prakt. konf. aspirantov, studentov i kursantov. Vol. 2. SPb.: Izd-vo GUMRF im. adm. S. O. Makarova, 2021. 37–41.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Kardakova M. Cyber security on sea transport / M. Kardakova, I. Shipunov, A. Nyrkov, T. Knysh // Energy Management of Municipal Transportation Facilities and Transport. — Cham: Springer International Publishing, 2018. — Pp. 481–490. DOI: 10.1007/978-3-030-19756-8_46.</mixed-citation><mixed-citation xml:lang="en">Kardakova, Maria, Ilya Shipunov, Anatoly Nyrkov, and Tatyana Knysh. “Cyber security on sea transport.” Energy Management of Municipal Transportation Facilities and Transport. Cham: Springer International Publishing, 2018. 481–490. DOI: 10.1007/978-3-030-19756-8_46.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Наташова К. В. К вопросу о категорировании объектов критической информационной инфраструктуры морских портов / К. В. Наташова, С. С. Соколов, О. Н. Губернаторов, А. П. Нырков, А. В. Кириков // Безопасность информационных технологий. — 2020. — Т. 27. — № 2. — С. 35–46. DOI: 10.26583/bit.2020.1.03.</mixed-citation><mixed-citation xml:lang="en">Natashova, K. V., S. S. Sokolov, O. N. Gubernatorov, A. P. Nyrkov, and A. V. Kirikov. “On the issue of categorization of objects of critical information infrastructure of seaports.” IT Security (Russia) 27.2 (2020): 35–46. DOI: 10.26583/bit.2020.1.03.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Alcaide J. I. Critical infrastructures cybersecurity and the maritime sector / J. I. Alcaide, R. G. Llave // Transportation Research Procedia. — 2020. — Vol. 45. — Pp. 547–554. DOI: 10.1016/j.trpro.2020.03.058</mixed-citation><mixed-citation xml:lang="en">Alcaide, Juan Ignacio, and Ruth Garcia Llave. “Critical infrastructures cybersecurity and the maritime sector.” Transportation Research Procedia 45 (2020): 547–554. DOI: 10.1016/j.trpro.2020.03.058.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Androjna A. Assessing cyber challenges of maritime navigation / A. Androjna, T. Brcko, I. Pavic, H. Greidanus // Journal of Marine Science and Engineering. — 2020. — Vol. 8. — Is. 10. — Pp. 776. DOI: 10.3390/jmse8100776.</mixed-citation><mixed-citation xml:lang="en">Androjna, Andrej, Tanja Brcko, Ivica Pavic, and Harm Greidanus. “Assessing Cyber Challenges of Maritime Navigation.” Journal of Marine Science and Engineering 8.10 (2020): 776. DOI: 10.3390/jmse8100776.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Attacks on industrial sector hit record in second quarter of 2023 [Электронный ресурс]. — Режим доступа: https://www.kaspersky.com/about/press-releases/2023_attacks-on-industrial-sector-hit-record-in-secondquarter-of‑2023 (дата обращения: 20.11.2023).</mixed-citation><mixed-citation xml:lang="en">Attacks on industrial sector hit record in second quarter of 2023. Web. 20 Nov. 2023 &lt;https://www.kaspersky.com/about/press-releases/2023_attacks-on-industrial-sector-hit-record-in-second-quarter-of‑2023&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Sutton R. S. Reinforcement Learning: An Introduction / R. S. Sutton, A. G. Barto. — Second edition. — Cambridge: MIT Press, 2020. — 526 p.</mixed-citation><mixed-citation xml:lang="en">Sutton, R.S., and A. G. Barto. Reinforcement Learning: An Introduction. Second edition. Cambridge: MIT Press, 2020. 10. Vorontsov, N. AlphaGo defeated humanity in Go. Web. 30 Nov. 2023 &lt;https://nplus1.ru/news/2017/05/25/now-it-is-official&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Воронцов Н. AlphaGo победила человечество в го [Электронный ресурс] / Н. Воронцов. — Режим доступа: https://nplus1.ru/news/2017/05/25/now-it-is-official (дата обращения: 30.11.2023).</mixed-citation><mixed-citation xml:lang="en">Vorontsov, N. The exact number of allowed combinations in Go turned out to be greater than the number of atoms in the Universe. Web. 22 Nov.2023 &lt;https://nplus1.ru/news/2016/01/25/mathematical&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Воронцов Н. Точное количество разрешенных комбинаций в го оказалось больше числа атомов во Вселенной [Электронный ресурс] / Н. Воронцов. — Режим доступа: https://nplus1.ru/news/2016/01/25/mathematical (дата обращения: 22.11.2023).</mixed-citation><mixed-citation xml:lang="en">ATT&amp;CK Matrix for Enterprise. Web. 22 Nov. 2023 &lt;https://attack.mitre.org&gt;.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">ATT&amp;CK Matrix for Enterprise [Электронный ресурс]. — Режим доступа: https://attack.mitre.org (дата обращения: 22.11.2023).</mixed-citation><mixed-citation xml:lang="en">Nyrkov, A.P., A. Yu. Kuznetsov, E. V. Zurov, and A. V. Bashmakov. Diskretnaya matematika: kodirovanie i obrabotka diskretnykh struktur dannykh. SPb.: GUMRF im. adm. S. O. Makarova, 2022.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Нырков А. П. Дискретная математика: кодирование и обработка дискретных структур данных / А. П. Нырков, А. Ю. Кузнецов, Е. В. Зуров, А. В. Башмаков. — СПб.: ГУМРФ им. адм. С. О. Макарова, 2022. — 92 c.</mixed-citation><mixed-citation xml:lang="en">Zhilenkov, Anton A., S. G. Chernyi, S. S. Sokolov, and A. P. Nyrkov. “Intelligent autonomous navigation system for UAV in randomly changing environmental conditions.” Journal of Intelligent &amp; Fuzzy Systems 38.5 (2020): 6619–6625. DOI: 10.3233/JIFS‑179741.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Zhilenkov A. A. Intelligent autonomous navigation system for UAV in randomly changing environmental conditions / A. A. Zhilenkov, S. G. Chernyi, S. S. Sokolov, A. P. Nyrkov // Journal of Intelligent &amp; Fuzzy Systems. — 2020. — Vol. 38. — Is. 5. — Pp. 6619–6625. DOI: 10.3233/JIFS‑179741.</mixed-citation><mixed-citation xml:lang="en">Sokolov, Sergei, Anton Zhilenkov, Sergei Chernyi, Anatoliy Nyrkov, and Nikolay Glebov. “Hybrid neural networks in cyber physical system interface control systems.” Bulletin of Electrical Engineering and Informatics 9.3 (2020): 1268–1275. DOI: 10.11591/eei.v9i3.1293.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Sokolov S. Hybrid neural networks in cyber physical system interface control systems / S. Sokolov, A. Zhilenkov, S. Chernyi, A. Nyrkov, N. Glebov // Bulletin of Electrical Engineering and Informatics. — 2020. — Vol. 9. — No. 3. — Pp. 1268–1275. DOI: 10.11591/eei.v9i3.1293.</mixed-citation><mixed-citation xml:lang="en">Sokolov S. Hybrid neural networks in cyber physical system interface control systems / S. Sokolov, A. Zhilenkov, S. Chernyi, A. Nyrkov, N. Glebov // Bulletin of Electrical Engineering and Informatics. — 2020. — Vol. 9. — No. 3. — Pp. 1268–1275. DOI: 10.11591/eei.v9i3.1293.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
