Автор: Винделович Евгений Евгеньевич
УДК 004.89+ 004.048
Е.Е. Винделович1, В.Д. Ермакова1
Научный руководитель:
И.С. Замулин1,2 канд. физ.-мат. наук, доцент
Саяно-Шушенский филиал Сибирский федеральный университет1
Хакасский государственный университет им. Н. Ф. Катанова2
ПРИМЕНЕНИЕ REINFORCEMENT LEARNING PPO В СОЗДАНИИ ЦИФРОВОГО ДВОЙНИКА РЕГУЛЯТОРА ДАВЛЕНИЯ В БАРАБАНЕ ПАРОВОГО КОТЛА
В статье рассматривается применение метода машинного обучения с подкреплением (алгоритм PPO) для создания цифрового двойника регулятора давления в барабане парового котла. Проанализированы недостатки традиционных ПИД-регуляторов и предложена система на основе PPO, которая демонстрирует высокую точность поддержания давления и способность адаптироваться к изменяющимся нагрузкам.
Ключевые слова: цифровой двойник, регулятор давления, машинное обучение с подкреплением, PPO, паровой котел, адаптивное управление, ПИД-регулятор.
E.E. Vindelovich1, V.D. Ermakova1
Scientific supervisor:
I.S. Zamulin1,2 Candidate of Physical and Mathematical Sciences, Associate Professor
Sayano-Shushenskiy branch Siberian Federal University1
Khakassian State University named after N. F. Katanov1,2
THE APPLICATION OF REINFORCEMENT LEARNING PPO IN THE CREATION OF A DIGITAL TWIN OF THE PRESSURE REGULATOR IN THE STEAM BOILER DRUM
The article discusses the application of machine learning with a booster (PPO algorithm) to create a digital twin of a pressure regulator in a steam boiler drum. The disadvantages of traditional PID regulators are analyzed and a PPO-based system is offered, which demonstrates the high accuracy of weight maintenance and the ability to adapt to load change.
Keywords: digital twin, pressure regulator, machine learning with reinforcement, PPO, steam boiler, adaptive control, PID controller.
Анализ проблематики использования традиционных систем регулирования давления пара
Регулирование давления в барабане парового котла является критически важной задачей для обеспечения стабильности работы энергетического оборудования. Основная цель заключается в поддержании заданного уровня давления при переменных нагрузках, вызванных колебаниями потребления пара, изменениями расхода топлива или питательной воды, а также другими возмущающими воздействиями [1]. Традиционно для решения этой задачи применяются ПИД-регуляторы, которые являются промышленным стандартом благодаря своей универсальности и относительной простоте настройки. Однако их использование сопряжено с рядом ограничений [2].
Для анализа переходной характеристики была смоделирована система регулирования давления в барабане котла с ПИД-регулятором. Параметры для регулятора были рассчитаны по методу Циглера-Никольса. Регуляторы, параметры которых рассчитаны по методу Циглера-Никольса, не всегда обеспечивают требуемое качество процесса регулирования. Как правило, требуется дополнительная подстройка их параметров. Несмотря на это, метод Циглера–Никольса и некоторые его модификации весьма популярны, и многие производители регуляторов рекомендуют их для настройки регуляторов [3].
После моделирования был получен график переходной характеристики системы (рис. 1), который демонстрирует фундаментальные ограничения традиционных методов управления при работе со сложными динамическими объектами, каковыми являются современные паровые котлы. Полученная переходная характеристика с перерегулированием 59.3% и временем регулирования 15.6 с свидетельствует о существенном несоответствии линейных моделей ПИД-регуляторов реальным нелинейным и нестационарным характеристикам котла.
Рисунок 1 – график переходной характеристики системы
Возьмем требуемые критерии качества согласно [4]:
— Перерегулирование ≤ 40% (фактическое превышение на 19.3%).
— Длительность переходного процесса ≤ 5 с (фактическое время в 3.1 раза выше нормы).
Полученные результаты убедительно доказывают необходимость разработки адаптивных систем управления, способных учитывать:
1. Параметрическую неопределенность модели.
2. Изменяющуюся структуру объекта.
3. Нелинейные взаимосвязи между технологическими параметрами.
Разработка цифрового двойника регулятора давления на базе метода машинного обучения с подкреплением
Была реализована комплексная система управления давлением в барабане парового котла на основе алгоритма машинного обучения с подкреплением (PPO — Proximal Policy Optimization). Разработанная модель представляет собой цифровой двойник реального технологического процесса, сочетающий физическое моделирование динамики котла с интеллектуальной системой управления.
Основу системы составляет детализированная математическая модель барабана котла третьего порядка, учитывающая нелинейные зависимости между управляющими воздействиями, параметрами рабочей среды (давление, уровень воды, расход пара) и внешними возмущениями. Модель включает временные задержки, инерционные характеристики и возможность перехода в критические режимы работы с повышенной интенсивностью возмущений.
На рис. 2 представлены результаты функционирования системы автоматического регулирования давления в барабанном котле. В ходе экспериментальных исследований было установлено целевое значение давления 1 МПа.
Рисунок 2 – график давления пара в барабане котла
На начальном этапе работы систем наблюдался плавный переходный процесс выхода на заданный технологический режим, характеризующийся монотонным возрастанием давления до номинального значения. После достижения установившегося режима система демонстрирует способность к поддержанию давления в зависимости от управляющего воздействия и внешних возмущений (рис. 3).
Рисунок 3 – графики изменения управляющего воздействия и внешних возмущений
Давление колеблется в регламентированных пределах, где основная зона регулирования составляет ±5% от номинала, предельно допустимые отклонения не превышают ±10%, а зона повышенной точности соответствует ±1% (рис. 4).
Рисунок 4 – график точности поддержания давления
В ходе экспериментальных исследований была проведена серия испытаний системы автоматического регулирования давления в барабане парового котла, реализованной на основе цифрового двойника с использованием алгоритма обучения с подкреплением Proximal Policy Optimization (PPO) (рис. 4). В течение 50 временных интервалов проводился мониторинг ключевых параметров системы, включая текущее значение давления и точность его поддержания относительно заданного уровня в 1 МПа. Экспериментальные данные демонстрируют устойчивую работу системы в условиях изменяющихся нагрузочных режимов. Наблюдаемые колебания давления находились в диапазоне от 0,939 МПа (94,89% от номинала) до 1,002 МПа (99,75%). Особенностью работы алгоритма PPO является способность быстрой адаптации к изменяющимся условиям — при возникновении возмущений система демонстрировала плавное возвращение к заданному значению давления без существенного перерегулирования.
Статистический анализ полученных данных позволяет сделать следующие выводы:
• Среднеквадратичное отклонение давления составило 0,013 МПа (1,3%), что свидетельствует о высокой точности регулирования.
• В 78% временных интервалов система поддерживала давление в пределах ±2% от заданного значения.
• Максимальное отклонение не превысило 6,1%, что значительно ниже допустимых пределов (±10%).
Технико-экономическое обоснование выбора цифровых двойников на базе обучения с подкреплением
Цифровой двойник представляет собой динамическую математическую модель, интегрированную с реальным оборудованием через систему датчиков и алгоритмы машинного обучения. В отличие от традиционных ПИД-регуляторов, которые функционируют на основе заранее заданных параметров, цифровой двойник адаптируется к изменяющимся условиям эксплуатации, таким как колебания нагрузки котла, износ оборудования или изменение качества топлива. Это достигается за счет непрерывного анализа данных в реальном времени и прогнозирования состояния системы с использованием методов глубокого обучения [5].
Эффективность цифрового двойника подтверждается исследованиями в области управления сложными термодинамическими процессами. По данным работы [6], применение цифровых двойников в энергетических системах повышает точность регулирования на 15–20% за счет учета нелинейных зависимостей, которые игнорируются в классических ПИД-регуляторах.
Внедрение цифровых двойников сопряжено с первоначальными затратами на разработку модели, установку датчиков высокой точности и интеграцию с SCADA-системами. Однако эти инвестиции окупаются за счет снижения эксплуатационных расходов. По оценкам компании McKinsey [7], использование цифровых двойников в промышленности сокращает затраты на обслуживание на 25–30% благодаря уменьшению частоты плановых остановок и продлению межремонтного интервала. Срок окупаемости проекта внедрения цифровых двойников варьируется от 2 до 4 лет в зависимости от масштаба объекта и сложности модели. Основными рисками являются ошибки калибровки двойника.
Заключение
В статье рассматриваются результаты исследования внедрения цифровых двойников на базе обучения с подкреплением. Был проведен анализ проблематики использования традиционных систем регулирования давления пара на примере переходной характеристики упрощенной модели ПИД-регулятора. Был разработан цифровой двойник регулятора давления на базе метода машинного обучения с подкреплением и протестирован в течении пятидесяти интервалов времени, а также проведено технико-экономическое обоснование, которое показало превосходство цифровых двойников над традиционными методами.
Список использованных источников
1. Boiler Drum Level Control // Control Notes: Reflections of a Process Control Practitioner URL: https://blog.opticontrols.com/archives/165 (дата обращения: 28.03.2025).
2. Просто о PID-регулировании // Современная электроника и технологии автоматизации URL: https://www.cta.ru/articles/cta/spravochnik/v-zapisnuyu-knizhku-inzhenera/124336/ (дата обращения: 09.04.2025).
3. Гурецкий Х. Анализ и синтез систем управления с запаздыванием. — Москва: Машиностроение, 1974. — 326 с.
4. Воробьев В.Ю., Саблина Г. В. Расчёт и оптимизация параметров дискретного ПИД-регулятора методом Циглера-Николса // Автоматика и программная инженерия. — 2019. — №1. — С. 9-14.
5. Yuqian Lua, Chao Liub, Kevin I-Kai Wangc, Huiyue Huanga, Xun Xua, Digital twin-driven smart manufacturing: Connotation, reference model, applications and research issues. — Cardiff: Online Research, 2019. — 28 с.
6. Fei Tao Digital Twin in Industry: State-of-the-Art // IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS. — 2019. — №4. — С. 2405-2415.
7. Michael Chui, Eric Hazan, Roger Roberts, Alex Singla, Kate Smaje, Alex Sukharevsky, Lareina Yee, Rodney Zemmel, The economic potential of generative AI. — McKinsey&Company, 2023. — 68 с.