Аппроксимация численной модели роста морского льда на объектах добычи нефти в арктическом регионе с использованием гибридной сверточной нейронной сети
Аннотация и ключевые слова
Аннотация:
В работе приводятся результаты сопоставления гибридной сверточной нейронной сети, обученной на результатах численного моделирования, и гибридной сверточной нейронной сети, обученной с использованием физически информированной регуляризации, для решения задачи прогнозирования роста морского льда на холодной поверхности. Данные для обучения нейронных сетей получены за счет расчетов на одномерной численной модели.

Ключевые слова:
обледенение, сверточная нейронная сеть, физически информированная регуляризация, задача Стефана.
Текст
Текст (PDF): Читать Скачать

Введение

Прогнозирование обледенения морской добывающей инфраструктуры в арктических регионах направлено на обеспечение безопасности и эффективности эксплуатации судов и нефтегазовых платформ и подразумевает интегрированное моделирование процессов генерации капель с поверхности морской воды, их замерзания в полете и соударения с холодными объектами [1]. Начальная стадия роста льда на холодных поверхностях, когда капля соударяется с объектом, расплескивается и замерзает в форме тонкого плоского диска, характеризуется высоким градиентом температуры на границе между каплей и поверхностью из-за кондуктивного механизма теплопередачи, что является причиной высокой скорости фазового перехода и осложняет моделирование процесса. Задача с подвижной фазовой границей не имеет аналитического решения, при этом моделирование замерзания морской воды также осложняется необходимостью учета неоднородности пористой структуры льда из-за минерализации. Для точного описания начальной стадии обледенения разработана численная модель замерзания капли морской воды на холодной поверхности, которая позволяет учитывать изменение пористости льда во время заморозки, границы фазового перехода и распределения температур жидкой (морская вода) и твердой (пористый лед) фаз. Использование модели позволяет прогнозировать рост морского льда вследствие соударения морских капель с холодной поверхностью (начальная стадия) и последующее развитие обледенения (в результате соударения капель с наросшим льдом). В публикации [1] приведено подробное описание численной модели для прогнозирования промерзания капли морской воды в полете. Так как текущая задача отличается только рассматриваемой геометрией и дополнительным граничным условием, для моделирования роста морского льда на поверхности используется такое же численное решение. Особенностью численного решения является переход в подвижную систему координат, который описан в работе [2]. Уравнения физико-математической модели замерзания капли морской воды на холодной поверхности приведены в разделе «Метод».

Теплофизические свойства и параметры морского льда (теплоемкость, теплопроводность, теплота плавления, пористость) учитываются как функция от минерализации и температуры и рассчитываются по корреляциям, представленным в работах [3, 4].

Использование численной модели как составной части в интегрированном моделировании обледенения представляется затратным по времени, поскольку каждая симуляция замерзания капли на поверхности требует отдельного продолжительного расчета. Для кратного снижения вычислительных затрат мы предлагаем аппроксимацию численной модели гибридной сверточной нейронной сетью (PICNN), которая обучена на данных численных расчетов с использованием физически информированной регуляризации. Эффективность разработанной архитектуры протестирована на задаче замерзания капли на холодной поверхности и благодаря возможности замены корреляций для свойств морского льда может быть адаптирована для аналогичных одномерных моделей фазового перехода, где известна зависимость теплофизических параметров фаз от температуры. В данной работе сопоставляется PICNN со сверточной нейронной сетью (CNN) без физической информированности. Задача аппроксимирующих моделей — предсказание профиля температур T(x,t)T(x,t)  в капле во время заморозки в зависимости от пяти параметров (начальная температура капли, температура поверхности контакта и окружающего воздуха, толщина капли в результате соударения, минерализация морской воды) в диапазоне, релевантном для арктического региона [5], где xx и tt — размерные пространственная и временная координаты.

Метод

Физически информированные нейросетевые архитектуры широко применятся для аппроксимации задач, где соотношения в данных могут быть сформулированы аналитически [6]. В работе [7] описывается преимущество использования log-cosh функции потерь вместо средней квадратичной ошибки для аппроксимации двумерной однофазной задачи Стефана, где используются две связанных физически информированных нейронных сети (PINN): для предсказания перемещения границы фазового перехода и распределения температур. Авторы исследования [7] отмечают, что функция потерь на основе логарифма гиперболического косинуса (log-cosh) способствует более стабильной процедуре обучения, так как она менее чувствительна к выбросам, свойственным регуляризации с использованием дифференциальных уравнений. В работе [8] авторы используют PINN и динамическое обновление гиперпараметров, связанных с физически информированной регуляризацией, для аппроксимации задачи с фазовым переходом. Эффективность применения сверточной нейронной сети для аппроксимации теплофизической задачи показана в работе [9]. В нашем исследовании также используется архитектура сверточной нейронной сети, и в случае PICNN при регуляризации на основе физических уравнений применяется сглаженная плюс-функция потерь (softplus), сочетающая линейные и логарифмические члены для снижения риска влияния выбросов на процесс настройки весовых коэффициентов нейронной сети.

PICNN обучена с использованием физически информированной регуляризации на результатах 1223 симуляций (в том числе 305 симуляций для валидационной части), которые были получены в результате численных расчетов. Входные данные для расчета на численной модели (начальная температура капли, температура поверхности контакта и окружающего воздуха, толщина капли в результате соударения, минерализация морской воды) варьировались случайным образом с равномерным заполнением пространства параметров (latin-hypercube sampler). Для предварительной обработки результатов численных расчетов мы применяли стандартизированное масштабирование, при котором каждый признак приводится к нулевому среднему и единичной дисперсии.

В основе архитектуры для PICNN и CNN используется сверточный автокодировщик, который включает два сверточных слоя с увеличением числа фильтров и последовательным уменьшением пространственно-временных размерностей, после чего следует декодирующая часть с двумя деконволюциями, восстанавливающими исходное пространственно-временное разрешение. После каждого сверточного и деконволюционного слоев применяется слой нормализации (BatchNormalization) для более стабильного убывания функции потерь. На выходе получается тензор тех же размерностей, что и на входе. В качестве функции активации используется ReLU (Rectified Linear Unit). Во всех экспериментах использовался стохастический оптимизатор (Adam, [10]).

Для минимизации градиента функционала ошибки на основе данных как для PICNN, так и для CNN в качестве функции потерь используется MSE (ур. 1):

Ldata=1Ni=1N(T^idata-T^i)2L_{data}=\frac{1}{N} ∑_{i=1}^N(\hatT _i^{data}-\hatT _i )^2 ,       (1)

где T^idata\hatT _i^{data} — масштабированная температура, полученная в результате расчета на численной модели, и T^i\hatT _i — масштабированная температура, предсказанная CNN. Индекс ii используется для обозначения температуры, соответствующей пространственной и временной координатам из числа всех симуляций обучающей выборки, NN — общее количество индексов (для всех координат и симуляций обучающей выборки). Исследуемая в данной работе PICNN отличается от CNN комбинированной функцией потерь, включающей физическую регуляризацию (ур. 2):

Ltotal=wdataLdata+wPDELPDE+wICLIC+wBCLBC+wStLStL_{total}=w_{data} L_{data}+w_{PDE} L_{PDE}+w_{IC} L_{IC}+w_{BC} L_{BC}+w_{St} L_{St},       (2)

где ww — весовой коэффициент, LL — функция потерь. Обозначения соответствуют уравнению теплопроводности (PDEPDE, ур. 3), граничным (BCBC, ур. 4, 5) и начальным (ICIC, ур. 6) условиям, условию Стефана (StSt, ур. 7). Уравнение теплопроводности, используемое в регуляризации:

rPDE=((ρcT)T-ρiceLHBφT)Tt-x(kTx)r^{PDE}= (\frac{∂(ρcT)}{∂T}-ρ_{ice} L_{HB}\frac{∂φ}{∂T}) \frac{∂T}{∂t}-\frac{∂}{∂x} (k \frac{∂T}{∂x}),       (3)

где TT — предсказанная размерная температура (в градусах Кельвина), ρρ — плотность фазы, cc — теплоемкость фазы, kk — теплопроводность фазы, ρiceρ_{ice} — плотность чистого льда, LHBL_{HB}  — удельная теплота плавления, φφ — объемная доля жидкости в твердой фазе (используется модель пористого морского льда, где поровое пространство занято жидкостью). Для жидкой фазы теплопроводность, плотность и теплоемкость считаются постоянными, в то время как φT=0\frac{∂φ}{∂T}=0. Для твердой фазы ρρ, cc, kk, LHBL_{HB} и φφ являются функциями от температуры и минерализации воды и рассчитываются по корреляциям, представленным в работах [3, 4]. Условие на границе между каплей и поверхностью:

rBC-=ksubTx|0--kTx|0+r^{BC-}=k_{sub}\frac {∂T}{∂x}|_{0-}- k \frac{∂T}{∂x} |_{0+}, (x=0)(x=0),       (4)

где ksubTx|0-k_{sub}\frac {∂T}{∂x}|_{0-} — постоянный тепловой поток на границе поверхности, ksubk_{sub} — теплопроводность поверхности. Конвективный теплообмен на верхней границе определяется условием:

rBC+=kTx|x=H--h(Tair-T(H))r^{BC+}=k \frac{∂T}{∂x}|_{x=H-}-h (T_{air}  - T(H)),   (x=H)(x=H),       (5)

где hh — коэффициент теплопередачи, рассчитанный по корреляции, приведенной в работе [11], TairT_{air} — температура воздуха, HH — толщина капли, замерзающей в форме плоского диска. Согласно результатам, приведенным в работах [12, 13], в результате соударения с холодной поверхностью капля принимает форму плоского диска, что позволяет использовать одномерную формулировку, при этом характерные толщины варьируются в диапазоне от ≈0.5 мм до ≈1.3 мм. Регуляризация за счет учета начального условия определяется соотношением:

rIC=T(x,t=0)-Tinr^{IC}=T(x,t=0)-T_{in},       (6)

где TinT_{in} — начальная температура капли. Также в регуляризации используется соотношение скорости перемещения границы раздела фаз и равенства тепловых потоков с учетом фазового перехода (условие Стефана):

rSt=dδdt-ksTx-k0Txρi(1-φ(0))LHBr^{St}=\frac{dδ}{dt}-\frac{k_s \frac{ ∂T}{∂x}-k_0 \frac {∂T}{∂x}}{ρ_i (1-φ(0)) L_{HB}},       (7)

где скорость перемещения границы dδdt\frac{dδ}{dt} находится через определение координаты, которой соответствует TfT_f (температура начала фазового перехода): δ(t)=x(T(x,t)=Tf).δ(t)=x(T(x,t)=T_f). Для уравнений (3–7) используется сглаженная плюс-функция потерь softplus (ур. 8):

L=1Ni=1Nln(cosh(ri))L=\frac{1}{N} \sum_{i=1}^{N}ln(cosh(r_i)).       (8)

Результаты

Предсказательная точность PICNN оценивалась на тестовой выборке из 477 симуляций по методу кросс-валидации с использованием 5 разделений. В качестве метрики оценивания использовались средняя абсолютная ошибка (MAE, ур. 9) и среднеквадратическая ошибка (RMSE, ур. 10):

MAE=1Mk=1M|Tkdata-Tk|MAE=\frac{1}{M}\sum_{k=1}^{M}|T_k^{data}-T_k | ,       (9)

RMSE=(1Mk=1M(Tkdata-Tk)2RMSE=\sqrt{(\frac{1}{M}\sum_{k=1}^{M}(T_k^{data}-T_k )^2},       (10)

где используется размерное значение температуры и число значений MM соответствует всем пространственно-временным координатам kk всех симуляций тестовой выборки. Результаты MAE для PICNN приведены на рисунке 1. Точность прогноза PICNN сопоставлена с точностью сверточной нейронной сети (CNN) без физически информированной регуляризации (таб.1), обучение и тестирование которой проводилось на тех же выборках данных.

Таблица 1. Сопоставление точности аппроксимации для CNN и PICNN с лучшими гиперпараметрами на 5 тестовых выборках

Тестовая выборка

MAE (CNN)

MAE (PICNN)

RMSE (CNN)

RMSE (PICNN)

1

0.091255

0.095004

0.154692

0.171937

2

0.098072

0.106743

0.215764

0.178408

3

0.097197

0.095646

0.168930

0.158892

4

0.099714

0.097608

0.169618

0.167995

5

0.091889

0.099184

0.179064

0.171490

Среднее

0.095625

0.098837

0.177614

0.169745

 

Аналогично подходу в работе [8], во время настройки весовых коэффициентов нейронной сети мы автоматизировали построение расписания для динамического изменения гиперпараметров, связанных с масштабированием соотношения значений функций потерь на данных и физических уравнений. В большинстве экспериментов оптимальным решением являлось ступенчатое сжижение доли физической регуляризации на 10 % при начальном значении 50 % от суммы функций потерь на данных и физических уравнений. Остановка обучения происходила при отсутствии снижения MSE для валидационных данных в течение 10000 эпох с сохранением лучших весовых коэффициентов нейронной сети. Для CNN и PICNN были протестированы 4 значения шага оптимизации, и с учетом использования комбинированной функции потерь у PICNN (MSE и softplus), мы сопоставляем точность предсказаний PICNN по сравнению с лучшей CNN (шаг оптимизации 10-3), независимо от значения шага оптимизации для PICNN. Определение оптимальных начальных значений гиперпараметров для физической регуляризации у PICNN было реализовано методом линейного перебора при соблюдении условия нахождения общей суммы функции потерь физической регуляризации в границах от 30 % до 70 % от суммы функций потерь на данных и физических уравнений, и условия нахождения каждой функции потерь на основе физической регуляризации в границах от 20 % до 80 % от общей суммы функций потерь физической регуляризации.

Примеры предсказания температуры для одной пространственной координаты с использованием PICNN и CNN представлены на рисунке 2. На четырех графиках показаны два самых низких и два самых высоких значения RMSE: в области высокого градиента температуры во время фазового перехода с образованием пористого льда у PICNN можно отметить снижение ошибки. При этом наибольшее значение MAE (из всех выборок) для PICNN составило 1.88 °C, для CNN 4.5 °C.

Рисунок 1. Распределение среднего значения MAE для тестовых выборок у PICNN во времени и по координате. Здесь для удобства сопоставления используется безразмерная пространственная координата x¯=x/H\bar{x}=x/H и размерная температура

Рисунок 2. Сопоставление двух наименьших и двух наибольших RMSE с точки зрения предсказания температуры для одного слоя в капле (из всех симуляций в 3-й тестовой выборке)

Выводы

Использование аппроксимации вместо расчета на численной модели значительно сокращает время, требуемое для прогнозирования замерзания капли морской воды на холодной поверхности (3 минуты на численной модели и миллисекунды на CNN или PICNN), что значительно упрощает использование модели замерзания при интегрированном подходе прогнозирования обледенения объектов морской инфраструктуры. Сверточная нейронная сеть является подходящей архитектурой для аппроксимации двухфазной одномерной модели фазового перехода. Дополнение стандартной архитектуры CNN физической регуляризацией на первый взгляд не дает существенного преимущества. В рамках использованного набора данных для обучения и исследованных гиперпараметров (шаг оптимизации, коэффициенты масштабирования в физической регуляризации функции потерь) дополнение CNN физически информированной регуляризацией показывает незначительное улучшение в точности, которое более заметно в области высокого градиента температуры. Однако с учетом сопоставления максимального значения MAE предсказания PICNN надежнее. В целом по сопоставлению метрик MAE и RMSE для CNN и PICNN можно судить о том, что прогнозы последней меньше подвержены выбросам из-за добавления функции потерь, учитывающей физику пространственно-временных соотношений для поля температур (дифференциальное уравнение теплопроводности).

Список литературы

1. Eskin D. Simulation of freezing a sea water droplet moving in a cold air / Eskin D., Fisher G., Vulf M., Chugunov S., Johansen S. // Cold Regions Science and Technology. — 2024. — Vol. 223. — № 104226. — https://doi.org/10.1016/j.coldregions.2024.104226.

2. Eskin D. A model of oil sand lump digestion / Eskin D., Leonenko Y., Lezhnin S., Vinogradov O. // Miner. Eng. — 2002. — Vol. 15. — Pp. 469–472. — https://doi.org/10.1016/S0892-6875(02)00065-1.

3. Cox G. Brine drainage and initial salt entrapment in sodium chloride ice / Cox G., Weeks W. // CRREL Res. Rep. — 1975. — № 85.

4. Frankenstein G. Equations for determining the brine volume of sea ice from –0.5 °C to –22.9 °C / Frankenstein G., Garner R. // J. Glaciol. — 1967. — Vol. 6. — Pp. 943–944. — https://doi.org/10.1017/S0022143000020244.

5. Dhar S. Sea-spray measurement tools and technique employed in marine icing field expeditions: A critical literature review and assessment using cfd simulations / Dhar S., Naseri M., Khawaja H.A., Samuelsen E.M., Edvardsen K., Barabady J. // Cold Regions Science and Technology. — 2024. — Vol. 217. — № 104029. — https://doi.org/10.1016/j.coldregions.2023.104029.

6. Klapa Antonion X. W. Machine learning through physics-informed neural networks: Progress and challenges / Klapa Antonion X. W., Raissi M., Joshie L. // Academic Journal of Science and Technology. — 2024. — Vol. 9.

7. Li J. Improved physics-informed neural networks combined with small sample learning to solve two-dimensional Stefan problem / Li J., Wu W., Feng X. // Entropy. — 2023. — Vol. 25. — https://doi.org/10.3390/e25040675.

8. Cai S. Physics-informed neural networks for heat transfer problems / Cai S., Wang Z., Wang S., Perdikaris P., Karniadakis G.E. // Journal of Heat Transfer. — 2021. — Vol. 143. — № 060801. — https://doi.org/10.1115/1.4050542.

9. Zhao X. Physics-informed convolutional neural networks for temperature field prediction of heat source layout without labeled data / Zhao X., Gong Z., Zhang Y., Yao W., Chen X. // Engineering Applications of Artificial Intelligence. — 2023. — Vol. 117. — № 105516. — https://doi.org/10.1016/j.engappai.2022.105516.

10. Kingma D.P. Adam: A method for stochastic optimization / Kingma D. P., Ba J. — 2017.

11. McAdams W. Heat Transmission. International student edition / McAdams W. — McGraw-Hill, 1954.

12. Lin H. The impact and freezing processes of a saltwater droplet on an ice surface / Lin H., Jin Z., Yang Z., Wu Y. // Physics of Fluids. — 2024. — Vol. 36. — № 122120. — https://doi.org/10.1063/5.0245049.

13. Zeng H. Extended spreading of saline droplets upon impact on a frosty surface / Zeng H., Wang F., Sun C., // Phys. Rev. Fluids. — 2024. — Vol. 9. — № 044001. — https://doi.org/10.1103/PhysRevFluids.9.044001.

Войти или Создать
* Забыли пароль?