다항특성 릿지 회귀를 이용한 316L 스텐레스강의 고온 유동응력 예측

1. 서 론

금속재료의 열간성형 공정의 최적화 및 유한요소해석의 기초가 되는 유동응력 예측모델의 개발은 매우 중요하다. 전통적으로 이러한 유동응력 예측모델은 구성방정식의 형태로 개발되는데 이는 금속의 고온변형의 온도, 변형률속도, 변형률 등의 공정변수와 유동응력의 관계를 함수로 표현한 것이다.

이러한 전통적 형태의 구성방정식들은 지금까지 다양한 모델이 개발되어 많은 재료의 고온 변형에 성공적으로 적용되었다. 하지만 전통적 구성방정식들은 입력변수와 출력변수 간의 관계를 선형적으로 표현하는 것이 보통이기 때문에 실제로는 비선형적인 형태로 존재하는 이들 변수들 간의 관계를 선형의 회귀식으로 표현하는데 있어 응력 예측의 정확도에 한계를 보이는 실정이다.

이에 따라, 다양한 재료의 고온변형 유동응력의 모델링에 머신러닝 알고리즘을 적용하여 기존 방식의 한계를 극복하려는 연구가 활발하다. 이들 머신러닝 알고리즘들은 전통적 구성방정식과 비교하여 모델의 개발이 용이한 경우가 많으며 비선형적인 변수들간의 관계를 비교적 효과적으로 모델링할 수 있다는 장점을 가진 것으로 알려져 있다. 이러한 머신러닝 알고리즘은 다양한 알고리즘이 고온변형 응력의 모델링에 적용되고 있는데 대표적인 예로는 인공신경망^[1-5] 및 서포트벡터머신^{[2, 6-8]}이 있다.

이러한 다양한 머신러닝 알고리즘들은 일반적으로 매우 뛰어난 예측 성능을 보이는 것으로 나타났지만 이들 중 통계학 및 머신러닝 분야에서 많이 쓰이는 릿지 회귀(ridge regression) 알고리즘은 고온 변형의 응력 모델링에서는 뒤쳐지는 예측성능을 보이는 것으로 알려져 있다^[9].

이는 릿지 회귀 알고리즘이 보통의 전통적 구성방정식과 같은 선형의 회귀식을 사용하고 있으며 이러한 특성 때문에 앞서 기술한대로 변수들 간의 비선형적 특성이 강한 고온 변형 유동응력의 변화를 모델링하는데는 한계를 보일 수 있기 때문이다.

그럼에도 불구하고 릿지 회귀 알고리즘은 적용이 매우 간편하고 연산시간이 짧은 알고리즘에 속하기 때문에 여전히 큰 이점을 가지고 있으며 약간의 수정을 통하여 예측의 정확도를 높이는 연구를 계속할 필요가 있다고 생각된다. 이에 따라 본 연구에서는 릿지 회귀에 추가요소를 더하여 그 전통적 형태의 알고리즘의 성능을 향상시키기 위한 연구를 수행하였다. 이를 위하여 본 연구에서는 전통적 릿지 회귀 알고리즘에 다항 특성(polynomial features)을 부여하여 약간의 변형된 모델을 개발하고 이것의 예측성능을 전통적 릿지 회귀의 예측성능과 비교하였다. 이를 위하여 각종 예측 오차들을 계산하여 비교분석하였으며 예측값들 및 오차의 분포를 탐구하여 비교분석하는 연구를 수행하였다. 본 연구의 수행을 위한 고온변형 실험데이터로는 저자의 이전 연구^[2]에서 사용된 316L 스텐레스강의 고온 변형 데이터를 사용하였는데 구체적으로 0.0002/s, 0.002/s 및 0.02/s의 변형률속도와 800^oC, 900^oC 및 1000^oC의 온도에서의 고온변형 실험데이터이다.

2. 유동응력 모델링

2.1 Ridge regression

먼저, 전통적 선형 회귀식은 학습데이터 한 개에 대하여 아래와 같이 정의할 수 있다.

$\[ \widehat{y}=w_1{x}_1+w_2{x}_2+\cdots +w_p{x}_p+b \]$

(1)

여기에서 $$ \widehat{y}$$는 회귀식의 예측값, $$ w_1,w_2,\cdots ,w_p$$는 회귀식의 계수(가중치), $$ x_1,x_2,\cdots ,x_p$$는 입력변수, b는 편향(bias)이다. P는 학습데이터 한 개가 가진 입력변수의 개수이다. 본 연구의 기본 모델에서는 온도(T), 변형률속도, 변형률의 3가지 입력변수를 사용하므로, 식 (1)의 P는 3이 된다.

만약 모델의 학습 상황 등에서 여러 개의 학습데이터가 존재한다면 이 중 i번째 학습데이터에 대한 회귀식은 다시 아래와 같이 쓸 수 있다.

$\[ {\widehat{y}}_l=w_1{x}_{i1}+w_2{x}_{i2}+\cdots +w_p{x}_{ip}+b \]$

(2)

이 회귀식의 계수 및 편향을 구하기 위한 목적함수는 아래와 같다.

$\[ \begin{array}{c}J=\sum _{i=1}^n{\left(y_i-{\widehat{y}}_l\right)}^2=\hfill \\ \sum _{i=1}^n{\left(y_i-\left(w_1{x}_{i1}+w_2{x}_{i2}+\cdots +w_p{x}_{ip}+b\right)\right)}^2\hfill \end{array} \]$

(3)

여기에서 y_i는 i번째 실제 실험데이터, $$ \widehat{y_l}$$는 식 (2)에서 정의된 i번째 학습데이터의 입력에 대한 예측값이며 이 목적함수 J를 최소화하는 것으로 회귀식의 계수와 편향을 구할 수 있게 된다.

하지만 이러한 전통적 최소제곱법에 의한 방식은 수치적으로 불안정할 수 있으며 또한 추정된 선형 회귀식의 계수의 크기가 불필요하게 증가하여 학습데이터는 잘 예측하나 새로운 데이터에 대한 예측은 그렇지 못한 과적합(overfitting) 문제가 발생할 수 있다.

이에 따라 Hoerl 및 Kennard^[10,11]은 목적함수의 계수의 크기를 인위적으로 규제하는 식을 제안하였다. 이는 식 (3)의 목적함수에 계수 w의 크기를 규제하는 항 α|w|²을 추가한 것이며 다시 말하여 계수 w의 L2-norm의 제곱에 α를 곱한 것을 더한 것인데 이에 따라 수정된 목적함수는 아래와 같이 된다.

$\[ J={\Sigma }_{i=1}^n{\left(y_i-{\widehat{y}}_l\right)}^2+\alpha {\Sigma }_{j=1}^p{w}_j^2 \]$

(4)

그리고 이렇게 새로운 목적함수를 이용하여 회귀식을 구하는 방식을 릿지 회귀(ridge regression)라 한다.

여기에서 α(α ≥ 0)는 하이퍼파라미터이며 규제의 강도를 조절하는데 계수 w의 절댓값은 적절한 α값에 따라 줄어들어 모델의 과적합 위험은 완화된다.

본 연구의 릿지 회귀 모델링에서는 탐구 대상 데이터 영역을 변형률 값이 약 0.045인 점에서부터 약 0.405인 점까지 0.04씩의 증분을 가진 점들로 하였으며 각 곡선마다 10개씩의 점들이 존재하므로 9개의 곡선에서 총 90개의 점들을 학습용 데이터로 사용하였다.

또한 α값은 최적화 연산 후 13.049로 결정하였으며 학습용 입력변수 데이터들은 릿지 회귀의 계산절차에 따라 표준화(standardization)되었다.

Fig. 1은 개발된 릿지 회귀 모델로 예측한 유동응력과 실험데이터를 (a) 800^oC (b) 900^oC 및 (c) 1000^oC에서 각각 점들과 곡선으로 나타낸 것이다. 각기 다른 변형률 속도의 예측값들은 다른 색의 점들로 표시되었다.

Fig. 1

Experiments vs predicted values by ridge regression for (a) 800oC (b) 900oC (c) 1000oC

실험값으로 측정한 유동응력은 온도 및 변형률 속도에 매우 민감한 것으로 나타난다. 예측 결과 릿지 회귀는 예측 성능이 좋지 않으며 대부분의 온도, 변형률 속도에서 좋지 않은 성능을 보이는 것으로 나타났다. 이러한 결과는 이전의 연구^[9]와 비슷한 결과로서 릿지회귀 알고리즘의 성능을 보다 향상시킬 필요성을 알 수 있게 한다.

2.2 Ridge regression with polynomial features

앞서 기술한 것과 같이 전통적 회귀 및 릿지 회귀는 그 회귀식의 형태가 선형인데 이점에서 예측성능에 근본적인 한계를 보인다. 본 연구에서도 실험데이터의 입력, 출력 변수들 간의 관계는 매우 밀접하며 비선형적인데 기존 회귀 방식의 한계를 극복하기 위하여 본 연구에서는 전통적 형태의 릿지 회귀 알고리즘에 다항 특성(polynomial features)를 더하였다.

다항특성을 더하는 방식은 구체적으로 기존 입력변수들의 거듭제곱항과 교차항들을 새로이 추가하여 입력변수의 개수를 늘리는 것이다. 이러한 방식은 기존 모델의 예측능력을 향상시키기 위하여 다양한 분야에서 쓰이는 방식이다. 본 연구에서는 3차까지의 항들을 변수에 추가하였으며 입력변수의 개수를 기존 3개에서 총 19개로 늘려서 예측모델을 개발하였다. 그 입력변수들은 구체적으로 아래의 Table 1에 표시한 것과 같다.

Table 1

Input parameters

이러한 방식은 기존의 세 입력변수인 $$ T,\dot{ϵ},ϵ$$ 이외에도 추가 입력변수를 인위적으로 만들어 학습시킴으로써 모델이 입력변수와 출력변수의 비선형적 관계를 표현할 수 있게 한다.

Fig. 2는 이러한 다항특성이 추가된 새로운 릿지 회귀 알고리즘으로 예측한 유동응력 값들을 실험데이터와 함께 (a) 800^oC, (b) 900^oC 및 (c) 1000^oC에서 각각 점과 곡선으로 나타낸 것이다.

Fig. 2

Experiments vs predicted values by ridge regression with polynomial features for (a) 800oC (b) 900oC (c) 1000oC

그림을 보면 새로 개발된 모델의 예측 정확도는 매우 뛰어남을 알 수 있다. 800^oC의 온도 및 0.0002/s의 변형률 속도에서의 값들과 1000°C의 온도 및 0.002/s의 변형률 속도에서의 값들을 제외하면 대부분의 온도 및 변형률 속도에서 예측값과 실험데이터가 거의 일치한다. 새로 개발된 모델의 예측값들은 MAE가 1.946 MPa, MSE는 10.555, RMSE는 3.249 MPa이었으며 MAPE는 1.44%인 것으로 나타났다.

3. 비교분석

전통적 릿지 회귀와 다항특성 릿지 회귀의 예측 성능을 비교분석하기 위하여 각 알고리즘의 오차들을 Table 2에 표시하였다. 모든 종류의 오차에 대하여 큰 폭의 향상이 이루졌음을 알 수 있다. 특히 R²값도 0.9227에서 0.9980으로 대폭 향상되었음을 알 수 있다.

Table 2

Comparison of errors

예측 정확도의 향상은 Fig. 3에 그린 산포도(scatter plot)에서도 한 눈에 알 수 있다. 릿지 회귀에서는 예측 데이터와 완벽예측선이 서로 매우 다르게 분포하고 있음을 알 수 있는 반면 다항식 릿지 회귀에서는 대부분의 예측 데이터의 분포가 완벽예측선과 거의 부합하고 있음을 알 수 있다.

Fig. 3

Scatter plots for (a) ridge regression (b) ridge regression with polynomial features

예측한 데이터들의 오차분포를 보기 위하여 Fig. 4에 상대백분율 오차(relative percentage error) 히스토그램 그래프를 표시하였다. Fig. 4(a)에 표시한 릿지 회귀의 경우 오차의 평균은 -0.773%, 표준편차는 18.392%였으며 Fig. 4(b)에 표시한 다항특성 릿지 회귀의 오차는 평균이 0.027% 이며 표준편차는 2.281%였다. 릿지 회귀의 경우 오차의 분포 범위가 넓은 것을 알 수 있는데 전체적인 오차의 분포 역시 매우 불규칙하다. 반면에 새로운 모델인 다항특성 릿지 회귀의 경우 오차는 비교적 좁은 범위에 분포하고 있으며 릿지 회귀에 비하여 오차분포가 비교적 대칭적이다. 따라서 새로운 모델은 예측의 정확도가 높으며 오차분포가 비교적 신뢰성 있는 형태인 것을 알 수 있다.

Fig. 4

Histogram plots for (a) ridge regression (b) ridge regression with polynomial features

오차의 온도 및 변형률 속도 별 분포를 알기 위하여 MSE를 택하여 그 heatmap을 Fig. 5에 표시하였다. Fig. 5(a)는 릿지 회귀, Fig. 5(b)는 다항특성 릿지 회귀의 heatmap이다. 두 알고리즘 전부 800^oC의 온도 및 0.0002/s의 변형률 속도에서 오차가 크게 발생한다는 공통점을 보인다. 이 영역에서 나타나는 가공경화나 동적 재결정 등의 현상은 물리적으로 전위밀도나 저장 에너지의 증가 등의 요인들과의 강한 비선형적 인과관계로 일어나는 현상인데 이 때 제한된 입력변수들의 선형적 결합으로 이루어진 릿지 회귀 모델로 유동응력을 예측하는 것은 뚜렷한 한계가 있어 보이며 다항특성 릿지 회귀 모델 역시 어느 정도의 향상은 있었으나 여전한 한계가 존재하는 것으로 보인다. 대체로 오차는 모든 온도와 변형률 속도에서 다항특성 릿지 회귀가 적은 것을 알 수 있다.

Fig. 5

Heatmap plots for (a) ridge regression (b) ridge regression with polynomial features

4. 결 론

본 연구에서는 316L 스텐레스 합금의 고온 변형 시 유동응력의 변화를 릿지 회귀(ridge regression) 및 다항특성 릿지 회귀(ridge regression with polynomial features)로 모델링하여 예측의 정확도 및 오차의 분포를 관찰하였다.

릿지 회귀는 입력변수와 출력변수의 비선형적 관계가 강한 본 연구의 고온 변형 데이터에는 매우 저조한 예측성능을 보였는데 다항특성이 결합된 새로운 릿지 회귀 모델의 정확도는 매우 크게 향상되었다.

본 연구에서와 같이 릿지 회귀에 다항특성을 더하는 방식에서는 입력변수가 3개에서 19개로 늘어나며 이렇게 하여 입력변수들과 출력변수들의 비선형적 관계를 표현할 수 있게 되는데 이것이 고온 변형의 실제 물리적 현상을 더 잘 반영하는 것인지 여부는 별도의 논의가 필요하다고 생각된다.

또 이렇게 입력변수를 인위적으로 늘리는 방식에서는 다항 변수의 차수를 지금의 3차에서 더욱 늘리면 입력변수가 현재의 19개에서 크게 증가하는데 이렇게 하면 모델의 연산자원 소모가 커질 수 있다고 생각된다.

또한 입력변수의 개수가 늘어나고 학습데이터의 양이 많아지면 간단한 적용과 빠른 연산이라는 장점을 가진 릿지 회귀 모델에 약간의 수정만으로 뛰어난 예측결과를 얻는다는 본래의 취지를 잃게 될 수 있다.

다만, 본 연구와 같은 고온 변형 유동응력의 예측 연구분야에 있어서는 입력변수가 불과 수 개 정도에 불과하며 데이터의 규모도 수 백 개 정도가 보통이므로 적용이 간편하며 연산자원 소모가 적은 릿지 회귀 알고리즘을 약간 변경 및 적용하여 높은 정확도의 예측결과를 얻는 것은 충분히 의미가 있다고 생각된다.

Acknowledgments

이 논문은 2025학년도 순천향대학교 교수 연구년제에 의하여 연구하였음.

References

• Senthilkumar, V., Balaji, A., Arulkirubakaran, D., 2013, Application of Constitutive and Neural Network Models for Prediction of High Temperature Flow Behavior of Al/Mg Based Nanocomposite, Trans. Nonferrous Met. Soc. China, 23:6 1737-1750. [https://doi.org/10.1016/S1003-6326(13)62656-4]
• Song, S., 2020, A Comparison Study of Constitutive Equation, Neural Networks, and Support Vector Regression for Modeling Hot Deformation of 316L Stainless Steel, Materials, 13:17 3766. [https://doi.org/10.3390/ma13173766]
• Duan, Y., Ma, L., Qi, H., Li, R., Li, P., 2017, Developed Constitutive Models, Processing Maps and Microstructural Evolution of Pb-Mg-10Al-0.5B Alloy, Mater. Charact., 129 353-366. [https://doi.org/10.1016/j.matchar.2017.05.026]
• Quan, G. Z., Wang, T., Li, Y. L., Zhan, Z. Y., Xia, Y. F., 2016, Artificial Neural Network Modeling to Evaluate the Dynamic Flow Stress of 7050 Aluminum Alloy, J. Mater. Eng. Perform., 25 553-564. [https://doi.org/10.1007/s11665-016-1884-z]
• Zhao, J., Ding, H., Zhao, W., Huang, M., Wei, D., Jiang, Z., 2014, Modelling of the Hot Deformation Behaviour of a Titanium Alloy Using Constitutive Equations and Artificial Neural Network, Comput. Mater. Sci., 92 47-56. [https://doi.org/10.1016/j.commatsci.2014.05.040]
• Desu, R. K., Guntuku, S. C., Aditya, B., Gupta, A. K., 2014, Support Vector Regression Based Flow Stress Prediction in Austenitic Stainless Steel 304, Procedia Mater. Sci., 6 368-375. [https://doi.org/10.1016/j.mspro.2014.07.047]
• Kanumuri, L., Srishuka, M., Gupta, A. K., Singh, S. K., 2015, Application of Support Vector Regression on Mechanical Properties of Austenitic Stainless Steel 304 at Elevated Temperatures, Mater. Today: Proc., 2:4-5 1479-1486. [https://doi.org/10.1016/j.matpr.2015.07.073]
• Rakhshkhorshid, M., Mollayi, N., Maldar, A. R., 2017, A SVM Model to Predict the Hot Deformation Flow Curves of AZ91 Magnesium Alloy, Iran. J. Mater. Form., 4:2 15-24. [https://doi.org/10.22099/ijmf.2017.22296.1062]
• Harikrishna, K., Nithin, A., Davidson, M. J., 2025, Evaluation of Machine Learning Models for Predicting the Hot Deformation Flow Stress of Sintered Al–Zn–Mg Alloy, J. Eng. Mater. Technol., 147:2 021006. [https://doi.org/10.1115/1.4067131]
• Hoerl, A. E., Kennard, R. W., 1970, Ridge Regression: Biased Estimation for Nonorthogonal Problems, Technometrics, 12:1 55-67. [https://doi.org/10.1080/00401706.1970.10488634]
• Hoerl, A. E., Kennard, R. W., 1970, Ridge Regression: Applications to Nonorthogonal Problems, Technometrics, 12:1 69-82. [https://doi.org/10.1080/00401706.1970.10488635]