커넥터 체결 진동 데이터를 활용한 딥러닝 기반 커넥터 조립 상태 판별
Abstract
Recent advances in manufacturing automation have increased the need for reliable automatic inspection technologies to ensure connector fastening quality. However, in real connector fastening processes, it is difficult to consistently distinguish normal fastening from incomplete fastening because of positional variations, cable interference, and external disturbances. In this study, a deep-learning-based classification method is proposed to determine assembly states using vibration signals generated during the connector fastening process. The core objective of this study was the development of a CNN-based classification model that captures the inherent vibration signal patterns produced during connector fastening. A dataset was constructed by classifying the vibration patterns generated during the fastening process into fully and incompletely fastened states. Using this dataset, the CNN model was trained, validated, and tested to ensure generalization performance, achieving a classification performance of approximately 98% or higher on the test data.
Keywords:
Discrimination, Connector assembly, Deep learning, Connector locking, Vibration data1. 서 론
제조 산업에서 자동화 수준이 고도화될수록 조립 공정의 품질을 공정 내부에서 신뢰성 있게 검증할 수 있는 기술의 중요성은 더욱 커지고 있다. 특히 전기･전자 시스템에서 커넥터는 신호와 전력을 전달하는 핵심 연결 요소이므로, 체결 불량은 단순한 조립 오류를 넘어 시스템 신뢰성 저하와 유지보수 비용 증가로 이어질 수 있다. 따라서 커넥터 조립 상태를 정량적으로 판별하는 문제는 스마트 제조와 품질 자동화 측면에서 중요한 연구 과제로 인식되고 있다. 그러나 실제 커넥터 체결 공정은 높은 공정 안정성을 확보하기 어려운 작업으로 알려져 있다. 커넥터는 위치 편차, 공차, 케이블 간섭, 외란 등의 영향을 크게 받으며, 이로 인해 자동화된 체결 공정보다 작업자 의존적 방식이 여전히 널리 사용되고 있다. 이와 같은 배경에서 올바르게 잠긴 커넥터를 정확히 식별하는 일은 제조 현장의 핵심적인 품질보증 수단이나[1] 커넥터 조립 불량은 단일한 형태로 발생하지 않는 문제가 있다. 불완전 삽입, 오염에 따른 체결 저항 증가, 수･암 커넥터 간 정렬 불량, 잠금 구조의 제조 오차와 같은 다양한 실패 메커니즘이 존재하므로, 단순히 체결 후 외관이나 위치만으로 정상 여부를 판단하는 데에는 한계가 있다[2]. 이는 체결 과정에서 나타나는 동적 거동과 물리적 신호를 함께 고려할 필요가 있음을 시사한다.
기존 연구의 상당수는 조립 성공률 향상, 위치 정렬, 삽입 제어 또는 외관 검사에 집중되어 있으며, 체결 순간에 발생하는 신호를 기반으로 정상 체결과 비정상 체결을 직접 구분하는 문제는 상대적으로 제한적으로 논의되어 왔다[3]. 체결 확인 방법으로는 비전 기반 검증이나 증강현실 기반 작업 보조 방식이 제안되어 왔다. 그러나 이러한 접근은 실제 기능적 체결 상태를 직접 보장하기 어렵고, 조명 변화, 반사, 시야 가림, 배경 복잡도와 같은 현장 조건에 따라 성능이 크게 달라질 수 있다[4]. 따라서 단순 영상 정보에만 의존하는 방식은 실제 생산 환경에서 안정적인 품질 판별 수단으로 사용되기에는 한계를 가진다.
이와 동시에 딥러닝은 다양한 연구 분야에서 복잡한 패턴을 자동으로 학습하고 우수한 분류 성능을 확보하는 방법으로 빠르게 확산되어 왔다. 이러한 성과는 제조 공정에서의 신호 해석과 상태 판별 문제에도 적용 가능성을 제공하며, 기존 규칙 기반 방법으로 설명하기 어려운 비선형적 특성 차이를 데이터 기반으로 식별할 수 있는 기반을 마련하였다[5]. 불확실한 작업 환경과 다양한 외란에 대응하면서 부품 조립을 효과적으로 수행하기 위한 인공지능 기반 연구도 꾸준히 보고되고 있다. 이는 제조 공정에서 단순 제어를 넘어 학습 기반 판단과 적응적 의사결정이 중요해지고 있음을 보여주며, 커넥터 조립 분야에서도 데이터 기반 접근의 필요성을 뒷받침한다[6].
실제로 특정 부품에 대해 학습된 모델을 이용하여 다양한 커넥터 조립 과제를 수행하려는 시도도 제안된 바 있다. 이러한 연구는 온라인으로 취득한 데이터를 바탕으로 모델을 보정하고, 조립 성공률이 낮은 대상에 대해서는 추가 미세조정을 수행함으로써 다양한 커넥터에 대한 적용 가능성을 높였다는 점에서 의미가 있다[7].
커넥터 분야에서 딥러닝 기반 검사의 가능성은 외관 결함 검출 연구를 통해서도 확인되고 있다. 합성곱신경망을 이용한 연구에서는 다수 전기 커넥터의 미세 핀 결함을 동시에 검출하기 위한 모델이 제안되었고, 복잡한 산업 환경에서도 높은 정확도를 달성할 수 있음을 보였다. 특히 제안 모델은 최대 97.42%의 시험 정확도를 보고하여 커넥터 관련 상태 판별 문제에서 딥러닝의 실효성을 입증하였다[8]. 또 다른 연구에서는 제조 현장의 낮은 신호대잡음비 문제를 해결하기 위해 국부 음향 이벤트 측정 프로브를 설계하고, 전기 커넥터 연결음을 배경 소음으로부터 분리하여 성공 및 실패 이벤트를 분류하는 방법을 제시하였다. 이 연구는 음향 기반 확인 방식이 75% 이상의 검출 및 분류 효과를 보일 수 있음을 제시하며, 체결 과정에서 발생하는 비시각적 신호가 품질 판별에 활용될 수 있음을 보여준다[9]. 또한 광학 마이크 데이터를 이용한 연구에서는 커넥터 플러깅 및 체결 작업이 높은 공정 안정성을 확보하기 어려우며, 케이블 가림과 같은 외란으로 인해 영상 기반 품질 평가가 도전적이라고 지적하였다. 이에 따라 해당 연구는 커넥터 체결 시 발생하는 고유 음향 특성을 분석하고 다양한 신경망 구조를 적용하여 체결 신호를 식별하였으며, 실험실 조건과 실제 제조 환경 모두에서 약 90% 수준의 분류 성능을 보고하였다[10].
이와 같은 선행연구를 종합하면, 커넥터 조립 자동화 분야에서는 조립 전략, 비전 검사, 음향 기반 확인, 그리고 딥러닝 기반 결함 검출과 같은 다양한 접근이 제안되어 왔음을 알 수 있다. 그러나 여전히 체결 순간에 발생하는 기계적 반응을 직접 반영하는 신호를 이용하여 정상 체결과 불완전 체결을 안정적으로 구분하는 연구는 충분하지 않다. 특히 실제 조립 과정에서 나타나는 접촉, 마찰, 삽입, 잠금 메커니즘 작동의 변화는 진동 신호 형태로 직접 반영될 가능성이 높음에도 불구하고, 이에 대한 체계적 분석과 딥러닝 기반 판별 연구는 상대적으로 부족한 실정이다.
따라서 본 연구에서는 커넥터 체결에서 수집한 진동 데이터를 기반으로 조립 상태를 판별하는 딥러닝 기반 방법을 제안하고, 이를 통해 커넥터 조립 공정의 품질 판별 자동화 가능성을 검토하고자 한다.
2. 연구 내용 및 방법
2.1 연구 방법 및 절차
시험 벤치에서 커넥터 체결 과정의 진동 데이터를 수집하고, 수집된 원시 신호에 대해 전처리 및 특징 추출을 수행한 후, 다양한 딥러닝 분류 모델에 적용하여 성능을 비교･평가하는 절차로 연구를 수행하였다. 최종적으로는 가장 우수한 성능을 나타내는 모델을 선정하고, 이를 이용하여 커넥터 조립 상태 판별기의 적용 가능성을 검토하였다. 이러한 전체 절차는 실험 데이터 취득, 데이터셋 구성, 전처리, 모델 학습, 성능 평가 및 현장 적용 가능성 검토의 단계로 구성된다.
커넥터 체결 과정에서 발생하는 3축 진동 신호를 계측하여 데이터셋을 구축하였다. 대상은 정상 체결 상태와 불완전 체결 상태이며, 각각의 신호를 수집하여 이진 분류로 정의하였다. 데이터 수집 단계에서는 커넥터 체결 순간에 포함된 동적 특성을 최대한 보존하기 위해 동일한 샘플링 기준을 적용하였으며, 이후 학습과 평가 조건의 일관성을 확보하도록 하였다. 커넥터 체결은 짧은 시간 내에 충격성 진동이 발생하는 비정상 시계열 특성을 가지므로, 수집된 신호로부터 체결 상태를 반영하는 유효 구간을 추출하는 과정이 중요하다. 이에 따라 원시 신호에서 저주파 배경 성분과 불필요한 외란을 제거한 후, 체결 이벤트에 해당하는 구간을 중심으로 특징 데이터를 구성하였다.
전처리된 데이터는 각 딥러닝 모델의 입력 형식에 맞추어 재구성하였다. 1D CNN(One-Dimensional Convolutional Neural Network)에는 시간축 기반의 원시 시계열 특징을 입력하였고, 2D CNN(Two-Dimensional Convolutional Neural Network)에는 STFT(Short-Time Fourier Transform) 기반의 시간-주파수 스펙트로그램을 생성하여 입력하였다. LSTM(Long Short-Term Memory)과 Transformer에는 시계열의 순차적 특성과 장기 의존성을 반영할 수 있도록 1초 길이의 진동 시퀀스를 구성하였다. 이후 각 모델을 동일한 분류 목적 아래 학습시키고, Accuracy, Precision, Recall, F1-score, Confusion Matrix를 지표로 사용하여 성능을 비교하였다. 모델의 이론적 적합성뿐 아니라 실제 적용성도 함께 고려하였다. 진동 기반 조립 상태 판별은 비전 기반 검사에 비해 시야 가림, 조명 변화, 케이블 간섭 등의 영향을 상대적으로 덜 받는 장점이 있으므로, 실제 제조 현장에서의 품질 모니터링 도구로 활용 가능성이 크다. 따라서 전체 절차는 데이터 수집, 전처리, 모델 학습, 성능 검증으로 이어지는 일반적 딥러닝 파이프라인을 따르면서도, 커넥터 체결 이벤트의 물리적 특성과 제조 공정의 적용 환경을 동시에 반영하도록 설계하였다. Fig. 1은 커넥터 체결 시 발생하는 진동 신호를 기반으로 모델을 설계하여 체결 결과를 판별하는 순서를 나타낸다.
Overall workflow for vibration-based connector assembly status classification
2.2 딥러닝 모델 선정
커넥터 체결 진동 데이터의 특성을 고려하여 네 가지 딥러닝 모델을 비교 대상으로 선정하였다. 이들 모델은 모두 시계열 데이터 분석에 적용될 수 있으나, 입력 표현 방식과 특징 학습 메커니즘이 서로 다르므로 커넥터 체결 신호에 대한 적합성을 비교할 필요가 있다. 원시 시계열 기반 모델, 시간–주파수 영상 기반 모델, 순환 신경망 기반 모델, 그리고 Self-Attention 기반 모델을 함께 구성하여 동일한 분류 문제에 적용하고, 각 모델의 특성과 적용 가능성을 비교･검토하였다.
1D CNN은 원시 시계열 신호로부터 국소적인 파형 패턴을 직접 학습할 수 있는 구조로서[11], 기본 비교 모델로 선정하였다. 커넥터 체결 신호는 체결 순간의 짧은 충격 구간에 상태 정보가 집중되는 특성을 가지므로, 1차원 합성곱 연산을 통해 피크 형태와 국소적인 파형 변화를 효과적으로 추출할 수 있다. 또한 입력 구조가 비교적 단순하여 원시 진동 신호 기반 분류 성능을 평가하기에 적합하다.
2D CNN은 시계열 신호를 시간–주파수 영역으로 변환한 뒤 영상 형태로 학습하는 구조로서[12], 체결 과정에서 나타나는 시간 변화와 주파수 대역별 에너지 분포를 동시에 반영할 수 있다는 점에서 비교 모델에 포함하였다. 특히 3축 진동 신호를 각각 스펙트로그램으로 변환하여 통합적으로 입력할 경우, 원시 파형만으로는 구분하기 어려운 주파수 특성을 시각적 패턴 형태로 학습할 수 있다. 따라서 2D CNN은 시간–주파수 표현이 커넥터 체결 상태 판별에 유효한지를 검토하기 위한 모델로 선정하였다.
LSTM은 시퀀스 데이터의 시간적 의존성을 학습하는 대표적인 순환 신경망 구조이므로 비교 모델로 포함하였다[13]. 커넥터 체결 진동은 짧은 이벤트 중심의 신호이지만, 체결 직전과 직후의 응답 변화 및 감쇠 양상 또한 상태 판별에 영향을 줄 가능성이 있다. 따라서 LSTM을 적용함으로써 체결 신호의 시간적 연속성이 실제 분류 성능 향상에 기여하는지를 확인하였다.
Transformer는 Self-Attention 메커니즘을 기반으로 시퀀스 전 구간의 상호 관계를 학습할 수 있는 구조로서[14], 최근 시계열 분석 분야에서도 활용 범위가 확대되고 있다. Transformer를 적용하여 국소 패턴 중심의 CNN 계열 모델이나 순차 의존성 중심의 LSTM과 달리, 전체 시퀀스 맥락을 반영하는 접근이 커넥터 체결 상태 판별에 적합한지를 함께 확인하였다.
모델 선정 기준은 첫째, 진동 신호의 국소 패턴을 효과적으로 학습할 수 있는가, 둘째, 시간–주파수 변환을 통한 추가 정보가 분류 성능 향상에 기여하는가, 셋째, 시계열의 시간적 연속성 또는 전체 문맥 정보가 상태 판별에 유의미한가에 있다. 이에 따라 서로 다른 특징 학습 방식을 갖는 네 모델을 동일 문제에 적용하여 비교 평가하고, 성능 지표와 적용 가능성을 종합적으로 검토하여 최종 모델을 선정하고자 하였다.
2.3 데이터 특성 분석
사용한 데이터는 커넥터 체결 과정에서 계측된 시계열 진동 데이터이며, 샘플링 주파수는 3200 Hz로 설정하였다. 계측 신호는 X, Y, Z의 3축 채널로 구성되며, 각 축은 커넥터 체결 시 발생하는 방향별 진동 응답을 나타낸다. 데이터셋은 정상 체결 300개와 불완전 체결 300개(불완전 삽입:100개, 오염: 100개, 정렬 불량: 100개)로 구성하였다. 정상 체결과 불완전 체결은 진동 피크의 크기, 지속시간, 감쇠 양상, 축별 응답 패턴에서 구별되며, 이러한 구분 특성은 체결 이벤트가 포함된 구간에서 나타난다. 원시 신호에는 저주파 배경 성분과 체결 이벤트 외 구간이 포함되므로, 조립 상태 분류를 위해서는 체결 이벤트가 포함된 구간을 중심으로 데이터를 구성하였다. 신호의 축별 응답 차이와 시간에 따른 파형 변화를 함께 반영할 수 있도록 입력 데이터를 설계하였다.
Table 1은 모델별 입력 구성으로 1D CNN에는 3축 원시 진동 시계열 신호, 2D CNN에는 시간-주파수 이미지를 적용하여 생성한 스펙트로그램을 사용하였으며, LSTM과 Transformer에는 1초 길이의 시퀀스를 입력으로 사용하였다. 모든 모델에는 고역통과 필터를 공통 적용하였으며, 입력 데이터는 Z-score 정규화를 통해 표준화하였다.
Comparison of workflow for vibration-based connector assembly status classification
3. 실험 조건 및 결과 분석
3.1 실험 장치 셋업
커넥터 체결 과정에서 발생하는 진동 신호를 계측하고, 이를 기반으로 정상 체결(OK)과 비정상 체결(NG)을 판별하기 위한 실험 환경을 구축하였다. 실험 대상은 온도 센서 커넥터 계열이며, 체결 시 발생하는 미세 진동을 안정적으로 획득하기 위해 전용 지그, 3축 가속도 센서, 그리고 데이터 수집 장치(DAQ)로 구성된 계측 시스템을 사용하였다. 커넥터 체결 불량은 미삽입, 불완전 체결, 비틀림 삽입 등 다양한 형태로 나타날 수 있으므로, 동일 형상의 커넥터를 반복 체결하면서 정상 및 불량 상태를 일관된 시험 조건에서 구분할 수 있도록 실험장치를 구성하였다.
가속도 센서는 지그에 직접 부착하여 X, Y, Z 방향의 진동을 동시에 계측하도록 하였으며, DAQ를 이용하여 체결 과정의 진동 신호를 저장하였다. 데이터는 동일 조건에서 반복 체결 방식으로 수행하여, 정상 체결 300개와 비정상 체결 300개의 데이터로 정리하였다. 수집된 데이터는 학습･검증･시험에 활용할 수 있도록 그룹 기반 구조로 재구성하였다. Fig. 2는 커넥터 체결 과정에서 발생하는 진동 신호를 계측하기 위한 구성한 실험 장치이다. 전용 지그에 커넥터를 고정하고, 지그에 부착된 3축 가속도 센서를 통해 체결 시 발생하는 진동을 계측하여, DAQ를 통해 진동 신호 데이터를 저장하였다.
Experimental setup for vibration signal acquisition during connector locking
3.2 데이터 수집 및 전처리
수집된 데이터는 커넥터 체결 시 발생하는 진동 시계열 신호로 데이터는 X, Y, Z의 3채널 구성하였다. 측정 시간은 최대 3초, 최소 1.5초로 한 번의 측정 구간 내에 하나의 체결 이벤트만 포함되도록 통제하였다. 취득된 원시 데이터는 OK와 NG 상태로 라벨링하여, 이후 모델별 학습 구조에 맞도록 구성되었다. 전처리 과정은 모델별 입력 형태에 따라 공통적으로 저주파 성분 제거, 특징 구간 추출, 정규화의 절차를 포함하도록 설계하였다. 우선 원시 진동 신호에 대해 고역통과 필터를 적용하여 체결과 직접 관련이 낮은 저주파 성분과 배경 잡음을 제거하였다. 이때 차단 주파수는 20 Hz로 설정하였으며, 해당 필터는 모든 모델에 공통적으로 적용하였다. 이는 모델 간 입력 표현 방식은 다르더라도, 동일한 원시 신호 조건에서 저주파 외란을 제거한 뒤 비교 가능한 학습 데이터를 구성하기 위함이다. Fig. 3은 진동 시그널 전처리 전후를 나타낸다.
Comparison of the raw and high-pass filtered three-axis vibration signals measured during the connector fastening event
특징 추출 단계에서는 체결 이벤트를 중심으로 의미 있는 데이터 구간만을 선별하였다. 1D CNN의 경우 진동 피크를 중심으로 샘플 특징을 추출하여 진동 패턴을 학습할 수 있도록 하였다. 2D CNN은 필터가 적용된 신호를 시간-주파수 영역으로 변환하여, 스펙트로그램을 생성하고, 각 축의 단일 채널 스펙트로그램을 하나의 RGB 형태로 합성하였다. 각 축에서 나타나는 진동 반응의 차이와 시간-주파수를 2차원 이미지 특징으로 학습할 수 있도록 하였다. LSTM과 Transformer를 위한 전처리에서는 동일하게 필터가 적용된 신호를 기반으로 1초 길이의 시퀀스 데이터를 사용하였다. LSTM에서는 3축 가속도 벡터의 크기(magnitude)를 계산하여 단일 시계열로 변환한 뒤 Z-score 정규화를 수행하였고, Transformer에서는 시퀀스 표준화와 절대 시간 인덱스 t를 추가하여 시간 순서와 지연 관계를 학습할 수 있도록 하였다. 모든 모델 입력에 공통적으로 적용된 Z-score 정규화는 축 간 스케일 차이를 줄이고 학습 안정성을 확보하는 역할을 수행하였다.
3.3 모델 아키텍처
각 모델은 동일한 이진 분류 문제를 대상으로 구성하였으며, 입력 데이터의 표현 방식과 특징 추출 메커니즘에 차이를 두었다. 모델 성능 평가는 Accuracy, Precision, Recall, F1-score, Confusion Matrix를 기준으로 수행하였다. Fig. 4는 1D CNN, 2D CNN, LSTM, Transformer 모델의 구조적 구성을 나타낸다. 각 모델은 동일한 분류 목적을 가지지만, 입력 형식과 특징 학습 방식에 따라 서로 다른 아키텍처로 설계하였다.
Network architectures of the (a) 1D CNN, (b) 2D CNN, (c) LSTM, and (d) transformer models
1D CNN 모델은 진동 시계열로부터 짧은 시간 구간의 국소 패턴을 직접 학습하도록 설계하였다. 입력 데이터는 커넥터 체결 피크 기반 특징을 포함하도록 구성하였으며, 정상 체결과 불완전 체결로 라벨링하여 입력 데이터셋을 구축하였다. 2D CNN 모델은 X, Y, Z축 진동 신호를 시간–주파수 영역의 이미지로 변환한 뒤, 이를 단일 스펙트로그램으로 사용하도록 구성하였다. LSTM 모델은 시계열 데이터의 순차적 의존성을 학습하기 위한 구조로 설계하였다. 가속도 신호를 크기 성분으로 변환한 후 1초 길이 시퀀스를 입력으로 사용하였으며, 이를 통해 체결 전후 구간의 시간적 흐름과 감쇠 패턴을 반영하도록 하였다. Transformer 모델은 Self-Attention 기반 구조를 이용하여 시퀀스 전체의 상호 의존성을 병렬적으로 학습하도록 구성하였다. 입력으로 사용된 1초 길이 시퀀스에 대해 표준화를 수행하고, 절대 시간 인덱스 t를 함께 부여하여 시간적 위치 정보를 반영하였다. 이를 통해 시퀀스 내 각 구간의 관계를 통합적으로 고려할 수 있도록 하였다. Table 2는 모델별 세부 아키텍처 구성을 나타낸다.
Network architectures of deep learning models for connector assembly status classification
3.4 모델 학습 및 검증 결과
각 모델은 정상 체결과 불완전 체결의 이진 분류 기준으로 학습하였으며, 학습 데이터와 검증 데이터의 손실 및 정확도 곡선을 통해 수렴 특성을 확인하였다. 모든 모델은 학습 과정에서 안정적인 수렴 양상을 나타냈으며, 1D CNN, LSTM, Transformer에서는 과적합과 언더피팅이 두드러지지 않았다. 이는 전처리와 정규화, 특징 구간 구성이 학습 조건과 잘 부합하였음을 보여준다. Table 3은 전체 모델에 대한 학습 결과를 나타낸다.
Classification performance of deep learning models for connector assembly status classification
1D CNN의 학습 곡선은 약 30 학습 횟수(epoch) 이내에서 안정적으로 수렴하였으며, 학습 곡선과 검증 곡선 간의 차이가 크지 않아 높은 일반화 성능을 나타냈다. 2D CNN은 학습 및 검증 곡선은 전반적으로 안정적으로 수렴하였으나, 1D CNN과 LSTM에 비해 상대적으로 낮은 성능을 보였다. LSTM은 비교적 빠르게 수렴 특성을 나타냈으며, 검증 단계에서도 안정적인 성능을 유지하였다. Transformer 역시 학습 및 검증 곡선이 유사한 형태로 수렴하여 학습 안정성과 분류 성능을 확인하였다. Fig. 5는 각 모델의 학습 및 검증 정확도(validation accuracy)와 검증 손실(validation loss) 곡선을 나타낸다.
Training and validation curves of deep learning models: (a) 1D CNN, (b) 2D CNN, (c) LSTM, and (d) Transformer
3.5 모델 성능 평가
Fig. 6의 혼동행렬을 통해 각 모델의 분류 결과를 비교하였다. 1D CNN에서는 정상 체결과 불완전 체결이 대부분 정확하게 분류되었으며, 두 클래스 모두에서 오분류 수가 적어 안정적인 분류 성능을 확인하였다. 2D CNN은 일부 샘플에서 클래스 간 혼동이 확인되었으며, 이는 STFT 기반 입력 표현의 한계와 관련이 있는 것으로 판단된다. LSTM과 Transformer는 전반적으로 높은 분류 성능을 보였으나, 일부 불완전 체결 샘플은 정상 체결과 유사한 진동 패턴을 나타내어 정상 체결로 분류되는 경향을 확인하였다. 성능 비교 결과 1D CNN은 accuracy, precision, recall, F1-score에서 가장 높은 값을 보였으며, 혼동행렬에서도 가장 일관된 분류 결과를 나타냈다.
Confusion matrices of the deep learning models for connector assembly status classification: (a) 1D CNN, (b) 2D CNN, (c) LSTM, and (d) Transformer
이러한 성능 차이는 커넥터 체결 진동 신호의 물리적 특성과 관련이 있는 것으로 판단된다. 커넥터 체결 과정에서는 접촉, 삽입, 잠금 구조의 작동이 짧은 시간 내에 발생하므로, 정상 체결과 불완전 체결의 차이는 장기적인 시간 의존성보다 진동 피크의 크기, 지속시간, 감쇠 양상, 축별 응답 차이와 같은 국소적 파형 특징에 주로 반영된다. 1D CNN은 원시 3축 시계열 신호를 입력으로 사용하여 이러한 국소 패턴을 직접 학습할 수 있으므로, 충격성 진동 신호에 적합한 구조로 판단된다. 반면 LSTM과 Transformer는 장기 의존성 및 전체 시퀀스 문맥 학습에 강점이 있으나, 유효 판별 정보가 짧은 체결 이벤트 구간에 집중되어 있어 모델 복잡도 증가가 성능 향상으로 직접 이어지지 않은 것으로 해석된다. 2D CNN의 경우 STFT 기반 스펙트로그램을 입력으로 사용하므로 시간–주파수 패턴 학습은 가능하지만, 매우 짧은 임펄스성 진동 신호의 최대 진폭, 발생 시점, 감쇠 형태와 같은 세부 시간 정보가 변환 과정에서 평활화될 수 있다. 따라서 2D CNN의 상대적으로 낮은 성능은 주파수 변환 정보가 불필요하기 때문이 아니라, 핵심 판별 정보가 시간 영역의 순간 충격 응답에 더 강하게 포함되어 있기 때문으로 판단된다.
3.6 학습 모델에 대한 검증 결과
학습이 완료된 1D CNN 모델에 검증 데이터를 입력하여 커넥터 체결 상태 판별 성능을 확인하였다. 검증 데이터는 정상 체결과 불완전 체결 조건에서 수집된 진동 신호로 구성하였으며, 학습 데이터와의 입력 조건 차이를 줄이기 위하여 동일한 샘플링 조건과 전처리 절차를 적용하였다. 진동 신호에는 고역통과 필터를 적용하여 저주파 성분을 제거하였고, 체결 시점의 진동 피크를 기준으로 특징 구간을 추출하였다. 추출된 구간은 정규화한 후 학습 모델의 입력 형식에 맞게 구성하였다. 검증 결과, 모델은 정상 체결과 불완전 체결을 대부분 정확하게 분류하였으며, 3000개 시험 데이터 기준 약 98% 이상의 분류 정확도를 나타냈다. 이는 커넥터 체결 과정에서 발생하는 진동 신호에 조립 상태를 구분할 수 있는 특징 정보가 포함되어 있음을 보여준다.
4. 결 론
본 연구에서는 커넥터 체결 과정에서 발생하는 진동 신호를 이용하여 정상 체결과 불완전 체결 상태를 판별하는 딥러닝 기반 방법을 제안하고, 그 적용 가능성을 실험적으로 검토하였다. 실험을 통해 수집한 진동 데이터는 조립 상태에 따라 서로 다른 파형 특성을 나타내었으며, 특히 체결 순간에 형성되는 피크 크기, 파형의 분포 특성, 감쇠 양상은 정상 체결과 불완전 체결을 구분하는 주요 특징으로 확인하였다. 1D CNN, 2D CNN, LSTM, Transformer를 대상으로 비교한 결과, 모든 모델이 일정 수준 이상의 분류 성능을 보였으나, 1D CNN이 가장 우수한 판별 성능을 나타내었다. 이는 커넥터 체결 신호가 장시간의 문맥 정보보다는 짧은 시간 구간에서 나타나는 국소적 진동 패턴의 차이에 의해 상태가 구분되기 때문으로 판단된다.
본 연구는 특정 실험 환경 내에서 딥러닝 모델의 적용 가능성을 확인하였으나, 실제 제조 공정에서 발생하는 모터 및 공압 설비의 진동은 실험실 환경보다 훨씬 광범위하고 불규칙한 주파수 특성을 가진다. 이러한 현장 노이즈의 복잡성을 고려할 때, 단일 필터 적용 이상의 심층적인 외란 억제 전략이 요구된다. 이에 향후 연구에서는 현장 실측 데이터를 기반으로 외란 주파수 특성을 재정의하고, 노이즈가 포함된 데이터셋을 활용한 학습 및 검증을 통해 모델의 강건성을 확보하고자 한다. 아울러 센서 부착 위치와 체결 속도 등의 영향을 체계적으로 분석하여 현장 적용성과 실용성을 더욱 향상할 수 있을 것으로 기대된다.
References
-
Jorg, S., Langwald, J., Stelter, J., Hirzinger, G., Natale, C., 2000, Flexible Robot-Assembly Using a Multi-Sensory Approach, Proc. IEEE Int. Conf. Robot. Autom., 3687-3694.
[https://doi.org/10.1109/ROBOT.2000.845306]
-
De Oliveira, B. C. F., Flesch, R. C. C., Pacheco, A. L. S., Demay, M. B., 2017, Vision System for Detection of Defects in the Electrical Connector of Electric Motors: Test Rig and Algorithms, J. Appl. Instrum. Control, 5:1 34-42.
[https://doi.org/10.3895/jaic.v5n1.5372]
-
Aoyagi, M., Ueno, T., Okuda, M., 2009, Automatic Detection System for Complete Connection of a Waterproof Soft-Shell Electronic Connector With a Sliding Locking Device, IEEE Sens. J., 9:3 285-292.
[https://doi.org/10.1109/JSEN.2008.2012225]
- Vozáriková, E., Pleva, M., Vavreket, J., ONDÁŠ, S., JUHÁR J., ČIŽMÁR A., 2010, Detection and Classification of Audio Events in Noisy Environment, J. Comput. Sci. Control Syst., 3 99-102.
-
Hua, C., Wang, H., Wang, H., Lu, S., Liu, C., Khalid, S. M., 2019, A Novel Method of Building Functional Brain Network Using Deep Learning Algorithm with Application in Proficiency Detection, Int. J. Neural Syst., 29:1 1850015.
[https://doi.org/10.1142/S0129065718500156]
-
Jiang, J., Yao, L., Huang, Z., Yu, G., Wang, L., Bi, Z., 2022, The State of the Art of Search Strategies in Robotic Assembly, J. Ind. Inf. Integr., 26 100259.
[https://doi.org/10.1016/j.jii.2021.100259]
-
Zhao, T. Z., Luo, J., Sushkov, O., Pevceviciute, R., Heess, N., Scholz, J., 2022, Offline Meta-Reinforcement Learning for Industrial Insertion, Proc. IEEE Int. Conf. Robot. Autom., 6386-6393.
[https://doi.org/10.1109/ICRA46639.2022.9812312]
-
Zhao, Y., Li, J., Zhang, Q., Lian, C., Shan, P., Yu, C., 2022, Simultaneous Detection of Defects in Electrical Connectors Based on Improved Convolutional Neural Network, IEEE Trans. Instrum. Meas., 71 1-10.
[https://doi.org/10.1109/TIM.2022.3169535]
-
Skoglind, B., Roberts, T., Karmakar, S., Turner, C., Mears, L., 2020, Localized Acoustic-Event Measurement Probe: Connector Confirmation Utilizing Acoustic Signatures, Proc. Int. Manuf. Sci. Eng. Conf., 2V002T09A003.
[https://doi.org/10.1115/MSEC2020-8446]
-
Bricher, D., Müller, A., 2021, Supervised Detection of Connector Lock Events with Optical Microphone Data, Int. J. Neural Syst. 31:10 2150017.
[https://doi.org/10.1142/S0129065721500179]
-
Serkan Kiranyaz, S., Onur Avci, O., Abdeljaber, O., Ince, T., Gabbouj, M., Inman, D. J., 2021, 1D Convolutional Neural Networks and Applications: A Survey, Mech. Syst. Signal Process., 151 107398.
[https://doi.org/10.1016/j.ymssp.2020.107398]
-
Medhat, F., Chesmore, D., Robinson, J., 2020, Masked Conditional Neural Networks for Sound Classification, Appl. Soft Comput., 90 106073.
[https://doi.org/10.1016/j.asoc.2020.106073]
-
Ma, X., Tao, Z., Wang, Y., Yu, H., Wang, Y., 2015, Long Short-Term Memory Neural Network for Traffic Speed Prediction Using Remote Microwave Sensor Data, Transp. Res. Part C Emerg. Technol., 54 187-197.
[https://doi.org/10.1016/j.trc.2015.03.014]
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I., 2017, Attention is All You Need, Adv. Neural Inf. Process. Syst., 30.
Master Course in the Department of Mechatronics Engineering, Kongju National University. His research interests include AI-based mechanical engineering.
E-mail: sunny20c@gmail.com
Kongju National University. His research interests include optimization of fabricating processes; specifically, microwave-based heating and fabricating systems.
E-mail: kimjk@kongju.ac.kr
Professor in the Department of Mechatronics Engineering, Kongju National University. His research interests include materials process design, additive manufacturing, finite element model updating, thermal comfort in vehicle.
E-mail: osjun@kongju.ac.kr