Current Issue

편광 카메라는 피사체에서 반사된 빛의 편광 상태를 이용해 표면의 반사 특성과 미세한 질감 변화를 분석하는 센서이다. 일반 RGB 카메라와 달리 편광 필터(0^o, 45^o, 90^o, 135^o)가 센서 위에 배열되어 있으며 한 번의 촬영으로 4가지 편광 이미지를 동시 획득한다. 획득된 이미지는 각도별 편광 이미지는 식 (1)을 통해 intensity 이미지(I)로 계산된다.

여기서 I^0˚, I^45˚, I^90˚ 및 I^135˚는 각각 편광 필터 각도별 이미지이다. 이 intensity 이미지는 전체 밝기 정보를 나타내며, 표면 반사광의 영향을 완화하여 물체의 실제 형상과 텍스처를 명확하게 표현한다. Fig. 1은 편광 영상으로부터 intensity 이미지를 계산하는 과정을 나타낸다. 이러한 처리는 금속 재질과 같은 고반사 물체의 반사 억제에 효과적이며, 결함 검출 시 노이즈를 줄여 모델의 안전성을 향상시킨다.

Fig. 1 
Generation of intensity image from four polarized images (a) polarization images and (b) calculated intensity image

이미지 전처리는 고반사 소재의 불균일한 명암을 보정하고, 결함 형태를 명확히 인식하도록 하는 단계이다. 본 연구는 편광 합성으로 얻은 Fig. 1(b)의 intensity 이미지를 기본 입력으로 사용하며, 명암 대비 효과, 에지와 텍스처 보강 및 기하학 변형과 같이 3개 범주로 구분되는 총 10가지 전처리 기법을 적용했다^[7]. 명암 대비 효과는 Fig. 2에 나타냈으며 각각 HE, CLAHE와 Gamma 보정을 사용해 밝기 영역 간의 세부 정보 보존 및 지역 대비를 향상시켜 결함과 배경 간의 구분 명확하게 한다. 에지 및 텍스처 보강은 Fig. 3에 차례대로 sharpen (unsharp), Sobel, Canny 및 Gabor 필터를 사용하여 경계부를 강화하거나 표면의 미세 패턴을 부각시켜 구조적 이상을 명확히 인식하도록 한다. Fig. 4는 기하학 변형 기법을 나타내며 BBox, ROI 및 Flatten 기법을 적용하였다. BBox는 최소 사각 영역, ROI는 국소 영역을 선택하여 학습 효율을 높인다. Flatten은 원형 단면을 평면 형태로 전개하여 이미지 간 형상 차이를 보정하고 비교를 쉽게 한다. 이러한 전처리 과정은 영상의 명암, 에지, 텍스처 및 기하 정보를 강화하여 딥러닝 기반 불량 판별의 학습 안정성과 해석 가능성 향상에 기여한다.

Fig. 2 
Sample of image using contrast enhancement methods (a) HE, (b) CLAHE and (c) Gamma correction

Fig. 3 
Sample of image using edge and texture enhancement methods (a) Unsharp, (b) Sobel, (C) Canny and (d) Gabor

Fig. 4 
Sample of image using geometric transformation methods (a) BBox, (b) ROI and (c) flattening

딥러닝 기반 분류 모델로 VGG-16을 사용하였다. VGG-16은 3 × 3 합성곱층과 2 × 2 풀링층이 반복되는 규칙적인 구조로 높은 수준의 특징을 추출한다^[8]. 산업용 데이터셋의 한계를 고려하여 ImageNet으로 사전 학습된 가중치를 활용하는 전이 학습(transfer learning) 방식을 적용했으며, 최종 분류층만 OK/NG 이진 분류에 맞게 재학습하였다. 이는 저수준 특징을 유지하면서 학습 효율과 수렴 안정성을 높일 수 있다.

시각화 기법은 CNN의 내부 특징맵(feature map)과 예측 결과의 연관성을 시각적으로 표현하여, 모델의 결함 인식 과정을 해석으로 검증하는 방법이다^[9]. 이는 딥러닝 모델의 블랙박스 특성을 보완하며, 모델이 실제로 어떤 영역을 근거로 불량을 판단하는지 분석한다. Grad-CAM은 특정 클래스 c에 대한 모델 출력 y^c의 그래디언트(gradient)를 이용해 특징맵의 기여도를 가중합 형태로 계산한다. 이는 식 (2)와 (3)으로 정의 된다.

여기서 A^k는 합성곱 계층의 k번째 특징맵, αkc는 클래스 c에 대한 해당 특징맵의 가중치, y^c는 클래스별 내부 점수, Z는 특징맵의 픽셀 수를 의미한다. ReLU 함수는 음수 기여도를 제거하여 모델이 결함을 긍정적으로 판단한 영역을 시각적으로 강조한다. Grad-CAM의 계산 과정은 합성곱 계층에서의 특징맵과 클래스별 그래디언트의 가중합을 통해 각 위치의 중요도를 산출하는 방식으로 구성되며, Fig. 5는 이러한 구조와 결과 예시를 보여준다^[10]. Grad-CAM 기반 확장 기법들은 그래디언트 활용 방식과 가중치 계산 방법에 따라 해석 가능성과 표현 정밀도가 달라진다. Grad-CAM++는 고차 그래디언트를 활용하여 여러 클래스 예측에 대한 기여도를 개선하고, 세밀한 결함 경계 표현을 향상시켰다^[11]. Score-CAM은 클래스 점수 변화량(class score change)을 직접 가중치로 사용하여 그래디언트 잡음의 영향을 줄이고 시각화 결과의 신뢰성을 높였다^[12]. Ablation-CAM은 특징맵을 개별적으로 비활성화했을 때 발생하는 실제 예측 감소 폭을 가중치로 환산하여 물리적 해석력을 강화했다^[13]. XGrad-CAM은 기존 CAM의 수학적 불일치 문제를 보완하여 보다 안정적인 결과를 제공하며^[14], Layer-CAM은 여러 합성곱 계층의 정보를 통합하여 넓은 활성 영역과 세부 패턴을 동시에 표현한다^[15]. 또한, Eigen-CAM은 특징맵에 주성분 분석을 적용하여 주요 활성 패턴을 추출하며, Eigen-Grad-CAM은 여기에 그래디언트 정보를 추가하여 클래스 구분력을 향상시켰다^[16,17]. Grad-CAM- Element Wise는 특징맵을 요소 단위로 가중합하여 시각화 결과의 해상도를 높였으며, HiRes-CAM은 ReLU 연산 시 손실되는 음의 그래디언트를 보존하여 고해상도 시각화를 제공한다^[17,18]. 본 연구에서는 앞서 언급된 총 10종의 시각화 기법을 적용하여 다양한 이미지 전처리 기법의 변화가 모델 예측 근거 및 시각화 결과에 미치는 영향을 비교 및 분석하였다.

Fig. 5 
Visualization by Grad-CAM and CNN^[19]

딥러닝 기반 불량 검출 모델의 성능은 학습 데이터의 품질과 일관성에 직접적인 영향을 받는다. 특히 금속과 같이 반사 특성이 강한 소재는 촬영 환경 요인에 따라 이미지의 밝기 분포와 질감 특성이 크게 달라질 수 있다. 이러한 환경 변화는 동일한 대상이라도 이미지 특징을 다르게 표현하게 하여 모델의 학습 안정성과 일반화 성능을 저하시킬 수 있다. 이에 본 연구에서는 조명, 촬영 거리 및 초점 등 외부 요인을 균일하게 조성하여 이미지 데이터셋을 생성하였다. 촬영 시스템은 Fig. 6과 같이 편광 카메라와 백색 LED 링 조명으로 구성하였으며, 카메라 사양은 Table 1에 나타내었다. 너트는 반사광의 간섭을 최소화하기 위해 무반사 흑색 지그 위에 고정하였으며, 렌즈와 조명 점등부 간 거리는 약 170 mm, 렌즈 전면에서 너트 단면까지의 거리는 240 mm로 유지하였다. 조명은 너트 전체가 균일한 밝기를 유지하도록 조정하였으며, 내･외부 광원을 차단하여 외부 요인에 대한 영향을 최소화하였다. 사용한 카메라의 최대 해상도는 2448 × 2048 픽셀이며, 학습 시에는 ROI를 적용하여 800 × 800 픽셀 영역만을 사용하였다.

Fig. 6 
Nut imaging setup with ring lights

본 연구는 다양한 촬영 환경에 대한 일반화 성능을 평가하기보다는, 촬영 환경 변수를 통제한 조건에서 이미지 전처리 및 시각화 기법의 영향을 분석하는 데 초점을 두었다. 조명, 거리, 초점과 같은 환경 요인은 전처리 효과와 상호작용하여 결과 해석에 영향을 줄 수 있으므로, 동일한 촬영 조건을 유지하여 전처리 기법 간 성능 차이를 명확히 비교하고자 하였다. 본 연구의 결과는 고정된 카메라와 조명 조건 하에서 운용되는 제조 현장을 기준으로 해석된다.

편광 카메라로 획득한 intensity 이미지를 입력 데이터로 사용하였으며, 앞서 제시한 10가지 전처리 기법을 각각 적용하였다. 이미지 전처리 과정은 python 3.9 환경에서 OpenCV와 Numpy를 이용하여 구현하였다. 앞서 언급된 전처리 방법 중 CLAHE는 clipLimit = 2.0, tileGridSize = (8, 8)이며 Gamma 보정은 1.5로 설정하였다. Unsharp masking은 가우시안 블러(σ=3)를, Sobel 필터는 3 × 3 커널을 적용하였으며 Canny edge는 임계값을 100~200으로 설정하였다. Gabor 필터는 커널 크기 21, σ=4.0, λ=10.0, γ=0.5, θ=0.5로 적용하였다. BBox는 마스크 기반 컨투어 탐색으로 너트를 포함하는 최소 사각형을 자동 추출하였고, ROI는 너트의 결함 검사부인 원형을 탐색하고 RANSAC 보정을 통해 너트의 내외경을 추정하여 검사 외부 영역을 제거하였다. Flatten은 극좌표-직교좌표 변환을 통해 너트 검사부인 원형 단면을 평면으로 전개하였다.

VGG16 모델을 기반으로 전처리 기법별 학습을 수행하였다. 데이터셋은 클래스별 동일한 비율을 가진 NG/OK 이미지 약 370장의 원본 이미지를 좌우 및 상하 반전을 통해 약 1500장으로 증강하였으며, 훈련 및 시험 데이터의 비율은 8:2로 설정하였다. 학습에는 PyTorch 기반 VGG16 전이 학습 모델과 ImageNet으로 사전 학습된 가중치를 활용하였고, 입력 크기 224 × 224, 배치 크기 32, 학습 epoch 100, Adam 최적화 기법을 적용하였다.

본 연구에서는 전처리–시각화 조합에 대해 각각 모델을 학습한 것이 아니라, 전처리 기법별로 독립적인 모델을 학습하고 시각화 기법은 학습 이후 판별 근거 분석을 위한 사후 적용으로 활용하였다. 또한 OK/NG 이진 분류 문제로 설정하고 전이 학습을 적용함으로써 제한된 수의 원본 이미지에서도 비교적 안정적인 학습 수렴이 가능하도록 설계하였다.

학습된 모델의 판별 근거를 검증 및 시각화를 위해 앞서 설명한 Grad-CAM 계열 10종을 적용했다. 시각화에는 전처리별 학습 모델에 대해 NG 이미지 60장을 테스트 이미지로 사용했다. 모든 기법은 VGG16의 마지막 합성곱층을 대상 레이어로 하여 NG 클래스에 대한 CAM을 계산했다. 결과는 heatmap과 원본 중첩 이미지로 저장되었으며, Fig. 7은 ROI 전처리 이미지에 대한 CAM 결과 예시를 보여준다. Grad-CAM 계열 시각화 결과의 정량적 비교를 위해, 이미지상에서 실제 불량 위치와 시각화 결과의 피크점의 거리를 사용하였다. Fig. 8(a)와 같이 heatmap 피크점과 실제 불량 위치의 중심점 간의 거리를 측정하여 식 (4)에 의해 평균값을 산출하였으며 피크 탐지는 heatmap 최대값 기준 상위 20% 영역에서 수행되었다.

Fig. 7 
Visualization results of CAM variants for an NG image

Fig. 8 
Examples of visualization-based quantitative evaluation (a) Canny with Grad-CAM++ and (b) flattening

여기서 N은 피크점 개수, d_n은 실제 불량 위치의 중심과 CAM 피크점 사이의 거리이며 S는 CAM 크기를 나타낸다. 일관성 평가를 위해 원본, 좌우, 상하, 상하좌우 반전 이미지에 대해 각각 피크 좌표를 계산하고 이를 원본 좌표계로 복원했다. 복원된 피크 위치는 클러스터링을 통해 군집화하였으며, 각 군집의 평균 거리를 식 (5)와 같이 계산하여 변형 간 일관성 지표로 사용했다. Fig. 8(b)는 flatten 이미지 위에 좌우, 상하, 상하좌우 변형에서 복원된 피크 위치를 표시한 예시이다.