회전롤러 영상 장치를 이용한 밤의 딥러닝 기반 결함 검출 분석

2.1 장치 구성

밤(chestnut)의 외관 불량을 검출하기 위해 회전 롤러 기반 영상 획득 장치와 딥러닝 기반 객체 검출 기법을 활용한 비전 검사 장치를 구성하였다. 회전 롤러 기반 장치를 이용한 영상 획득 단계, 외부 라벨링 도구를 활용한 데이터 구축 단계, 그리고 딥러닝 기반 객체 검출 모델의 학습 및 평가 단계로 구분하여 수행되었다. 먼저, 영상 획득 단계에서는 간단한 회전 롤러 장치를 이용하여 밤을 회전시키며 이미지를 촬영하였다. 고정된 카메라를 통해 다양한 각도의 이미지를 연속적으로 획득하였으며, 촬영된 이미지는 자동으로 컴퓨터에 저장하였다.

다음으로, 데이터 구축 단계에서는 저장된 이미지에 대해 수작업으로 라벨링을 수행하였다. 각 이미지에서 밤의 외관 결함 영역에 Bounding Box를 설정하고, 충과(insect), 균열(cracked), 변색(colored)으로 분류하여 학습용 데이터셋을 구성하였다.

마지막으로, 딥러닝 기반 검출 단계에서는 구축된 데이터셋을 이용하여 YOLO 기반 객체 검출 모델을 학습시켰으며, 이를 통해 밤의 외관 불량을 검출하였다. Fig. 2는 본 연구에서 제안한 전체 시스템의 구성 흐름을 나타낸다. 영상 획득(image acquisition), 데이터 라벨링(data labeling), 그리고 딥러닝 기반 결함 검출(defect detection)의 전체 처리 과정을 단계적으로 나타낸다. 회전 롤러를 이용하여 다양한 각도의 이미지를 획득한 후, 라벨링을 통해 데이터셋을 구축하고, 이를 기반으로 YOLO 모델을 학습하여 밤의 외관 결함을 검출하는 구조로 구성된다.

Fig. 2

Overall system architecture for chestnut defect detection

밤은 곡면 형태를 가지는 비정형 객체로서, 표면의 특정 결함(충과, 균열, 변색 등)이 특정 각도에서만 관찰되는 특성을 가진다. 이로 인해 단일 시점에서 촬영된 영상만으로는 일부 결함이 가려지는 문제가 발생하며, 이는 결함 검출의 한계로 이어진다^[9].

이를 위해 회전 롤러 기반 다각도 영상 획득 장치를 설계하였다. 롤러 위에 밤을 올려 회전시키면서 다양한 각도의 이미지를 연속적으로 획득하도록 구성하였으며, 이를 통해 동일 객체에 대해 다각도의 시각 정보를 확보할 수 있도록 하였다. Fig. 3은 회전 롤러 기반 영상 획득 장치의 구성을 나타낸다. 장치는 비전 카메라(vision camera), LED 조명(LED light), 회전 롤러(rotating rollers), 그리고 스트로브 컨트롤러(strobe controller)로 구성된다. 카메라는 롤러 상부에 고정되어 있으며, LED 조명을 통해 균일한 조명 환경을 제공하고, 스트로브 컨트롤러를 통해 짧은 노출 시간에서도 충분한 밝기를 확보하여 모션 블러를 최소화하였다. 회전 롤러는 밤을 일정하게 회전시키며 다양한 각도의 영상을 획득할 수 있도록 한다.

Fig. 3

Configuration of the roller-based vision inspection system device

2.2 촬영 환경

회전 롤러 기반 촬영 환경에서 초기 실험 결과, 모션 블러(motion blur), 광량 부족, 그리고 표면 반사(specular reflection)와 같은 문제점이 발생하였다. 이러한 문제는 결함의 경계를 흐리게 하거나 일부 결함을 가리는 원인이 되어, 모델 학습 성능 저하로 이어질 수 있다^[10]. 이를 해결하기 위해 다음과 같은 촬영 환경을 보완하였다.

첫째, 짧은 노출 시간 설정과 고휘도 LED 조명 적용을 통해 모션 블러를 최소화하였다. 초기 약 7,000 µs 수준의 노출 시간을 2,000 µs 이하로 단축하여 회전 중 발생하는 잔상을 감소시켰으며, 동시에 조명 밝기를 약 3배 증설하여 광량 부족 문제를 보완하였다. 둘째, 밤 표면의 광택으로 인해 발생하는 정반사 문제를 해결하기 위해 크로스 편광(cross polarization) 기반 광학적 전처리를 적용하였다^[11]. 카메라 렌즈와 광원에 편광 필터를 각각 부착하여 난반사를 억제함으로써, 결함 영역의 가시성을 향상시켰다. 셋째, 스트로브 조명 제어를 최적화하여 추가적인 광량 확보와 안정적인 촬영 조건을 구축하였다. 이를 통해 짧은 노출–고광량–저반사의 촬영 환경을 확보하였으며, 이는 딥러닝 학습을 위한 고품질 데이터 확보에 중요한 역할을 한다. Fig. 4는 초기 촬영 환경에서 발생한 대표적인 영상 품질 문제와 개선된 결과를 비교하여 나타내며 (a)는 회전 중 촬영으로 인해 발생한 모션 블러 현상을, (b)는 광량 부족으로 인해 전체적으로 어둡게 촬영된 이미지를 보여준다. 또한 (c)는 밤 표면의 광택에 의해 발생한 정반사로 결함 식별이 어려운 사례를 나타낸다. 반면, (d)는 제안한 촬영 환경 개선 기법을 적용한 결과로, 모션 블러와 반사가 감소하고 충분한 밝기가 확보되어 결함 영역이 명확하게 나타나는 것을 확인할 수 있다.

Fig. 4

Examples of image quality issues and improved chestnut images

회전 롤러 기반 촬영 장치에서는 밤이 연속적으로 회전하면서 다양한 시점의 영상이 순차적으로 획득된다. 밤은 곡면 구조를 가진 비정형 객체이므로 단일 시점 영상만으로는 전체 표면의 결함을 확인하는 데 한계가 있다. Fig. 5는 동일한 밤 객체가 회전함에 따라 결함이 노출되는 과정을 나타낸다. 상단 이미지의 경우, Frame 1과 2에서는 밤의 곡면 뒤편에 가려져 크랙(cracked) 결함이 식별되지 않으나, 롤러의 회전에 의해 객체의 위상이 변화하면서 Frame 3에서는 숨겨져 있던 결함이 명확하게 노출된다. 하단 이미지 또한 Frame 1에서는 변색(colored) 결함이 관찰되지 않지만, 회전이 진행됨에 따라 Frame 2부터 결함 부위가 서서히 나타나기 시작하여 Frame 3에서는 변색 부위가 확실하게 확인된다. 이러한 사각지대 해소를 위해 밤 한 알당 약 60^o 간격으로 총 6매의 영상을 획득하여 데이터셋의 신뢰도를 높였다.

Fig. 5

Sequential multi-view images acquired from a rotating chestnut

2.3 데이터셋 구축

회전 롤러 기반 촬영 장치를 이용하여 획득한 밤 이미지를 바탕으로 딥러닝 학습을 위한 데이터셋을 구축하였다. 촬영 과정에서 밤은 롤러 위에서 회전하면서 다양한 시점에서 이미지가 연속적으로 획득되었으며, 이를 통해 동일 개체에 대해 다각도의 시각 정보를 포함하는 데이터를 확보하였다.

수집된 이미지 데이터는 총 3,739장으로 구성되었으며, 객체 검출(object detection) 기반 딥러닝 모델 학습을 위해 모든 이미지에 대해 수작업 라벨링을 수행하였다. 라벨링은 각 이미지 내에서 결함이 존재하는 영역을 기준으로 Bounding Box를 설정하고, 해당 영역에 대한 클래스 정보를 부여하는 방식으로 진행하였다. 밤의 주요 외관 결함 특성을 반영하여 Fig. 6과 같이 세 가지 클래스(insect: 충해로 인해 손상된 경우, cracked: 외피에 균열이 발생한 경우, colored: 표면 변색이 발생한 경우)로 정의하였다. 또한, 각 클래스별 데이터 분포는 insect 2,019장(54%), cracked 486장(13%), colored 1,234장(33%)으로 구성되었다.

Fig. 6

Examples of chestnut defect classes

라벨링 방식은 이미지 단위 분류(image-level classification)가 아닌 객체 단위(object-level)로 적용하였다. 결함 검출의 정확도를 높이기 위해 각 결함 영역의 경계를 완전히 포함하도록 Bounding Box를 설정하였으며, 하나의 이미지 내에 복수의 결함이 존재하거나 서로 다른 종류의 결함이 중첩되는 경우에도 각각을 독립적인 객체로 간주하여 중첩 라벨링을 수행하였다. 구축된 데이터셋의 특성을 분석하기 위하여 클래스별 이미지 수뿐만 아니라 객체(instance)의 총 개수 및 Bounding Box의 크기와 위치 분포를 조사하였으며, 그 통계적 결과는 Fig. 7과 같다. 전체 이미지 중 상당수는 단일 결함을 포함하고 있으나, 실제 선별 현장에서 빈번히 발생하는 복합 결함 상황을 학습 과정에 반영하기 위해 다중 객체(multi-object)가 포함된 사례들을 확보하였다. 이러한 라벨링 방식은 모델이 복잡한 실전 환경에서도 유연하게 대응할 수 있도록 하여 검출 성능의 강건성(robustness)을 향상시키는 데 기여한다.

Fig. 7

Defect distribution & bounding box analysis

2.4 YOLO 기반 객체 검출 모델

밤의 외관 불량을 검출하기 위한 딥러닝 알고리즘으로 YOLO 계열의 객체 검출 모델을 적용하였다.

밤의 외관 불량 검출은 단순한 이미지 분류와 달리, 하나의 이미지 내에서 결함이 존재하는 위치와 유형을 함께 파악해야 한다. 특히 충과(insect), 균열(cracked), 변색(colored) 결함은 동일한 밤 표면 내에서도 서로 다른 위치와 크기로 나타나며, 일부 결함은 매우 작거나 경계가 불명확하다. 이를 위해 저장된 영상 데이터에서 결함 영역을 경계 상자(bounding box) 형태로 직접 지정하는 라벨링을 수행하여 데이터의 신뢰성을 확보하였다. 검출 모델로는 객체의 위치와 클래스 예측을 동시에 수행할 수 있는 YOLOv11m (medium)을 채택하였다. YOLOv11m은 중간 규모의 모델로서 미세 결함에 대한 특징 추출 능력이 우수하며, 검출 정확도와 학습 효율성 사이의 균형을 확보하기에 적합하다^[12].

모델의 학습 성능을 극대화하기 위해 사전 학습된 가중치를 활용한 전이학습(transfer learning) 방식을 적용하였다. 이는 일반 사물 인식 데이터로 미리 학습된 모델의 특징 추출 능력을 수동으로 구축한 밤 불량 데이터셋에 최적화(fine-tuning)함으로써, 제한된 샘플 수 내에서도 모델의 일반화 성능을 높이고 수렴 속도를 향상시키기 위함이다^[13].

모델 학습에 사용된 주요 하이퍼파라미터 설정은 Table 1과 같다. 입력 영상 크기는 640 × 640 픽셀로 설정하였으며, 총 150 Epoch 동안 학습을 수행하였다. 배치 크기(batch size)는 32로 설정하였으며, 과적합(overfitting)을 방지하기 위해 100 Epoch 동안 성능 개선이 없을 경우 학습을 조기에 종료하는 Early Stopping을 적용하였다. 또한, 데이터셋의 다양성을 보완하고 모델의 강건성(robustness)을 높이기 위해 Table 2와 같이 다양한 데이터 증강(data augmentation) 기법을 적용하였다^[14]. 주요 기법으로 4장의 이미지를 합성하는 Mosaic, 좌우 방향 변화에 대응하는 Horizontal Flip, 크기 변화에 대비한 Scale 변환, 조명 및 색상 변동성에 대응하기 위한 HSV 조정, 그리고 부분 가림(occlusion) 상황을 가정한 Random Erasing을 적용하였다. 특히 학습 마지막 10 Epoch에서는 Mosaic 기법을 비활성화하여 실제 환경과 유사한 데이터로 모델의 수렴 안정화를 유도하였다.

Table 1

Training parameters of the YOLOv11 model

Table 2

Data augmentation techniques and parameters

최종적으로 구축된 YOLOv11m 모델은 다각도 촬영 장치로부터 저장된 밤 이미지에 대해 결함의 위치 좌표와 클래스 정보를 출력한다.

3.1 전체 성능

회전 롤러 기반의 다각도 영상 획득 환경에서 구축된 밤 이미지 데이터셋을 활용하여 YOLOv11m 모델을 학습하고, 이에 따른 전반적인 검출 성능을 평가하였다. 성능 평가는 정밀도(precision), 재현율(recall), mAP50, mAP50-95, 그리고 F1-score를 평가지표로 활용하였다. 구체적인 산출 결과는 Table 3과 같다. 실험 결과, 학습된 모델은 테스트 데이터셋에 대해 mAP50 0.842, mAP50-95 0.534, Precision 0.835, Recall 0.812를 기록하였다. mAP50-95는 다양한 IoU 기준에서의 평균 정밀도를 반영하는 지표로, 보다 엄격한 조건에서도 안정적인 검출 성능을 보임을 확인할 수 있다. 특히, 실제 선별 공정의 효율성을 판단하기 위해 기술적 달성 목표로 설정한 F1-score 0.80을 상회하는 0.823의 수치를 확보하였다. 이는 모델이 오검출(false positive)로 인한 양품 손실과 미검출(false negative)로 인한 불량 혼입을 모두 효과적으로 억제하고 있음을 입증하며, 제안된 시스템이 밤 외관 불량 검출에 있어 충분한 공학적 타당성을 갖추었음을 시사한다^[15]. 이러한 성과는 2.2절에서 기술한 회전 롤러 기반 다각도 촬영 방식을 통해 단일 시점 영상의 사각지대 문제를 해결한 결과로 판단된다. 곡면 구조를 가진 밤의 기하학적 특성을 고려할 때, 다양한 시점에서 확보된 결함 정보가 모델의 특징 추출 능력을 향상시키는 핵심 요인으로 작용하였다. 또한, Fig. 8과 같이 학습 과정에서 학습 손실(train loss)과 검증 손실(validation loss)이 모두 낮은 수치에서 일정하게 유지되며 안정적으로 수렴하는 양상을 보였다. 이는 모델이 학습 데이터에만 과도하게 적응하는 과적합(overfitting) 현상 없이, 새로운 이미지 데이터에 대해서도 높은 범용 성능을 확보했음을 의미한다. 결과적으로 2.4절에서 설정한 전이학습 및 데이터 증강 기법이 밤 결함 데이터셋의 특성에 최적화되어 모델의 학습 안정성을 뒷받침하였음을 확인하였다.

Table 3

Overall performance evaluation of the model

Fig. 8

Training and validation loss curves of the YOLO model

3.2 클래스별 성능 분석

모델이 밤의 각 결함 클래스를 얼마나 정밀하게 구분하는지 분석하기 위해 정규화된 혼동 행렬(normalized confusion matrix)을 산출하였으며, 그 결과는 Fig. 9에 나타내었다.

Fig. 9

Normalized confusion matrix of the proposed model

본 행렬은 실제 클래스(true)를 기준으로 정규화되었으며, 대각선 요소는 각 클래스의 재현율(recall)을, 비대각 요소는 클래스 간 오분류 및 미검출의 양상을 나타낸다. 전체적으로 대각선 성분이 높은 값을 보이고 있어 대부분의 결함이 올바르게 분류되고 있음을 확인할 수 있다. 다만, 클래스별로 성능 차이가 존재한다. 충과(insect) 클래스는 약 0.84의 대각선 값을 기록하여 가장 높은 분류 성능을 보였다. 이는 충해 결함이 표면의 구멍이나 파손과 같이 비교적 명확한 형태적 특징을 가지며, 동시에 전체 데이터셋에서 높은 비율(54%)을 차지하고 있어 모델이 해당 특징을 충분히 학습할 수 있었기 때문으로 판단된다. 다음으로, 변색(colored) 클래스는 약 0.80의 재현율을 나타냈다. 이는 2.3절에서 적용한 크로스 편광(cross polarization) 기법이 밤 표면의 정반사를 억제하고 변색 영역의 대비를 향상시킴으로써, 미세한 색상 변화를 효과적으로 검출할 수 있도록 기여한 결과로 해석된다. 반면, 균열(cracked) 클래스는 약 0.76으로 다른 클래스에 비해 상대적으로 낮은 성능을 보였다. cracked 클래스의 성능 저하는 데이터셋의 클래스 불균형과 밀접한 관련이 있는 것으로 분석된다. 2.3절에서 제시한 바와 같이, cracked 클래스는 전체 데이터의 약 13%로 다른 클래스에 비해 상대적으로 적은 비중을 차지하고 있으며, 이로 인해 모델이 다양한 균열 형태를 충분히 학습하지 못했을 가능성이 있다.

3.3 오검출 및 미검출 분석

제안된 모델의 실제 적용 가능성을 보다 정밀하게 평가하기 위해, 검출 결과에서 발생한 오검출(false positive) 및 미검출(false negative) 사례를 분석하였다. Fig. 8은 오검출 사례를, Fig. 9는 미검출 사례를 각각 나타낸다.

(1) 오검출 분석(false positive)

Fig. 10에서 확인할 수 있듯이, 모델은 일부 정상 영역 또는 다른 유형의 결함을 특정 결함으로 잘못 분류하는 오검출(false positive) 사례를 보였다. 이러한 현상은 주로 변색(colored) 클래스에서 나타났으며, 이는 밤 표면의 자연스러운 색상 변화나 조명 조건에 따른 밝기 변화가 변색 결함과 유사한 특징으로 인식되었기 때문으로 판단된다. 또한 결함 경계가 불명확한 경우, 모델이 배경과 결함의 경계를 정확하게 구분하지 못하여 오검출이 발생하는 경향이 관찰되었다. 아울러 colored와 insect와 같이 시각적으로 유사한 특징을 가지는 클래스 간 혼동으로 인해 잘못된 클래스 예측이 발생하였으며, 이는 모델이 미세한 특징 차이를 충분히 학습하지 못한 데 기인한 것으로 해석된다.

Fig. 10

Examples of false positive cases in chestnut defect detection

(2) 미검출 분석(false negative)

Fig. 11은 실제 결함이 존재함에도 불구하고 모델이 이를 검출하지 못한 미검출(false negative) 사례를 나타낸다. 이러한 현상은 주로 균열(cracked) 클래스에서 두드러지게 나타났다. 균열 결함은 크기가 작고 형태가 불규칙하며, 밤 표면의 자연스러운 질감 및 패턴과 유사한 특성을 가지기 때문에 모델이 해당 특징을 명확하게 구분하지 못하는 경우가 발생하였다. 또한 일부 이미지에서는 결함의 대비가 낮거나 조명 조건에 의해 일부 영역이 가려지는 경우, 모델이 결함을 인식하지 못하는 사례가 확인되었다. 더불어 하나의 객체 내에 복수의 결함이 존재하는 경우, 주요 결함만 검출되고 상대적으로 작은 결함이 누락되는 부분 검출 현상도 관찰되었다.

Fig. 11

Examples of false negative cases in chestnut defect detection

3.4 결과 해석 및 논의

오검출 및 미검출의 주요 원인은 다음과 같이 정리할 수 있다. 첫째, 결함의 크기가 작고 대비가 낮아 특징 추출이 어려운 점, 둘째, 클래스 간 시각적 유사성으로 인한 분류 혼동, 셋째, 촬영 환경에서 발생하는 반사 및 조명 변화, 넷째, 데이터셋 내 클래스 불균형으로 인한 학습 편향 등이 복합적으로 작용한 것으로 판단된다.

특히 cracked 클래스는 전체 데이터에서 차지하는 비율이 상대적으로 낮고 결함 형태의 다양성이 크기 때문에 충분한 학습이 이루어지지 않았으며, 이는 미검출 증가의 주요 원인으로 작용하였다. 따라서 향후에는 취약 클래스에 대한 데이터 확장 및 클래스 간 데이터 균형 조정, 미세 결함 검출에 특화된 데이터 증강 기법의 적용, 그리고 조명 및 반사 영향을 최소화할 수 있는 촬영 환경 개선이 필요할 것으로 판단된다. 종합적으로, 일부 오검출 및 미검출 사례가 존재함에도 불구하고, 제안한 모델은 전반적으로 안정적인 검출 성능을 보이며 실제 자동 선별 시스템의 비전 검사 모듈로 적용 가능한 수준의 성능을 확보한 것으로 판단된다.