1. 서 론

포트홀(pothole)은 항아리모양으로 150 mm 이상 손실이 일어나 움푹 패인 부분으로(Jo and Ryu, 2016), 도로주행에 있어 타이어 손상, 주행성 저하, 교통사고 유발 등 도로 사용자에게 큰 위협이 될 수 있는 요소이다(Agebure et al., 2022). 따라서, 포트홀은 반드시 예방되어야 하며, 여기에는 재료적인 접근과 스마트기술적 접근이 있다.

재료적 접근으로는 아스팔트 바인더 성능의 향상을 예로 들 수 있다. Fhwa(2012)는 폴리인산으로 개질된 아스팔트 바인더의 성능을 향상하고자 시도하였다. 폴리인산은 폴리머와 함께 사용될 때 강성을 높이고 수분에 의한 손상을 줄이는 효과를 가져온다(Fhwa, 2012). 결과적으로, 폴리인산과 폴리머를 함께 적용한 경우, 아스팔트 바인더의 성능 향상을 통하여 변형저항성이 향상됨을 확인하였다. Lee and Kim(2022)은 폐타이어에서 추출한 카본블랙을 활용하여 아스팔트 바인더의 성능을 개선하는 연구를 수행하였다. 카본블랙은 아스팔트 바인더 무게를 기준으로 0, 5, 10, 15, 20% 비율로 혼입되었다. 결과적으로, 아스팔트 바인더의 영구 변형 저항성, 저온 균열 저항성 및 피로 저항성이 향상됨을 확인하였다(Lee and Kim, 2022). 이 외에도 아스팔트 바인더 성능 향상을 위하여 섬유보강(Sun et al., 2018), 바이오 부산물(Riccardi and Losa, 2024), 재생골의 활용(Riccardi and Losa, 2024) 등 다양한 재료 연구가 수행중이다.

포트홀을 예방하는 방식에는 재료적 성능 향상 외에도, 앞서 언급한 바와 같이 포트홀 실시간 추적 등 스마트기술적 접근이 있다. 이러한 스마트 연구는 전 세계적으로 매우 활발하게 연구가 수행되고 있다. 특히, 아스팔트는 인공신경망을 적용하기 매우 까다로운 이미지 중 하나이다. 다양한 오브젝트가 도로 위에서 실시간으로 움직이고 있으며, 페인트, 잡초, 균열 등 실제 환경에 적용되어 있는 상태로 노이즈가 다수 발생한다. 단순 이미지 프로세싱 기술로는 포트홀을 구분하기 위한 프로그램을 구성하기 어렵다. 따라서 기존의 연구에서는 합성곱신경망(Convolution Neural Network, CNN)을 주로 활용한다. Vinodhini and Sidhaarth(2024)의 연구에서는 CNN을 베이스로 하여 Transfer learning method를 적용, 포트홀 추적 연구를 수행하였다. 비교군으로 단일 CNN을 적용한 사례와 비교평가 하였다. 단일 CNN은 Training에서 0.95의 높은 accuracy를 보였지만, Test에서 0.80~0.85의 생각보다 낮은 정확도 수치를 보였다(Vinodhini and Sidhaarth, 2024). 이는 앞서 언급한 노이즈들이 변수로 작용하여 탐지의 정확도를 떨어뜨리는 것으로 생각할 수 있다. Ye et al.(2021)은 기존 CNN의 학습단계에서 실시하는 Pooling work를 Input 단계에서 미리 진행시키는 Pre-pooling method를 적용하였다. 여전히 기존 CNN의 예측 정확도는 50% 미만으로 정확도가 떨어지는 것을 확인하였고, Pre-pooling 후의 정확도는 90%를 넘는 예측 정확도를 보였다. 이 외에도 CNN 베이스임에도 불구하고 포트홀 추적 연구는 정확도가 90%를 넘기 어려운 것으로 나타난다(Wang et al., 2022). 물론, 비슷한 연구임에도 불구하고 전혀 다른 결과를 보이는 경우도 있다. Aparna et al.(2022)은 Wang et al.(2022)에서 사용한 인공신경망을 똑같이 적용하였지만, 완전히 다른 Accuracy를 보였다. Aparna et al.(2022)의 예측 결과는 95% 이상으로 매우 높은 값을 보였다. 이는 데이터셋의 질과 전처리 과정에 따른 차이로 나타날 수 있다. 이 모델들이 실제로 적용되었을 경우, 그 모델의 무게 또한 고려해야 한다.

기존의 인공신경망, 예를 들어, CNN, 장단기메모리(Long-Short Term Memory, LSTM), 순환신경망(Recurrent Neural Network, RNN) 등은 Graphic card의 그래픽 처리 단위(Graphic Processing Unit, GPU)환경에서 학습을 구동해야 원하는 효율을 얻을 수 있을 정도로 그 무게가 매우 무거운 축에 속한다. 하지만, 최근 뉴로모픽 연구분야에서는 사람 두뇌의 작동원리를 본떠서 만든 스파이크 인공신경망(Spiking Neural Network, SNN)을 차세대 이미지 인식 인공신경망으로 기대하는 바가 크다(Kim and Panda, 2021). 데이터세트의 학습을 진행하더라도 기존의 인공신경망은 GPU환경에서 학습을 진행하지만, SNN은 GPU환경이 아닌, 중앙처리단위(Central Processing Unit, CPU)환경에서 별도의 환경조성없이 순수 컴퓨팅 성능으로만 그 효과를 볼 수 있다는 장점이 있다. 다만, Kim and Panda(2021)의 언급에서와 같이, Backpropagation이 불분명한 점이 약점으로, Weight update 측면에서 꽤나 약한 인공신경망으로 분류된다. 즉, 사후 예측 정확도가 현저히 낮을 수 있다는 점이다. 하지만, 무거운 인공신경망의 활용은 여전히 기술의 실현성을 저하시키고, 여전히 연구단계에 머물도록 하는 큰 걸림돌이다.

따라서, 본 연구에서는 정확도에 초점을 맞추기 보다, SNN을 활용한 포트홀 추적 적용성과 개선점을 연구하였다. 분명한 점은 CNN보다는 성능이 떨어지는 점이지만, 가볍고 연산이 빠르다는 측면에서 충분히 검토될 수 있는 부분이며, 추후 연구에 대한 방향성을 일부 제시하고자 한다.

2. SNN 및 데이터 수집

2.1 SNN

SNN은 인간의 뇌, 특히, 뉴런의 작동원리를 그대로 구현한 인공신경망이다. 인간의 뇌는 이미 잘 알려진 바와 같이 수조개의 뉴런이 복잡하게 연결되어 있는 구조이다. 그럼에도 불구하고 뇌는 효율적으로 데이터를 학습하고, 필요한 부분의 뉴런만 발화하여 학습된 부분을 활용하는 방식으로 구동된다. 이에, 지구상에서 가장 에너지 효율이 좋은 컴퓨터로 인식되고 있다(Padamsey and Rochefort, 2023). 실제로, 이러한 방식을 본떠서 학습을 진행한 결과, 매우 가볍고, Computing cost가 크게 들어가지 않는 효율적인 인공신경망인 SNN의 개념이 탄생하게 된다(Kim and Panda, 2021). SNN의 작동원리는 Jang et al.(2024)이 개념도로 이해하기 쉽도록 Fig. 1처럼 나타내었다.

Fig. 1.

Scheme of SNN (Jang et al., 2024)

뉴런의 구성은 크게 돌기, 신경세포체, 축삭, 축삭돌기로 이루어져있다. 여기서, 축삭말단(Fig. 1의 뉴런에서 좌측 돌기)에 Input signal이 들어오고, 신호가 전달되는 과정에서 Leakage가 일어난다. 또한, 전달 과정에서 축삭의 세포막의 임계점(threshold)를 넘어가게 되면 뉴런이 발화하면서 그 신호를 신경세포체 및 가지돌기로 전달하며, 발화 Output을 전달한다. 이 전달 방식은 어디서나 적용이 용이하지만, 가장 대표적으로 이미지 분석이 있다. SNN에는 주로 누출통합발화모델(Leaky-Integrate-Fire, LIF)과 스파이크시점 의존 가소성모델(Spike-Timing-Dependent-Plasticity, STDP)이 대표적으로 사용된다. 본 연구에서는 STDP 모델을 학습과정에서 적용하였다. STDP는 두 개의 뉴런이 있다고 가정했을 때, 사전 뉴런에서 먼저 발화를 하게 되면 두 뉴런의 연결강도를 증대시키고, 사후 뉴런에서 먼저 발화를 하게 되면 두 뉴런의 연결강도를 약화시키는 방식으로 Weight update를 하게 된다.

공학분야에서는 다소 생소하고, 실제로 적용해보면 매우 까다로운 인공신경망으로, 특히, 건설분야에서는 찾아보기 힘들다. 콘크리트의 균열 탐지(Xiang et al., 2022) 및 주행 환경에서 Accelerator의 데이터에서 읽어져 오는 충격 데이터를 활용한 이벤트 분석(Agebure et al., 2022)의 사례를 대표적으로 들 수 있다. 이 외의 연구는 매우 부족한 상태이다. 그 이유는 사용이 매우 까다롭고 정확도를 올리기 위한 방안이 뾰족하게 나타나있지 않기 때문이다. 그럼에도 불구하고, 반드시 연구되어야 하며, 발전되어야 할 연구이다.

2.2 데이터의 확보 및 SNN 학습 경량화 방법

학습에 필요한 포트홀 이미지 데이터는 오픈소스인 Kaggle(2020)에서 다운받아 학습을 진행하였다. 또한, 깨끗한 상태의 아스팔트 포장 표면 데이터는 제공자를 찾기 어려운 점이 있었다. 따라서, 이미지 생성형 인공지능인 Artguru(2015)에서 직접 이미지를 생성하여 Test 단계에서 정말로 포트홀만 탐지하는지 그 성능을 평가하였다. 또한, 학습된 SNN이 실제 사진에서 포트홀을 구분할 수 있는지 확인하기 위하여 10장의 실제 사진에도 적용하여 성능을 평가하였다. 학습 데이터는 총 500개로 80%는 Training set으로, 20%는 Test set으로 활용하였으며, 추가로 생성형 인공지능에서 제작한 데미지가 없는 도로포장에서 포트홀 탐지 정확도를 평가하였다.

아스팔트는 표면이 매우 거칠고 그림자가 많이 발생한다. 이 문제로 CNN이나 이미지프로세싱에서 정확도를 높이기가 어렵다. 그림자나 기타 인식되는 물체를 걸러서 학습을 진행해야 하는데, 아스팔트 표면은 콘크리트와 같이 표면이 매끄러운 재료가 아니기 때문에 난이도가 매우 높다. 따라서, 본 연구는 이미지 데이터를 1차원으로 Flatten 작업 후 데이터를 확인하였다. 이 방법은 Lee et al.(2024)이 CNN을 사용하여 On-device 콘크리트 균열 탐지를 위한 학습 경량화 방법을 제시하였고, 여기서 본 연구에서는 파라미터를 더 추가하여 고려하였다. Flatten 작업 결과, 아무리 많은 물체가 이미지에 존재하더라도 포트홀이 존재하는 표면과 그렇지 않은 표면에서의 데이터 경향성이 확연히 달랐다. 이를 활용하여, Flatten 작업된 데이터의 히스토그램을 검토하고, 여기서 첨도, 왜곡도, 평균, 빈도 최대값, 분산 데이터를 학습시키는 방향으로 정확도 및 경량화를 연구하였다. 히스토그램만으로는 본 연구의 접근방식에서 포트홀 특성과 노이즈를 구분하기 어렵기 때문에 앞서 언급한 첨도, 왜곡도, 평균, 빈도 최대값의 추가적인 파라미터가 고려된 것이다. Fig. 2에 그 흐름도를 나타내었다. 이미지는 Positive(포트홀이 있는 경우), Negative(포트홀이 없는 경우)로 나누어 이미지를 분류하였다.

Fig. 2.

Total process of the SNN training and prediction

3. 결과 및 고찰

3.1 임계점 추적 결과

앞서 언급한 바와 같이 SNN은 Threshold, 즉, 임계점을 기반으로 하여 가중치를 업데이트 한다. 첨도, 평균, 왜곡도, 빈도 최대값, 분산의 각 임계점을 조사하기 위하여 도출된 히스토그램은 Fig. 3과 같다.

Fig. 3.

Results of the histogram

히스토그램의 결과에서 명확한 경향성을 찾을 수 있다. Negative 케이스는 한쪽으로 히스토그램이 쏠려 있는 반면, Positive는 기타 노이즈들과 함께 섞여 중구난방한 히스토그램을 확인할 수 있다. Positive의 결과와 같은 상황이라면 특징값을 얻어내기가 쉽지 않다. 이에, 히스토그램에서 얻을 수 있는 다른 파라미터들도 고려하였다. 위의 히스토그램을 기반으로 설정된 임계점은 아래 Table 1과 같다.

임계점보다 작은 경우에 Spiking 하도록 설정한 파라미터는 첨도이며, 나머지는 임계점보다 클 때 Spiking 하도록 설정하였다. 이를 활용하여 학습을 시킨 결과, 매우 짧은 시간에 (약 1.3초) 400장의 이미지를 학습한 결과를 보였다.

3.2 포트홀 추적 결과

Table 2는 본 연구의 학습방법을 활용한 학습 결과 후 예측 정확도 결과를 나타낸다. Positive에서는 기존 연구(Aparna et al., 2022; Wang et al., 2022)에서 보여준 정확도 0.8~0.91사이의 높은 결과를 보였다. 이는 주변 환경에서 탐지되는 노이즈 (기타 사물들)의 특징을 최대한 줄이기 위하여 데이터의 히스토그램화 및 여러 파라미터의 고려가 SNN의 학습 후 Test 정확도를 높이는데 효율적임이 증명되었다. 다만, Negative에서 0.167이라는 다소 높은 값이 나왔다. 즉, Test set에서 포트홀이 없는 사진임에도 불구하고 포트홀이 있는 것으로 판별되었다. 아스팔트 자체의 재료 특성상, 표면 거칠기에 의한 그림자가 존재하고, 주변 사물에 의한 그림자가 차지하는 면적, 형상 등에 따라 충분히 나올 수 있는 수치로 판단된다. 그 이유는 오로지 CNN만 사용했을 경우에도 정확도가 크게 떨어지는 경향을 이미 기존 연구에서도 검토하였기 때문이다(Vinodhini and Sidhaarth, 2024).

이미지 추적 결과는 Table 3와 같으며 대표적인 케이스로 3개씩 리스트 하였다. 추적 결과, 케이스별로 아래와 같이 포트홀 추적에 성공하였음을 알 수 있다. 학습된 포트홀 이미지는 실제 촬영된 사진으로, 이미 추적 성능에서는 충분한 활용성이 있음이 검증되었다. 중요한 부분은 실제로 촬영된 포트홀이 존재하지 않는 깨끗한 아스팔트 포장을 훈련된 SNN에 의해 구분이 가능한 것이 중요하다. 이미 Artguru에 의해 생성된 이미지에서 몇몇 사진을 제외하고 대부분 포트홀이 없는 사진을 잘 구분하였다. 하지만, 생성된 이미지만으로 SNN의 성능을 평가하기 어렵기 때문에, 실제로 촬영한 이미지를 적용하여 보았다. 총 10개의 사진에서 테스트하였으며, 흥미롭게도 실제 사진에서는 모두 포트홀이 없는 것으로 나타났다. 포트홀이 없는 실제 사진에는 생성된 이미지보다 자동차, 나무, 건물 등 다양한 노이즈 발생 요소가 있었음에도 불구하고, 포트홀의 유무를 구분하는 훌륭한 성능을 보였다. 이 테스트의 결과 중 가장 대표적인 3개의 사진이 Table 3에 리스트 되었다.

Table 3.

Results of pothole detection

Positive case	Negative case (Generated images)	Negative case (Real images)

4. 결 론

본 연구는 포트홀 추적의 정확도를 높이고 효율적인 인공신경망 학습을 위한 방법을 연구하였고, 최근 CNN이후의 차세대 인공신경망으로 손꼽히는 SNN을 활용하여 효율적인 포트홀 추적이 가능함을 확인하였다.

1. 이미지 자체의 학습은 이미지 내부에 나무, 사람, 자동차, 페인트 등 다양한 노이즈가 존재하기 때문에 데이터를 평탄화 하고 히스토그램을 통하여 특징을 파악하는 방식을 선택하였다. 그 결과, Negative 케이스와 Positive 케이스가 확연한 경향의 차이를 보였고, 파라미터별 임계점 또한 충분히 확인이 가능하였다.

2. 학습 시간은 바로 응답이 될 정도로 짧았으며, 2초 이내의 매우 짧은 학습시간을 보였다. 이는 이미지가 1차원화 된 데이터로 활용이 되었고, 히스토그램에서 필요한 데이터만 학습을 시켰기 때문에, 효율이 극단적으로 높아진 것으로 판단할 수 있다.

3. 포트홀 추적 결과, Positive에서 충분히 높은 정확도를 얻었다. 다만, Negative에서 0.167이라는 다소 높은 값이 도출되었는데, 이는 아스팔트 표면의 거칠기에서 기인하는 그림자 등이 크게 영향을 미친 것으로 판단된다.

4. 향후 본 연구의 방법을 활용하여 On-device를 활용하여 차량 주행 중에도 포트홀을 감지하여 자율주행 등과 연계할 수 있을 것으로 기대된다. 또한, 기존의 CNN을 활용한 연구에서와 같이 포트홀에 대한 인식 정확도를 더욱 높이는 하이브리드 인공신경망 활용 방식도 고려할 수 있다. 포트홀의 인식 정확도뿐만 아니라, 포트홀에 하이라이팅, 즉, CNN에서 활용하는 바운딩 박스를 활용한 위치 표시 등에 대한 기술 활용도 적용되어야 한다.