Article information

Abstract

Trans Abstract

1. 서 론

일반적으로 해상 레이더(Marine Radar)는 해상을 운항하는 선박에서 사용하기 위하여 설계된 레이더 장치로서, 운항 중 해상의 장애물, 통행선박, 해안 등의 지형지물을 탐지하여 위 치를 확인하거나, 충돌을 방지하는 목적으로 사용되는 해상에 서의 안전 항해를 지원하는 선박의 주요 항해장비 중의 하나 이다. 레이더는 전자기파를 발사하여 반사되는 전자기파를 수 신하여 물체까지의 거리 및 방위를 측정하는 장치로서 목표에 관한 거리·방향·고도 등의 정보를 PPI(Plan Position Indicator)에 주사하여 영상의 형태로 나타낸다. 레이더는 사 용되는 주파수, 빔폭 등과 같은 기술 사양 및 사용 목적에 따 라 항공레이더, 해상레이더, 기상레이더, 추적레이더 등으로 구분되는데(Han-Seop Shin et al., 2009) 본 연구는 해상레이 더에서 탐지되는 선박 및 부이 등 해상교통 관련한 물표에 대 한 획득과 추적을 다룬다.

ARPA(Automatic Radar Plotting Aid) 기능을 구현하기 위하 여, UDP(User Datagram Protocol)로 레이더 신호 전송이 가 능하여, 범용 컴퓨터에서 레이더 구현이 용이한 LOWRANCE 사의 FMCW(Frequency Modulation and Continuous Wave) 레이더인 4G(제품명) 레이더를 사용하였다. FMCW 레이더는 0~360 방향으로 전자기파를 순차적으로 발사하는데, 한 방향 으로 발사한 전자기파를 처리하여 디지털 정보로 바꾼 것을 Spoke라 부른다. 4G 레이더는 통상 360도 범위에 4096개의 Spoke를 갖도록 구성되는데, 4096개의 Spoke 정보를 화면에 모두 표시하면 하나의 레이더 정지 영상이 구성된다. (Sergio Corda, 2009)

Fig. 1

Radar spoke composition

주로 CCTV(closed circuit television) 영상처리 분야에서는 target을 표적이라고 하고(Sang Jin Shin, 2002), 영상에서 의 미 있는 객체를 찾는 것을 추출, extraction (Do-Jong Kim, 2000)이라고 하는데, 본 연구에서는 해상분야에서 흔히 사용 되는 용어로 target은 물표라 하고 추적의 대상이 되는 물표 를 찾는 과정을 획득, acquisition이라고 하며 물표의 거동을 해석하는 과정을 추적, tracking이라고 하였다. 기존의 연구를 정리하여 보면, Fig. 2에서와 같이, CCTV 영상에서 경계선을 추출하거나, 히스토그램 분석과 같은 기법을 이용하여 관심 물표를 추출하고 이를 camshift, particle filter 등과 같은 기법 으로 반복적으로 추적하는 하는 과정이 일반적인 영상 추적의 방법이다.

Fig. 2

General procedure of target tracking

해상레이더의 주요 기능은 위치 확인과 충돌방지인데, 본 연구의 주된 관심사는 충돌방지를 위한 주변 교통의 분석에 있다. 즉, 주요 관심 대상은 주변을 항해하는 선박과 해상에 존재하는 부이와 같은 항로표지이며, 본 연구에서는 지형지물 을 제외한 이들 주변 교통을 획득 추적하는 것을 대상으로 한 다. 흔히들 영상에서의 표적 추적의 어려움은 표적의 거동이 비선형이어서 모델링하기 힘든데서 기인하는데, 본 연구에서 는 해상레이더에서의 물표(선박 또는 항로표지)는 등속(정지) 운동을 한다고 가정하고 추적하는 방법을 설명한다. 급감속, 급가속, 급회두 등의 비선형운동에 대한 추적 방법 및 칼만필 터의 시스템 잡음 및 관측 잡음에 대한 민감도 분석은 추후 연구로 미룬다.

ARPA 레이더를 구현하기 위한 레이더 영상에서의 물표의 추적은 다양한 방법으로 구현 가능한데, 본 연구에서는 회색 조 변환, 가우시안 평활 필터 적용, 이진화, 라벨링과 같은 순 차적 영상 처리를 통해 물표를 획득하고, 근접이웃탐색 알고 리듬(NNS, nearest neighbor search)을 적용해 물표의 관측위 치를 결정하며, 등속운동의 시스템 모델을 갖는 칼만필터를 통해 거동을 해석하는 방법을 설명한다.

2. 물표의 획득 및 추적

레이더 정지영상은 해상(Sea Surface)에 존재하는 부이나 선박과 같은 물표와 방파제, 육지, 섬과 같은 지리정보, 파도 나 강우에 의한 잡음 정보를 포함하고 있다. 본 연구에서, 물 표의 획득이라 하면 레이더 정지영상에서 잡음 및 육지, 방파 제 등과 같은 지리정보를 구분하여 제거한 후, 물표로서 인지 하는 과정을 말하며, 추적은 한 정지영상에서 인지된 물표를 다음 정지영상에서 인지된 물표 정보와 비교하여 식별하고, 식별된 물표의 거동을 해석하는 과정을 말한다.

CCTV 영상에서의 표적 추적 방법은 camshift, meanshift 등 영상 내의 색상값의 배치 형태를 분석하여 의미 있는 뭉치 를 솎아내고 이러한 색상값의 뭉치가 어디로 이동하는 지를 추적하는 것이 일반적이나(John G. Allen, et al., 2004), 본 연 구에서는 회색조 변환, 가우시안 평활 필터 적용, 이진화 및 라벨링 과정을 거쳐 물표의 크기와 위치 정보를 추출하고 근 접이웃탐색 알고리듬의 선형탐색기법을 적용하여 다음 영상 프레임에 나타난 연속된 물표의 움직임을 추적하는 방법을 제 안한다. 이 방법은 주변 교통이 밀집한 지역에서, 복수 개의 물표가 근접한 곳에 겹치는 현상이 발생하면, 겹쳐진 물표를 구별하지 못하여, 획득과 추적이 용이하지 않다는 단점이 있 으나, 본 연구에서는 이러한 예외적인 경우는 제외하였다. 또 한 칼만필터에서 예측된 위치를 적용하면 근접지역에 존재하 는 다수개의 물표에서 해당 물표를 결정할 수 있을 것으로 판 단되지만, 이를 적용하는 방안은 추후 연구에서 다룬다.

2.1 물표의 획득 및 추적 (Acquire and Track)

영상에서 표적을 추출하는 방법으로 배경소거 기법(JinChun Wang, 1999) 등을 사용할 수 있으나 본 연구에서는 회색조 변환, 가우시안 평활 필터 적용, 이진화 및 labeling (WILLIAM K. PRATT, 2001) 기법과 같이 일련의 순차적인 영상 처리 기법을 이용하여 물표를 추출한다. 가우시안 평활 필터를 적용하는 이유는 물표 주변의 잡음을 물표로 통합하여 하나의 물표가 여러 개로 분리되지 않게 하기 위함이다. 가우 시안 분포 마스크의 폭은 표준편차 σ에 따라 달라지는데, σ 값을 크게 하면 근접한 소형 물표가 하나의 물표로 뭉쳐져 인 식되거나, 분리된 물표 신호를 하나로 묶어주는 효과가 있다. 이진화 임계값도 미약한 신호값을 제거하는 기준으로 사용되 는데 이는 ARPA 레이더의 탐지능력과 관계되는 요소들로, 추후 민감성 분석을 통해 적절한 σ값 및 이진화 임계값을 정 할 필요가 있음을 시사한다. 영상 처리를 통한 물표의 인식 과 정은 Hee-Yong Lee et al.(2014)에 잘 정리되어 있다. Fig. 3은 컬러 영상을 갖는 레이더 원본 영상(좌측 상단)을 회색조 (grayscale) 변환, 가우시안 평활 필터(gaussian smoothing) 및 이진화 과정을 거쳐 라벨링하는 순차적인 과정을 그림으로 보인 것이다. 우측 하단의 color bar는 각 단계별 색상 변화를 히스토그램(histogram)으로 보인 것이다.

Fig. 3

Example of Labeling (Hee-Yong Lee et al., 2014)

Hee-Yong Lee et al.(2014)은 라벨링을 이용하여 물표(鳥 類)를 인식하는 단계까지만 연구를 수행하였는데, ARPA를 구현하기 위해서는 인식 단계 이후의 추적 단계가 필요하며 본 연구는 Hee-Yong Lee et al.(2014)의 후속연구이다.

라벨링된 객체 중에서 육지, 섬, 방파제 등과 같은 지형지물 과 잡음을 제거하기 위하여 물표의 크기로 걸러내는 방법을 사용하였다. 라벨의 크기는 인접한 픽셀의 개수를 의미하는데 Fig. 4에 라벨크기를 계산하는 예를 보였다.

Fig. 4

The calculation of Label Size

선박 항해용 레이더라는 특성상 항상 해면 반사파가 존재 하므로, 가로 세로 700 * 700 픽셀 크기를 갖는 화면에서 25라 벨 크기(5 * 5 픽셀) 이하는 육안으로 구분하기 힘들므로, 실 용상 잡음으로 간주해도 무방하나, 실선 실험을 통해 육안으 로 잡음과 의미 있는 신호를 구분하여, 70 라벨크기 이하를 잡 음으로 간주하였다. 단, 12마일(mile) 이상의 원거리 레인지 (range)에서는 10미터(meter) 미만의 소형 선박이 70픽셀 이 하로 표시되는 경우가 있을 것으로 예상되므로, 물표의 크기 만으로 잡음을 제거하는 알고리듬은 레이더의 모든 관측범위 에 적용되기 힘들 것으로 예상된다. 본 연구는 6마일(mile) 이 내의 거리범위에 한하여 적용하며, 원거리 레인지(range)에서 는 픽셀 크기와 상관없이 칼만필터를 이용한 거동해석을 통해 잡음과 물표를 식별해 내는 알고리듬을 고안하는 연구가 필요 하다.

물표의 추적을 위해서는 연속된 영상 프레임에서의 물표간 의 연관관계 분석이 중요하며, 표적 선택 및 추적 알고리듬은 확률에 기반한 것(Jae-Hee Song, 1993), 칼만필터에 기반한 것 등 다양한데, 본 연구에서는 근접이웃탐색 알고리듬의 선 형탐색기법(Linear Search)을 적용하여 이전 영상의 물표가 다음 영상의 어느 물표인지 구별하였다.

본 연구에 적용된 NNS 알고리듬의 선형 탐색 기법은, Fig. 5(a)에서와 같이, 이전영상에서 A 물표가 식별된 경우, 다음 영상에서 식별된 A’, B, C 중에서, 어느 물표가 이전 영상의 A인지를 식별하는 방법이다. A는 어느 방향으로든 움직일 수 있으므로, 한 스캔당 최대 이동 거리 d를 반지름으로 하는 원 의 범위에 들어오는 물표를 자신으로 식별하며, 만약 여러 개 의 물표가 존재하는 경우에는 A와 가장 가까운 물표(Fig. 5(a)에서의 A’)를 자신으로 식별한다. Fig. 5(a)의 원의 반지름 d는 선속에 의해 결정되는데, 식 (1)과 같이 선속을 최대 60 kts(knots)로 하고, 레이더 레인지(range) 6마일(mile)에 레이 더 화면 크기를 1,200 pixel로 할 경우, 분당 이동 속도는 100 pixel/min가 되므로 물표 A의 화면상 초당 이동거리는 1.7 pixel/sec이 되며, 통상 한 스캔(scan)에 3초 정도가 소요되므 로, 한 스캔당 A의 평균 이동속도는 5 pixel/scan이 된다.

Fig. 5

NNS Algorithm and explanation of Linear Search

(1) d=υ60×D2×r

단,

• υ = 물표속도 (mile/hour),

• D = 레이다화면크기 (pixel),

• r = 레이다거리범위 (mile)

본 연구에서는 d를 100 pixel로 하여 초고속 물표도 획득할 수 있도록 하였으나, d 값이 커지면 연관관계가 적은 물표도 같은 물표로 인지하는 오류가 있을 수 있으므로, 획득 및 추적 오차가 커지게 된다. d 값 변화에 따른 획득과 추적 성능 향 상에 대한 민감도 분석이 필요함을 알 수 있다. Fig. 6에 NNS 의 선형탐색 알고리듬을 적용한 결과를 보였다. Tabel 3.의 IEC62388 규정에 따르면 ARPA 레이더의 최소 추적 물표 개 수는 40개인데, NNS 알고리듬에서 선형탐색 알고리듬(Fig.5 b)의 최대 계산량은 O(n²)이고, 물표의 개수가 최대 160개인 경우에는 계산량이 160² = 25,600 회 인데도 화면이 끊김없이 표시되는 것을 확인하였다.

Fig. 6

Acquired Targets

Fig. 6에서 적색사각형이 획득된 물표이고, 노란색 방위선 이 표시된 것이 칼만필터에 의해 거리 방위가 계산된 물표를 나타낸다.

Table 3

Performance requirements for categories of ship/craft for SOLAS V (parts of excerpt)

3. 물표의 거동 해석

Labeling 및 근접이웃탐색기법에 의해 물표를 추적하는 경 우, 추적된 위치는 칼만필터의 관측값에 해당하며, 시스템 오 차와 관측오차가 포함되어 있다. 통상의 물표 추적 연구는 물 표를 탐지하고 추적하는 방법으로 칼만필터를 사용하여 다음 영상에서의 위치를 예측하여 관측치를 구하는데 (Byeong-Man Kim et al., 2005, Yanan Xu, 2013 등), 본 연구 에서의 추적은 근접이웃탐색알고리듬을 적용해 구현하였고, 식 (3)과 같은 칼만필터(Sung-Pil Kim, 2012)를 적용해, 관측 치의 오차를 제거함으로써 물표의 거동을 해석하였다.

시스템 모델은 등속 운동하는 물체로 가정하였으므로, 칼만 필터의 기본 시스템 모델은 식 (4)와 같다.

상태변수를 가로 세로 축의 위치 및 방향으로 잡으면, 식 (5)과 같다.

시스템 모델의 계수 행렬 A와 H는 식(6)와 같이 된다.

이는 식(7)의 등속 모델을 표현한 것이다.

식(4)에서 (7)까지 시스템 모델을 정의하고 식 (3)의 시스템 잡음 Q와 관측 잡음 R 값은 식 (8)과 같이 정하였다.

기존의 칼만필터를 활용한 영상에서의 물표 추적에 관한 연구와 본 연구에서 수행한 연구내용의 다른 점은 Fig 7.과 같이 근접이웃탐색 알고리듬에 의해 관측된 위치 정보를 칼만 필터를 이용하여 잡음을 제거한 후에, 물표의 진속도 및 진방 위를 계산하는데 사용한다는 점이다. 물표의 거동에 잡음이 포함되어 있다는 것이 사실이므로 칼만필터를 이용하여 잡음 을 제거하면 보다 진위치에 근접하는 것은 자명하다.

Fig 7

The general process of target tracking by NNS

Fig. 8에 비트맵으로 시뮬레이션 한 레이더 영상에서 물표 추적의 결과를 보였고, 그 관측치와 예측치의 차이를 Fig. 9, 10에 차트로 보였다. 예상한 대로 두 물표가 겹치는 곳에서는 추적의 혼란을 보였으나, 겹침을 벗어나면 제대로 추적을 재 개하는 것을 알 수 있다.

Fig. 8

Radar images and tracking result

Fig. 9

Moving distance measured and predicted

Fig. 10

target bearing measured and predicted

Fig. 9, 10에서의 관측치는 레이더영상에서 영상 프로세싱 을 통해 획득된 물표의 위치를 의미하고, 예측치는 관측된 물 표의 위치에 등속 시스템 모델의 칼만필터를 적용한 값이다. 본 연구에는 이 예측치를 거동 해석된 물표의 진침로와 진방 위를 계산하는데 사용하였다.

4. 실선 시험 결과

앞 절에서 설명한 σ 및 이진화 임계값과 지형지물 및 잡음 제거의 기준이 되는 라벨 크기 범위를 시뮬레이션을 통하여 정하였고, 실선 시험을 통하여 실해상에서도 잘 동작하는지 확인하였다. FMCW 레이더로부터 Spoke 신호를 수신하여 PC에 표현하는 SW를 개발하였고, 이를 실선에 탑재하여 실 해역에서 운용하면서 ARPA의 성능을 검증하였다(Fig. 11).

Fig. 11

PC Radar SW

실해역 운용 결과 σ 값 및 이진화 임계값은 레이더 영상 복잡도에 연관이 있었고, 라벨의 크기 범위는 기상상태에 따 른 해면반사파(sea clutter)와 감도(gain)에 따라 달리 했는데 2 ~ 6 마일(mile) 레인지(range)에서는 70 ~ 700 라벨 크기, 6 마일(mile) 이상은 50-500 라벨크기가 적정함을 알았다. 또한 σ 와 이진화 임계값을 다양하게 변경시켜 적용한 결과, 시뮬 레이션과 같이 σ 값은 3.2, 이진화 임계값은 35를 사용하는 것 이 적정함을 알았다.

실선 시험 해역은 오륙도 부근 해상이며, 주변을 통항하는 상선 및 유람선을 대상으로 물표의 진속도와 진방위를 계산하 였고, 최대 20척까지 탐지하였다. 6마일(mile) 이내에서는 길 이 10 미터(meter)이하의 소형선도 잘 획득됨을 확인하였으 나, 레이더 반사신호의 크기 변동이 심한 경우에는 물표의 획 득과 추적이 용이하지 않음을 알았다.

4. 결론 및 추후 연구 내용

본 연구에서, 상용 ARPA 레이더를 구현하기 위해서, 순차 적인 영상처리 기법을 적용하고, NNS 알고리듬 및 칼만필터 를 적용하여, 기본적인 ARPA 기능을 개발하였다.

물표 획득을 위한 영상 프로세싱 기법으로 라벨링 기법을 이용하였고, 추적을 위해서는 근접이웃탐색(NNS) 알고리듬의 선형탐색기법을 적용하였으며, 물표 거동의 해석에 칼만필터 를 적용하였다. CamShift 기법과 같이 영상 프로세싱과 칼만 필터를 조합하여 ARPA를 구현할 수 있으나, 육상에서와 같 이 다양하고 복잡한 영상이 아니므로, 레이더 영상의 특징 및 선박 거동의 특징을 적용한, 효율적인 물표 획득 및 추적 알고 리듬 개발이 가능할 것이라 판단된다.

또한 칼만필터의 성능을 좌우하는 것은 시스템 모델인데, 본 연구에서는 등속운동을 가정한 단순한 시스템 모델을 사용 하였다. 이로 인해 물표가 선회 및 급가감속 등의 급작스런 거 동을 하는 경우, 그리고 본선이 회두하는 경우에는, 물표의 획 득과 추적 기능이 제대로 동작하지 않았다. 이를 보완하기 위 해서는 시스템 모델을 비선형 모델로 확장한 추가 연구가 필 요 하다. 본 연구의 성과를 정리하면 다음과 같다.

Article information Continued