†Corresponding author : 종신회원, 1. 서 론
최근 자율운항선박(Maritime Autonomous Surface Ship, MASS)에 대한 연구개발이 국내외에서 진행되고 있다(IMO, 2019; Lee, Choi and Yoo, 2021; Yim, 2021).
아울러, 인정기관(Recognized Organization, RO)을 통해서 자율운항선박 또는 자율운항에 필요한 시스템 및 기능에 대한 안전성과 신뢰성이 검증될 것이 요구되고 있다(Korean Register, 2023b; IMO, 2013). 그리고 선원이 승선하지 않거나, 또는 최소인원만 승선하는 자율운항선박의 특성으로 인하여 기존의 검사원에 의한 선박검사 방법 이외에 새로운 검사방법의 개발이 필요한 실정이다(Song, Lee, Han and Jang, 2022).
한편, IACS(International Association of Classification Societies)는 검사원에 의한 검사를 조건으로 원격검사기술의 사용에 대한 권고를 제안한 바 있으나(IACS, 2016), 아직 관련 국제협약에 반영되지 않은 실정이다. 그럼에도 불구하고 IACS는 코로나-19(COVID-19)에 의해서 검사원에 의한 검사가 불가능한 상황이 발생하면서 검사의 연기를 판단하는데 활용할 수 있는 원격검사에 관한 지침을 IMO(International Maritime Organization)에 제공한 바 있다(MSC, 2020). 그 후 동 지침에 따라 원격검사가 다양하게 활용되면서 원격검사의 가능성에 대한 산업계의 관심이 주목되고 있다. 아울러, 원격검사는 무인화를 추구하는 자율운항선박 시대의 새로운 검사 방법으로 활용될 수 있을 것으로 예상하고 있다.
자율운항선박은 4단계 수준으로 구분할 수 있는데, 수준1은 자동화된 현존 선박의 자율운항을 지원하는 수준이고, 수준2는 선원이 승선하지만 일부 원격제어가 가능한 수준이며, 수준3은 선원이 승선하지 않고 원격제어가 가능한 수준이고, 수준4는 완전자율운항이 가능한 수준이다. 현재 국내외적인 개발목표는 수준2와 수준3 사이에 있다(Yim, 2021).
수준2와 수준3 사이의 선박검사방법은 검사원에 의한 검사 또는 원격검사 또는 양자의 혼합 등의 형태로 전개될 것으로 예상되고, 위에서 기술한 바와 같이 COVID-19를 통해서 원격검사 역시 검사원을 대신할 수 있는 유용한 검사방법 중 하나가 될 것으로 예상하고 있다.
이러한 원격검사를 위한 방법은 다음의 3가지를 고려할 수 있는데, 1)매개변수를 수집하고 본선 장비의 작동상태를 평가하기 위하여 사물 인터넷(IoT) 또는 컴퓨터 비전 등을 활용하는 방법, 2)결함을 인식하고 분류하는 인공지능기반 기술, 3)수집된 데이터를 기반으로 검증하고 제3자를 통해서 인증하는 방법 등이다(Korean Register, 2023a; Korean Register, 2023b).
위의 3가지 방법이 구현되기 위해서는 다양한 학문 분야에서의 연구가 필요한데, 우선하여 현존 선박에 설치된 장비 또는 설치 예정인 장비를 어떠한 변경이나 변형 없이 검사에 필요한 상태를 인지하거나, 또는 검사에 필요한 수치를 판독할 수 있는 비접촉식 검사방법의 개발이 필요하다. 현재 소형 카메라를 이용한 비접촉식 방법이 선박검사에 일부 적용되고 있다(MSC, 2021).
선박검사에 필요한 영상처리기술은 사각형 박스에 고정된 숫자와 문자를 판독하는 자동차 번호판 인식기술과는 큰 차이가 있다. 선박의 각종 장비는 대체로 밀폐된 공간 또는 열악한 환경에 설치되기 때문에 영상에 잡음이 포함되고 습도와 온도에 따른 영상의 번짐과 퇴색 등이 발생한다.
본 연구의 최종목표는 카메라를 선박 장비에 설치된 아날로그 게이지(analog gauge) 부근에 고정 설치한 후 영상처리를 통해서 장비의 상태를 검사하기 위한 것이다. 이를 위해서는 다음의 절차가 필요한데, 1) 아날로그 게이지 전체의 윤곽을 검출한 후, 2) 수시로 변동하는 아날로그 게이지의 지시바늘에 관한 객체를 식별하고, 3) 지시바늘 객체의 위치를 판별한 후, 4) 최종적으로 지시바늘 위치에 표시된 눈금과 숫자 또는 문자를 판독한다.
본 연구의 목적은 위의 4가지 절차 중에서 아날로그 게이지 영상처리에 우선 필요한 1)과 2)에 관한 구현방법을 개발하기 위한 것으로, 1) 윤곽을 검출한 후, 2) 지시바늘에 관한 객체를 식별하기 위한 것이다. 윤곽 추출은 가우시안 필터(Gaussian Filter), 임계처리(Thresholding), 모폴로지 연산(Morphological Operation) 등의 기법을 이용하여 수행하고, 허프 변환(Hough Transform)을 통해서 지시바늘의 객체를 식별하였다.
본 연구에서 제안한 방법은 자율운항선박의 자동원격검사를 위한 하나의 기반기술로 적용될 수 있을 것으로 기대된다.
2. 이론적 배경
2.1 가우시안 필터
아날로그 게이지의 영상처리에서 우선 필요한 것은 잡음 제거이다. 잡음이 포함된 영상은 목표 형상의 추출 오류, 문자와 숫자의 판독 오류를 초래할 수 있다.
영상처리에서 잡음제거는 일반적으로 가우시안 필터(Gaussian Filter, GF)를 이용한다(Yim, 2019a; Yim, 2019b). GF는 평균 μ와 표준편차 σ의 조합으로 정의된 가우시안 분포 N(μ, σ2) 을 이용하여 잡음을 제거하기 위한 것으로, 관심을 둔 영상의 모서리 중심에 있는 픽셀(pixel)에 높은 가중치를 부여하여 잡음을 제거함과 동시에 모서리를 상대적으로 보존하기 위한 것이다(Zivkovic, 2004; Song et al., 2020).
가우시안 분포 N(μ, σ2) 의 확률밀도함수 f(x)는 다음 식(1)으로 나타낼 수 있다.
여기서, σ는 표준편차, μ는 평균, e는 지수함수 등을 나타낸다.
Fig. 1은 3가지 종류의 1차원 가우시안 분포를 나타낸 것으로, 평균값 μ = 0에 대해서 표준편차가 각각 σ = 1.0, σ = 1.5, σ = 2.0 인 경우의 분포를 나타낸다. GF는 모서리 픽셀에 변수 x = 0 에 해당하는 확률밀도 값을 가중치로 적용하고, 모서리 픽셀 주변의 픽셀은 변수 x = 0 의 확률밀도 값보다 작은 정(+)의 + x 또는 부(-)의 - x 에 해당하는 확률밀도 값을 가중치로 적용한다. 이를 통해 모서리 픽셀의 영상은 더욱 선명해진다.
2.2 임계처리
아날로그 게이지의 영상처리에서 두 번째 작업은 임계처리(Thresholding)이다. 임계처리는 픽셀의 값이 주어진 임계값을 넘으면 그 픽셀을 숫자 1로 지정하고 임계값을 넘지 못하면 숫자 0으로 지정하기 위한 것이다. 이와 같이 임계처리는 영상을 두 개 이상의 그룹으로 구분하는 작업이다.
임계처리는 이진처리, 삼진처리, 다중처리 등 다양한 형태가 있는데, 본 연구에서는 객체식별을 간단하게 처리하기 위하여 이진처리(Binarization)를 적용하였다. 이진처리는 영상을 2가지 수준(검은색과 흰색)으로 구분하는 것으로, 주로 문서 스캔, 텍스트 인식, 윤곽선 검출 등에 사용한다.
이진처리는 다음 식 (2)과 같이 0과 1의 이진논리 조합 [0, 1]을 이용하여 나타낼 수 있다(Szeliski, 2021).
여기서, B(x,y)는 이진처리가 된 영상의 2차원 좌표위치 (x, y)에 대한 픽셀 값, f(x,y)는 입력영상의 2차원 좌표위치 (x, y)에 대한 픽셀 값, T는 임계값 등을 나타낸다.
이러한 이진처리에 의해서 임계처리가 된 영상은 검은색과 흰색으로 뚜렷하게 구분되기 때문에 영상에 포함된 물체식별이 용이해지는 장점이 있다. 이에 반하여, 이진처리 작업에 오류가 발생하거나 경계가 불확실한 영상의 경우에는 영상 손실 또는 원하지 않는 잡음이 추가로 발생할 수 있는 단점이 있다.
2.3 모폴로지 연산
아날로그 게이지의 영상처리에서 세 번째 작업은 모폴로지 연산(Morphological operation)이다. 모폴로지 연산은 객체의 형태를 분석하고 처리하기 위한 것으로, 객체의 경계를 표현하는데 필요한 정보를 추출하거나, 이진처리에서 발생하는 잡음을 제거하기 위한 것이다. 아울러, 객체 간의 겹침 분리, 객체 모양의 단순화 등의 목적으로도 활용된다(Gonzalez and Woods, 2009).
모폴로지 연산은 다음의 4가지 종류가 있는데, 1)침식(Erosion), 2)팽창(Dilation), 3)열림(Opening), 4)닫힘(Closing) 등이다. 이러한 4가지 연산방법은 AND 또는 OR와 같은 논리연산과 유사한 방법으로 처리한다.
Fig. 2의 (a)부터 (d)까지의 4개 그림은 4가지 모폴로지 연산의 예를 나타낸다. 4개 그림은 공통적으로 세 부분으로 구성되어 있는데, 좌측 그림들은 nO × mO 차원의 픽셀로 구성된 이진처리 된 입력 영상(O)을 나타내고, 중간 그림들은 nF × mF 차원의 필터(F)를 나타내고, 우측 그림들은 모폴로지 연산이 적용된 nO′ × mO′ 차원의 출력 영상(O′)을 나타낸다.
4가지 모폴로지 연산의 예를 각각 설명하면 다음과 같다.
1) 침식 연산(Erosion operation)
침식 연산은 다음 식(3a)으로 나타낼 수 있으며, 침식 연산의 결과(O′e)는 Fx의 모든 좌표가 O에 포함되도록 이동시킨 x의 집합이 된다.
여기서, O는 입력된 이진영상의 좌표 집합, ⊖ 는 침식연산 기호, F는 필터 요소의 좌표 집합, Fx는 F의 원점을 x로 이동시킨 좌표 집합, O′e는 침식 연산의 결과 등을 나타낸다.
Fig. 2(a)는 침식 연산의 예를 나타낸 것이다. 3 × 3 차원의 필터(F)를 입력 영상(O)의 해당영역과 비교했을 때, x1의 좌표에서는 값이 모두 일치하므로 1을 출력하고, x2의 위치에서는 모두 일치하지 않기 때문에 0을 출력한다. 이는 마치 모든 조건이 참(true)일 때만 참으로 처리하는 AND 연산과 유사하며, 필터에 의해서 출력영상이 1이 되는 범위가 입력영상이 1이 되는 범위와 비교하여 축소(즉, 침식)된다.
2) 팽창 연산(Dilation operation)
팽창 연산은 다음 식(3b)으로 나타낼 수 있다. 팽창 연산의 결과(O′d)는 Fx의 모든 좌표가 O에 포함되도록 이동시킨 x의 집합이 된다.
여기서, ⊕ 는 팽창연산의 기호를 나타낸다.
Fig. 2(b)는 팽창 연산의 예를 나타낸 다. 3 × 3 의 필터(F) 를 입력 영상(O)의 해당영역과 비교하였을 때, x1의 좌표에서는 한 개 이상 일치하기 때문에 1을 출력하고, x2의 좌표에서는 모두 일치하지 않기 때문에 0을 출력한다. 이는 마치 조건 중 하나만 참이어도 참으로 처리하는 OR 연산과 유사하며, 필터에 의해서 출력영상이 1이 되는 범위가 입력영상이 1이 되는 범위와 비교하여 확대(즉, 팽창)된다.
3) 열림 연산(Openning operation)
열림 연산은 다음 식(3c)과 같이 침식 연산( ⊖ )을 먼저 수행하고 그 출력 영상에 팽창 연산(⊕)을 수행한다.
여기서, ∘ 는 열림 연산을 나타낸다.
Fig. 2(c)는 열림 연산의 예를 나타낸 것으로, 상단 그림은 입력 영상에 대한 침식 연산 절차와 결과를 나타내고, 하단 그림은 침식 연산의 출력영상에 대한 팽창 연산의 절차와 결과(O′o)를 나타낸다. 이러한 열림 연산에 의해서 구조가 넓게 연결된 입력영상 부분은 출력영상에서 유지됨과 동시에 좁게 연결된 부분이 제거됨을 볼 수 있다.
4) 닫힘 연산(Closing operation)
닫힘 연산은 열림 연산과 유사하게 침식 연산과 팽창 연산을 모두 사용하지만, 열림 연산과 달리, 식 (3d)과 같이 팽창 연산(⊕)을 먼저 수행하고, 그 출력 영상에 침식 연산(⊖)을 수행한다.
Fig. 2(d)는 닫힘 연산(Closing operation)의 예를 나타낸 것으로, 팽창연산을 수행한 이후 침식연산 결과(O′c)를 나타낸다. 이러한 닫힘 연산에 의해서 입력영상에서 좁게 연결되어 있던 부분들이 출력영상에서는 확대되어 내부와 윤곽 부분의 빈 곳이 채워짐을 볼 수 있다.
3. 실험 및 결과
3.1 실험 절차
Fig. 4는 아날로그 게이지의 영상에서 지시바늘 객체의 식별을 위한 실험 절차를 나타낸다. 실험 절차는 두 부분으로 구분하였는데, 하나는 아날로그 게이지 영상의 사전처리 부분이고, 다른 하나는 사전처리 된 영상에서 지시바늘 객체를 식별하는 부분이다.
먼저, 영상의 사전처리 과정은 다음과 같다.
단계 1: 컬러로 촬영한 아날로그 게이지의 영상을 이진처리를 통해서 흑백영상으로 변환한다.
단계 2: 흑백영상에 가우시안 필터를 적용하여 잡음을 제거한다.
단계 3: 잡음이 제거된 영상을 임계처리하여 배경과 게이지의 객체들을 명확하게 구분한다.
단계 4: 임계처리 영상에 모폴로지 연산을 적용하여 지시바늘 객체의 형상을 단순화시키고 지시바늘 객체 이외의 객체들은 잡음으로 간주한다.
다음으로, 위의 4 단계를 통해 처리된 영상에서 지시바늘의 객체식별 절차는 다음과 같다.
단계 1: 사전처리가 된 게이지 영상에서 게이지의 중심점을 식별한다. 이 작업을 통해 게이지의 중심점에 있는 지시바늘의 원점을 식별한다.
단계 2: 식별한 게이지의 중심점으로부터 지시바늘 객체를 식별한다.
3.2 실험 장치 구축
실험 장치는 비상소화펌프 모형을 이용하였는데, 이 비상소화펌프 모형은 한국해양대학교 실습선 한나라(L, 121.78 m; B, 19.40 m; D, 11.05 m; G.T, 9,196 ton)에 설치된 비상소화펌프의 배관도면을 이용하여 연구자가 제작한 것이다. 비상소화펌프는 기관구역에 설치된 주(main) 소화펌프에 문제가 발생할 경우를 대비하기 위한 것으로, 주 소화펌프가 설치된 구역의 외부 구역에 설치하여 어떠한 상황에서도 선박의 화재를 진압하기 위한 송수용 펌프로서 선급검사의 대표적인 검사대상이다(Korean Register, 2023c).
이러한 비상소화펌프는 비상시 작동할 수 있도록 항상 작동상태를 유지해야 한다. 비상소화펌프의 작동여부의 판단 방법은, 갑판 위에 두 줄기 사수의 가능 여부와 토출 압력이다. SOLAS는 모든 소화전의 최소 압력 0.40 MPa(4000 톤 이상의 여객선 기준)을 요구하고 있으며, 기준 이상의 수압이 형성되는 경우 비상소화펌프가 정상 작동하는 것으로 규정하고 있다(SOLAS, 2002).
Fig. 5는 아날로그 게이지가 부착된 비상소화펌프의 모형을 나타낸다. 모형의 구조와 작동상태를 설명하면 다음과 같다. 먼저 비상소화펌프(a)를 가동하면 탱크(b)에 채워진 해수가 각종 파이프라인(c)을 거쳐서 사각 박스로 묘사한 갑판(d)으로 배출되고, 이때 각 파이프라인에 형성되는 수압이 아날로그 게이지(e)에 표시된다. 아울러 영상처리 보드에서 아날로그 게이지의 영상을 촬영하여 처리한 후 지시바늘이 놓인 위치의 수압을 식별한다.
3.3 영상 사전처리 결과
Fig. 6의 (a)부터 (d)까지는 아날로그 게이지의 사전 영상처리 결과를 나타낸다.
Fig. 6(a)은 비상소화펌프 모형에 부착된 아날로그 게이지를 영상처리 보드에서 촬영한 원본 컬러영상을 나타낸 것으로, 비상소화펌프를 작동하지 않은 상태에서 촬영한 것이다. 아날로그 게이지는 0.0 MPa부터 1.0 MPa까지의 수압범위가 20 단계로 구분된 것으로, 1개의 눈금은 0.05 MPa에 해당한다. 그림에 나타낸 컬러영상에서 아날로그 게이지와 배경이 혼합되어 있음을 볼 수 있고, 흑색의 지시바늘은 0.0 MPa를 나타내고 있다.
Fig. 6(b)은 이진처리를 통해서 흑백 이미지로 변환시킴과 동시에 가우시안 필터를 적용하여 잡음을 제거한 결과를 나타낸다. 영상처리를 했음에도 불구하고, 다양한 배경 객체(직선 형상, 플랜지의 원형 형상 등)가 남아있음을 볼 수 있다. 이러한 배경 객체들은 임계처리를 통해서 제거하였다.
Fig. 6(c)은 임계처리 결과를 나타낸다. 원하지 않는 배경 객체들이 삭제됨에 따라 게이지의 눈금과 숫자, 지시바늘, 게이지의 외경 등이 선명해졌음을 볼 수 있다. 그러나 그림 Fig. 6(b)의 가우시안 필터를 적용했을 때 잘 보이지 않았던 게이지 내경 부분의 그림자와 유리에 반사된 작은 픽셀 등의 잡음이 다수 보인다. 이러한 잡음은 모폴로지 연산을 통해 억제하였다.
Fig. 6(d)은 모폴로지 연산 결과를 나타낸다. 다수의 잡음이 제거된 결과 눈금과 지시바늘이 더욱 명확하게 나타남을 볼 수 있다.
3.4 지시바늘 객체 식별 결과
Fig. 7의 (a)와 (b)는 지시바늘 객체 식별결과를 나타낸다.
Fig. 7(a)은 허프 변환을 통해서 게이지의 중심점을 식별한 결과를 나타낸다. 이러한 중심점은 게이지의 중앙에 나타난 지시바늘 중심의 원형 객체를 식별하기 위한 것이다. 식별결과는 지시바늘 중심의 원형 객체에 굵은 흑색의 원으로 나타냈다. 그림을 보면, 배경에 게이지 중심의 원형 형상과 유사한 형태의 숫자 ‘0’, 문자 ‘p’, 동그란 볼트 자국, 그리고 원형의 ‘KS마크’ 등이 나타났음에도 불구하고 지시바늘의 중심 객체가 선명하게 식별되었음을 볼 수 있다.
여기서, 게이지의 중심점을 찾는 이유는 압력에 의해서 변동하는 지시바늘의 위치를 정확하게 식별하기 위한 것이다. 선박에서 일반적으로 사용하는 부루동-관 압력계(Bourdon tube pressure gauge)는 압력이 가해지면 부루동-관의 변형정도가 지시바늘의 중심점을 기준으로 눈금판 위에 표시되는 방식이다. 그래서 눈금판에 나타난 숫자(즉, 압력)를 정확하게 판독하기 위해서는 지시바늘의 중심에서부터 지시바늘의 끝부분까지의 객체식별이 필요하기 때문에 우선하여 지시바늘의 중심점을 식별하는 것이다.
Fig. 7(b)은 지시바늘 객체의 식별결과를 나타낸다. 식별결과는 지시바늘 객체 위에 청색의 굵은 선으로 나타냈다. 이 결과는 허프 변환을 통해 검출한 지시바늘의 직선 객체를 이용한 것으로, 지시바늘의 중심점으로부터 끝부분까지 정확하게 식별되었음을 볼 수 있다.
4. 결 론
본 연구에서는 선박용 비상소화펌프에 장착된 아날로그 게이지에서 지시바늘의 형상을 영상처리를 통해서 식별하기 위한 방법을 제안하였다. 실제 선박환경과 유사하게 제작한 비상소화펌프 모형에 영상처리 보드를 장착하여 구성한 실험 장치를 이용하여 실험한 결과는 다음과 같다.
첫째, 가우시안 필터, 임계처리, 모폴로지 연산 등을 단계별로 적용한 영상처리 과정과 방법은 아날로그 게이지의 중심원과 지시바늘의 식별에 적합함을 확인하였다.
둘째, 가우시안 필터에 의해서 잡음이 억제될 수 있음을 확인하였다.
셋째, 임계처리에 의해서 영상에 포함된 배경과 지시바늘 객체의 명확한 구분이 가능함을 확인하였다.
넷째, 모폴로지 연산을 통해 지시바늘 객체의 중심에서부터 끝부분까지 식별할 수 있음을 알았다.
본 연구는 지시바늘 객체 식별에 연구목적을 둔 것으로, 향후 연구에서는 다양한 환경에서의 객체 식별 및 지시바늘이 위치한 숫자(즉, 압력)의 판독에 관해서 연구할 예정이다. 이러한 판독을 위해서는 더 정교한 기술의 적용과 개발이 필요할 것으로 고려된다.
본 연구에서 제안한 방법은 아날로그 게이지뿐만 아니라 선박에 설치된 통풍폐쇄장치(Fire Damper)의 개폐상태, 비상차단밸브(Quick Closing Valve)의 작동상태 등을 검사하기 위한 다양한 게이지의 상태 판독에 적용 가능할 것으로 기대된다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
Print
