Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-5725(Print)
ISSN : 2093-8470(Online)
Journal of Navigation and Port Research Vol.43 No.3 pp.160-165
DOI : https://doi.org/10.5394/KINPR.2019.43.3.160

Estimating the Behavior Path of Seafarer Involved in Marine Accidents by Hidden Markov Model

Jeong-Bin Yim†
Division of Navigation Science, Korea Maritime & Ocean University, Busan 49112, Rep. of Korea
Corresponding author: 종신회원, jbyim@kmou.ac.kr051)410-4246
15/03/2019 01/04/2019 02/04/2019

Abstract


The conduct of seafarer is major cause of marine accidents. This study models the behavior of the seafarer based on the Hidden Markov Model (HMM). Additionally, through the path analysis of the behavior estimated by the model, the kind of situations, procedures and errors that may have caused the marine accidents were interpreted. To successfully implement the model, the seafarer behaviors were observed by means of the summarized verdict reports issued by the Korean Maritime Safety Tribunal, and the observed results converted into behavior data suitable for HMM learning through the behavior classification framework based on the SRKBB (Skill-, Rule-, and Knowledge-Based Behavior). As a result of modeling the seafarer behaviors by the type of vessels, it was established that there was a difference between the models, and the possibility of identifying the preferred path of the seafarer behaviors. Through these results, it is expected that the model implementation technique proposed in this study can be applied to the prediction of the behavior of the seafarer as well as contribute to the prioritization of the behavior correction among seafarers, which is necessary for the prevention of marine accidents.



은닉 마르코프 모델을 이용한 해양사고에 개입된 선원의 행동경로 추정

임 정빈†
한국해양대학교 항해학부 교수

초록


선원의 행동은 해양사고에 있어서 주요한 원인이다. 본 연구에서는 은닉 마르코프 모델(Hidden Markov Model)에 기반하여 선원 의 행동을 모델링하였다. 그런 후, 모델에서 추정한 행동의 경로분석을 통하여 어떠한 상황과 절차 그리고 오류에 의해서 해양사고가 발생되 는지를 해석하였다. 모델 구현을 위하여, 선원의 행동을 해양안전심판원에서 간행된 재결 요약서에서 관측하였고, 관측한 결과는 SRKBB(Skill-, Rule-, and Knowledge-Based Behavior)를 기반으로 한 행동분류 프레임워크를 이용하여 HMM 학습에 적합한 행동 데이터 로 변환하였다. 선박유형별 선원의 행동을 모델링한 결과, 선박 유형별로 차별성이 있음을 확인하였고, 선원이 우선적으로 행한 행동경로의 식별이 가능하였다. 연구 결과, 본 연구에서 제안한 모델링 기법은 선원의 행동경로 예측에 적용 가능할 뿐만 아니라 해양사고 예방에 필요한 선원 행동 보정을 위한 우선순위 결정에 기여할 수 있을 것으로 기대된다.



    1. 서 론

    해양사고에 개입된 선원의 행동은 해양사고 예방에 중요한 단서를 제공할 수 있다. 그 이유는, 선원의 행동은 해양사고의 주요한 원인이 되는 인적오류의 핵심 변수이고, 선원들의 행 동은 교육과 훈련을 통하여 보정될 수 있는 것으로 알려져 있 기 때문이다(Allianz, 2018). 특히, 어떠한 상황에서 선원의 행 동들이 해양사고에 영향을 미쳤는지를 식별하는 것(즉, 행동 경로의 식별)은 선원의 행동 보정에 주요한 정보를 제공할 수 있다(Yim, 2009a;2009b;Yim, 2012;Yim et al., 2013).

    본 연구의 목적은 해양사고가 발생할 당시 선원이 취한 행 동의 경로를 식별하기 위한 것이다. 이러한 연구 목적 달성을 위해서는, 사고가 발생할 당시 선원의 행동 관측이 필요하고, 행동 관측의 결과를 이용한 행동 모델의 구현이 필요하다.

    행동의 관측에는 해양안전심판원에서 간행한 재결 요약서 를 이용하였고, 행동 모델의 구현에는 은닉 마르코프 모델 (Hidden Markov Model, HMM)이 도입되었다. 특히, 선원의 행동은 Rasmussen(Rasmussen, 1983;Rasmussen et al., 1989)이 제안한 기술-규범-지식기반 행동(Skill-, Rule, Knowledge-Based Behavior, SRKBB) 모델을 참고하여 정의 하였다. 아울러 SRKBB 모델을 이용한 행동 분류 프레임워크 를 구축한 후, 선원의 행동에 대한 실험 데이터 구축에 적용하 였다. 구축한 실험 데이터는 HMM의 감독 학습 알고리듬 (Supervised learning algorithm)을 적용하여 행동 모델 구현 을 위한 파라미터(parameter)를 추정하였다. 추정한 파라미터 를 이용하여 행동 모델을 구축하고, 구축된 행동 모델을 통해 서 본 연구의 목적인 행동 경로를 추정하였다.

    한편, 해양사고는 선박의 종류별로 서로 다른 특징을 나타 낼 것으로 예상하였다. 그래서 어선, 일반화물선, 여객선, 원유 수송선, 바지/예인선 등 다섯 가지 선박유형으로 구분하여 선 원의 행동을 모델링하였다. 그런 후, 다섯 가지 모델을 서로 비교 평가하여 이들 사이의 유의성을 검토하였다.

    2. 연구 모델과 방법

    2.1 은닉 마르코프 모델

    Fig. 1은 3-상태(state)를 갖는 은닉 마르코프 모델(Hidden Markov Model, HMM)을 개념적으로 설명한 것이다. HMM 은 어떠한 상태(그림에서 S 1 , S 2 , S 3 )로부터 출력되는 수열(그 림에서 o)에 대한 확률(그림에서 P ( o | S 1 ) , P ( o | S 2 ) , P ( o | S 3 ) )을 계산한 후, 상태들 사이의 전이확률(그림에서 a 11 , a 22 등)을 추정하고, 전이확률의 해석을 통하여 은닉 상 태(Hidden States)를 예측하기 위한 모델이다.

    HMM을 기반으로 모델을 구성하는 경우, 은닉 상태는 모 르는 경우와 알려진 경우로 구분된다. 은닉 상태를 모르는 경 우에는 비지도 학습(Unsupervised learning)을 적용하여 모델 파라미터들을 추정할 수 있고, 은닉 상태가 알려진 경우에는 지도 학습(Supervised learning)을 적용하여 모델 파라미터들 을 추정할 수 있다.

    Rabiner et al.(1986)의 고전적인 표기방법을 적용하는 경우, HMM은 다음과 같이 정의된 다섯 가지 요소들을 이용하여 그 특징을 나타낼 수 있다.

    • N : 상태의 수

    • M : 관측 심볼의 수

    • A : 상태전이 확률분포를 나타낸 것으로, A = { a i j } 이고, aij는 상태 Si 에서 상태 Sj로의 전이 확률을 나타낸다. 그 리고 A는 다음의 구속조건을 갖는다.

      j N a i j = 1 , a i j 0
      (1)

    • B : 관측 심볼 확률분포를 나타낸 것으로, B = { b j ( k ) } 이 고, bj (k)는 k의 관측 심볼이 상태 j에서 나타날 확률이 다. 그리고 B는 다음의 구속조건을 갖는다.

      k M b j ( k ) = 1 , b j ( k ) 0
      (2)

    • π : 초기상태 확률분포를 나타낸 것으로, π = { π i } 이고, πiSi 가 초기상태일 때의 확률을 나타낸다.

    위에서 설명한 HMM의 모델 파라미터는 λ = (A, B, π)로 간단하게 나타낼 수 있고, HMM의 구현을 위해서는 다음의 세 가지 문제(Problem)에 대한 해법이 요구된다.

    Problem 1: 이 문제는 평가(evaluation)에 관한 것으로, 시 간 T에 대한 수열 O = O 1 O 2 O T 이 주어진 경우, 주어진 모 델 λ = ( A , B , π ) 에 대한 확률 P ( O | λ ) 을 구하는 것이다. 일 반적으로 Forward-backward 알고리듬(McCallum, 2004;Nava, et al., 2014)에 의해서 해를 구할 수 있다.

    Problem 2: 이 문제는 디코딩(decoding)에 관한 것으로, 주 어진 수열 O = O 1 O 2 O T 에서 숨겨진 상태들의 제일 가능 성이 높은 경로(즉, 최확 경로)를 결정하는 것이다. 일반적으 로 Viterbi 알고리듬(Viterbi, 1967;Forney, 1973)에 의해서 해 를 구할 수 있다.

    Problem 3: 이 문제는 학습(learning)에 관한 것으로, 확률 P ( O | λ ) 가 극대화되는 λ = ( A , B , π ) 을 추정하는 것이다. 즉, 최적의 모델 파라미터를 추정하기 위한 것으로 모델 파라미터 의 최적 추정 여부에 따라서 모델의 성능이 결정된다.

    위의 Problem 1과 Problem 2는 위에 나타낸 다양한 참고 문헌들에 상세하게 기술되어 있기 때문에 설명을 생략하고, 문제 3의 학습에 관해서 설명한다.

    HMM의 학습에는 일반적으로 지도학습과 비지도학습이 적 용된다. 이들 두 가지 학습에는 은닉 상태들의 의미를 알기 쉬 운 문장으로 설명한 라벨(Label) 지정의 문제가 발생한다. 지 도학습은 알려진 상태들로부터 전문가들의 수작업에 의해서 쉽게 라벨의 지정이 가능한 반면, 비지도학습은 복잡한 과정 을 통한 라벨의 추정이 필요하다. 본 연구에서는 선원의 행동 상태를 SRKBB 모델을 이용하여 미리 식별하기 때문에 은닉 상태를 사전에 알 수 있고, 그래서 라벨의 지정이 가능하기 때 문에 계산이 간단한 지도학습을 적용하였다.

    지도학습에서, 추정할 전이확률 a ^ i j 은 식(3)로 계산할 수 있 고, 추정할 관측 심볼 확률 b ^ j ( k ) 은 식(4)로 계산할 수 있다. 행동 모델 구현에는 a ^ i j b ^ j ( k ) 를 이용하였다. 식(3)과 식(4) 에서 C ( i j ) , C ( j k ) , C ( j υ k ) 는 상태 i에서 상태 j 로의 전이의 횟수, 상태 j에서 상태 k로의 전이 횟수, 상태 jk의 심볼 υk로 나타날 횟수를 각각 나타낸다.

    a ^ i j = C ( i j ) q Q C ( i j )
    (3)

    b ^ j ( k ) = C ( i j ) υ k V C ( j υ k )
    (4)

    2.2 실험 데이터 구축

    HMM에 기반을 둔 선원 행동 모델의 구현을 위해서는 선 원의 행동이 조사된 행동 데이터가 필요하고, 이러한 데이터 는 HMM 학습에 필요한 숫자 데이터로의 변환이 필요하다.

    선원의 행동은 해양안전심판원에서 2006년부터 2017년까지 간행한 재결 요약서에서 조사하였는데, 조사에는 Fig. 2에 나 타낸 행동구분 프레임워크를 이용하였다. 이 프레임워크는 한 건의 사고를 3 가지 범주(Category)에 속한 세 가지 행동 수 준(Level)으로 구분하기 위한 것으로, Rasmussen의 SRKBB 모델(Rasmussen, 1983)을 기반으로 한 것이다.

    Fig. 2를 설명하면 다음과 같다. Category 1은 사고 당시의 상황(Situation)을 구분하기 위한 것으로, 일상적으로 항해하 는 환경은 Level 1(Routine)로 구분하고, 일상적이지 않지만 선원에게 친숙한 환경은 Level 2(Familiar)로 구분하며, 선원 이 전혀 모르는 친숙하지 않은 상황은 Level 3(Unfamiliar)으 로 구분하기 위한 것이다.

    Category 2는 사고 당시의 선원이 행한 임무의 절차 (Procedure)를 구분하기 위한 것으로, 임무가 자동적인 절차에 의한 경우는 Level 1(Automated)로 구분하고, 자동과 의식적 인 절차가 혼합된 경우는 Level 2(Auto.-Consc.)로 구분하며, 주로 의식적인 절차인 경우는 Level 3(Conscious)로 구분하기 위한 것이다.

    Category 3은 사고 당시 선원의 오류(Error)를 구분하기 위 한 것으로, 주로 기술적인 행동에 의한 오류는 Level 1(SBE, Skill-Based Error)로 구분하고, 규범적인 행동에 의한 오류는 Level 2(RBE, Rule-Based Error)로 구분하며, 지식기반의 행 동에 의한 오류는 Level 3(KBE, Knowledge-Base Error)로 구분하기 위한 것이다.

    마지막으로, 최종 의사결정(Final Decisions)은 한 건의 사 고를 종합적으로 판단하였을 때, 선원 행동이 기술기반의 행 동에 의한 것은 SBB(Skill-Based Behavior)로 구분하고, 규범 적인 행동에 의한 것은 RBB(Rule-Based Behavior)로 구분하 며, 지식기반 행동에 의한 것은 KBB(Knowledge-Based Behavior)로 구분하기 위한 것이다.

    위에서 설명한 Category 1부터 Category 3까지의 각 범주 에 해당하는 3 수준들의 조합으로 구성 가능한 경우의 수는 27(3×3×3)이 된다. 이러한 27가지 조합은 HMM 구현을 위한 관측 심볼로 지정하였고, 최종 의사결정의 결과(즉, SBB, RBB, KBB)는 HMM의 구현을 위한 라벨로 적용하였다. 그래 서 본 연구에서 구현한 행동 모델은 SBB, RBB, KBB의 세 가 지 상태들과 27가지 심볼들로 구성된다. 따라서 행동 모델의 상태 수 N는 3이 되고, 관측 심볼의 수 M은 27이 된다.

    데이터 구축은 연구자의 수작업으로 진행하였고, 상세한 작 업절차는 선행연구(Park et al., 2018;Park et al., 2019)에 설 명되어 있다. 이러한 절차를 통해 재결요약서 총 1,310건에서 HMM 학습에 적합한 총 3,411 샘플의 행동 데이터가 획득되 었다. 재결 요약서의 건수 보다 행동 데이터의 샘플 수가 많은 이유는, 한 건의 사고에서 3개 이내의 행동 데이터를 획득했 기 때문인데, 여기에는 선원 행동은 단일 행동으로 정의될 수 없고 복합적인 행동으로의 설명이 필요하다는 기존 연구결과 를 준용한 것이다(Yim et al., 2018;Youn et al., 2019).

    행동 데이터는 5가지 선박 유형별로 구분하였는데, 어선 (Fishing), 일반 화물선(General cargo), 여객선(Passenger), 유조선(Tanker), 바지와 예인선(Barge/Towing) 등이고, 이들 에 대한 모델의 식별 기호는 λ F , λ G , λ P , λ T , λ B 등으로 각 각 나타냈다. Table 1은 수집한 재결요약서의 건수와 획득한 행동 데이터의 샘플 수를 나타낸다.

    3. 실험 및 결과

    3.1 실험 방법

    선원 행동 모델의 구현을 위해서는 HMM의 비지도학습을 통한 파라미터 λ = ( A , B , π ) 의 획득이 필요하고, 모델의 유용 성 평가가 필요하다. 본 연구에서는 행동 데이터의 약 70%는 모델 훈련(Training)에 적용하고, 약 30%는 모델 평가를 위한 테스트(Testing)에 적용하였다.

    아울러 평균절대오차백분율(Mean Absolute Percentage Error, MAPE)을 이용하여 모델의 유효성을 평가하였다. MAPE는 훈련 데이터로 구현한 모델과 테스트 데이터로 구현 한 모델에서 추정한 상태들의 일치도를 퍼센트(%)로 나타낸 것으로 식(5)으로 계산할 수 있다.

    M A P E = 1 N | n = 1 N ( S n | λ T R ) ( S n | λ T E ) ( S n | λ T E ) | × 100 ( % )
    (5)

    여기서, ( S n | λ T R ) 은 훈련 데이터로 구현한 행동 모델 λTR의 추정 상태 Sn을 나타내고, ( S n | λ T E ) 는 테스트 데이터로 구현 한 행동 모델 λTE의 추정 상태 Sn을 나타내며, n = 1, 2, ⋯, N 이고, N 은 평가 데이터 수이다.

    Table 2에 모델들에 대한 훈련과 테스트 데이터의 수 그리 고 이들 모델들의 MAPE를 나타냈다. MAPE는 값이 작을수 록 높은 추정을 의미한다. 평가결과, 모델들은 평균 15.86%의 MAPE를 나타냈는데, 이 결과는 10% 이내의 MAPE를 나타 낸 기존 연구결과(Phan et al., 2015)와 비교하여 5.86% 낮은 것이다.

    한편, 선원의 행동 양상은 대단히 복잡하게 나타나고 그래 서 기존의 결과와 비교하여 평균 약 5.86% 낮은 것으로 고려 된다. 정밀도 향상은 본 연구와는 또 다른 방대한 연구가 필요 하기 때문에 추후 연구과제로 두고, 본 연구에서는 평균 MAPE 15.86% 수준에서 행동 모델을 분석하였다.

    3.2 모델의 비교 결과

    Table 3은 다섯 가지 모델을 서로 비교한 결과로서, Vitebi 알고리듬(Viterbi, 1967)으로 계산한 로그우도(log-likelihood) 를 나타낸다. 이러한 비교는 모델들이 서로 식별력이 있는지, 즉, 선박의 종류별로 서로 특징적인 행동의 예측이 가능한지 를 알기 위한 것이다.

    Table 3에서, 서로 동일한 모델의 값들은 서로 다른 모델들 과 비교하여 큰 로그 값으로 나타났다. 예를 들면, 어선 모델 λF 의 경우, λFλF 사이는 –4346.71인데, 이에 반하여 λFλG 사이, λFλP 사이 등은 모두 λFλF 사이의 값 보다 작다. 그래서 다섯 가지 선박 유형별 모델들은 서로 차이 가 있음을 알았고, 이를 통하여 본 연구에서 구현된 모델들의 일부 유효성이 검증되었다.

    3.3 제일 가능성이 높은 경로 추정 결과

    Table 4는 다섯 가지 모델에 대해서 제일 가능성이 높은 행동발생 경로의 추정 결과를 나타낸 것으로, 27가지 심볼 중 에서 로그 우도 값이 가장 큰 다섯 가지 심볼만을 1순위부터 5순위까지를 나타낸 것이다. 이 표에서, Sym.은 숫자로 표시 한 심볼을 나타내고, log(p)는 심볼의 로그 확률(p), 그리고 Cat1, Cat2, Cat3은 범주 1, 2, 3에 각각 해당하는 수준들을 숫 자로 나타낸 것이다.

    Table 4를 보면, 공통적으로, 심볼 4와 14가 1순위 또는 2순 위로 나타나고, 3순위부터 5순위까지는 심볼 1, 23, 5, 4, 15, 13 등으로 나타났다. 특히, 동일한 순위의 심볼을 갖는 모델은 없는 것으로 나타났다. 이러한 결로부터, 다섯 가지 선박유형 별 선원의 행동 모델은 서로 차이가 있기 때문에 본 연구에서 구현한 모델이 유효함을 알았다.

    위의 심볼들 중에서 제 1순위와 2순위로 나타난 심볼 4와 14만에 대한 행동 경로를 분석하면 다음과 같다.

    Table 4에 나타난 바와 같이, 심볼 14는 Category 1, Category 2, Category 3 모두 행동수준이 2이다. 이러한 행동 을 앞의 Fig. 1에 나타낸 프레임워크를 기반으로 해석하면 다 음과 같다. 해양사고를 야기한 선원의 최우선 순위의 행동은, 친숙한 상황에서(Category 1의 수준 2) 그리고 자동화와 의식 적인 절차(Category 2의 수준 2)를 수행하는 경우 주로 규범 적인 오류(Category 3의 수준 2)로 나타났다.

    아울러, 심볼 4의 경우는 Category 1이 수준 1이고, Category 2는 수준 2이며, Category 3은 수준 1이다. 위의 방 법과 마찬가지로 해석하면 다음과 같다. 해양사고를 야기한 선원의 2순위 행동은, 일상적인 상황에서(Category 1의 수준 1) 그리고 자동화와 의식적인 절차(Category 2의 수준 2)를 수행하는 경우 주로 기술적인 오류(Category 3의 수준 1)로 나타났다.

    위의 결과를 종합하면, 해양사고를 야기한 선원은 주로 일 상적 또는 친숙한 상황에서 자동화와 의식적인 절차의 임무를 수행하는 경우 다양한 행동 오류를 야기하는 것으로 나타났 다. 이러한 결과를 통해서, 해양사고 예방을 위하여 우선적으 로 보정이 필요한 선원의 행동 경로를 알았다. 행동 경로에 대 한 실질적인 교육과 훈련 방안은 그 양이 방대함으로 추후 연 구과제로 둔다.

    4. 결 론

    본 연구에서는 은닉 마르코프 모델(Hidden Markov Model) 을 이용하여 해양사고를 야기한 선원의 행동을 모델링하고, 이 모델을 이용하여 선원의 어떠한 행동들이 해양사고에 기여 했는지에 대한 행동 경로를 추정하였다. 어선, 일반 화물선, 여객선, 유조선, 바지/예인선 등 다섯 가지 선박 유형별 선원 의 행동을 모델링한 결과, 모든 모델은 서로 차별되어 있음을 나타냈다. 이러한 결과로부터 서로 다른 선박 유형 사이의 행 동 해석이 가능하였다. 연구결과를 요약하면 다음과 같다.

    첫째, 해양사고를 야기한 선원의 최우선 순위의 행동은, 친 숙한 상황에서 그리고 자동화와 의식적인 절차를 수행하는 경 우 주로 규범적인 오류로 나타났다.

    둘째, 해양사고를 야기한 선원의 2순위 행동은, 일상적인 상황에서 그리고 자동화와 의식적인 절차를 수행하는 경우 주 로 기술적인 오류로 나타났다.

    본 연구결과를 통하여, 1) 해양사고를 야기한 선원은 어떠 한 행동에 의해서 사고가 발생되었는지를 예측할 수 있었고, 2) 어떠한 행동을 우선 보정하는 것이 효율적인지를 알았다. 향후, 실질적인 교육과 훈련을 통한 행동 보정에 관한 연구를 진행할 예정이고, 모델의 전이 현상 분석을 통한 선원 행동 예 측에 관한 연구도 진행할 예정이다.

    후 기

    이 논문은 2018학년도 한국해양대학교 신진교수정착연구사 업 신진교수정착연구비의 지원을 받아 수행된 연구임.

    Figure

    KINPR-43-3-160_F1.gif

    Graphical explanation of Hidden Markov Model with 3 states

    KINPR-43-3-160_F2.gif

    A framework for behavior classification

    Table

    Experimental data

    Training and testing data for Supervised learning in HMM

    Comparison results between five behaviour models

    Part of estimation results of optimal states paths

    Reference

    1. Allianz(2018), Safety and Shipping Review 2018, Allianz Global Corporate & Specialty(AGCS), 10.
    2. Forney, G. D.(1973), The viterbi algorithm, Proceedings of the IEEE, 61(3), pp. 268-278.
    3. McCallum, A.(2004), Hidden Markov Models Baum Welch Algorithm.
    4. Nava, A., Garrido, L. and Brena, R. F.(2014), Recognizing activities using a kinect skeleton tracking and hidden markov models, 13th Mexican International Conference on Artificial Intelligence, pp. 82-88.
    5. Park, D. J., Yim, J. B. and Yang, H. S.(2018), A Study on Collision Avoidance Action in the Situation of Encountering Multiple Ships by the Reserve Officer, Journal of the Korean Society of Marine Environment & Safety, Vol. 23, No. 3, pp. 346-351.
    6. Park, D. J., Yang, H. S. and Yim J. B.(2019), A Study on the Estimation of Optimal Probability Distribution Function for Seafarers’ Behavior Error, Journal of Korean Navigation and Port Research, Vol. 49, No. 1, pp. 1-8.
    7. Phan, M. T., Fremont, V., Thouvenin, I., Sallak, M. and Cherfaoui, V.(2015), Estimation of driver awareness of pedestrian based on Hidden Markov Model. IEEE Intelligent Vehicles Symposium(IV), pp. 970-975.
    8. Rasmussen, J.(1983), Skills, rules, and knowledge; signals, signs, and symbols, and other distinctions in human performance models, IEEE transactions on systems, man, and cybernetics, (3), pp. 257-266.
    9. Rasmussen, J. and Vicente, K. J.(1989), Coping with human errors through system design: implications for ecological interface design, International Journal of Man-Machine Studies, 31(5), pp. 517-534.
    10. Rabiner, L. R. and Juang, B. H.(1986), An introduction to hidden Markov models. ieee assp magazine, 3(1), pp. 4-16.
    11. Viterbi, A.(1967), Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, 13(2), pp. 260-269.
    12. Yim, J. B.(2009a), Development of Quantitative Risk Assessment Methodology for the Maritime Transportation Accident of Merchant Ship, Journal of Korean Navigation and Port Research, Vol. 33, No. 1, pp. 9-19.
    13. Yim, J. B.(2009b), Implementation Techniques for the Seafarer's Human Error Assessment Model in a Merchant Ship: Practical Application to a Ship Management Company, Journal of Korean Navigation and Port Research, Vol. 33, No. 3, pp. 181-191.
    14. Yim, J. B.(2012), Probability Based Risk Evaluation Techniques for the Small-Sizes Sea Floater, Journal of Korean Navigation and Port Research, Vol. 36, No. 10, pp. 795-801.
    15. Yim, J. B. and Yang, Y. J.(2013), Estimating Cumulative Distribution Functions with Maximum Likelihood to Sample Data Sets of a Sea Floater Model, Journal of Korean Navigation and Port Research, Vol. 37, No. 5, pp. 453-462.
    16. Yim, J. B., Kim, D. S. and Park, D. J.(2018), Modeling perceived collision risk in vessel encounter situations, Ocean Engineering, 166, pp. 64-75.
    17. Youn, I. H., Park, D. J. and Yim, J. B.(2019), Analysis of Lookout Activity in a Simulated Environment to Investigate Maritime Accidents Caused by Human Error, Applied Sciences, 9(1), 4, pp. 1-10.