초도양산 군수품에 대한 정량적 위험등급평가 방안 연구

A study on the quantitative risk grade assessment of initial mass production for weapon systems

Article information

J Korean Soc Qual Manag. 2018;46(3):441-452
Publication date (electronic) : 2018 September 30
doi : https://doi.org/10.7469/JKSQM.2018.46.3.441
*Defence Agency for Technology and Quality
**Hanwha-systems
정영탁*,, 함영훈*, 노태주*, 안만기*, 고경와**
*국방기술품질원
**한화시스템
Corresponding Author(amadaws@gmail.com)
Received 2018 August 10; Revised 2018 August 31; Accepted 2018 September 11.

Trans Abstract

Purpose

The purpose of this paper is to study quantitative risk grade assessment for objective government quality assurance activities based on risk management in initial mass production for weapon systems.

Methods

The Defense quality management regulations and foreign risk assessment documents are referred to analyze problems performing quality assurance actives. The failure rate data, maintainability and cost of products have been studied to quantify the risk Likelihood and impact. The analyzed data were classified as risk grade assessment through K-means Cluster Analysis method.

Results

Results show that a proposed method can objectively evaluate risk grade. The analyzed results are clustered into three levels such as high, middle and low. Two products are allocated high, eleven low and seven middle.

Conclusion

In this paper, quantitative risk grade assessment methods were presented by analyzing risk ratings based on objective data. The findings showed that the methods would be effective for initial mass production for weapon systems.

1. 서 론

현대의 무기체계(Weapon System)는 민수산업의 최신 과학기술과 융합하여 급속한 속도로 발전되고 있다. 대한민국 군에 개발, 운용되고 있는 군수품 역시 고도화, 정밀화, 첨단화된 무기체계로 발전하고 있다. 이에 따라 정부의 군수품 품질보증활동의 개념 역시 단순한 검사에서부터 위험관리 기반의 품질보증활동으로 발전해왔다.

첨단 무기체계들을 보유하고 있는 미국, 프랑스, 러시아 등의 국가에서는 1900년대부터 위험관리의 중요성을 인지하고 다양한 분야에 위험관리 기반의 품질보증 활동을 접목하고 있다. ISO 31000(Risk Management Principles and Guidelines)와 같은 국제 표준, 미국 국방계약관리국(Defense Contract Management Agency)의 미국 국방 획득절차 중 위험 관리 가이드(Risk management guide for dod Acquisition), 미국 국방표준(Mil-STD-882 Standard Practice for System Safety) 등에서도 위험관리 기반의 품질보증업무를 수행하고 있다.(ISO 31000 2018; Department of defense 2003; MIL-STD-882D 2000)

국방기술품질원에서는 ‘군수품 품질경영 기본규정’ 제4조(기본방침)에 따라 군수품과 방산 물자의 품질경영과 품질보증의 업무를 수행하고 있다. 품질보증 활동은 품질보증형태에 따라 위험관리를 기반으로 한 정부 품질보증계획을 수립하도록 수행하도록 규정하고 있다. 군수품에 대한 위험관리(Risk management)는 계약품목에 대한 위험 발생 가능성(Likelihood)과 발생 시 미칠 영향(Impact)의 정도를 예측 및 평가하여 식별된 위험을 감소 또는 제거할 수 있는 방안을 통해 효과적인 품질보증 활동을 수행한다.(Defense Agency for Technology and Quality(DTAQ) 2017)

정부 품질보증의 중심이 되는 위험식별 및 평가는 계약품목과 관련된 계약문서, 연구개발자료, 기술자료 묶음, 업체 품질보증계획서, 품질경영시스템 문서 및 이행자료 등의 정보를 토대로 수행한다. 그러나 위험식별 및 평가에 대한 정량적인 기준이 수립되어 있지 않아, 동일 품목이나 유사 장비의 위험평가 결과가 담당자마다 다르게 도출되는 문제점이 있다. 이러한 문제를 해결하기 위해서 많은 연구가 지속되고 있으며, 미 정부 및 관련 기관에서는 위험평가에 대한 객관적인 기준을 개발하고 자료 수집 및 분석에 대한 규정을 제시하여 담당원 간의 편차를 줄이고 객관화하기 위한 많은 노력을 기울이고 있다.(Kim 2010) 그러나 기존의 많은 연구에서도 위험도 영향의 평가 방법에서 품질보증원의 주관적인 판단이 절대적으로 영향을 주고 있으며, FMEA 기법을 활용한 품질보증방안에서 역시 심각도, 영향도의 부분에서 담당원의 정성적 판단에 기초하고 있다.(Shin 2013; Lee 2014)

본 논문에서는 품질데이터가 다양하지 않은 초도양산 군수품의 정량적인 위험식별 및 평가 기준에 대하여 연구하였다. 개발단계에서 분석된 제품의 고장률 데이터를 바탕으로 해당 군수품의 위험 발생 가능성을 분석하고, 최대운용정비도와 장비의 고장으로 발생할 수 있는 비용을 바탕으로 위험 영향도(결과)를 산출하였으며, K-means cluster 방법으로 데이터를 군집하여 위험 등급을 선정하였다. 본 연구에서 진행된 정량적 위험 등급 선정방안은 기존 담당원의 주관, 경험 등의 정성적 기준을 대신하여 위험등급의 모든 수치를 데이터에 의하여 분석함으로써, 위험식별의 객관성과 타당성이 증대될 것으로 예상한다.

본 논문의 구성은 다음과 같다. 2절에서 정부의 기존 위험식별 및 평가방안에 대하여 설명하고, 3절에서 이론적 배경에 대하여 서술하였다. 4절에서는 3절에 제시된 이론을 바탕으로 실제 초도양산 사업 중인 무기체계에 적용하여 위험평가등급을 산출하고, 5절에서 결론 및 추가 연구방안에 대하여 설명하였다.

2. 군수품 품질경영 기본규정 분석 및 설문조사

2.1 군수품 품질경영 기본규정 분석

위험관리 기반 품질보증 활동은 위험 요인을 사전에 식별하고 평가하여, 위험 회피 또는 통제하기 위한 방법을 수립하는 것이다. 군수품 품질경영 기본규정에서 위험식별은 계약정보, 제품 및 프로세스 특징, 품질경영시스템 운영, 과거 계약 이행정보, 고객 불만 및 피드백 등의 자료를 식별해서 수립하며, 위험요소를 식별하고 식별된 위험 평가 결과를 통해 위험등급을 분류한다. 위험평가는 식별된 위험의 발생 가능성과 발생한 위험이 미치는 영향(결과)에 따라 고, 중, 저위험으로 분류한다.

위험식별 및 평가는 아래 Table 1의 기준을 통하여 위험 발생 가능성 및 영향(결과)의 정도를 선정한다. 발생 가능성과 위험의 영향(결과)의 등급이 산출되면, 아래 Table 2의 “위험등급 평가 매트릭스”에 의하여 고, 중, 저위험으로 위험등급이 분류된다. 위험에 대한 위험등급이 결정되면 위험에 대한 관리방법을 정하여 위험통제(Risk control), 위험회피(Risk avoidance)로 구분하여 위험을 처리하기 위한 품질보증 활동 방안을 수립한다.(Defense Agency for Technology and Quality(DTAQ) 2017)

Risk evaluation

Risk assessment matrix

2.2 위험식별 및 관리방안 설문조사

위험식별 및 관리방안에 대한 담당원들의 인식을 파악하기 위한 설문조사 결과 중 본 논문과 관련 설문 항목은 아래 Table 3과 같다.(Yoon 2016) 설문의 8번 항목의 위험식별 및 관리방안에 대한 설문조사 결과 약 51%의 응답자들이 담당원마다 위험의 영향(결과)과 발생가능성이 상이한 점을 인식하고 있었으며, 차이점을 인식하지 못한다고 응답하는 비율은 10%에 그쳤다. 마찬가지로 설문조사 9번에서 약 77%의 응답자가 객관적 기준이 필요하다고 응답하였으며, 그렇지 않다고 응답한 비율은 4%에 그쳤다. 즉, 설문조사를 통해 위험 등급선정의 객관적인 평가 방안의 필요성을 확인할 수 있었다. 또한 설문 조사 15번 항목 역시 정량적인 기준의 필요성이 중요함을 품질보증원 전반에 걸쳐 인식하고 있음을 확인하였다. 이를 통해 위험등급평가는 품질담당자의 경험, 품질 중점확인대상, 생산업체 등에 따라 위험의 영향과 발생 가능성의 결과가 달라지며, 명확한 기준의 부재로 위험등급 결정이 정성적으로 수행되고 있음을 파악할 수 있다.

Survey for risk assessment

3. 정량적인 위험등급 설계

3.1 위험등급 설계

개발 완료 이후 최초로 생산될 초도양산 군수품에 대한 품질 위험등급평가는 Table 1에 따라 수행된다. 위험식별 및 관리방안 설문조사에서 언급했듯이 위험발생 가능성에 대한 정성적인 기준만으로는 실질적인 위험관리 기반의 품질보증업무를 수행하기 많은 문제점이 발견되고 있다.

위험발생 가능성의 5단계 기준인 “발생 가능성이 확실함. (매우 높음)”의 매우 높은 기준이 무엇인지 또한 4단계의 “발생 가능성이 상당히 있을 것 같음. (높음)”과의 차이점이 분명하지 않다. 또한 위험영향(결과)의 정도의 구분기준을 살펴보면 “위험의 영향(결과)이 사용자의 안전에 심각한 영향(사망)을 미치거나, 군수품의 성능에 심각한 영향을 가져올 수 있음.”과 “위험의 영향(결과)이 사용자의 안전에 중대한 영향(중상)을 미치거나, 군수품의 성능에 중대한 영향을 가져올 수 있음.”의 심각한 영향과 중대한 결과에 대한 차이를 구별하기 쉽지 않다. 따라서 본 논문에서는 초도양산 무기체계에 대하여 군수품의 위험요소를 식별 및 관리하기 위한 정량적인 지표를 연구하였다.

미국 국방 획득절차 중 위험 관리 가이드(Risk management guide for dod acquisition)와 미국 국방표준(Mil-STD-882 Standard Practice for System Safety)를 보면 각 위험관리 프로세스에 대한 이론 및 수행해야 할 업무가 제시되어 있다. 해당 문서의 위험발생 가능성에 대한 기준을 살펴보면 위험발생 가능성은 가능성, 확률 등의 기준으로 등급화된다. 미국 국방 획득절차 위험 관리 가이드의 정량적인 기준은 발생확률 10%, 30%, 50%, 70%, 90%로 구분되며, 미국 국방표준은 발생확률을 10-1, 10-2, 10-3, 10-6 등으로 구분하고 있다. 그러나 미국의 이러한 기준을 국내의 모든 초도양산 무기체계에 그대로 적용하기에는 어려움이 있다. 전력지원체계에 해당하는 의복류와 식품류, 높은 수준의 신뢰도를 요구하는 전투기, 함정, 기동, 유도무기 등에 적용되는 제품의 설계 신뢰도는 서로 동일하게 적용되기 어렵기 때문이다. 따라서 해당 사업에서 요구하는 전체 신뢰도를 바탕으로 하위 구성품인 체계분해구조(System breakdown structure)를 분석하여, 구성품별로 위험등급을 결정하는 것이 합리적이다. 위험의 영향(결과) 역시 마찬가지로 해당 사업의 전체 예산 범위 내에서 주요 구성품이 차지하지 비중과 정비도에 따라 정량적인 방법으로 분류하는 것이 합당하다. 위험의 영향은 고장 발생 시 신속한 정비가 가능하며, 무기체계에 미치는 영향이 제한적인 경우 위험의 영향(결과)이 낮다고 판단 할 수 있다.

위험발생 가능성과 위험의 영향을 종합하여 위험평가매트릭스(Risk assessment matrix)를 분류하는 방법은 국외 위험관리 표준 및 가이드라인별로 3 × 3, 4 × 4, 5 × 4, 5 × 5 등과 같이 서로 상이하며, 이는 위험관리기반의 위험등급을 분류한 결과가 무기체계의 사업 특성과 품질특성에 따라 유기적으로 변화할 수 있음을 알 수 있다. 본 논문에서는 품질보증 활동 효율성을 높이기 위해 군집화 분석의 한 방법을 활용하였다. 품질보증활동을 수행하기 위한 대상의 품질 데이터의 특성에 따라 데이터 집단을 정의하고, 데이터 집단을 대표할 수 있는 품질 등급을 결정하였다. 즉, 군집화 분석(Cluster analysis)의 K-means 방법을 활용하여 품질 데이터의 특성을 대표 중심값으로 군집화하고, 군집화 결과에 따라 등급을 부여하여 위험등급을 도출해내었다.

3.2 위험발생가능성 정량적 지표 설계

각 제품에서 고장이 발생하는 확률을 고장률 함수(λ)라고 하며, 군수품의 수명분포는 지수함수를 따른다고 가정하면 시간 t에서 고장이 발생할 비율은 아래 식과 같이 나타낼 수 있다.(Finkestein 2008)

λ(t)=f(t)R(t), f(t)=고장밀도함수 , R(t)=신뢰도함수  f(t)=λe-λt, t0     0, t<0

시스템의 신뢰도는 개발된 장비의 신뢰도 블록선도(Reliability block diagram)에 따라 산출되는 방법이 다르다. 각 장비의 신뢰도를 Pa(t), Pb(t)라고 하면 두 개의 장비가 직렬 구조로 설계되어 있는 시스템의 신뢰도는 Rserial과 같으며, 병렬 구조로 설계된 시스템의 신뢰도는 Rp와 같다. 계산식은 아래와 같이 표현된다.(Department of defense 1998)

Rserial(t)=R(t)=Pa(t) Pb(t)=e-λat e-λbt=e-(λa+λb)t=e-λtotaltRp(t)=Pa(t)+Pb(t)-Pa(t)Pb(t)=2e-λt-e-2λt

직병렬 혼합 모델은 분석자가 먼저 병렬 요소들을 찾아내어 단위 신뢰성 값(Unit reliability)을 구하고, 그다음 그 단위 신뢰성 값(the unit)을 시스템의 다른 요소들과 결합한다. 시스템의 총 신뢰도는 모든 직병렬로 연결된 신뢰성 값들을 곱함으로써 구해진다. 무기체계의 군수품의 MTBF는 군의 요구사항으로 체계개발단계에서 결정되며, 이에 따라 중요 완성품부터 부분품까지의 고장률 비율이 할당되며, 할당된 MTBF는 개발 품질 신뢰성에 지표가 된다. 신뢰도가 높은 군수품은 이중화 및 여러 가지 신뢰도 향상 기법을 통하여 설계되며, 설계가 완료된 구성품은 운용 시간을 고려하여 연간 고장 횟수를 예측할 수 있게 된다. 연간고장횟수를 바탕으로 분포를 도시할 수 있으며, 이 정보는 위험 등급선정의 데이터가 된다. 군수품의 체계개발단계에서 정해진 목표 MTBF를 초도양산의 위험에 대한 발생가능성에 적용하려는 방안은 아래 Table 4과 같다.

Sequence to calculating risk likelihood

3.3 위험의 영향 정량적 지표 설계

위험의 영향(결과)은 위험식별 대상이 전체 무기체계에 미치는 영향으로 정비도와 비용을 통해 적용하여 산출하는 방법을 제시하였다. 정비도(Maintainablity)는 “군수품의 고장 발생 시 규정된 자원(기술 요원, 정비시설 등) 및 절차(정비 교범)에 따라 정비를 할 경우 일정 기간 내에 장비를 수리하여 그 성능을 규정된 상태로 원상 복구시킬 수 있는 확률”로 정의할 수 있다.(Ebeling, C. E. 1997)

정비도는 정비의 용이성과 업무량에 관계되는 요소로 시스템의 설치 및 설계에 대한 특성이 반영된다. 시스템의 설계에 따라 수리하는 데 걸리는 시간이 변화하며, 해당 부품의 고장으로 임의의 시점에 체계가 가용할 확률 즉 가용도가 저하되어 임무 수행에 영향을 미치는 정도를 정량적으로 예측 가능하다.

군수품의 양산단계 품질보증은 연구개발단계에서 미성숙된 제조성으로 인한 사업상의 일정 지연, 비용 상승, 품질 저하를 방지하기 위하여 획득 단계 전환 시 제조성의 성숙도를 확인하는 제조성숙도평가(Manufacturing readiness assessment)의 통과와 계약 단계에서의 검증을 통하여 군수품의 생산 가능 여부를 충분히 확인하므로 위험도 영향을 비용 측면으로 전화하여 평가할 수 있다.(DAPA Instruction 2014; Lee 2017) 즉, 정비도와 총 계약 금액대비 해당 군수품이 차지하는 원가의 비율로 해당 구성품의 위험 발생 시 전체 시스템에 미치는 영향성으로 산출하였다.

정비도 예측 시 최대수리시간 MaxTTR(Maximum Time To Repair) 산출모델의 적용은 수리시간의 분포가 정규분포를 나타낼 때 정비업무 유형중 95%의 업무를 완료할 수 있는 경우의 수리소요 시간을 구하기 위해 적용하며 다음 식과 같다.

MaxTTR = MTTR + 1.96 ×(MTTR)STDEV

MaxTTR(Maximum Time To Repair) = 최대수리시간(95%)

(MTTR)STDEV = 분석대상 품목의 정비업무별 수리시간 표준편차

평균 수리시간 MTTR(Mean Time To Repair)은 주어진 기간에 보수정비 활동에 소요되는 평균시간으로 다음과 같이 계산된다.(Yoo 2017)

MTTR=i=1n[TFi×ETi]i=1nTFi

i = On Equipment 보수정비활동

TFi = i 보수정비활동의 빈도수

ETi = i 보수정비활동에 소요된 시간

n = 총 보수정비활동 수이다.

위험의 발생(영향)은 확률밀도함수의 최대 수리시간(MaxTTRn)의 정규화된 값과 분석 군수품이 차지하는 원가의 비율의 곱으로 아래의 식과 같이 계산된다.

Risk Impactn=MaxTTRnoraml×ProductcostCosttotal

3.4 위험등급의 군집화 분석

군집화 분석(Cluster analysis)은 주어진 자료의 특성을 바탕으로 군집을 구분하여 전체 관측데이터를 가장 잘 표현할 수 있는 통계적 방법이다. 관측데이터를 동질적인 군집으로 분류하여, 군집 내 높은 유사성을 가지고 서로 다른 군집과 구별하여 전체의 데이터를 단순화하여 편리하게 데이터를 분석할 수 있다.(Erioli, A. 2005; Lee, G. H. 1997) 군집화 분석은 군집화된 데이터에 기초하여 군집의 패턴 및 특성, 분포형태, 응집도 및 군집 간의 분포와 다양한 형태의 데이터 분석이 가능하다. 따라서 근래에 인공신경망, 패턴인식, 인터넷 검색, 통계 데이터 분석 등에 폭넓게 사용되며, 본 논문에서 초도양산단계의 군수품에 대한 품질데이터를 유사성에 따라 군집화하여, 품질보증 등급을 선정하는 방안을 연구한다.

위험등급을 선정하기 위한 데이터는 다양한 형태로 분포될 수 있으며, 이를 분류하는 방법으로 군집 내 최대의 동질성과 군집 간 이질성을 최대화하는 방법으로 분석된다. 군집분석은 군집의 형태와 사용되는 유사도 혹은 비유사도의 척도와 연관된 다양한 방법이 존재하며, 계층적 군집(Hierarchical clustering)과 비 계층적 군집(Nonhierarchical clustering)으로 분류된다.(Seo, M.K. 2017)

계층적 군집방법은 군집 간의 거리 차이에 큰 변화를 보이는 경우 분석의 장점이 있으며, 비 계층적 군집방법은 주어진 데이터 내부 구조에 대한 사전정보 없이 자료구조를 분석할 수 있으므로, 다양한 형태의 데이터에 적용할 수 있다. 초도양산의 품질보증 활동을 수행하기 위한 품질 데이터의 특성을 파악하여 데이터 집단을 정의하고, 데이터 집단을 대표할 수 있는 품질 등급을 결정하는 것이 품질보증활동 효율성의 증대를 가져오므로 이에 따라, 군집화 분석(Cluster analysis)의 K-means 방법을 활용하여, 품질 데이터의 특성을 대표 중심값으로 군집화 하여 군집화 결과에 따라 위험등급 평가의 결과를 도출해 낸다.

K-평균 군집화 분석은 전체 데이터들과 군집에 속하는 대표 데이터 중심과의 평균 거리를 최소화하는 분석 방법이다. 즉, 주어진 데이터를 K개의 군집으로 분류하는 방법에 있어, 각 군집과 거리 차이의 분산을 최소화하는 방식으로 동작한다. 벡터의 형태로 표현된 N개의 데이터 X={x1, x2, ⋯ xn}에 대하여 데이터가 속한 군집의 중심과 데이터 간의 거리의 차이가 최소화되도록 데이터들을 k(≤n)개의 집합 S={S1, S2, ⋯ Sk}으로 구분한다. ui가 집합 Si의 대표 중심점으로 설정되며 집합별 거리의 제곱합을 최소화하는 알고리즘으로 i 번째 군집의 중심을 ui, 군집에 포함되는 점의 집합을 Si라고 할 때 전체 분산은 다음과 같으며, 함수의 오차를 줄여나가며 전체의 분산이 최소가 되었을 때 분석을 중단한다.(M, Emre. 2013)

argsmini=1kXSix-ui2 = argsmini=1kSi Var SiSi(t) = {xp : xp-ui(t) 2  xp-uj(t) 2j, 1jk}ui(t+1)=1Si(t)xjSi(t)xj

군수품 품질경영 기본규정에 따라 위험평가는 위험 발생 가능성 및 영향(결과)을 5개의 수준으로 분류하고 이에 따른 위험등급을 고, 중, 저로 결정한다. 따라서 K-평균 군집화 분석의 군집 수를 5개로 지정하여 각 관측치를 평가한 후 가장 가까운 군집으로 이동하고, 가장 가까운 군집은 관측치와 군집 중심 사이의 Euclid 거리가 가장 작은 군집으로 포함된다.

4. 실증분석

4.1 초도양산 군수품의 위험발생가능성 및 영향 분석

본 논문에서 적용한 무기체계는 방공지휘, 통제, 경보 체계에 대한 군수품을 대상으로 수행하였다. 방공무기체계는 군단 및 사단지역의 방공 정보를 네트워크로 연결하여 통합 운용하는 무기체계로 상황인식 및 정보 공유를 통한 정보우위 기반 네트워크 중심전의 한 축이다. 해당 체계의 체계분해구조(System breakdown structure)는 3개의 부체계로 구성되며 구성품, 결합체, 부분품으로 분류된다. 다양한 구성요소 중 국방규격서 및 품질요구서가 존재하는 품목과 핵심기능을 발휘하는 구성품을 대상으로 20개의 품목을 선정하여 3.2와 3.3절에서 소개한 정량적 방법으로 위험식별을 진행하였다. 무기체계의 신뢰도 목푯값 및 정비도는 소요군 작전개념, 운용개념을 고려한 OOO이다. 이를 토대로 위험 발생 가능성과 위험의 영향을 산출하여 분류한 집합은 아래 Table 5와 같다.

Risk likelihood and impact

4.2 초도양산 군수품의 위험등급 분석

K-평균 군집화 분석은 군수품의 위험발생 가능성 및 영향에 대한 데이터의 자료 특성을 분석하고 군집에 종합적인 특성을 나타내는 통계적인 분석도구다. K-평균 군집화 분석은 데이터 또는 범주에 대하여 사전 정보가 존재하지 않는 경우 주어진 데이터의 유클리디안(Euclidean) 거리를 최소화하여 유사성을 확인하는 방법이며, 다양한 데이터 분포를 빠르고 정확하게 표현할 수 있어 개체가 불규칙적이고, 관련성을 명확히 파악하기 힘든 데이터 군집화 분석에 사용된다. 군수품 품질경영 기본규정에 따라 위험발생 가능성 및 영향의 군집을 5개로 분류하였으며, 군집의 중심점은 아래 Table 6과 같다.

Center of cluster per groups

각 군집의 평균 거리와 최대거리는 Table 7과 같다.

Scatter plot

본 논문의 산출물인 위험등급은 고, 중, 저로 최종 3가지 등급으로 구분하였으며, 위험등급평가의 분석결과는 아래 Table 8과 같이 선정되었으며, 데이터 분포는 아래 Figure 1과 같다. 해당 무기체계의 고위험도 항목은 2개이며, 중위험도 7개 저위험도 11개로 분류되었다.

Risk grade assessment

Figure 1.

Risk grade assessment distributions

5. 결 론

본 연구에서는 초도양산 군수품에 대하여 위험관리기반의 정량적인 위험식별 방안을 제시하였다. 위험의 발생 가능성을 무기체계의 고장률을 바탕으로 산정하였으며, 위험 발생의 영향 정도를 정비도와 구성품의 비용을 통하여 선정하였다. 본 논문에서는 객관적인 데이터를 바탕으로 위험등급을 산출함으로써 정량적인 위험평가의 방법을 제시하였고, 합리적이고 신뢰도 있는 결과를 얻었다.

그러나 위험평가의 과정에서 일부 보완하고 발전시켜야 할 부분이 있다. 우선 생산업체의 생산능력이 위험요인으로 작용할 수 있다. 무기체계를 구축하기 위해 계약업체는 체계 통합관점에서 전체 조립 및 시험을 수행하지만, 하위 구성품의 일부 공정은 협력업체를 선정하여 생산하고 있다. 즉, 협력업체의 생산능력에 따라 위험이 내재되어 있는 것이다. 발생하는 위험을 회피하기 위해 전체 품질경영시스템의 구축 및 공정관리 능력에 대한 위험관리가 병행될 필요가 있다. 둘째로 신뢰도 및 가용도 등의 데이터가 설계상에서 산출된 예측값이라는 것이다. 초도양산의 경우 개발단계에서 제시된 장비의 내재적 성능의 분석에만 초점이 맞춰져 있기 때문에 수집된 품질정보가 부족한 실정이다. 초도양산이 진행되며 수집된 품질정보에 대한 환류가 필요하며, 야전운용 데이터를 수집하여 운용 가용도 등을 보완할 필요가 있다.

추후 연구를 통해 초도생산 간에 다양한 생산업체의 위험도와 품질정보를 종합적으로 판단하여, 이를 반영할 수 있는 지표를 개발하고 신뢰성 데이터의 환류와 피드백을 통해 발전시키고 보완한다면, 효율적인 정부 품질보증 활동의 방향을 제시하고 제한된 인력과 한정된 비용 속에서 합리적이고 객관적인 위험식별 및 품질보증 활동에 도움이 될 것이다.

References

Ahn N.M.. 2015;Suggestion for Enhancement of Product Examination Government Quality Assurance Activity. J Korean Soc Qual Manag 43(3):327–340.
Beak Y.G., Kang B.S., Jo K.J.. 2015;An Objective method of risk assessment based on RAM analysis for warship. J Korean Soc Qual Manag 43(4):273–288.
DAPA Instruction. 2014. MRA Instruction 218.
Defense Agency for Technology and Quality(DTAQ). 2017. Defense Quality Management Regulations
Department of defense. Defense Acquisition University. 2003. Risk Management guide for DOD Acquisition. Fifth Edition(ver 2.0)
Ebeling C. E.. 1997. An Introduction to Reliability and Maintainability Engineering McGraw-Hill Companies, Inc.. Boston:
Emre Celebi., Hassan A.. 2013;A comparative study of efficient initialization methods for the k-means clustering algorithm. Expert Systems with Applications 40(2013):200–210.
Erioli Andrea. 2005;K-means Cluster Analysis and Mahalanobis Metrics: a problematic match or an overlooked opportunity. Statistica Applicata 17:61–73.
Finkelstein Maxim. 2008. Introduction Failure Rate Modelling for Reliability and Risk Springer Series in Reliability Engineering. p. 1–84.
ISO 31000. 2018. Risk Management Principles and Guidelines
Kim Y.S., Choi H.S.. 2010. Introduction to Defense Quality Management Hyungseul. p. 101–116.
Lee C.H., Yang K.W.. 2014;A Study on the Risk Identification Methods for Initial and Mass Production Stage of Military Products Using FMEA. J Korean Soc Qual Manag 42(3):311–324.
Lee G.H.. 1997. A Study on Clustering Methods Mokpho University. p. 10–23.
Lee J. H., Jung Y. T.. 2017;A Study on the Methodology of Manufacturing Readiness Levels(MRLs) 8 of Manufacturing Readiness Assessment(MRA). J Korea Academia-Industrial cooperation Society 18(6):609–619.
MIL-STD-882D. 2000. Risk Management Guide for DoD Acquisition
Seo M.K., Yun W. Y.. 2017;Clustering-based Monitoring and Fault detection in Hot Strip Roughing Mill. J Korean Soc Qual Manag 45(1):25–38.
Seo M.Y., Yun W.Y.. 2017;Clustering-based Monitoring and Fault detection in Hot Strip Roughing Mill. J Korean Soc Qual Manag 45(1):025–038.
Shin S.S., Lee K.S., Cho H.G.. 2013;An Objective Method of Risk Assessment Based on Stochastic Modelling. J Korean Soc Qual Manag 41(3):465–474.
U.S. Department of Defense. 1998. MIL-HDBK-338B. Reliability Modeling and Prediction : Electronic Reliability Design Handbook
Yoo H.S., Kim H.W., Sakong C.D.. 2017. "RAM analysis Report on ADC2A". ADD, ADC2A-RAMR V5.0.
Yoon J.B., Ryu S.H.. 2016;A Study on systematic performance of risk identification, risk assessment and risk treatment. DTAQ Technical Report :12–26.

Article information Continued

Figure 1.

Risk grade assessment distributions

Table 1.

Risk evaluation

Classification Level Description
Risk Likelihood 5 Highly likely
4 Near certainty
3 likely
2 Low likelihood
1 Not likely
Risk Impact 5 Critical impact (result) on customer safety (i. e. death) or capacity of military supplies
4 Fairly substantial impact (result) on user safety (serious injury) or capacity of military supplies
3 Partial impact (result) on capacity of military supplies
2 Impact (result) on additional capacity of military supplies
1 Impact (result) on the use and capacity of military supplies

Table 2.

Risk assessment matrix

Risk likelihood 5 M M H H H
4 L M M H H
3 L L M M H
2 L L L M M
1 L L L L M
1 2 3 4 5
Risk impact

Table 3.

Survey for risk assessment

Survey Num Question Options Responses (Ratio%)
8 Have you noticed any differences between the results of the risk assessment analyzed by another researcher and the results of your own risk assessment? Very low 1 (0.9)
Low 9 (8.8)
Moderate 41 (40.1)
High 43 (42.1)
Very high 8 (7.8)
9 Do you think it is neces- sary to establish objective criteria in the risk assessment process? Very low 1 (0.9)
Low 3 (2.9)
Moderate 21 (20.5)
High 38 (37.2)
Very high 39 (38.2)
15 What do you think it should be added or revised in the Defense Quality Management regulations? (multiple choices) No need 7 (4.5)
Category (contract, product and process characteristics, quality management system operation) 15 (9.7)
A quantitative standard for risk assessment 76 (49.3)
The scope of quality assurance activities based on risk assessment 53 (34.4)
Others (proposed) 3 (1.9)

Table 4.

Sequence to calculating risk likelihood

Sequence Description
1 Convert the MTBF of the weapon system to a failure rate.
2 Determine the allocation rate from the failure rate for the sub-components.
3 Convert the failure rate of sub-components to MTBF.
4 Convert the MTBF to the number of failures per year with system operating time.
5 Calculate the data distributions from the number of failures.
6 Cluster from data distributions.
7 Determine risk grade from clusters.

Table 5.

Risk likelihood and impact

No. Product Risk likelihood Risk impact
1 지상○○○○○ 10.23364486 7.29575
2 작전○○○,쉘○○ 9.144050104 5.829006
3 쉘○○체 0.918046531 0.695072
4 종○○보호○○세트 1.250535332 0.998841
5 컴퓨터콘○○치세트 3.310657596 1.201525
6 무정○○원공급기 1.244318182 0.639021
7 전○○제장치 0.418158385 0.087076
8 처리○○립체 0.900215805 0.355646
9 ○○S수신조립체 0.114781378 0.066023
10 인터컴○○어조립체 0.477566374 0.053758
11 ○○자콘솔장치세트 2.635379061 0.579596
12 전○○황전시장치 0.877931449 0.131762
13 보○○시장치 0.852057193 0.094272
14 소프트○○널조립체 0.18318312 0.353561
15 장○○착대장치세트 2.063118229 0.726098
16 플랫○○조립체 0.10620499 0.468684
17 발○○세트 0.557724958 1.466744
18 스위치 ○○ 0.090727059 0.185634
19 내장○○통제○○ 0.281533804 0.014812
20 휴○○반통○○ 0.894230769 0.028397

Table 6.

Center of cluster per groups

Group 1 Group 2 Group 3 Group 4 Group 4 Group 5
Risk Likelihood 10.2336 9.1441 0.4724 1.2067 2.9730 1.8277
Risk impact 7.2957 5.8290 0.1672 0.9052 0.8906 1.0636

Table 7.

Scatter plot

Number of prediction Average distance form centre Maximum distance from centre
Group 1 1 0.0 0.0
Group 2 1 0.0 0.0
Group 3 11 0.339 0.474
Group 4 5 0.492 0.875
Group 5 2 0.459 0.459

Table 8.

Risk grade assessment

No. Product Risk ranking Risk ranking No. Product Risk ranking Risk ranking
1 지상○○○○○ 1 H 11 ○○자콘솔장치세트 5 M
2 작전○○○,쉘○○ 2 H 12 전○○황전시장치 3 L
3 쉘○○체 4 M 13 보○○시장치 3 L
4 종○○보호○○세트 4 M 14 소프트○○널조립체 3 L
5 컴퓨터콘○○치세트 5 M 15 장○○착대장치세트 4 M
6 무정○○원공급기 4 M 16 플랫○○조립체 3 L
7 전○○제장치 3 L 17 발○○세트 4 M
8 처리○○립체 3 L 18 스위치 ○○ 3 L
9 ○○S수신조립체 3 L 19 내장○○통제○○ 3 L
10 인터컴○○어조립체 3 L 20 휴○○반통○○ 3 L