양산성 확보를 위한 체계공학 기반의 개발단계 품질보증 방법에 관한 연구
Abstract
Purpose
This study aims to built the manual for quality assurance at development stages based on the system engineering to prevent the lack of mass product capability in advance.
Methods
This study have proposed quality baseline and review guidelines of outputs in system development stages for R&D quality assurance of Domestic weapons systems
Results
We apply the this method to 21 projects of military area in 2016, and we present 1,291 supplementary requirements such as adding the missing test items.
Conclusion
This method contribute to minimize the gap between the quality of development and production and reduce the configuration management effort during the initial production.
Key words: System Engineering(SE), Development Stage, Quality Assurance, Manual, Producibility
1. 서 론
국내 무기획득사업은 크게 해외도입사업과 국내 연구개발 사업으로 나눌 수 있다. 해외도입사업은 한미 정부 간 무기 구매에 대해 무기체계 제조사가 미 정부에 납품한 후 미 정부의 보증 하에 정부가 해당 무기체계를 구매하는 방법인 대외군사판매(foreign military sales)와 일반적인 국제 상거래 관행에 따라 무기제작사와 계약하는 방법인 일반상업구매(direct commercial sales)로 나뉜다. 국내 연구개발 사업은 연구개발주관기관에 따라 국방과학연구소가 주관하는 연구개발 사업과 업체주도 연구개발 사업으로 나뉜다.
해외도입사업으로 도입된 무기의 품질확보 노력에는 한계가 있다. 도입 당시 완성품의 무기체계가 국내에 들어와 즉시 전력화되므로 무기체계에 문제가 발생하더라도 원인 규명에 따른 품질개선 보다는 부품 교환 등 단순하게 해결을 할 수 밖에 없다. 반면 국내 연구개발은 무기체계의 기획 및 개발단계부터 정부 또는 기관이 개입하여 품질을 확보할 수 있다. 현재 방위력개선 부문 중 국방 R&D 예산이 2011년 2조 164억원에서 2015년 2조 4,795억원으로 연평균 5.3%의 증가율을 보이는 현황을 보면 개발단계부터 무기체계의 품질 확보 가능성은 나날이 증대된다는 것을 의미한다( Ha, Lee, and Park 2015).
무기체계에서 요구되는 품질이란 무기체계의 요구성능 달성여부, 규격에 맞는 제품의 적기납품, 그리고 사용자 만족여부를 일컫는다. 따라서 ‘품질’의 개념을 제품의 요구사항 분석단계에서부터 제품의 폐기단계에 이르는 총수명주기 동안의 요구사항 달성정도로 확대할 필요가 있다. 즉 ‘품질’은 사용자의 요구사항 충족을 달성하기 위해 개발단계에서 품질을 설계하고, 생산단계에서 품질을 형성하며, 운용단계에서 품질을 유지 및 개선하기 위한 총수명주기에 걸친 종합적 활동을 말한다. 이러한 ‘품질’ 개념 구현을 위한 프레임으로 미 국방부의 DoD Instruction 5000.2, 방위사업청의 방위사업관리규정, 그리고 방위사업청의 연구개발사업의 체계공학(SE) 기반 기술관리업무 실무지침서( DAPA 2012)는 체계 공학기법의 적용을 요구하고 수행방법을 제시하고 있다. 체계공학의 적용은 무기체계의 총수명주기 간에 발생하는 실패비용을 줄이고 고품질의 군수품을 획득하기 위한 효과적인 방법으로 무기체계의 기획 및 개발 단계에서부터 주요 단계(또는 이벤트)별로 총수명주기관리요소(사용자 요구사항, 공학적 설계내용, 시험평가, 양산성 및 운용성 등)의 달성여부를 철저히 검증하는 것이다. 하지만, 방위사업관리규정과 연구개발사업의 체계공학(SE) 기반 기술관리업무 실무지침서는 양산성 확보에 집중하는 것이 아닌 사업의 전반적 관리에 초점을 맞추고 있다. 무기체계 양산 품질보증을 담당하고 있는 국방기술품질원은 개발단계부터 양산성이 담보된 품질을 확보하는 것이 양산단계에도 품질의 단절없이 연속적인 품질이 보장된다고 판단되어 양산성 확보를 위한 체계공학 기반의 개발 단계 품질보증 방법을 연구하였다.
실제로 품질의 80∼90%가 기획 및 개발단계에서 결정된다는 것은 업계 및 관련학계의 통설이며 양산단계에서 발생하는 결함은 대부분 경미한 기술변경이나 재작업을 통해서 해결할 수 있는 것들이 대다수다. 하지만 K계열 전차의 품질문제, 홍OO 사격불명중, KOO 폭발사고 등에서 볼 수 있듯이 기획 및 설계단계에서 발생한 결함은 제조공정 중에 발생한 결함과는 비교가 안 되는 막대한 실패비용을 초래하고 있다( Kim et al 2016).
따라서 무기체계의 총수명주기 간에 발생하는 실패비용을 줄이고 고품질의 군수품을 획득하기 위한 효과적인 방법 중 하나로 무기체계의 개발단계 별 양산관점의 품질문제를 확인할 수 있는 체크리스트 등이 포함된 체계공학기반의 개발단계 품질보증 매뉴얼의 구축과정과 주요내용을 제시하고자 한다.
2. 해외 선진국의 개발단계 품질보증 지침 조사
미국 및 유럽의 연구기관 등 총 4개의 선진사례를 조사하여 해외 선진국의 개발단계 품질보증 방법 및 요소를 종합하기 위하여 각 기관의 개발단계 품질보증 지침을 살펴본다.
미국 품질협회(ASQ)는 크게 Responsibility, Planing, Execution, Verification 등 총 4가지의 연구 품질요소를 기반으로 개발 품질보증을 위한 지침(Quality Assurance Guidelines for Research and Development)을 작성하였다. 미국 품질협회의 지침은 연구 형태, 규모 등에 따라 선택적으로 품질요소를 정하여 관리하도록 하고 있다. 이러한 선택적 적용은 다양한 연구 형태를 가지는 현실에 비추어 연구 수행의 유연성 확보에 유리한 것으로 판단되며 각 연구마다 중요하다고 판단되는 품질요소를 좀 더 집중적으로 관리할 수 있는 여건을 마련한 것으로 판단된다( ASQ 2000).
미국 기계학회(ASME)는 원자력 설비의 품질보증을 위하여 조직구성, 구매서류 관리, 구매자재 관리, 시험관리, 측정 및 시험장비의 관리 등 총 18가지의 품질요소를 기반으로 NQA-1(Nuclear Quality Assurance)표준을 제정하였다. 각 품질요소가 표준의 각 장으로 구성되어 있으며 보충이 필요한 장에 대해서는 추가로 보충요건을 서술하였다( ASME 2012).
미국 에너지부(Department of Energy : DoE)와 National Nuclear Security Administration (NNSA)는 고객의 요구와 기대를 충족하는 제품 및 서비스를 보장하기 위해 DoE Order 414.1D를 제정하였다. DoE Order 414.1D에는 미국 에너지부가 연구 품질요소로 구성된 품질요소들을 제정하여 산하 연구개발 기관에 품질보증 시스템을 구축·운영하도록 요구하고 있으며 크게 Management, Performance, Assessment 총 3가지로 품질요소를 정의하고 있다. 또한 미국 품질협회의 품질보증 지침과 마찬가지로 기관 및 업무 특성에 따라 연구 품질요소를 자율적, 선택적으로 적용하도록 하고 있다( DoE 2011).
마지막으로, 유럽 Eurachem CITAC은 유럽의 학계 및 업계 전문가로 구성된 연구그룹으로 연구개발 품질보증에 관한 연구를 수행하여 그 결과로 Eurachem CITAC Guide를 제시하였다. Eurachem CITAC Guide에서는 연구개발 품질에 영향을 미치는 연구 품질요소로 Organizational Quality Elements, Technical Quality Elements, Analytical Task Quality Elements, External Verification 등 총 4가지로 분류하였다( Eurachem 1998).
상기와 같이 미국 및 유럽 선진국의 연구개발 품질보증 관련 자료를 검토한 결과 국방무기체계와는 차이점을 살펴볼 수 있었다. 본 논문에서 제안하는 개발단계 매뉴얼 내용은 제조성숙도평가 항목을 개발 완료 후가 아니라 각 항목이 준비되어야 하는 개발단계별로 사전 준비하고, 양산성 확보를 위한 설계 방법론 및 부품단종관리와 위변조 방지, 협력업체관리 및 핵심부품 국산화, 국방품질경영시스템평가 등과 같은 관점에서 체크리스트와 산출물 검토용 TOOL을 개발하였다. 그러나 본 장에서 살펴본 미국 및 유럽 선진국의 연구개발 품질보증 관련 자료는 위험관리, 사업관리, 자료관리, 장비관리 등 프로젝트와 프로세스를 관리하는 것이 주요내용으로 세부항목들도 연구개발하는 시제품 개발의 설계 및 검증 그리고 사업관리 등 주요내용이며, 양산관점의 제조성과 양산성을 향상시키기 위한 내용과는 연관성이 적었다.
3. 국방 개발단계 품질보증 매뉴얼 제안
3.1 국방 연구개발 사업 특성
국방 무기체계의 개발단계 품질보증 매뉴얼 작성에 앞서 국방 연구개발 사업의 특성을 먼저 살펴본다. 국방산업은 민수사업과 달리 수요자 중심의 시장구조로 정부의 군 전력화 계획에 따라 수요가 결정된다. 이러한 점은 민수사업과 달리 국방산업이 양산단계에 이르더라도 품목에 따라 그 수량이 아주 미미할 수 있다는 것을 뜻한다. 국방산업 수요는 군의 전력화 요구와 국방예산의 범위 내에서 결정되고 있으며 5개년 이상의 확정적 수요 예측이 곤란한 특성을 가진다. 국방 소요계획이 확정되고 무기체계 연구개발이 진행되면 방위사업관리규정 및 체계공학 관련 표준을 기반으로 연구개발 단계, 연구개발 수명주기 등은 아래 그림 1을 따른다( DAPA 2012).
최신 방위사업관리규정에 따라 연구개발에 의한 무기체계 연구개발 단계는 선행연구, 탐색개발, 체계개발, 양산단계로 구분된다. 연구개발 수명주기는 운용개념 도출, 사용자 요구사항 개발, 체계요구사항 개발, 체계기능분석, 기본설계, 상세설계, 제작 및 구현, 체계통합, 시험평가의 세부 단계로 구분한다. 이와 같은 연구개발 수명주기는 사업의 규모 등 특성에 따라 조정 적용될 수 있다. 연구개발 프로세스는 연구개발 수명주기를 지원하기 위해 국제 표준인 체계공학(system engineering : SE)에 기반 한다. 무기체계 연구개발 단계 및 연구개발 수명주기는 무기체계 개발 시 주요 의사결정 내용을 기반으로 시간 기준으로 순차적인 단계로 구분된다. 반면 연구개발 프로세스는 개발을 수행하는데 필요한 기능적 분류체계로 수명주기 전 기간에 걸쳐 모든 프로세스가 반복적으로 수행된다( DoD 2012).
3.2 제안된 매뉴얼
국방 무기체계 개발사업의 경우 방위사업청에서 작성한 연구개발사업의 SE기반 기술관리 업무 실무지침서( DAPA 2012)를 참고하여 체계공학 관점의 개발관리를 하도록 하고 있지만 양산품질관리 관점의 품질 확보를 위한 개발단계 품질보증 방법이 상대적으로 빈약하였다. 그 결과 개발단계에서 확보된 군수품 품질이 초도 및 양산단계에 이어지지 않는 단절현상이 빈번하였다. 이는 개발완료 이후 양산단계에서 식별된 품질문제를 해결하기 위하여 상당한 형상통제(기술변경)를 수반하였고 특정 몇 개 사업의 경우 기술변경 건수(변경율)이 평균 60%를 상회하였다( Hwang 2009). 따라서 양산 무기체계의 품질보증을 맡고 있는 국방기술품질원은 개발단계에서 확보된 상당한 수준의 품질을 양산단계에 단절없이 확보될 수 있도록 국방기술품질원이 활용할 수 있는 체계공학 기반의 양산관점 개발 단계 품질보증 매뉴얼 확보가 필요하게 된 것이다.
본 논문에서 제안하는 매뉴얼은 크게 체계공학이론을 바탕으로 1장 서론, 2장 무기체계 연구개발 수명주기, 3장 개발단계별 품질요소 및 품질기준선, 4장 개발단계별 산출물 및 품질기준선으로 구성되어 있으며 별도로 단계별 품질요소 체크리스트 설명 자료가 붙임자료로 포함되어 있다. 그 구성은 아래 표 2와 같다( Kim et al 2016).
1장 서론은 “품질”을 광의의 개념으로 확대하여 총수명주기 동안 사용자의 요구사항을 충족해야 하는 것으로 정의하며 체계공학의 기본절차를 설명하고 있다. 2장은 무기체계 연구개발사업의 수명주기와 주요 활동내용에 대해 살펴보고 있다. 무기체계 연구개발 사업은 소요가 결정된 무기체계가 작전운용성능을 만족할 수 있도록 운용개념 및 요구사항 도출, 핵심기술 확보, 제품설계, 시제품 제작, 시험평가를 수행하며 연구개발사업의 최종목적은 ‘양산할 수 있는 무기체계를 개발’하는 것이라 설명하고 있다. 또한 무기체계 양산단계에서 양산품질 확보를 책임지는 국방기술품질원의 개발단계 참여 최종목적을 ‘개발된 무기체계의 완벽한 양산 품질확보’에 있다고 설명하고 있다. 3장은 해외 선진국의 개발단계 품질요소 사례를 조사하여 공통 품질요소를 정리한 표 1을 참조하여 국방산업에 적합한 각 개발 단계별 품질요소를 재정립하였으며 단계별 품질요소를 구체적으로 확인할 수 있는 점검용 체크리스트를 작성하여 제시하고 있다. 아울러 각 단계별 작성되는 주요 산출물 목록 또한 나열하고 있다. 각 단계별 품질요소에 해당하는 점검항목들은 지속적인 추적 관리가 용이하도록 후속 단계에서 중복된 점검항목이 포함된다.
본 논문에서 제안하는 매뉴얼과 방위사업청이 사업관리 시 활용하는 연구개발사업의 SE기반 기술관리 업무 실무지침서( DAPA 2012)와 비교하면 체계공학 프로세스에서 체계공학계획 작성 및 체계공학관리계획 요구 프로세스는 제안요청 단계로 국방기술품질원이 활용할 본 제안 매뉴얼에는 적용이 어렵고 체계공학 관리계획 작성 프로세스는 체계개발실행계획서 단계이므로 본 제안 매뉴얼에 포함된 품질요소의 적용이 가능하다. 기존 방위사업청의 실무지침서와 본 논문에서 제안하는 국방기술품질원의 개발단계 품질보증 매뉴얼의 비교 결과는 표 3과 같다.
해외 선진사례에서 도출된 공통 품질요소 및 체계공학적인 요소를 중심으로 체계공학 프로세스에 맞추어, 국방기술품질원은 양산할 수 있는 무기체계의 개발을 위한 품질관점의 품질요소를 도출하였다.
개발단계에서 품질이 형성되는 과정을 살펴보면 소요군의 요구를 충족하도록 장비를 설계하고 설계된 장비에 대한 검증과정을 거쳐 생산의 기준(규격)이 설정되며, 설정된 기준(규격)에 부합하는 성능이 구현되도록 공정을 개발하고 구현된 성능이 지속적으로 유지되도록 공정을 관리하는 것으로 요약할 수 있다. 개발단계 품질의 형성 과정은 그림 2와 같다.
이를 바탕으로 아래 표 4와 같이 설계타당성, 구현적합성, 성능안정성으로 특성화하여 각각의 특성에 따라 수행되어야 할 관련 업무 및 품질요소를 정리할 수 있다.
개발단계에서 품질을 결정하는 주요 요소는 상기의 관련 업무로 식별할 수 있는데, 설계의 타당성에 영향을 미치는 설계검토, 형상관리, 시험평가가 이에 해당되며, 구현적합성을 확인하기 위한 요소로는 공정개발/제조관리, 시험장비가 해당된다. 또한 성능안정성에 영향을 미치는 요소로는 부품/구성품/수입품 관리, 협력업체관리, 품질경영시스템을 들 수 있다. 이러한 총 8개의 관련 업무를 개발단계 참여를 위한 품질요소로 식별하였다. 개발단계 품질요소를 도식화하면 다음 표 5와 같다. 표 5에는 표 1과의 연관성을 표시하였는데 제안하는 국방산업에 적합한 품질요소는 해외 선진사례의 공통품질요소가 모두 포함됨을 알 수 있다( Kim et al 2016).
위와 같은 품질요소를 바탕으로 개발단계별 품질기준선 및 체크리스트를 개발단계별 품질요소 체크리스트 설명 자료와 함께 작성하였다. 체계개발단계에 맞추어 시작조건과 종료조건이 정의 되어 있으며, 단계별 품질요소 체크리스트가 중점 점검항목을 기술하였고, 이외 기타 제조성과 양산성을 향상시킬 수 있는 항목을 포함하였다. 개발단계별 품질요소 체크리스트 적용 시 사용자의 이해를 돕기 위한 관련 산출물명과 관련규정, 프로세스, 확인방법에 대한 설명 자료를 포함하였다. 아울러 각 단계별 작성되는 주요 산출물 목록 또한 나열하고 있다. 품질요소 체크리스트의 항목레벨은 점검항목이 속하는 단계를 구분하기 위해 작성하였으며, 점검 항목은 방위사업청 IPT, 국방기술품질원 센터별 특성, 사업별 특성을 고려하여 해당부문에서 적용 가능한 필수 항목을 선별하고, 테일러링하여 적용할 수 있도록 매뉴얼이 작성되었다. 작성된 체크리스트의 개발단계별, 품질요소별 항목수 현황은 표 6과 같고 그 중 규격화 단계의 품질요소 체크리스트 항목 일부는 표 7과 같다.
개발단계에서 무기체계 요구사항의 추적성 관리가 미흡하거나 양산성을 고려하지 않은 설계로 인하여 양산단계에서 사업이 중단되거나 어려움을 겪는 사례가 빈번히 있었다. 따라서 본 논문에서 제안한 체크리스트는 각 단계별 품질요소에 해당하는 점검항목들은 지속적인 추적 관리가 용이하도록 후속 단계에서 유사하거나 중복된 점검항목으로 관리되며 그 절차는 그림 3과 같다.
또한, 무기체계의 체계개발 종료 시점에서 기본적으로는 200억 이상의 사업 중 사업일정 지연, 비용 상승 등 위험도가 높을 것으로 판단되는 사업에 대하여 제조성숙도평가(MRA : Manufacturing Readiness Assessment)를 실시하도록 되어있으나 연구개발주관기관에서 개발시에 고려해야할 양산성을 고려하지 않아 제조성숙도평가에 어려움을 겪고 있는 것이 실정이다. 따라서 본 논문에서 제안하는 “개발단계 품질보증 매뉴얼”의 체크리스트에서는 제조성숙도평가 75 항목 중 예산등 양산성과 관련이 적은 18항목을 제외한 57항목을 개발단계별 체크리스트에서 준비 및 확인할 수 있도록 하였다. 제조성숙도평가 분야와 개발단계 이벤트 간 연관항목은 표 8과 같다. 따라서 설계 및 개발과 시제품 시험평가 과정에서 제조성숙도평가 항목의 개발과정에서 자연스럽게 준비할 수 있다.
4. 국방 연구개발 품질보증 매뉴얼 적용 사례 및 분석
본 논문에서 제안하는 개발단계 품질보증 매뉴얼을 유도전자무기 분야 중 현재 개발단계에 있는 일부 사업에 적용한 사례 및 그 결과를 분석하였다. 기존에는 국방기술품질원이 개발단계 사업에 대해 수시로 이벤트가 있을 때 마다 검토회의에 참석하여 양산관점의 품질 의견을 제시하였다. 제안하는 매뉴얼에 대한 적용 없이 체계개발단계 수시 참여를 통한 품질 의견을 개진하여 회의에 참석하여 참여 인원의 역량에 따라 품질 의견 제시의 질적/양적 정도의 차이가 많이 발생하였다. 이러한 단점을 해결하기 위하여 개발단계별 누구나 기본적으로 검토하고 확인해봐야 할 부분에 대한 리스트를 매뉴얼에 담았고 이를 2가지 측면에서 활용해보았다( Kim, Kim, and Chin 2016).
첫째, 유사인력이 같은 기관에서 유사유도무기체계를 개발하였을 때 본 논문에서 제안한 방법으로 FCA 및 PCA를 수행하여 보완사항을 식별하였을 경우와 기존의 방식되로 FCA 및 PC를 수행하였을 경우를 비교하였다. 제안한 방식을 적용한 사업은 유사무기체계 대비 본 매뉴얼에서 적용한 방법에 따라 심층적인 검토가 이루어졌음을 확인할 수 있다. 여기서 주목할 것은 형상확인 활동을 시험평가 기간 중에 실시한 점이다. 보통 FCA, PCA를 시험평가에서 이후 수행하도록 되어있지만 유도무기 사업 특성상, 시험평가 후에는 시제가 남아있지 않은 경우가 대부분이므로 형상확인이 불가능하다. FCA/PCA 수행결과 품질보증요구서 74종에 대해 1,860여건, 도면 2,626종 3,678매에 대해서는 13,224건의 수정사항을 도출하였으며 최종 결과는 표 9와 같다. 이 결과는 양산단계에서 뒤늦게 식별되었을 때 추진되어야할 복잡한 규격 변경절차와 전력화 납기지연 등의 위험요소를 고려했을 때 선제적이고 적절한 대응인 한편, 방위사업청 입장에서는 규격변경을 위해 향후 투입되었을 수많은 인력과 시간, 행정소요를 크게 줄였다는 점에서 비용절감 효과가 지대하다.
둘째, 제안된 매뉴얼을 참고하여 2016년 유도전자분야인 항OO 사업 등 총 21개 사업에 대한 개발단계 참여 결과는 누락된 시험 항목 추가, 규격자료에 적힌 용어의 의미 명확화 요구 등 개발 품질문제 총 1,291건에 대해 의견을 제시하였다. 이를 품질요소별, 참여한 개발단계별 분석 결과는 표 10∼ 11과 같다.
단계별 결과표를 보면 시험준비검토(TRR) 및 규격화단계에 품질문제 의견 개진 건 수가 상대적으로 집중되어 있고, 품질요소별 결과표를 보면 역시 형상관리 및 시험평가에 대한 품질문제 의견 개진이 치중되어 있음을 알 수 있다. 실제 국방기술품질원이 개발단계 초기단계에 참여하는 기회가 적고 시험평가 및 규격화단계 등 개발 후반기에 접어들수록 참여 횟수가 증대되는 영향이 있다. 이는 양산 진입 직전 규격화자료를 최종 검토할 수 있는 시기이기 때문에 상대적으로 국방기술품질원의 참여 횟수가 높다. 또한 2016년 참여한 개발단계 사업이 개발 후반기에 접어든 사업이 많았던 영향 역시 무시할 수 없다.
본 제안 매뉴얼의 적용 결과 양산품질보증을 담당하는 국방기술품질원은 무기체계 개발단계에 적극적으로 참여하여 개발단계의 상당한 품질문제를 제기하였고 반영이 되었다. 이는 연구개발 최종산출물인 국방규격의 완전성 제고에 큰 이바지를 하게 되었다. 이를 통해 국방규격 관련 개발기관/양산업체/품질보증기관 간 개발단계 무기체계 품질 향상에 대한 인식 제고 및 내실화를 다졌다고 할 수 있다. 이러한 내실화는 개발품질과 양산품질 간 차이를 최소화하게 해주어 품질안정화에 도움이 되며 양산간 발생할 수 있는 수많은 형상통제를 위한 불필요한 행정 및 각 기관 후속 업무의 감소에도 일조하였다고 할 수 있다.
5. 결 론
본 논문은 ‘광의의 품질’ 개념 구현과 연구개발 사업에 있어 총수명주기를 고려하여 체계공학절차를 적용하는 추세에 맞추어 양산관점의 효율적인 연구 개발단계 참여 방안을 연구하였다. 체계공학 기반의 개발단계 품질보증은 총 소유비용을 절감하기 위한 중요한 방법이며, 이러한 방법은 개발단계에서 선행되어야 할 부품관리 및 기술관리, 제조 관리를 통하여 운용유지단계 까지 군수지원성을 향상시키는데 기여할 것으로 예상된다. 양산단계 품질확보를 위해 선제적으로 연구개발단계에 참여하여 이벤트 단계별 품질기준선에 따라 확인할 수 있는 체크리스트를 개발하였다. 또한 체계개발단계 주요산출물 중 약 21종에 대한 산출물의 완성도를 높이기 위해 산출물 검토용 체크리스트를 연구하였다. 그리고 체계적으로 체계개발 단계별 주요 이벤트의 수행활동 및 확인방법을 정의하였으며, 개발단계별로 작성되는 산출물에 대한 구체적인 검토 가이드라인을 제시하였다.
또한 품질요소의 정의와 이에 따른 품질기준선에 대하여 확인방법이 어려울 수 있으므로 활용이 용이하도록 각 이벤트 단계별 체크리스트에 확인방법을 구체적으로 정의하였고 일부 관련 산출물명을 기술하였다. 제안하는 매뉴얼은 국방분야에서 체계적으로 개발단계별 양산관점의 의견제시나 검토를 할 때 충분히 활용될 수 있으며 이를 통하여 무기체계의 개발단계 품질확보를 통하여 양산단계의 품질로 이어질 수 있는 충분한 가교 역할을 할 수 있을 것으로 기대된다.
마지막으로 개발단계 무기체계에서 발생한 문제들의 주요 요인이 시제품에 대한 성능 확인 및 전력화 일정의 무리한 준수에서 발생했다는 점에서 본 연구결과를 활용하여 지속적인 양산품질관점의 연구 개발단계 참여업무를 수행한다면 국내 무기체계 연구개발의 품질향상과 경쟁력 강화가 가능할 것으로 판단된다.
REFERENCES
ASME 2012. Quality Assurance Requirements for Nuclear Facility Applications. American Society for Mechanical Engineer, USA.
ASQ 2000. Quality Assurance Guidelines for Research and Development. American Society for Quality, USA.
Cho, 2016. Defense Standardization Process Improvement Method for Enhancement of Weapon System Quality and Reliability. 2016 KIMST Conference.
DAPA 2012. Technology Management Work Instruction Based on System Engineering (SE) of Research and Development Project. Defense Acquisition Program Administration, Korea.
DoD 2012. Defense Acquisition Guidebook. Department of Defense, USA.
DoE 2011. Quality Assurance (DoE Order 414.1D). Department of Energy, USA.
DTaQ 2015. Manual for Quality Assurance at Development Stages. Defense Agency for Technology and Quality, Korea.
Eurachem 1998. CITAC, Quality Assurance for Research and Devlelopment and Non-Routine Analysis. Eurachem CITAC Guide, EU.
Ha, T-K, Lee, C-K, and Park, M-Y 2015. A Study on the Status of Defense R&D and Improvement Plan. National Assembly Budget Office.
Hwang, 2009. Effective Project Management Method. Defense Quality Policy Progression Seminar, DAPA.
Kim, D-H., Kang, M-S., Ji, D-H., and Choi, S-J 2013. R&D Quality Assurance : General Types and Key Quality Elements. J. Korean Society for Quality Management 41(4).
Kim, S-W, Chin, H-C, Kim, S-O, Jung, I-H, and Jung, Y-C 2016. A Study on a Method to Effectively Perform the Quality Assurance at the Development Stage. Defense Agency for Technology and Quality, Korea.
Kim, S-W, Kim, S-O, and Chin, H-C 2016. A Study on the Build of the Development Stage Quality Assurance Manual. Korea Institute of Military Science and technology, Autumn conference.
Figure 1.
Research and Development Stage and Life-Cycle
Figure 2.
Formation Process of Development Stages Quality
Figure 3.
Traceability of the Checklists within the Proposed Manual
Table 1.
Common Quality Elements |
ASQ |
ASME NQA |
DoE |
Eurachem CITAC |
1. Administrative Plan |
-Responsibility |
-Organization |
|
-Administrative and Technical Planning Work |
-Quality Management, Corporate and Local |
|
2. Project Plan |
-Project Plans |
-Quality Assurance Program |
-Program |
-Preparation and Planning Before Starting Work |
|
3. R&D Plan |
-Software |
-Design Control |
-Design |
-Technical Capability of Laboratory |
-Methodology |
-While the Work is in Progress |
|
4. Process Management |
|
-Control of Special Processes |
-Work Process |
-Unit Operations |
|
5. Documents & Records Management |
-Change Control |
-Instructions, Procedures, and Drawing |
-Documents and Records |
-Record Keeping and Document Control |
-Drawing |
-Document Control |
-Reports |
-Quality Assurance Records |
-Project Records |
|
6. Use of Statistics |
-Statistical DoE |
|
|
-Use of Statistics |
-Calculation |
|
7. Nonconformance and Corrective Action |
-Nonconformance |
-Control of Nonconformance Items |
-Quality Improvement |
-When the Work is Complete |
-Corrective Action |
|
8. Material Managaement |
-Material Identification and Control |
-Identification and Control of Item |
|
-Reagents, Reference Material and Calibrations |
-Handling, Storage, and Shipping |
|
9. Procurement Management |
-Procurement |
-Procurement Document Control |
-Procurement |
-Subcontracting |
-Control of Purchased Items and Services |
|
10. Training and Qualification |
-Training |
|
-Personnel Training and Qualification |
-Staff Qualifications, Training and Supervision of Staff |
|
11. Equipment Management |
-Instrumentation |
-Control of Measuring and Test Equipment |
|
-Instrument Performance |
-Calibration of Traceability |
-Equipment and Computer Controlled Equipment |
|
12. Testing and Inspection |
-Testing |
-Test Control |
-Inspection and Acceptance Tesing |
|
-Inspection |
-Inspection, Test and Operating Status |
|
13. Assessment |
-Design Reviews |
-Audits |
-Management Assessment |
-Monitoring the Quality System |
-Peer Reviews |
-Independent Assessment |
-External Verification |
-Audit |
Table 2.
Contents of Quality Assurance Manual
Weapon System R&D Life Cycle |
· Life cycle and main activities of weapon system R&D project |
· Description of operational concept definition, operational requirement development∼standardization stage point in time, administering organization, and main activities |
|
|
|
|
Quality Elements and |
· Design the quality elements of quality perspective in order to develop mass production weapon system |
|
|
|
|
Baselines by each R&D Stage |
· Development of quality baselines and checklist by each R&D stage |
* Including esplanatory material for qualtity elements checklist by each stage |
|
|
|
|
Checklist for Review of each R&D Stage Product |
· Checklist for review of main products (21 species) of 84 products by each R&D stage |
Table 3.
Comparison of SE Process and R&D Life-Cycle ( Fig. 1)
System Engineering Process |
Stage for Quality Elements Definition of Quality Perspective |
Drawing of System Engineering Plan (SEP) |
N/A (Drawing Stage of System Development Preliminary Plan) |
|
Requirement of System Engineering Management Plan (SEMP) |
N/A (Drawing Stage of Request for Proposal) |
|
Drawing of System Engineering Management Plan (SEMP) |
Quality Allocation for System Development Execution Plan (SDEP) |
- Writing System Development Execution Plan (SDEP) |
- QMS / Counterfeit Management Planning, e.g. |
|
System Requirements Review (SRR) |
Quality Allocation for System Requirements Review (SRR) |
- Compatibility between System Requirements based on Performance and System Specifications |
- Reliability, Availability, Maintainability, e.g. |
|
System Functional Review (SFR) |
Quality Allocation for System Functional Review (SFR) |
- Function Definition / Analysis of System Requirements and Major Components |
- Quality Assurance Method Adequacy (Testing and Certifying Requirements e.g.) |
|
Preliminary Design Review (PDR) |
Quality Allocation for Preliminary Design Review (PDR) |
- Allocating of Requirements in each Applicable Configuration Items |
- Configuration Management Planning e.g. |
|
Critical Design Review (CDR) |
Quality Allocation for Critical Design Review (CDR) |
- Writing Design Documentation for Prototype Making |
- Setting Initial Product Baseline and FMECA Planning e.g. |
|
Pilot Implementation and Verification |
Quality Allocation for Test Readiness Review (TRR) |
- Testing Purpose / Method / Procedure / Range e.g. |
- Definition and Description of Major Manufacturing Process e.g. |
|
Functional Configuration Audit (FCA) |
Quality Allocation for Functional Configuration Audit (FCA) |
- Performance Guarantee Possibility of Configuration Items |
- Maturity Level Assessment about Mass Production of System Development Prototype |
|
Physical Configuration Audit (PCA) |
Quality Allocation for Physical Configuration Audit (PCA) |
- Correspondence between Configuration Items and Real Configuration |
- Correspondence between Drawing and Manufacturing Instruction |
|
Integrated Management of the System Engineering Material |
Quality Allocation for Standardization |
- Standardization of Outputs according to Manufacturing Process and Flowchart |
Table 4.
Works Related to Validity, Fitness and Stability
Design Validity |
Do the developed specifications and test method agree with ROC? |
- Associated Quality Elements : Design Review, Configuration Management, Test Evaluation |
|
Implementation Fitness |
Are the developed specifications feasible with performance? |
- Associated Quality Elements : Process Development/Manufacturing Management, Test Equipment |
|
Performance Stability |
Are the performance of products repeatable? |
- Associated Quality Elements : Parts/Components/Imported Goods Management, Cooperative Firm Management, Quality Management System |
Table 5.
Proposed Quality Elements for Military Industry and a correlation with Common Quality Elements ( table 1)
Required Quality |
Applicable Items of Common Quality Elements (Table 1) |
Design Validity |
Design Review |
# 13 |
Assessment |
|
Configuration Management |
# 3 |
R&D Plan |
# 5 |
Documents & Records Management |
|
Test Evaluation |
# 3 |
R&D Plan |
# 12 |
Testing and Inspection |
# 13 |
Assessment |
|
Implementati on Fitness |
Process Development/ Manufacturing Management |
# 4 |
Process Management |
|
Test Equipment |
# 11 |
Equipment Management |
|
Performance Stability |
Parts/Components/Imported Goods Management |
# 8 |
Material |
|
Cooperative Firm Management |
# 9 |
Procurement Management |
|
Quality Management System |
# 1 |
Administrative Plan |
# 2 |
Project Plan |
# 5 |
Documents & Records Management |
# 6 |
Use of Statistics |
# 7 |
Nonconformance and Corrective Action |
# 10 |
Training and Qualification |
Table 6.
Quality Elements Checklist for Standardization Stage
구분 |
R&D Stage
|
SDEP |
SRR |
SFR |
PDR |
CDR |
TRR |
FCA |
PCA |
Standardization |
Quality Elements |
Design Review |
1 |
9 |
5 |
15 |
10 |
5 |
3 |
4 |
2 |
|
Configuration Management |
5 |
1 |
3 |
2 |
2 |
3 |
3 |
7 |
6 |
|
Test Evaluation |
0 |
1 |
1 |
3 |
5 |
21 |
4 |
1 |
1 |
|
Process Development/Manufacturing Management |
2 |
4 |
3 |
3 |
7 |
4 |
2 |
4 |
2 |
|
Test Equipment |
1 |
1 |
1 |
3 |
1 |
4 |
2 |
2 |
1 |
|
Parts/Components/Imported Goods Management |
2 |
1 |
3 |
2 |
2 |
1 |
1 |
1 |
2 |
|
Cooperative Firm Management |
1 |
1 |
1 |
1 |
3 |
2 |
1 |
1 |
0 |
|
Quality Management System |
1 |
4 |
2 |
2 |
7 |
4 |
2 |
0 |
0 |
|
Sum |
218 |
13 |
22 |
19 |
31 |
37 |
44 |
18 |
20 |
14 |
Table 7.
Quality Elements Checklist for Standardization Stages
Table 8.
Applicable Items between MRA and each Event of Development Stages
MRA
|
Quality Elements Items by each Event of Development Stages
|
MRL 8 Assessment Items |
SDEP |
SRR |
SFR |
PDR |
CDR |
TRR |
FCA |
PCA |
Standardization |
1. Technology and Industrial Base |
4 |
6 |
7 |
8 |
8 |
3 |
3 |
1 |
0 |
|
2. Design |
10 |
10 |
9 |
13 |
16 |
13 |
13 |
9 |
7 |
|
3. Cost and Funding |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
4. Materials |
6 |
4 |
8 |
4 |
5 |
2 |
1 |
2 |
0 |
|
5. Process Capability and Control |
1 |
2 |
2 |
3 |
5 |
3 |
2 |
3 |
2 |
|
6. Quality Management |
1 |
0 |
1 |
1 |
6 |
3 |
2 |
1 |
2 |
|
7. Manufacturing Personnel |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
8. Facilities |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
9. Manufacturing Management |
1 |
0 |
2 |
2 |
3 |
1 |
1 |
3 |
1 |
|
Sum |
23 |
22 |
29 |
31 |
43 |
25 |
22 |
19 |
12 |
Table 9.
Comparison Results between the Exisitng Manual and Proposed Manual (Cho 2016)
Comparison |
Project Name |
Period |
Reviewed Document |
Results |
Participating Organizations |
Existing Manual |
A Project |
’11. 7. 6∼’11. 7. 7 (2 Days) |
TDP of Major Equipment (16 kinds) |
Modification 455 cases |
ADD, Prototype Company |
|
B Project |
’15. 10. 28∼’15. 10. 31 (4 Days) |
Drawing (1,052 kinds) |
Modification 25 cases |
ADD, DTaQ, Prototype Company |
|
Proposed Manual |
C Project |
’15. 9. 9∼’16. 3. 29 (7 Months) |
Specification (3 kinds) |
Modification 15,084 cases |
ADD, DTaQ, Prototype Company, Mass Producer |
QAR (74 kinds) |
Drawing (2,629 kinds) |
Table 10.
Results by Development Stages
Sum |
SDEP |
SRR |
CDR |
TRR |
Standardization |
etc. |
1,291 |
5 |
13 |
12 |
158 |
1,083 |
20 |
Table 11.
Results by Quality Elements
Sum |
Configuration Management |
Test Equipment |
Test Evaluation |
etc. |
1,291 |
824 |
65 |
370 |
32 |
|
|