국방규격 개선사업의 성과평가모형 개발 및 적용방안 연구
Abstract
Purpose
The purpose of this study is to identify key performance evaluation items and factors that are effective and practical for project management of defense standard standard improvement projects, and to develop a quantitative performance evaluation model.
Methods
For the development of a performance evaluation model for defense standard improvement projects, we analyzed past major project performance and derived evaluation items and factors. To increase the objectivity and efficiency of project evaluation, we developed an evaluation index that enables relative evaluation of evaluation targets, and calculated the main importance of evaluation items using the Analytic Hierarchy Process (AHP) method based on the main opinions of expert groups.
Results
The study resulted in the identification of main performance items for defense standard improvement projects, which were classified into defense standard conformity review performance and defense standard improvement performance items. We also simplified the evaluation model by integrating various evaluation items into similar evaluation factors. Additionally, we developed a quantitative evaluation index that enables relative evaluation of the targets and verified the objectivity and validity of the suggested performance evaluation model by reevaluating it using performance data from past commissioned professional institutions
Conclusion
Developing a quantitative evaluation model for defense standard improvement projects is expected to provide a means of measuring the effectiveness of the project, and to be used as a tool to determine the appropriateness and effectiveness of medium and long-term project plans.
Key words: Defense Standards Improvement Projects, Qualitative Evaluation Model, AHP
1. 서 론
군수품 표준화는 군수품 총수명주기 동안의 운영유지 비용을 결정하고 운영유지 지원 간 부품 단종을 예방할 수 있는 중요한 요소이다. 특히 양산 및 운영유지 단계에 규격 재개정, 적합성 검토 등의 표준화 관리는 중요한 관리 요소로 인식되고 있다( Jeong et al., 2012). 최근에는 우수한 민간기술의 국방 분야 적용을 확산하고 선진화된 국방표준을 제정하기 위해 민·군 기술을 협력하는 형태의 사업이 진행되고 있으며, 성능형 규격 작성 확대 등의 정책 및 제도 발전이 지속으로 추진되고 있다( Park et al., 2018). 하지만, 장기간 연구개발을 통해 획득 되어지는 무기체계의 경우 민간 신기술을 신속하게 수용하는데 한계가 있다( Jeon, 2020). 이러한 현상은 국방규격 제정 이후 최신규격과의 불일치( Jung et al., 2017), 적용 부품의 단종( Jung and Shim, 2020), 최신기술과의 역전현상 등의 문제로 발현되고 있다. 민·군이 함께 적용하는 표준규격을 국방 분야에 사용할 경우 관련 소재 및 부품을 어렵지 않게 수급 및 활용할 수 있는 이점이 있는 반면, 체계장비의 성능에 미치는 영향 등을 고려해야 하는 국방규격 특정상 빠르게 변화하는 민수 분야의 기술을 대처하기에는 어려움이 있다. 또한 국방 분야는 새로운 기술에 대한 검증 절차가 복잡하고, 적용되기까지 일반 산업분야 보다 오랜 시간이 소요되어 민간기술의 빠른 변화를 실시간으로 따라가는 것은 쉽지 않다. 특히 원·부자재 관련 규격은 산업분야에서 더 이상 수요가 없거나 불합리한 내용의 존재, 타 규격과의 중복성 등으로 인해 폐지되거나, 새롭고 발전된 규격으로 대체 및 통합되는 경우가 빈번히 발생하고 있다(DTAQ, 2020). 이러한 규격의 변화가 발생할 때마다 국방도면 내용 또한 새로운 규격으로 현실화 또는 최신화되어야 하지만 국방 분야의 복잡한 형상관리체계 및 업무절차는 현실을 반영하기 어렵다( Jung and Shim, 2020). 그리고 국방규격 및 표준에 인용된 원·부자재 규격에 대한 유효성을 검토하고 비유효한 인용규격에 대해 대체 인용규격 발굴 및 개정(안)을 제안하는 과정에서 다량의 기술변경을 추진할 경우 기술변경 시 발생하는 행정 소요 및 비용 등으로 오히려 비효율적일 수 있다( Park et al., 2018). 이러한 문제점 등을 해결하기 위해 방위사업청은 2015년 ‘국방표준발전 종합대책’을 수립하여 운영 및 유지단계 노후화된 규격을 ｢국방규격 개선사업｣에서 개선하고 있다. 국방규격 개선사업은 2016년부터 외부위탁사업을 통해 매년 국방규격은 약 300건, 도면 및 QAR는 약 6만 건을 검토하고 있다. 하지만, 이러한 양적 성과에도 불구하고 사업 추진성과를 객관적으로 평가할 수 있는 평가체계는 없는 실정이다. 특히 성과평가체계의 부재는 기술변경 항목의 특성과 중요도를 고려한 사업성과 평가에 제약사항으로 작용되어, 사업계획의 실효성과 적정성을 결정하기 어렵고 중장기적인 정책 추진의 한계점으로 인식되고 있다.
따라서, 본 연구는 국방규격 개선사업 성과의 적정성과 실효성을 검토할 수 있는 주요 평가요인을 식별하고 정량적 평가모형을 개발하는데, 그 목적을 두고 있다. 이를 위해 논문은 다음과 같이 구성하여 서술하였다.
제 2장은 국방규격 개선사업의 이해와 주요 선행연구에 대해 설명하였으며, 제 3장은 성과평가 모형개발과 관련한 평가지표 구성, 기준 등에 대해 서술하였다. 제 4장은 조사된 주요 평가항목의 중요도를 계층적 분석기법(AHP)을 활용하여 도출하고, 개발된 성과평가 모형에 조사된 양적 데이터를 적용하여 모형을 검증하였다. 제 5장은 주요 연구 결과와 한계점에 대해 논의하였다.
2. 이론적 배경 및 선행연구
2.1 국방규격 개선사업의 이해
국방규격 개선사업은 2016년부터 민간 산업기술 발전에 맞춰 국방규격의 최신화, 부품단종에 따른 원자재 수급 애로사항 해결, 국방 기술자료의 체계적인 관리체계 개선 등의 목적으로 운영되고 있다(DTAQ, 2021).
국방규격 개선사업은 운영유지단계의 불합리한 규격 개선을 통해 무기체계 가동률 제고와 품질향상을 도모하기 위해 운영, 유지단계의 활성 상태로 분류된 규격서, 도면, 품질보증요구서(QAR, Quality Assurance Report)만을 대상으로 하고 있으며, 대상품목의 선정은 주로 장비 가동률, 소요군 요청품목, 다빈도 고장발생 품목 등을 우선 고려하여 확정하고 있다. 기술분야는 기동, 유도무기, 총포, 탄약, 항공, 함정, 물자로 구분하고 있다.
2022년 한국조달연구원 연구보고서에 따르면 2016~2021년까지 국방규격 개선사업의 주요 기술변경은 Table 1과 같이 총 6개의 위탁기관이 참여하여 약 61억 원의 예산이 투입되어, 국방규격서 1,820건, 도면 355,459개, 품질보증요구서(QAR) 8,701개의 국방 기술자료들 검토한 것으로 분석된다( KIP, 2022). 국방규격 개선사업의 업무 범위는 각 군과 참여기업에서 요구한 국방규격 개선사항과 국방규격 적합성 검토사항으로 구분된다.
국방규격 개선사항은 방위사업법 시행령 제31조 제3항에 규격 완화의 제안 및 검토에 따라 기술의 변화, 발전 또는 각 군의 요구사항이 반영된 국방규격의 품질을 개선하도록 명시되어 있다. 국방규격 적합성 검토업무는 국방규격을 제·개정한 날로부터 5년 주기로 검토하도록 규정화되어 있으며, 운영유지단계 대상 품목은 국방기술품질원이, 각 군에서 개발하여 제정한 품목은 각 군 자체적으로 검토를 수행하고 있다.
양산 및 운영유지단계 군수품에 대한 형상통제 기술변경 제안은 1급 또는 2급으로 분류되며, 분류 명칭을 중요(major) 및 경미(minor)로 구분한다( Jung and Shim, 2020). 기술변경 1급은 방위사업청 형상통제심의회에서 심의하며, 2급 기술변경 사항은 국방표준서 제정 및 적용 원칙에 따라 기술변경에 대한 증빙자료를 첨부하여 국방기술품질원 또는 국방기술진흥연구소에서 국방규격 개정 심의 제안을 통해 2급 기술변경 대상으로 승인한다( DAPA, 2022). 현재 2급 기술변경 사항은 사업의 효율성과 전문성을 고려하여 외부전문기관을 활용한 용역사업 형태로 추진되고 있다.
2.2 AHP를 활용한 중요도 분석사례
2.1절에서 살펴본 국방규격 개선사업의 주요 성과에 대한 정량적 평가모형 개발을 위해, 연구의 특성상 일반산업분야와 국방분야로 구분하여 계층적 분석기법(AHP)을 활용한 최근 연구사례를 살펴보았다.
2.2.1. 일반산업분야 연구사례
일반산업분야의 AHP를 활용한 평가요인 중요도 분석과 관련된 최근 연구사례를 살펴보면, R&D, 제조업, 품질경영 분야에서 다양하게 시도되고 있다.
R&D 분야의 연구사례로 Son and Baek(2022)의 연구 결과를 살펴볼 수 있다. 해당 연구에서는 AHP를 이용하여 정부출연연구소의 평가모형에 관한 연구를 수행하였으며, 그 결과 R&D 정부출연연구소의 적합한 성과평가의 핵심 지표를 도출하고 이의 세부적 모형화로 제시하였다.
2.2.2. 국방분야 연구사례
국방분야의 최근 연구사례는 군수품 품질관리, 방산기업 경영분석, 무기체계 기술기획 분야 등에서 관련 연구가 시도되고 있다.
군수품 품질관리 사례로 Seo et al.(2016)의 군수품 장비류 감액 중요도 산출연구를 살펴볼 수 있다. 해당 연구에서는 군수품 장비류 감액 산정 항목을 설정하고 감액 업무와 연관성이 있는 실무그룹의 설문을 진행하였다. 연구결과 AHP 기법을 활용하여 품질특성, 장비 형태, 결함 부위로 세분화하고 각각의 중요도를 산출하였으며, 군수업체에서 수용할 수 있는 감액의 상한치를 설정하고 감액 산정 기준을 도출하였다. 또 다른 연구들로 Jeong et al.(2019)과 Kim and Ha(2022)의 연구를 살펴볼 수 있다. Jeong et al.(2019)은 국방 품질 성숙도지수의 개발 및 평가에 관한 연구에서 방산기업들의 총체적인 품질경영 수준을 측정하기 위해 DQMI(Defense Quality Maturity Index)의 6개 요인에 대해 전문가 설문을 진행하고 AHP를 활용하여 가중치를 측정하였다. Kim and Ha(2022)의 연구에서는 타 기관 및 민간에서 운영하고 있는 평가모형을 비교 분석한 후, DQMS(Defense Quality Management System)의 정량평가 모델 및 제도화 방안을 제안하였다. 특히, 성숙도 수준 지표와 운영성과지표를 필수지표와 선택지표를 나누어 업종별 상대평가를 할 수 있도록 설계하였으며, 정량평가 모형의 신뢰성 및 타당성을 확보하기 위해 DQMS 전문가들을 대상으로 진행한 설문 결과를 AHP 기법을 활용하여 요구사항별 상대적 우선순위를 검증하였다. 방산기업 경영분석 연구로 Won(2020)의 연구를 살펴볼 수 있다. 해당 연구에서는 방산 중소기업에 적용 가능한 유망 수출 품목선정모형에 관한 연구에서 선행연구 및 사례조사로 정의된 핵심 지표를 AHP 기법을 통해 평가항목 간 가중치를 산정하고, 유망품목 후보군의 최종 수출 유망품목 선정모형을 채택하였다. 무기체계 기술기획 관련 연구로 Jung and Shim(2021), Lee et al.(2021), 그리고 Yun and Kim(2022)의 연구를 살펴볼 수 있다. Jung and Shim(2021)은 무기체계 부품 표준화를 위한 부품관리 방안 연구에서 무기체계 부품 표준화를 위한 요소를 조사하였으며, 계층적 분석기법(AHP)을 활용하여 각 요소들의 중요도 및 가중치를 산출하여 설계자 및 담당자의 경험과 주관적 판단에 의존하던 표준부품 선정과정을 개선하였다. Lee et al.(2021)은 최근 변화된 안보 환경의 특징을 고찰하고 무기체계 운영시험평가의 개선전략을 도출하였다. 특히 계층적 분석기법(AHP)을 활용하여 현행 무기체계 운용시험평가 시스템의 보완 요소를 다원적 모형으로 분석하고 개선전략을 도출하였다. Yun and Kim(2022)은 국방기술 기획체계의 영향 요인들을 분석하기 위해 주요 평가항목에 대해 계층적 분석기법(AHP)을 활용하고, 평가항목 및 지표별 상대적 중요도와 가중치를 검증하여 장기 무기체계 발전방향에 수록된 무기체계 중 기획 대상의 우선순위가 높은 무기체계를 국방기술 전략으로 도출하였다.
3. 성과평가 모형개발
3.1 성과평가 모형 구성
국방규격 개선업무는 2.1절에서 설명한 것과 같이 국방규격 적합성 검토업무와 국방규격 개선업무로 구분된다. 따라서 성과평가 모형 구성은 국방규격 적합성 검토성과와 국방규격 개선성과로 구분할 수 있다.
국방규격 적합성 검토성과 항목은 Table 2와 같이 방위사업청 표준화 업무규정 제62조 7항에 명시된 민수규격 전환 및 성능형 규격 전환 가능성 등 9개 항목으로 정의할 수 있다. 국방규격 개선사항은 표준화 업무규정 제17조에 따라 개발단계와 양산 및 운영유지 단계로 구분된다. 개발단계의 형상 통제는 국방규격 제정 전, 형상식별서의 승인 이후 발생하는 형상 및 형상식별서의 변경 사항으로 분류되며, 양산 및 운영유지단계에서는 기술변경, 규격완화, 제품 생산 도중 또는 검사 시 규격과 상이한 것에 대한 합격 인정 등의 면제사항으로 분류된다. 형상통제는 업무절차에 따라 형상 통제제안서에 변경 사유를 표기하여 전산으로 제출하게 된다. 따라서, 국방규격 개선성과 항목은 Table 3과 같이 제품개선 / 대체 부품국산화(C) 등 9개 항목으로 착안하여 정의할 수 있다.
3.2 성과평가 수준 지표 구성
3.2.1. 평가항목 구성
국방규격 개선사업의 평가항목은 3.1절에서 조사된 국방규격 적합성 검토 항목과 형상통제 기술변경 항목을 대상으로 한다. 하지만, 기존 표준화 업무 규정상 각각의 검토 항목을 세분화할 경우 평가자료 수집 제한 등의 이유로 평가의 복잡성과 비효율성이 발생할 수 있다. 이를 해결하기 위해 2016~2021년까지의 기술변경 사유별 빈도분석 자료(456,314건)를 국방기술품질원 사업관리부서의 전문가 그룹과 5회의 브레인스토밍(brainstorming)을 통해 Figure 1과 같이 검토하여 평가항목을 재정립하였다. 국방규격 적합성 검토성과 평가요인은 검토 항목 9개 중 4개 항목으로 통합하였다. ‘민수규격 전환 및 성능형 규격 전환 가능성 검토 항목’은 ‘최신 기술조사 및 민수규격 전환 검토 항목’과 민간분야 기술의 특성을 검토하는 특성으로 유사 검토 항목으로 판단하여 통합하였다. ‘환경규제 물질의 사용, 국가 정책 및 법률 요구사항 등의 반영 검토 항목’은 ‘부품단종 대체품 검토 항목’과 같이 경제성 및 현실적 대안을 검토하는 정책적 평가항목이므로 유사 성격의 평가항목으로 판단하였다.
국방규격 개선 성과평가요인은 2016~2021년까지 진행된 국방규격 개선사업 기술변경 실적의 빈도분석 결과를 고려하여 9개 항목 중 유사 항목을 통합하여 제품개선 및 대체, 부품국산화 등의 5개 평가요인으로 정의하였다.
3.2.2. 평가항목 및 기준
3.2.1절에서 검토된 평가요인은 Table 4와 같이 국방규격 적합성 검토성과 7개 항목, 국방규격 개선성과 5개 항목으로 정의할 수 있다. 국방규격 개선사업은 주로 2~3개의 외부전문기관이 참여하여 사업을 수행한 것을 감안할 때, 상대적 질적 가치에 대한 평가 측정이 필요하다. 따라서 국방규격 개선사업의 평가지수는 상대적 측정을 위해 영향력 지수(impact factor)를 벤치마킹하여, 당해 성과 지수를 과거의 성과 지수로 나누어 계산하도록 정의하였다. 영향력 지수는 주로 특허( Won, 2020; Kwak and Lee, 2019), 논문( Kim and Lee, 2010) 등의 인용도를 측정하여 질적 가치를 확인하고자 할 때 활용되고 있다. 당해연도 성과지수는 당해연도 적합성 검토(ai) 또는 기술변수 건수(cj)를 당해연도 적합성 검토 기술자료 건수(bi) 또는 기술변경 기술자료 건수(dj)로 각각 나눈 값이다. 이는 전체 적합성 검토 또는 기술변경 자료 건수 중에 관련 성과를 측정하기 위함이다.
과거의 성과지수는 과거 전체 누적 적합성 검토실적(xi) 또는 기술변경 건수(pi)를 과거 전체 누적 적합성 기술자료 건수(yi) 또는 과거 기술변경 기술자료 건수(ki)로 각각 나눈 값으로 정의하였다. 여기서 i, j는 해당 실적연도를 의미한다.
4. 성과평가 모형 적용방안
4.1 성과평가 항목의 중요도 산정
성과평가 항목의 중요도 산정을 위해 Figure 2와 같이 계층적 모형을 구성하여 각 군과 기관에서 추천된 전문가 10명을 대상으로 설문을 진행하였다. 설문 내용은 응답자의 역량과 경력을 확인하기 위해 기본 인적사항과 9점 척도의 이원 비교 대상의 평가항목을 구성하여 중요도를 측정하였다. 계층 1의 국방규격 적합성 검토성과와 국방규격 개선성과의 중요도는 계층적 분석기법(AHP, analytic hierarchy process)를 통해 분석한 결과 Table 6과 같이 50:50으로 분석되었다. 일관성 비율(Consistency Ratio, CR)은 국방규격 적합성 검토성과(0.02), 국방규격 개선성과(0.03)으로 Satty(1980)가 정의한 CR 지수 10% 이내에 포함되어 합리적인 일관성을 보였다. 계층 2의 국방규격 적합성 검토성과의 7개 평가요인에 대한 중요도 측정 결과 사용자 불만, 생산업체 개선 요구사항(0.321), 인용규격 전환/폐지 여부(0.187), 환경 규제 물질의 사용 및 부품 단종대체품 검토(0.16), 재고번호 및 서식, 재질, 검사사항 및 품질보증 사항 수정여부(0.144), 국방규격 폐지여부 검토(0.073), 국방규격 공개여부 검토(0.064), 최신기술 조사 및 민수규격 전환검토(0.052) 순으로 중요도가 산출되었다.
국방규격 개선성과의 5개 평가요인에 대한 중요도 측정 결과 품질결함원인 해결, 운용성개선(0.33), 규격자료 현실화 및 수정/보완(0.248), 신뢰성, 정비성, 상호운용성 개선(0.178), 개발/설계, 양산성, 생산설비 및 공정 향상(0.154), 제품개선/대체, 부품국산화(0.091) 순으로 산출되었다.
평가요인별 산출된 가중치는 계층 1의 중요도 비율에 따라 배점을 산출하여 50 : 50으로 구분하고 계층 2의 가중치에 따라 배점을 산정하였다. 산정된 배점은 정수로 처리하기 위해 소수 첫째 자리에서 사사오입하였다.
주요 평가항목별 중요도 측정결과 가중치 10% 미만인 평가항목은 평가모형의 단순화를 위해 Table7과 같이 통합하였다.
국방규격 적합성 검토성과의 경우 최신 기술조사 및 민수규격 전환 검토(0.052), 국방규격 폐지 여부 검토(0.073), 국방규격 공개 여부(0.064) 평가항목이 10% 미만으로 한 개의 평가항목으로 통합하였으며, 국방규격 개선성과 평가항목은 제품개선 / 대체, 부품국산화(0.091), 개발/설계, 양산성, 생산설비 및 공정 향상(0.154)을 통합하여 조정하였다.
4.2 성과평가모형을 적용한 재평가
개발된 평가모형의 신뢰성과 타당성을 검증하기 위해 과거 용역사업에 참여하였던 외부전문기관의 성과자료를 수집하여 해당 평가모형을 활용하여 재평가하였다. 평가에 활용된 자료는 국방규격 적합성 검토성과(2021년)의 기술자료 수는 3,382건이며, 기술변경 건수는 4,651건이다. 국방규격 개선성과(2016~2021년)의 기술자료 수는 93,290건, 기술변경 건수는 456,225건이다. 국방규격 적합성 검토성과 실적이 2021년 자료만 존재하는 것은 그 전에 용역사업에 포함되어 있지 않았기 때문이다. 해당 자료들을 개발된 평가모형 성과 지수에 대입하여 산출하면 Table 8과 같이 도출된다. 산출된 과거 검토성과 지수를 살펴보면 국방규격 적합성 평가항목에서는 ‘최신기술 조사 및 민수규격 전환검토, 국방규격폐지 및 공개여부 검토(0.912)’가 국방규격 개선성과에서는 ‘규격자료 현실화 및 수정/보완(4.772)’이 다른 평가항목보다 높게 산출되었다.
당해 성과지수는 Table 9와 같이 국방규격 적합성 검토성과는 3,382개 기술자료에 대해 4,651건을 진행하였으며, 국방규격 개선성과는 22,620개 기술자료에 대해 56,351건의 기술변경이 진행되었다. 산출된 당해 성과지수를 살펴보면 과거 성과지수와 같이 ‘최신기술 조사 및 민수규격 전환검토, 국방규격 폐지 및 공개여부 검토(0.912)’와 ‘규격자료 현실화 및 수정/보완(2.345)’ 평가항목에서 높은 성과를 보였다. 종합 평가지수 산출을 위해 당해 성과지수에 과거 성과지수를 나눠 산정하면 Table 10과 같이 나타낼 수 있다. 산출된 국방규격 적합성 검토성과의 평균 종합지수는 1.00, 국방규격 개선성과의 평균 종합지수는 0.89로 산출된다. 산출된 종합지수 중 국방규격 적합성 검토성과 지수가 1.00인 이유는 관련 성과자료가 2021년 자료만이 존재하기 때문이다. 산출된 종합 평가지수는 Table 11의 평점 구간별 비율을 적용하여 절대적 평가점수로 환산한다. 평점 구간 및 비율은 사업관리기관의 전문가 그룹 의견을 수렴하여 4개 구간으로 나눴으며, 1이상 100%, 1미만 ~ 0.6이상 80%, 0.6미만 ~ 0.2이상 60%, 0.2미만은 40%로 정의하였다. 산정된 최종 평가지수에 따른 평점 비율은 평가항목별 중요도에 따라 도출된 배점과 곱하여 Table 12와 같이 산출할 수 있다. 개발된 평가모형을 적용하여 평가한 외부전문기관 A의 평가점수는 국방규격 적합성 검토성과 50점, 국방규격 개선성과 29.6점으로 100점 만점 기준 79.6점의 평점을 산출할 수 있었다. 산출된 평가점수에 대한 적절성을 검증하기 위해 평가항목별 산정 결과를 사업관리기관에 제공하여 검토를 의뢰한 결과, 과거 사업관리의 경험적 관점에서 평가결과 수준이 적절하다는 의견을 수렴할 수 있었다.
5. 결 론
본 연구는 국방규격 개선사업의 성과에 대한 적정성과 실효성을 검토하기 위해 평가요인을 식별하고, 정량적 평가모형을 개발하였다. 이 과정에서 몇 가지 개선방안과 한계점을 도출할 수 있었다.
첫째, 객관적 성과평가가 가능한 평가요인과 항목을 도출하였다.
방위사업청 표준화 업무규정 등 사업수행에 관련된 규정과 지침을 검토하여, 주요 성과항목과 평가요인을 도출하였다. 도출된 성과 항목과 평가요인은 2016~2021년 수행된 국방규격 품질개선사업의 정량적 실적자료와 전문가 그룹의 정성적 의견을 반영하여 평가항목으로 정의하였다.
둘째, 평가 대상의 상대적 평가가 가능한 지수를 개발하였다.
기존의 절대적이고 양적 중심의 사업평가 방식은 사업수행 주체의 효과성과 실효성을 측정하는데, 제한적이었다. 이를 개선하기 위해 상대적 평가가 가능하도록, 전체 기술자료 중 기술변경 항목과 검토성과의 질적 평가 부분을 영향력 지수로 활용하였다. 그리고 과거 실적 대비 당해 실적이 상대적으로 비교되도록 개선하였다.
셋째, 계층적 분석기법(AHP)을 활용하여 평가요인의 중요도를 객관적으로 산정하였다.
평가요인의 객관적 중요도 산출을 위해 계층적 분석기법(AHP)을 활용하였다. 도출된 중요도는 평가항목별 배점과 연계하여 평가 대상의 질적 평가 고려 요소로 활용되었다.
하지만, 개발된 평가모형을 적용하고 검증하는데, 몇 가지 한계점도 존재하였다.
2021년 전까지 국방규격 개선업무 위주로 수행되었던 국방규격 개선사업 특성상, 2022년부터 반영된 국방규격 적합성 검토성과에 대한 평가모형 검증은 한계가 있었다. 하지만, 이러한 제한사항은 향후 진행될 국방규격 적합성 검토에 대한 실적과 성과자료가 축적되면 해결될 수 있을 것으로 판단된다.
또 다른 한계점으로 본 연구모형을 통해 국방규격 개선사업의 효율성을 측정하기에 제한된다는 점이다.
사업의 효율성 측정은 주로 투입과 산출변수의 검정을 통해 분석된다. 하지만, 본 연구 결과의 평가 지표는 상대적 성과평가를 통해 사업의 효과성을 측정하기 위한 모형으로 효율성에 관한 평가는 어렵다. 그리고 기존의 국방규격 개선사업을 통해 축적된 자료로는 효율성 검정이 어려운 실정이다.
국방규격 개선사업은 양산 및 운영유지 단계의 규격을 개선 및 개정하는 업무로, 군수품의 표준화 관점에서 이뤄지는 일종의 선조치 활동이다. 본 연구의 결과를 사업평가 방식의 개선과 국방규격 개선사업의 방향성과 운영방식에 대한 기준에 적용하게 되면, 규격의 현실화, 기술변경, 통폐합 등의 개선 중심에서 양산과 운영유지 단계의 무기체계, 군수품의 신뢰성, 생산성, 운용성 등의 다각적 관점의 개선으로 이어지는 긍정적인 효과가 발생할 수 있을 것으로 판단된다.
국방 및 각 산업 분야의 법적, 기술적, 환경적 요구사항이 빠르게 변화한다. 그러므로, 본 연구에 머물지 말고 선제적 대응 전략을 수립하여 다양한 평가모형과 방법론이 연구되어야 할 것이다.
REFERENCES
Defense Agency for Technology and Quality 2020. Defense Standardization Guidebook 94.
Defense Agency for Technology and Quality 2021. Defense Standards Improvement Work Guidebook.
Jeon, J. Y. 2020. A Study on the Introduction of Advanced Technology in the Realm of Defense. Journal of the Korea Academia-Industrial Cooperation Society 21(5):249-256.
Jeong, J. S., Kwon, T. M., and Hwang, W. Y. 2012. A Study on the Development of the Defense Standardization System. Journal of Korean Society for Quality Management 40(3):295.  Jeong, Y. G., Cho, H. K., and Yoo, H. J. 2019. A Study on the Development &Evaluation of Defense Quality Maturity Index. Journal of Korean Society for Quality Management 47(3):479-496.
Jung, H.W, and Shim, B. H 2020. A Study on the Development plan of Configuration Control for Military Product. Journal of the Korea Academia-Industrial Cooperation Society 21(6):70-77.
Jung, H.W, and Shim, B. H. 2020. DMSMS Management Survey and Analysis Method. Journal of the Korea Academia-Industrial Cooperation Society 21(5):257-265.
Jung, H. W., and Shim, B. H. 2021. Parts Management Method for Weapon System Parts Standardization. Journal of the Korea Academia-Industrial Cooperation Society 22(2):409-417.
Jung, I. H., Seo, S. W., and Jang, B. K. 2017. A case study on the quality control strengthening in development phase of weapon systems. Journal of Korean Society for Quality Management 45(3):349-364.
Kim, I. J., Kim, W. S., Kim, J. Y., Chae, H. S., Woo, J. Y., Do, K. M., Lim, S. H., Shin, M. S., Lee, J. E., and Kim, H.N. 2022. Discovering Essential AI-based Manufacturing Policy Issues for Competitive Reinforcement of Small and Medium Manufacturing Enterprises. Journal of Korean Society for Quality Management 50(4):647-664.
Kim, P. J., and Lee, J. Y. 2010. A Study on Journal Impact Measurement with Hirsch-type Indices. Journal of the Korean Society for Information Management 27(1):267-287. Kim, Y. H., and Ha, J. S. 2022. A Study on the Development and Institutionalization Plan of a Quantitative Evaluation Model of Defense Quality Management System. Journal of Korean Society for Quality Management 50(2):183-197.
Korea Institute of Procurement 2022. Analysis of the effectiveness of defense standard improvement projects and research on project improvement measure.
Kwak, H., and Lee, S. W. 2019. Competitiveness Analysis for Artificial Intelligence Technologt through Patent Analysis. The Journal of Information Systems 28(3):141-158.
Lee, K. K., Kim, G. R., Yoon, S. D., and Seol, H. J. 2021. A Study on the Strategy for Improvement of Operational Test and Evaluation of Weapon System and the Determination of Priority. Jouranl of Information and Security 21(1):177-189. Park, K. C., Baek, H. M., Kim, T. W., Gil, H. J., Kwon, J. S., Lee, I. L., Song, S. B., and Won, S. H. 2018. A Study on the Revision Efficiency of Referenced Specifications/Standards for Raw and Subsidiary Materials in the Field of National Defense. Journal of Korean Society for Quality Management 46(3):497-508.
Park, K. H., and Lee, C. G. 2021. A Study on Global Competitiveness Factors of Electrical and Electronic Testing and Certification Bodies. Journal of Korean Society for Quality Management 49(3):281-297.
Seo, C. W., and Park, Y. T. 2016. Creativity evaluation of design concepts using AHP. Journal of Korean Society for Quality Management 44(4):855-867.  Seo, J. H., and Bae, S. M. 2022. Strategic Action Plan for Companies to Supply Safe Products Using AHP Technology. Journal of Korean Society for Quality Management 50(4):635-646.
Seo, S. W., Heo, H. M., Jang, B. K., Hwang, W. Y., and Jung, I. H. 2016. Extracting Priorities of Price Reduction for Military Supplies using AHP Analysis. Journal of Korean Society for Quality Management 44(3):473-386. Son, E. I., and Baek, C. H. 2022. A Study on the Evaluation Model of Government-funded Research Institutes Using AHP. Journal of Korean Society for Quality Management 50(4):665-667.
Won, J. H. 2020. A Study on the Selection Model of Promising Export Items Applicable to the Defense SMEs. Journal of the Korea Academia-Industrial cooperation Society 21(7):321-33.
Yun, I. W., and Kim, J. Y. 2022. A Study on Evaluation Index to selecting weapon system for Defense Technology Planning. Journal of the Korea Academia-Industrial cooperation Society 23(7):170-176.
Figure 1.
Defense Standards Conformity Review and Definition of Performance Evaluation Factors for Improving Defense Standards 
Figure 2.
Hierarchical Model for Performance Evaluation of Defense Standardization Improvement Projects 
Table 1.
Results of technology change for defense standards improvement project 2016∼2021
|
Factor |
Defense standards |
Drawing, QAR |
|
Target |
1,820 |
361,332 |
|
Technology changes |
691 |
199,453 |
|
Ratio(%) |
38 |
55.2 |
Table 2.
Defense Standards Conformity Review Items
|
No. |
Conformity Review Items |
|
1 |
Possibility of conversion between civilian standards and performance based standards. |
|
2 |
Whether to convert or abolish cited standards. (Defense Standards, Korean Industrial Standards(KS), and MIL Standards) |
|
3 |
Possibility of abolishing defense standards for items whose applicable equipment is obsolete or whose procurement performance is non-existent. |
|
4 |
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters. |
|
5 |
Identifying customer complaints and improvement requests from production companies. |
|
6 |
Whether to discontinue parts and use substitute products. |
|
7 |
Considering economic feasibility and practicality of requirements for the use of environmentally regulated substances, national policies, laws, and guidelines. |
|
8 |
Whether to disclose defense standards. (reviewing the disclosure of confidential information) |
|
9 |
Researching and analyzing recent changes in relevant technology. |
Table 3.
Configuration control technology change items
|
No. |
Technology change items |
Code |
Selection criteria |
|
1 |
Product improvement / localization of substitute parts |
C |
Cost reduction, Value engineering, Localization of parts, Replacement of discontinued parts, Application of substitute parts, etc. |
|
2 |
Production schedule |
P |
Prevention of production schedule disruptions, etc. |
|
3 |
Resolution of quality defects, improvement of operability |
Q |
Removal of defects, elimination of hazardous conditions, elimination of interference and conflict, etc. |
|
4 |
Reliability, durability, operational convenience |
R |
Improvement of reliability, durability, stability and user convenience, etc. |
|
5 |
Interoperability |
D |
Improvement of interoperability, error correction, addition of requirements, etc. |
|
6 |
Maintainability |
M |
Improvement of maintainability, error correction, etc. |
|
7 |
Improvement of design and development regarding insufficient matters, and enhancement of mass production capability. |
A |
Complement of deficient conditions in ROC, specifications and performance requirements, etc. |
|
8 |
Production equipment and processes |
S |
Error in operator, error in decoding technical data, delay in procurement of parts, error in production process, etc. |
|
9 |
Realization and modification/supplementation of specification data |
T |
Reflecting differences between physical products and drawings, modernization and rationalization of testing and inspection equipment, etc. |
Table 4.
Evaluation items and criteria for the review and assessment of the conformity and improvement projects for defense standards.
|
Factors |
Evaluation items |
Evaluation criteria |
|
The results of the review of the conformity of defense standards. |
Research on the latest technology and Review of transition to civilian standards |
Current Year Conformity Review Performance Index _________________________ |
|
Reviewing the Transition and Abolition of Citation Standards |
|
Reviewing the Abolition of Defense Standards |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
|
Customer complaints and Improvement request from production companies |
Past Conformity Review Performance Index |
|
Review of the use of environmentally regulated substances and replacement parts for discontinued items. |
|
Whether to disclose defense standards |
|
The results of the review of improvement for defense standards (Technology change code) |
Product improvement / localization of substitute parts (C) |
Current Year Defense Standard Improvement Performance Index _________________________ |
|
Resolution of quality defects, improvement of operability (Q1∼Q6) |
|
Reliability, maintainability and interoperability improvement (D1∼D3, M1∼M2, R1∼R8) |
|
Development/design, mass production capability, production facilities and process improvement (A1∼A11, A13∼A18, A20∼A28, S1∼S6) |
Past Defense Standard Improvement Performance Index |
|
Realization and modification/supplementation of specifications data (T1∼T8 / Excluding T6) |
Table 5.
The performance index calculation standards for the conformity and improvement of defense standards
|
Factors |
Conformity Review Performance Index of Defense Standard |
Improvement Performance Index of Defense Standard |
|
Current Year Performance Index |
aibiai : (CurrentYear) Number of conformity review performance
bi : (CurrentYear) Total number of technical data for conformity |
cjdjcj : (CurrentYear) Number of technical change review performance
dj : (CurrentYear) Total number of technical data |
|
Past Performance Index |
∑i=1nxiyixi : (Past) Accumulated number of conformity review performance in the i-th past
yi : (Past) Accumulated number of technical data reviewed for conformity in the i-th Past
i : Past conformity review performance year |
∑j=1npjkjpj : (Past) Accumulated number of technical change review performance in the j-th past
kj : (Past) Accumulated number of technical data in the j-th past
j : Past technical change review performance year |
Table 6.
Measurement and allocation of importance by major evaluation item(draft)
|
Level 1 |
Level 2 |
|
Factors |
Importance (CR) |
Points (A) |
Factors |
Importance(B) (CR) |
Points(C) (A×B) |
standardized scoring(D) (“C” round off) |
|
|
|
Defense Standard Conformity Review Performance |
0.500 (0.02) |
50 |
Research on the latest technology and review of transition to civilian standards |
0.052 (0.00) |
2.6 |
3 |
|
Whether to convert or abolish cited standards |
0.187 (0.00) |
9.35 |
9 |
|
Reviewing the Abolition of Defense Standards |
0.073 (0.00) |
3.65 |
4 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
0.144 (0.00) |
7.2 |
7 |
|
Customer complaints and Improvement request from production companies |
0.321 (0.00) |
16.05 |
16 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
0.16 (0.00) |
8 |
8 |
|
Whether to disclose defense standards |
0.064 (0.00) |
3.2 |
3 |
|
Defense Standard Improvement Performance |
0.500 (0.03) |
50 |
Product improvement / localization of substitute parts |
0.091 (0.00) |
4.55 |
5 |
|
Resolution of quality defects, improvement of operability |
0.33 (0.00) |
16.5 |
16 |
|
Reliability, Maintainability, Interoperability |
0.178 (0.00) |
8.9 |
9 |
|
Improvement of development/design, mass production capability, production equipment and process |
0.154 (0.00) |
7.7 |
8 |
|
Realization and modification/supplementation of specification data |
0.248 (0.00) |
12.4 |
12 |
Table 7.
Adjustment of evaluation weightings for each item
|
Factors |
Evaluation items |
Evaluation |
weightings |
|
Before |
After adjustment |
Before |
After adjustment |
|
Defense Standard Conformity Review Performance (50 points) |
Research on the latest technology and review of transition to civilian standards |
Research on the latest technology and review of transition to civilian standards, Review of the abolition and disclosure of defense standards |
3 |
10 |
|
Reviewing the Abolition of Defense Standards |
4 |
|
3 |
|
Whether to disclose defense standards |
|
Whether to convert or abolish cited standards |
← |
9 |
9 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
← |
7 |
7 |
|
Customer complaints and Improvement request from production companies |
← |
16 |
16 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
← |
8 |
8 |
|
Defense Standard Improvement Performance (50 points) |
Product improvement / localization of substitute parts |
Development/design, mass production capability, production facility and process improvement, product improvement/replacement, localization of parts |
5 |
12 |
|
Improvement of development/design, mass production capability, production equipment and process |
8 |
|
Resolution of quality defects, improvement of operability |
← |
16 |
16 |
|
Reliability, Maintainability, Interoperability |
← |
9 |
10 |
|
Realization and modification/ supplementation of specification data |
← |
12 |
12 |
Table 8.
Calculation of performance index by evaluation item (Past)
|
Factor |
Evaluation items |
Number of technical data (A) |
Number of technical change (B) |
Performance Index (B/A) |
|
Defense Standard Conformity Review Performance (2021) |
Research on the latest technology and review of transition to civilian standards, Review of the abolition and disclosure of defense standards |
3,382 |
3,086 |
0.912 |
|
Whether to convert or abolish cited standards |
1,427 |
0.422 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
76 |
0.022 |
|
Customer complaints and Improvement request from production companies |
49 |
0.014 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
13 |
0.003 |
|
Defense Standard Improvement Performance (2016∼2021) |
Development/design, mass production capability, production equipment and process improvement, product improvement/replacement, localization of parts |
93,290 |
110 |
0.001 |
|
Resolution of quality defects, improvement of operability |
338 |
0.004 |
|
Reliability, Maintainability, Interoperability |
10,563 |
0.113 |
|
Realization and modification/ supplementation of specification data |
445,214 |
4.772 |
Table 9.
Calculation of performance index by evaluation item (Current year)
|
Factor |
Evaluation items |
Number of technical data (A) |
Number of technical change (B) |
Performance Index (B/A) |
|
Defense Standard Conformity Review Performance |
Research on the latest technology and review of transition to civilian standards, Review of the abolition and disclosure of defense standards |
3,382 |
3,086 |
0.912 |
|
Whether to convert or abolish cited standards |
1,427 |
0.422 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
76 |
0.022 |
|
Customer complaints and Improvement request from production companies |
49 |
0.014 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
13 |
0.003 |
|
Defense Standard Improvement Performance |
Development/design, mass production capability, production equipment and process improvement, product improvement/replacement, localization of parts |
22,620 |
1 |
0.00004 |
|
Resolution of quality defects, improvement of operability |
5 |
0.00022 |
|
Reliability, Maintainability, Interoperability |
3,298 |
0.145 |
|
Realization and modification/supplementation of specification data |
53,047 |
2.345 |
Table 10.
Calculation of final performance index by evaluation item
|
Factor |
Evaluation items |
Evaluation weightings |
Past performance index (A) |
Current year’s performan ce index (B) |
performanc e index (B/A) |
|
Defense Standard Conformity Review Performance (50 points) |
Research on the latest technology and review of transition to civilian standards, Review of the abolition and disclosure of defense standards |
10 |
0.912 |
0.912 |
1.00 |
|
Whether to convert or abolish cited standards |
9 |
0.422 |
0.422 |
1.00 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
7 |
0.022 |
0.022 |
1.00 |
|
Customer complaints and Improvement request from production companies |
16 |
0.014 |
0.014 |
1.00 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
8 |
0.003 |
0.003 |
1.00 |
|
Defense Standard Improvement Performance (50 points) |
Development/design, mass production capability, production facility and process improvement, product improvement/replacement, localization of parts |
16 |
0.001 |
0.00004 |
0.03 |
|
Resolution of quality defects, improvement of operability |
10 |
0.004 |
0.00022 |
0.06 |
|
Reliability, Maintainability, Interoperability |
12 |
0.048 |
0.14500 |
3.01 |
|
Realization and modification/supplementation of specification data |
12 |
4.772 |
2.34500 |
0.49 |
Table 11.
Percentage rating by performance index
|
Performance Index |
1 or more |
Less than 1 0.6 or more |
Less than 0.6 0.2 or more |
Less than 0.2 |
|
Rating rate |
100% |
80% |
60% |
40% |
Table 12.
Evaluation results using performance evaluation model
|
Factor |
Evaluation items |
Evaluation weightings |
performance index |
rating rate |
Evaluation results |
|
Defense Standard Conformity Review Performance (50 points) |
Research on the latest technology and review of transition to civilian standards, Review of the abolition and disclosure of defense standards |
10 |
1.00 |
1.00 |
10 |
|
Whether to convert or abolish cited standards |
9 |
1.00 |
1.00 |
9 |
|
Whether to modify inventory numbers, format, material, inspection items, and quality assurance matters |
7 |
1.00 |
1.00 |
7 |
|
Customer complaints and Improvement request from production companies |
16 |
1.00 |
1.00 |
16 |
|
Review of the use of environmentally regulated substances and replacement Parts for discontinued items. |
8 |
1.00 |
1.00 |
8 |
|
Total |
50 |
50 |
|
Defense Standard Improvement Performance (50 points) |
Development/design, mass production capability, production equipment and process improvement, product improvement/replacement, localization of parts |
16 |
0.03 |
0.40 |
6.4 |
|
Resolution of quality defects, improvement of operability |
10 |
0.06 |
0.40 |
4 |
|
Reliability, Maintainability, Interoperability |
12 |
3.01 |
1.00 |
12 |
|
Realization and modification/ supplementation of specification data |
12 |
0.49 |
0.60 |
7.2 |
|
Total |
50 |
29.6 |
|
|
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Print 
