2.1 제조성숙도평가 도입

1980년대 미국항공우주국(NASA)에서는 기술경영방안을 바탕으로 하여 기술성숙도(Technical Readiness Level: TRL) 방법을 개발하였다. 1990년대 미 공군에서는 TRL을 적용하여 그 효과를 입증하였으며, 이에 따라 미회계감사원(Government Accountability Office: GAO)에서는 모든 국방획득 사업에 TRL을 적용할 것을 권고하였다. 그리고 2003년 미 국방부는 TRL지침서를 발간하였다(Shim, 2013).

하지만 TRL의 경우 개발된 기술이 통제된 환경에서 제대로 작동하는지를 확인하는 수준이었으므로 실제 양산의 제조성을 고려하지 못한다는 한계가 있었다. 이러한 이유로 2007년 미 국방부에서는 MRL지침서를 개발하였으며(DoD, 2007), 이를 발전시켜 2010년 MRL Deskbook을 발간하고 MRL적용에 박차를 가하였다(Ahn et al, 2014).

우리나라에서는 2011년경 국내 연구개발 K계열 무기체계의 품질 문제가 부각되며 개발단계의 품질문제에 관심도가 증가하였다. 개발 단계의 품질문제 해소를 위해 여러 방안을 검토하였고, 방위사업청에서는 2012년 미국에서 수행중인 제조성숙도 개념을 가져와 제조성숙도평가를 도입하였다. 도입 초기에는 탐색개발 종료 후 체계개발 진입 전 MRL6 달성 여부를 확인하고, 체계개발 종료 시점에 MRL8 달성 여부를 확인토록 하였다. 하지만 탐색개발 단계에서 제조성을 고려하는데 한계가 있다는 지적과, 시간과 예산 등의 문제로 2013년 4월 제도개선을 통해 체계개발 시점에서 MRL8 달성 여부만 확인토록 하였다(Chung et al, 2012, Yoon and Lee, 2012).

2.2 제조성숙도

제조성숙도란 개발시작 시 요구 성능을 만족하는 제품을 제조할 수 있는 능력에 대한 객관적이고 정량적인 지표로 정의한다. 만일 제조성숙도를 만족하지 못한 상태로 연구개발이 지속되고 양산에 들어갈 경우 비용 상승, 지체, 작전 요구성능 불만족, 신뢰도 저하 등의 문제가 발생할 수 있다.

제조성숙도는 MRL1부터 MRL10까지 총 10단계로 구분되어 있으며, 획득로드맵과 MRL간의 관계는 <Figure 1>과 같다(DoD, 2013, Kim et al, 2011). 선행연구 종료시점에는 MRL4를 만족하고, 탐색개발 종료시점에는 MRL6을 만족해야 이후의 연구개발 및 양산에 들어갔을 때 발생할 수 있는 문제를 예방할 수 있다. 여기서 실험실환경이란 외부요인이 통제된 환경을 의미하고 생산유사환경이란 실제 생산의 일부 작업현장을 고려한 환경을 뜻한다. 생산대표환경이란 실제와 가깝게 생산인력, 설비, 공정, 원자재 등을 구현한 환경이며, 파일럿 환경이란 설비, 인력, 원자재, 부품, 작업순서, 공정, 공구, 온도, 조명 등 실제의 모든 요소를 구현한 환경이다.

Figure 1.

Manufacturing Readiness Levels for Development Stage

선행연구단계에서는 MRL1부터 MRL4를 만족해야 한다. MRL1은 제조개발의 가장 낮은 수준으로 사업의 목표를 달성하기 위해 필요한 제조상의 문제, 기회 및 제조에 영향을 미치는 요인을 파악하였는지를 확인한다. 예산분배와 같은 기초 연구가 이 수준에서 이루어지기 시작한다. MRL2는 군의 요구에 대해 어떠한 제조 솔루션을 제공할 것인지를 나타내는 제조개념을 식별하고 서술한다. 서술된 제조개념을 바탕으로 실현가능성과 제조상의 위험을 파악한다. MRL3은 시뮬레이션 등의 분석방법 또는 실험실 환경에서의 검증을 통해 제조개념을 입증한 수준을 의미한다. 잠재적 제조원을 식별하고 제조성과 가용성 측면에서 자재 및 공정의 특성을 식별한 수준이다. MRL4는 실험실 환경에서 해당 기술을 구현 및 제조할 수 있는지를 점검하며, 선행연구 단계의 종료기준으로 활용한다. 제조기술개발과 같은 필요한 투자들이 식별되어야 하며, 제조성, 생산성 및 품질을 확보하기 위한 프로세스들이 준비가 되어야 한다. 시제품 제작을 위한 제조 위험들이 식별되어야 하고 위험을 완화하기 위한 계획이 세워져야 한다. 목표비용이 세워져야 하며 제조비용을 유발하는 요인이 식별되어야 한다. 또한 설계 개념에 대하여 생산성 평가가 완료되어야 한다.

탐색개발단계에서는 탐색 개발 중 MRL5, 개발종료 시점에서는 MRL6을 만족해야 한다. MRL5는 실제 생산 공정 흐름의 일부를 고려한 환경인 생산유사환경에서 구성품의 시제를 양산할 수 있는지를 확인하며, 핵심 설계요소에 대해 제조성 측면의 최초 평가가 이루어진다. 잠재적인 제조 자원을 식별하기 위해서 산업기반을 평가해야 한다. 제조 전략이 개선되고, 핵심 기술들과 구성품에 대한 식별이 완료되어야 한다. 숙련 기술 뿐 아니라 시제품의 자재, 도구, 시험 장비들은 생산유사환경에서 검증되어야 한다. MRL6은 생산유사환경에서 시제체계를 제조할 수 있는지를 확인하며 탐색개발 단계의 종료기준으로 활용한다. 제조 프로세스의 대부분이 정의된다. 생산성에 대한 평가와 주요 기술 및 구성품에 대한 대안분석이 완료된다. 시제품 제조 프로세스, 숙련 기술, 자재, 도구 및 시험장비는 생산 유사환경에서 증명되어야 한다. 시제품 데이터와 목표를 비교 평가하여 비용, 수율분석이 이루어진다. 산업역량평가가 완성되고 장 납기와 주요 공급망 요소가 식별된다.

이후 체계개발 중에는 MRL7, 체계개발 종료시점에서는 MRL8을 만족해야 한다. MRL7에서는 생산 공정에 가깝게 양산인력, 설비, 자재 등을 구현한 환경인 생산대표환경에서 체계, 부체계, 구성품을 양산할 수 있는지를 확인한다. 양산 단계의 품질 목표 등을 설정하고 이를 위한 설비, 인력에 대한 계획을 수립하여야 한다. MRL8은 초도생산을 위한 파일럿 라인에서 양산성을 확인한다. 양산진입을 위해 모든 설계, 자재, 인력 등을 평가하며 제조계획 수립이 완료되어야 한다. 이를 위해 상세한 체계 설계가 완료되고 안정화되어야 한다. 모든 자재, 인력, 도구, 시험장비, 시설이 파일럿 라인에서 증명이 되고 통제가 가능한 상태여야 한다. 공급업체에 대한 평가와 초도생산품 검사가 완료되어야 한다.

마지막으로 양산 및 운용단계에서는 MRL9와 MRL10을 만족해야 한다. MRL9는 초도양산 단계에서 나타난 제조 능력을 확인하고 후속양산으로의 진입 가능 여부를 확인한다. 3시그마 또는 적합한 품질수준이 달성되었는지를 평가한다. 이를 위해 모든 체계 설계 요구사항이 충족되어야 한다. 주요 설계특성이 안정화되고 시험평가에서 증명되어야 한다. 자재, 부품, 인력, 도구, 시험기구, 설비가 계획된 생산일정에 투입 가능해야 한다. 마지막으로 MRL10은 가장 높은 제조준비상태를 의미한다. 양산이 제대로 수행되고 있는지를 확인하는 것으로 6시그마 또는 적합한 품질 수준을 달성 하였는지를 평가한다.

2.3 제조성숙도평가 절차

제조성숙도평가의 절차는 <Figure 2>와 같다. 먼저 평가대상 사업에 대해 방위사업청 통합사업관리팀에서 제조성숙도 수행사업을 선정하여 의뢰하며 평가기관인 국방기술품질원은 평가를 수행하는데 필요한 사업관련 기초자료 등을 수집하고 평가계획을 수립하여 승인받는다. 수행계획서에는 해당사업 관련기관 협조 및 분석 계획, 평가팀 구성, 평가항목 선정 계획, 평가 계획, 평가결과 제출 계획, 평가대상 자료 범위 등이 포함되어야 한다. 그리고 착수회의를 진행하며 이 때 사업 현황 및 세부 추진일정 설명, 표준평가항목, 주체계와 주요 부체계 및 구성품 관련자료 등을 확인하여 평가팀에서 평가항목을 선정하고 확정한다. 75개 평가항목 중 평가대상의 특성에 따라 불필요한 평가항목은 제외할 수 있다. 개발기관은 확정된 평가항목을 바탕으로 자체평가를 수행하고 그 결과를 국방기술품질원에 제출한다. 개발기관의 자체 평가 시 각 평가항목에 대해 충족 또는 미충족으로 평가를 수행하며 결과에 대한 근거자료를 제시하여야 한다. 평가팀은 개발기관이 제출한 자체평가를 검토하고 현장평가를 수행한다. 현장평가를 통해 평가팀은 제조성숙도를 평가하고 최종 결과보고서를 작성하여 통합사업관리팀에 제출한다. 결과보고서에는 평가팀 구성 및 평가절차, 평가항목 조정 사유, 평가대상 목록 및 근거자료, 평가항목별 충족/미충족 평가 결과, 제조성숙도 수준 달성여부, 제조성숙도 미 충족 항목에 대한 사유 및 권고사항, 그리고 기타 관련사항등이 포함되어야 한다.

Figure 2.

MRA Process Diagram

2.4 제조성숙도 평가항목

제조성숙도 평가항목은 각 MRL별로 다르게 구성된다. 본 논문에서는 우리나라에서 시행중인 MRL8에 대해서만 다루도록 한다. 제조성숙도 평가항목은 특성에 따라 9개의 분야로 나누며 각 분야를 thread라고 정의한다.

기술 및 산업기반 thread는 무기체계 획득을 위한 국가기술 및 산업기반의 역량을 확인하는 평가항목으로 구성되어 있으며 <Table 1>과 같다. 11개의 평가항목으로 이루어지며 5개의 필수평가 항목을 포함한다.

Table 1.

Evaluation Items of “Technology and Industrial Base” Thread

설계 thread는 무기체계 설계의 안정성을 확인할 수 있는 평가항목으로 <Table 2>와 같으며 17개의 평가항목으로 구성되며 그 중 9개의 필수평가 항목이 있다.

Table 2.

Evaluation Items of “Design” Thread

비용 및 자금 thread는 투입 비용의 적절성을 확인하기 위한 thread 6개 평가항목으로 구성되어 있으며 3개의 필수평가항목을 포함하고 있으며 <Table 3>와 같다.

Table 3.

Evaluation Items of “Cost and Funding” Thread

자재 thread는 원료, 구성품, 부체계 관련 자재의 위험성에 대해 판단할 수 있는 항목들로 구성되며 총 11개 항목으로 구성되며 5개의 필수항목을 포함하며 세부 내용은 <Table 4>와 같다.

Table 4.

Evaluation Items of “Material” Thread

공정능력 및 관리 thread는 설계 성능의 제품 생산능력을 평가할 thread 수 있는 8개의 평가항목으로 구성되며 필수 평가항목 3개가 포함되어 <Table 5>와 같이 구성된다.

Table 5.

Evaluation Items of “Process Capability and Control” Thread

품질 thread는 8개의 품질충족을 위한 품질관리 및 품질개선 능력을 평가할 수 있는 항목으로 구성되어 있으며 4개의 필수항목을 포함하며 세부내용은 <Table 6>와 같다.

Table 6.

Evaluation Items of “Quality” Thread

제조인력 thread는 <Table 7>과 같이 3개의 요구기술을 갖춘 인력의 확보를 평가하는 항목으로 구성되어 있으며, 1개의 필수항목이 있다.

Table 7.

Evaluation Items of “Manufacturing Workforce” Thread

설비 thread는 주요 제조시설의 생산능력을 평가하는 5개의 평가항목으로 구성되며 필수평가 항목은 1개이며 세부내용은 <Table 8>과 같다.

Table 8.

Evaluation Items of “Facilities” Thread

마지막으로 제조관리 thread는 양산에 필요로 되는 모든 요소를 통합, 조정하는 능력을 평가하는 항목들로 구성되어 있다. <Table 9>와 같이 6개의 평가항목으로 구성되며 2개의 필수항목을 포함한다.

Table 9.

Evaluation Items of “Manufacturing Management” Thread

평가팀은 제조성숙도평가 수행 전 위 75개 평가 항목 중 필수항목을 제외한 나머지 항목들에 대해 사업특성에 평가여부를 판단한다. 각 평가항목별로 전체 평가팀원의 2/3 이상이 충족으로 평가할 경우 해당 항목은 충족으로 분류하고, 2/3 이상이 미충족으로 평가할 경우 해당 항목은 미충족으로 분류한다. 두 가지 기준을 만족하지 못하는 항목에 대해서는 평가팀의 토의를 통해서 충족 또는 미충족으로 분류한다. 항목별 충족, 미충족 분류 후 전체 평가 항목 중 충족 항목수가 90%를 초과할 경우 해당 사업은 제조성숙도8을 달성했다고 판단한다. 충족 항목수가 80%이상 90% 이하일 경우에는 조건부 달성, 80% 미만인 경우는 미달성으로 판단한다.

3.1 연관도 분석대상

본 논문은 2012년 제조성숙도평가 도입 이후 2016년 11월 까지 평가가 완료되어 국방기술품질원 제조성숙도평가 체계에 등록된 사업을 대상으로 한다. 체계기준 30개 사업이고, 부체계를 기준으로 하면 40개 사업이다. 연도별 제조성숙도평가 사업 수는 <Table 10>과 같다. 본 논문에서는 분석샘플 숫자를 늘리기 위해 부체계 기준 40개 사업을 대상으로 연관도 분석을 하였다.

Table 10.

Number of Evaluated Projects by Year

연관도 분석에 앞서 40개 사업에 대한 특성 확인을 위해 항목별, thread별 미충족률을 확인하였다. 여기서 미충족이률란 평가항목 중 미충족된 비율을 나타낸다. 특정 사업의 미충족률이 0라는 것은 해당 사업이 모든 평가항목을 충족했다는 의미이다. 10개의 평가항목으로 구성된 특정 thread의 미충족률이 0.2라는 것은 해당 thread의 2개 평가항목이 미충족 되었음을 의미한다.

<Figure 3>는 각 thread별 미충족률을 나타낸다. 가로축은 해당 thread를 나타내고 세로축은 미충족률을 나타낸다. 미충족률이 높은 순으로 정렬하였다. “기술 및 산업기반”, “설계”, “공정능력 및 관리” thread의 미충족률이 높게 나타났으며 “자재”, “인력”, “설비” thread는 미충족률이 낮게 나와 제조성숙도평가 시 우수한 결과를 보이고 있는 것을 확인할 수 있다. 미충족률이 낮게 나온 thread의 평가항목은 전통적인 품질관리 방법이라 할 수 있다. 이를 통해 제조성숙도평가 도입 전부터 관리하던 항목들보다 비교적 새로운 생산성 관리 항목의 평가 결과가 좋지 않은 것을 확인할 수 있다.

Figure 3.

Unmet Rates by Thread

<Figure 4>는 평가항목별 미충족률을 나타낸 그래프로 가로축은 각 평가항목의 순번을 나타내고, 세로축은 미충족률을 나타낸다. <Figure 3>와 같이 미충족률이 높은 순으로 정렬한 결과이다.

Figure 4.

Unmet Rates by Evaluation Item

항목별 결과를 통해 12번, 1번, 16번 등의 평가항목의 미충족률이 높은 것을 확인하였다. 미충족률 상위 10개 항목 중 5개 항목은 설계 thread 항목으로, thread별 미충족률 결과와 마찬가지로 가장 높은 비중을 차지하였다. 충족률이 높은 항목의 상위 10개중 6개는 자재 thread로, thread별 미충족률과 마찬가지로 전통적인 품질관리 내용에 대해서는 충족률이 높게 나왔다.

75개 평가항목 중 10번, 11번 평가항목은 각 5회, 6회만 평가에 포함되었고 대부분의 사업에서 평가 시 제외되었다. 해당 항목은 민군공용사용, 공동개발 등과 관련된 평가항목으로 대부분 사업이 관련 없어 평가에 포함되지 않은 것으로 판단된다. 연관도 분석에 있어 발생확률이 낮은 내용이 포함될 경우 유의미한 연관관계를 밝히는데 어려움이 생긴다. 발생확률이 낮은 만큼 우연히 연관도가 높게 나올 확률이 높아지기 때문이다. 이를 방지하기 위해 본 논문에서는 평가항목 개별 미충족률이 15% 이하인 52항목을 제외하였다. 즉, <Figure 4>에서 12번 항목부터 57번 항목까지 23개 항목에 한해 연관도 분석을 실시하였다.

3.2 연관도 분석방법

평가 항목 간 연관도 분석을 위해 3개의 측정방법을 이용하였다. 연관도 분석에서 많이 사용되는 지지도(Support), 신뢰도(Confidence), 향상도(Lift)를 이용하였다(Lim et al, 2010). 연관도 분석을 위해 하나의 평가항목이 미충족이 된 것을 하나의 사건으로 정의하였다.

지지도는 연관성 규칙의 기초가 되는 개념으로 전체 케이스 중 A와 B가 동시에 나타나는 확률을 나타낸다. 평가항목 A와 B의 지지도 Sp(A⇒B)는 아래 식과 같이 정의한다. 이때 먼저 일어나는 사건 A를 seed case, B를 follow case라 정의한다.

지지도는 대칭성을 갖는 측정치로 Sp(A⇒B)와 Sp(B⇒A)의 값은 같다. 그렇기 때문에 서로 연관 상대인 다른 항목에 대한 비중에 영향을 받는다. 그렇기 때문에 지지도는 관심변수 A, B 모두 비중이 크고 연관성도 큰 경우에 유용하게 사용된다. 하지만 관심변수 전체에 대한 포함비중이 낮은 경우에는 연관성을 판단하는데 어려움이 있다. 이러한 지지도의 단점을 보완하는 것이 신뢰도이다.

신뢰도는 A가 발생한 경우 B가 발생하는 조건부확률을 의미하며 Cf(A⇒B)로 정의하며 의미는 아래 식과 같다.

신뢰도는 지지도와 달리 Cf(A⇒B)와 Cf(B⇒A)가 다른 값을 가질 수 있다. 지지도와 신뢰도를 동시에 고려하여 관심변수에 대한 연관도를 확인할 수 있다. 한편 지지도와 신뢰도가 높게 나타나는 연관규칙 중 우연히 높게 나타나는 경우가 발생할 수 있는데, 이를 보완하기 위해 향상도라는 개념을 이용한다.

A와 B의 향상도 Lf(A⇒B)는 아래 식과같이 정의한다.

향상도는 지지도와 관심변수 순서와 상관없이 동일한 값을 갖는다. 만일 A와 B가 완전 독립인 경우 향상도는 1을 갖는다. 향상도가 1보다 클수록 두 항목은 연관성이 높다는 의미이며 반대로 1보다 작을수록 음의 상관관계를 의미한다. 본 논문에서는 총 샘플수량이 평가 사업수인 40이므로, 향상도의 최대값은 40이다. 하지만 최대 향상도는 A와 B모두 확률이 낮을 때 만 일어날 수 있다.

지지도, 신뢰도, 향상도 세 가지의 연관성 평가 척도는 각각의 평가 관점이 다르기 때문에 어느 한 가지 척도를 가지고 평가하기 보다는 세 가지 척도를 모두 이용하는 것이 유리하다. 따라서 분석 결과를 확인할 때 다른 연관도 지수도 함께 확인하는 것이 필요하다. 본 논문에서는 신뢰도, 향상도를 중심으로 연관도 분석결과를 기술하고 지지도는 참고용으로 활용한다.

4.1 신뢰도 기준 연관도 분석 결과

<Table 11>은 제조성숙도평가를 수행한 40개 사업의 평가 항목간 연관규칙들의 분석결과 중 신뢰도가 높은 순으로 정렬한 결과이다. 3장에서 밝힌바와 같이 신뢰도를 기준으로 결과 확인을 할 때도 지지도, 향상도를 참고해야 하기 때문에 두 측정치를 같이 정리하였다. 가장 높은 값을 가진 연관규칙 “4⇒1”의 신뢰도는 1이다. 신뢰도가 1이란 뜻은 4번 평가항목이 미충족된 사업 모두 1번 평가 항목도 미충족 되었다는 의미이다. 이때 지지도는 0.25로 40개 평가 사업중 10개 평가 사업에서 4번, 1번 평가항목이 모두 미충족 되었다는 것을 확인할 수 있다. 또한 향상도가 1보다 큰 값을 나타내므로 유의미한 결과라 할 수 있다.

Table 11.

Result of Association Analysis for MRA Evaluation Items by Confidence

<Table 11>에서 알 수 있는 바와 같이, 신뢰도 기준 상위 30개 연관규칙 중 가장 많이 seed case로 나타난 평가항목은 20번 항목이며, 총 7회 seed case로 나타났다. 20번 항목과 연관도가 높게나온 항목은 16번, 48번, 1번, 21번, 12번, 18번, 24번으로 7 항목 중 5개 항목이 설계 thread이다. 또한 연관도가 높은 평가항목들은 공정관리 및 설계에 관련된 항목들임을 확인할 수 있다. 24번 항목이 총 5회 seed case로 나타나 20번 항목 다음으로 자주 등장하였다. 24번 항목은 제조공정의 설계, 검증 관련된 위험성을 확인하는 항목으로 연관도가 높게 나온 항목은 16번, 1번, 21번, 48번, 61번 평가항목으로 공정관리와 관련된 항목 위주임을 확인하였다. Seed case로 세 번째 많이 등장한 평가항목은 18번으로서, 18번 항목은 4번 seed case로 나타났고 연관도가 높게 나온 평가항목은 12번, 1번, 48번, 61번 항목이다. 18번 항목은 핵심기술의 설계 및 검증과 관련된 평가항목으로 follow case 대부분 유사한 내용의 항목이었다.

지금까지 정리한 3개의 seed case와 연관 규칙은 연관도 분석에서 높게 나타났으며, 실제 항목내용을 통해서도 의미 있음을 확인하였다. 항목별 단순 미충족률에서는 20번 항목은 상위 11번째로 관리의 중요성이 적다고 판단할 수 있다. 하지만 연관도 분석을 통해 20번 항목 관리의 중요성을 확인할 수 있었으며, 20번 항목 관리를 통해 연관도 높은 다른 항목들을 예방할 수 있을 것으로 기대할 수 있다.

4.2 향상도 기준 연관도 분석 결과

<Table 12>는 평가 항목 간 연관규칙의 연관도를 향상도 순으로 정렬한 상위 30개 목록이다. 향상도의 값은 대칭성으로 인해 Lf(A⇒B)와 Lf(B⇒A)가 같은 값을 갖는다. 본 논문에서는 같은 향상도를 갖는 연관규칙 쌍 중에 신뢰도가 높은 연관규칙을 기준으로 정리하였다. 앞서 설명한 바와 같이 향상도는 seed case와 follow case의 순서가 중요하지 않기 때문에 연관규칙에서 얼마나 많이 등장하는지를 중심으로 확인한다.

Table 12.

Result of Association Analysis for MRA Evaluation Items by Lift

향상도 기준 상위30개 연관규칙에서도 24번, 20번, 18번 항목이 가장 많이 나타난 평가항목이었다. 이 중 24번 항목이 총 8회로 가장 빈번하게 발생하였으며, 24번과 연관되어 나온 평가항목은 20번, 61번, 16번, 21번, 48번, 8번, 18번, 1번 평가항목 이었다. 신뢰도 기준 분석과 마찬가지로 24번 항목과 동일한 설계 thread의 평가항목이 4개로 가장 많았다. 다른 thread의 평가 항목들 도 공정관리와 관계된 평가 항목들로 24번이 미충족된 경우 미충족될 수 있을 것으로 판단되는 항목들이다. 24번과 향상도가 가장 높은 평가항목은 20번 항목이었으며, 20번 항목과 향상도가 높은 항목은 24번 항목이다. 이를 통해 핵심설계특성의 제조공정화에 대한 검증이 미흡한 경우 외주 제작하는 구성품에 대한 안정화 확인 및 안전성 입증이 미흡할 가능성이 높다고 유추할 수 있다. 이를 달리 해석하면 핵심설계특성의 공정이 외주 제작을 통해 많이 이루어지고 있으며 상호간 연관도가 높다고 판단할 수 있다. 20번 항목과 향상도가 높게 나온 평가항목은 24번, 16번, 48번, 21번, 18번, 61번, 1번 평가항목이다. 18번 평가항목은 20번과 마찬가지로 7개 항목이 향상도가 높게 나왔으며 각 평가항목은 20번, 61번, 48번, 21번, 8번, 11번, 24번 평가항목이다. 18번 항목과 향상도가 가장 높은 것은 20번 항목으로, 18번 항목의 내용과 연결시켜 보면 “기술적 승인 기준이 구축되지 않은 사업의 경우 핵심설계특성의 달성 여부 검증 시 미흡한 경우가 많다”라고 판단할 수 있다.