2.1.1 방산의 전순기 품질 보증의 개념

2006년에 출범한 기품원은 작은 조직과 인력으로 효율적인 품질 보증 활동을 수행하기 위한 방안이 필요하게 되었고, 군수품의 전순기(Total life cycle)에 걸친 균형적 품질경영활동을 본격적으로 추진하기에 이르렀다. 국가기관 주도의 품질관리에서 업체 중심 관리로 전환 시에 기존 수명 주기 단계별 품질 검사 및 공정 관리 활동에서 총 수명 주기 간 품질 보증 활동의 연계성 확보가 필요하였다. 이런 지속적 개선 활동을 위해서는 품질 문제를 예측하고 원인 분석에 대한 정례화 된 분석 방법이 필요해지고 있었다. 전순기 품질 보증(DAPA, 2011; 2013)을 통해 제품의 품질 신뢰성을 확보할 수 있고, 이는 곧 고객만족 실현의 가장 중요한 근본 품질 보증 체계인 것이었다.

2010년대 중반 군수품의 K계열 품질문제 발생 이후 방위사업청(이하 “방사청”이라 한다) 및 기품원에서는 전순기 품질관리 강화방안을 추진하였는데, 2011년 9월 27일 ｢전순기 품질 관리 추진 방안｣을 수립, 시행했다(DTAQ, 2021). 이 추진 방안은 무기체계 개발부터 양산, 운용 및 유지 등 모든 단계에 대한 품질 관리 종합대책이었다. 무기 체계의 잦은 성능 결함 문제를 적극적으로 제거하기 위해 개발부터 운용까지의 전 단계에 대한 품질관리의 강화를 목적으로 하였다. 그중에서도 가장 중요한 것은 개발단계 설계품질 확보에 있다고 할 수 있어서, 개발 단계 참여를 확대하면서 방위사업청은 2012년 4월 3일 기술성숙도 평가(TRA, Technology Readiness Assessment)(Koo et al., 2023), 제조성숙도 평가(MRA, Manufacturing Readiness Assessment) 등을 추진하였다(DAPA, 2012). 최근, 품질에 대한 마인드가 제품규격에 대한 적합도에서 사용자의 만족도를 높이는 것으로 바뀌고 있고, 국방품질에 대한 패러다임도 규격 충족에서 수요군 만족을 위한 개발, 양산 및 운용단계의 총수명주기로 확장되고 있으며, 정부 관련 기관(방사청, 기품원)을 중심으로 개발단계 품질보증 활동 강화를 위한 정책 연구, 검토 및 제도화가 활발히 진행되고 있다(DTAQ, 2018).

제품 라이프 싸이클 동안의 품질을 살펴보면 대표적인 3가지 품질인 설계품질, 제조품질 및 사용품질로 구별 할 수 있는데 일반적으로 제품의 품질은 설계단계의 품질에서 70% 이상이 결정 된다고 한다. 설계 단계 이후에서 결함이 발견 시 생산에서 10배, 운용에서 100배의 비용이 발생한다는 예방 품질 이론인 1:10:100의 법칙을 참고하여 처음부터 올바르게 설계 시 품질을 보증 할 수 있도록 해야 하며 이를 위해서 개발이후 모든 단계에 걸친 균형 있는 전순기 품질보증체계의 큰 형태로 접근하여 예방품질 관점에서 개발단계 품질보증체계를 구축해야 한다.

개발단계 품질보증체계에 대한 한화시스템의 적용 사례는 아래 그림들로 설명할 수 있다. Figure 1에서 보는바와 같이 전순기 품질보증체계를 구축하여 운영 하고 있다. 고객의 니즈에 부합하도록 설계단계의 품질을 확보하기 위해 고객 요구사항, 실패사례, 양산성 등을 설계에 반영할 수 있도록 개발단계 Control Gate 제도를 운영하며 예방 품질 목적으로 개발 단계에서 품질보증 활동을 강화하고, 양산단계에서는 초도 양산품 품질활동과 협력사 원천 품질 확보에 중점을 두고 품질 보증 활동을 수행하며, 마지막 운용단계에서는 고객 접점 지원 체계를 운영 및 A/S 활동 등에 초점을 두고 노력하고 있다. 이 과정에서 발생된 고객 불만 및 불량 등의 실패사례에 대해서는 Figure 2와 같이, 실패사례 피드백 시스템을 통해 개발 및 양산 단계로 피드백 하여, 신뢰성 있는 고품질 확보 와 고객 만족도 향상의 전순기 품질 보증 체계를 지속 개선하고 있다.

Figure 1.

Total Life Cycle Quality Assurance Systems

Figure 2.

Operating Systems for Failure Case Feedback

2.1.2 전순기 품질 보증 기존 방법의 장단점

전순기 품질 보증에 대한 당사의 시스템 적인 방법들을 강구한 전후로 많은 실패사례 관련 불량률이 감소하는 효과를 확인할 수 있었다. 기술성숙도평가, 제조성숙도평가, 개발 Control Gate 제도, 품질 정보 시스템(QIS) 등의 다양한 제도와 시스템의 도입은 전순기 품질 보증의 대표적인 방법이었고, 이 방법의 채택을 통해 기본적인 불량의 Data Base 구축과 사전 예방활동 등으로 이 방법들의 효과성이 입증되었다(Shin et al., 2023). 그러나, 이후 다양한 신규과제 및 과제별 고질 불량 미해결과 초기 불량률 등에서 개선 정도의 정체되는 현상을 보이며, 이 제도들의 공통된 장, 단점이 도출되고 있다. 장점은 전순기에 걸친 품질 이슈 및 방법의 교류로, 제품 라이프 사이클의 진행 중 문제 개선을 제도적으로 담보할 수 있다는 점이다. 단계적인 확인 활동과 정보의 활용은 분명히 전사적 품질 보증 체계로서 불량이 해결되도록 지원하는 활동이다. 그러나, 근본적인 원인 발굴이 통계적, 정량적 분석 보다는 회의 및 과거 문서를 체크하는 정성적인 활동에 치우쳐져 있었다는 단점이 있었다. 이것들이 새로운 기술에 관련된 신규 과제와 문제에 대해서는 운영과 해결의 시간을 지체하는 낭비적 활동으로 자칫 참여자 역할을 확인하는 초기과정 및 수행하는 개발자들에게 피로감만 부여할 수 있고 결과가 조기에 도출되지 않아, 보다 과학적 방법을 추구해야한다는 결론에 이르렀다.

2.2.1 국방품질4.0 기법의 도입

최근 국방산업의 관련된 데이터들이 늘고, 이를 활용하여 다양한 품질정보를 추출하여 관련된 정책수립, 품질 보증 업무에 활용하기를 요구되고 있다. 특히, 민수산업에서의 4차 산업혁명의 발전에 따른 빅데이터 관련 기술의 출현과 보급에 힘을 얻고 있다(Lee et al., 2022). 기품원에서는 2022년 9월 21~22일 국방품질 종합학술대회 및 2022년 12월 1일 국방품질4.0 포럼을 통해 국방품질4.0을 본격적으로 추진하게 되었는데, 이는 4차 산업혁명 기술을 활용하여 군수품의 전 순기에 걸친 실시간 품질 데이터를 획득, 분석하여 데이터에 기반한 예방적 품질관리와 지속적 품질성장을 통해 우리 군에 더 나은 품질을 제공하는 것으로 정의하였다. 세부적으로는 4차 산업혁명 기술을 활용한 미래 품질관리 기법 연구를 주요 정책의 테마로 선정하였고, 이는 데이터 기반, 효과적이고 효율적인 의사결정 지원도구로 활용하고, ’24~’28 군수품 품질관리 기본 계획에 반영한다는 계획이 포함되어 있다(DtAQ, 2022).

2.2.2 관련 선행연구 조사

본 절에는 유사한 연구를 크게 2개로 분류하여 정리하였다. 첫 번째는 국방산업에서의 빅데이터 관련 연구들, 두 번째로는 국방 품질보증 활동 측면에서 데이터 활용에 관한 연구들이다.

첫 번째로 국방산업에서 군수품 품질보증 활동 시 전순기에 걸쳐 품질정보가 수집되고 있고, 관련하여 기존의 국방 활동에서의 빅데이터를 활용한 연구사례가 존재한다. Jeon et al.(2016)은 정보체계 운용을 통해 신뢰성이 확보된 군수품의 품질정보를 수집하고 정형화된 빅데이터를 구축하는 방안을 제시하였고, 이를 사용자가 활용할 수 있는 종합표준 플랫폼을 제시하여 데이터의 활용방안을 제안하였다. Lee et al.(2017)은 우리나라의 국방 분야 빅데이터 성숙도를 평가하여 분야마다 일부 차이가 있지만, 2단계에서 3단계로 넘어가고 있는 수준으로 보고하였다. 또한, 빅데이터를 적용하고자 하는 사업이나 향후 예상하는 사업의 경우에 현재부터 발생하는 모든 데이터를 수집, 관리할 수 있는 환경 구축이 선행되어야 하며, 이를 위해서, 사업기획 단계에서부터 데이터 저장 및 활용방안에 대한 요구사항을 반영하여 개발된 체계가 늘어난다면, 각 체계 간 데이터 비교 , 분석, 융합 등을 통해 새로운 유형의 정보 창출도 가능할 것이라는 의견을 제시하였다. Kim et al.(2020)은 4차 산업혁명 시대 스마트 강군 건설을 위한 국방 데이터의 전략적 활용방안연구에서 전사적 관점에서 국방 데이터의 전략적 활용 및 발전방안에 대하여 제안하며, 특히 국방분야 빅데이터 및 AI의 전략적 추진을 위한 단계별 발전 방향을 국방 데이터의 보안 강화 방안을 통해 더 안정되고 신뢰성이 확보된 환경에서 데이터를 활용할 수 있는 여건 조성 방안을 제시하였다. 상기 3개의 연구는 데이터를 활용하고 발전시키기 위해서는 시스템을 중심으로 환경 구축을 기능적 측면과 여건 측면에서 다룬 연구이다.

두 번째는, 국방 품질 보증 활동 측면에서 데이터 활용에 대한 연구 사례들도 존재한다. Yoon et al.(2014)은 탄약의 저장수명을 추정하기 위해 저장된 탄약의 신뢰성 평가 축적된 데이터로 불량률을 도출하였고, 이를 누적한 데이터와 실증 자료를 종합 분석하여 저장수명을 결정하는 주요 요인을 확인하는 과정을 보고하였다. Kang et al.(2014)은 군복 원단의 시험 성적 데이터를 수집, 분석하여 제작업체의 제품 품질수준에 영향을 미치는 인자들을 도출하고 품질관리 대책을 제시하였다. Jeon et al.(2021)은 전시기 테스트 방법에 대하여 측정 관련 축적된 데이터를 계측기 시스템 분석을 통해 정밀성을 향상하는 방안을 도출하고 계측기 관리 대책을 제시하였다. 상기 3개의 연구는 품질 보증 활동 시 데이터를 활용하여 개선안이나 대책을 수립하는 과정을 다룬 연구이다.

위와 같이 국방 품질 보증에서의 데이터 활용과 국방의 빅데이터에 관련 연구들은 있었지만, 아직 국방 품질 보증에 대한 빅데이터를 활용한 개선사례는 없는 것을 파악했고, 본 연구는 기존의 단위 공정, 단계 내에 국한된, 동일 단위 중심의 간단한 데이터를 통한 해결에서, 여러 단계의 축적된 데이터를 활용하는 빅데이터 분석을 통한 개선을 진행하여 전순기 품질 보증의 의미와 가까운 분석으로 차별적인 결과를 예상한다.

2.3.1 C5ISR 개념

1990년 걸프전을 계기로 통신전자 장비의 중요성이 부각되면서 지휘 정찰 분야의 품질 보증 금액은 큰 폭으로 증가했다. 현대전에서도 유도무기와 지휘통제 및 정찰 장비의 비중이 확대되는 흐름을 알 수 있으며, 미래 전장의 관건은 네트워크로 연결된 지휘 통제 체계, 실시간 정보 공유 및 데이터 관리 체계, 정밀하고 정확한 전장 가시화 등이 될 것이며 이러한 체계를 구축하는 데 있어 지휘 정찰 분야는 인공지능, 로봇, 빅데이터, 클라우드 컴퓨팅 등 정보통신 기술의 접목을 통해 더욱 빠른 변화와 성장이 기대되는 분야이다.

2018년부터 미 국방부는 데이터를 클라우드(Cloud)에 저장하고 AI 등 첨단 기술을 활용해 지휘 결심을 돕는 시스템을 구축하는 중이다. 미군은 2017년 이후 육군 전투능력 개발사령부를 필두로 C5ISR센터를 설립하여 C4ISR 체계에서 한층 발전된 C5ISR 시스템을 개발 중이다. C4ISR란 효과적 지휘(Command), 통제(Control)를 위하여 통신(Communication)과 컴퓨터(Computer)를 도구로 활용하고 정보(Intelligence), 감시(Surveillance), 정찰(Reconnaissance) 자산을 기반으로 지휘관이 정보의 우위를 달성할 수 있도록 지원하는 시스템을 말한다. C5ISR은 이런 C4ISR에 사이버(Cyber)가 추가된 개념이며, C5ISR의 목표는 ‘전자기 스펙트럼을 지배하여 작전을 지휘함으로써 언제 어디서든 결정적 효과를 창출하는 군대를 만드는 것’이다(Koo, 2023).

국방사업 중 지휘 정찰 분야 최대 프로젝트는 2025년까지 전국 전략화를 목표로 추진 중인 전술 정보 통신체계(TICN, Tactical Information Communication Network) 구축 사업이다. TICN은 우리 군 창설 이후에 가장 큰 규모로 구축되는 네트워크 중심전에서 감시-지휘결심-정밀타격의 통합된 전투력을 발휘함에 있어 필요한 고속 대용량 정보의 실시간 유통을 보장하는 통신 시스템이다.

또한 지휘 정찰 분야는 품질보증 활동에 있어서도 최초 양산사업의 비중이 갈수록 확대되고 있다. 2021부터 2025년까지 군 위성통신체계-2 등 14개 최초 양산사업이 진행되며 기품원 지휘정찰센터는 최초양산 품질보증 프로세스를 강화할 다양한 방안을 모색하고 있다. 이에 일환으로 2020년에는 지휘정찰센터 주도로 국방품질연구회에 C5ISR 분과위를 창립했다. C5ISR 분과위는 지휘 통제 통신, 컴퓨터 정보 사이버, 감시 정찰 등 세 개의 소분과위로 조직되어 분야별 연구를 촉진하고 성과를 공유해 품질 기술 선도의 역할을 하고 있다.

3.1.1 대상 선정

앞서 설명한 배경처럼, 합리적이며 빠른 의사결정을 위해, 축적되는 데이터 및 시스템의 활용과 개선을 통해, 전순기 품질 보증 체계를 개선, 수립하는 방법으로 4차 산업 혁명시대의 중요 기법인 빅데이터 분석을 실제 진행 중인 과제에 Pilot으로 적용하여, 정량적 전순기 품질 보증 활동을 위한 T/F가 강구되었다.

분석 대상으로는 최근 이슈가 된, 국방 품질 C5ISR 분야 사업의 2차 전지 불량 사례에 적용하여 타당성 및 구체적인 실천 방법의 필요 사항을 확인하고자 본 연구가 기획되었다(Jeong et al., 2014).

특히, 대상 과제로 선택된 C5ISR분야의 TICN과제는 군 통신망의 유/무선 데이터 고속 전송을 지원하는 시스템으로, 미래전을 대비한 첨단 전술지휘 자동화 체계를 구축하는 것으로, 다양한 2차 전지가 사용되고 있다. 이 연구를 통하여 전순기에 걸쳐 지속적 품질개선 방법으로 적합한 빅데이터 기반의 분석 방법이 구체화되는 MGP(Multi Generation Project Plan)의 다음 단계에는 Figure 3과 같이 횡전개를 통해 고객만족실현에도 기여할 수 있다는 가정으로 시작하게 되었다.

Figure 3.

Execution Procedure

3.1.2 과제 및 조직 구성

본 연구 과제는 품질 보증 조직의 주관 및 데이터 제공 및 전문적인 연구과제의 분석 및 결과 도출을 위한 사내 부문 간 협업을 통해 수립, 추진하게 되었다. Figure 4, 5와 같이 전순기 품질 보증 시스템 관점의(Choi, 2019) 프로젝트 수립 및 인력 구성을 통해 R&R(Role and Responsibility)을 구체화한 전사 부분 간 협업 DT(Digital Transformation) 개선 과제의 형태를 구성하였다.

Figure 4.

Project Charter

Figure 5.

Project team Role & Responsibility

3.1.3 연구 방법 계획

본 연구는 데이터 분석을 위한 CRISP-DM(Cross-Industry Standard Process for Data Mining) 분석 프로세스를 활용하여 품질 데이터와 A/S 이력 데이터 간의 데이터 분석을 진행하였다. CRISP-DM은 데이터 마이닝을 위한 산업 간 표준 방법론으로, 해당 프로세스 모델을 반복함으로써 고품질의 데이터를 얻을 수 있다(Shearer, 2000). 이 프로세스를 참고하여 Figure 6과 같이 수행 프로세스를 수립, 추진하였다(Harper et al., 2006).

Figure 6.

Execution Procedure

3.2.1 분석 목표 정의

기존 A/S 불량 발생에 대한 원인 분석 시 협력사 품질 데이터, 양산 품질 데이터, A/S 이력 등의 여러 데이터가 개별 시스템으로 존재하였으나 연계가 이뤄지지 않아, A/S 발생 원인에 대한 심도 있는 분석은 어려웠다. 그렇다 보니, 엔지니어의 경험치에 의존한 원인 분석이 이뤄지고, 원인분석에 대한 체계가 미흡한 상황이었다. 데이터 기반의 불량원인 분석 체계 정립을 위하여 품질 데이터 연계 체계를 구축하고 데이터 기반의 원인 분석을 통하여 데이터 활용성 강화 및 품질 경영 고도화의 기반을 마련하는 것을 분석의 목표로 정의하였다.

3.2.2 문제 및 변수 정의

Figure 7과 같이, 기존 한화시스템이 추진하는 통신 사업의 A 조립체를 대상으로 품질 데이터와 A/S 데이터 간의 상관관계를 분석하고, 2차 전지 불량 발생의 주요 원인 인자를 도출하는 것을 과제로 정의하였다. 분석 대상은 A 조립체를 대상으로 진행하였으며, 분석 데이터는 협력업체의 검사 성적서와 자사의 상위 성적서 데이터 그리고 실제 A/S가 발생한 이력 데이터를 활용하였다. 이후 분석에 활용할 변수에 대한 운영 정의와 지표는 Table 1과 같다.

Figure 7.

Definition of Problem

Table 1.

Test Report and Variable

4.1.1 분석 데이터 수집

최초에 수집된 데이터는 Figure 8과 같이, S/N(Serial Number) 기준으로 총 643건이었으며, 이중 특정 시기 이전 데이터는 A/S 이력은 존재하지만, 협력사의 품질정보시스템이 미구축인 시기로 데이터 확보가 어려워 데이터 44건은 제외하였으며, A/S 이력 데이터 중 실제 A/S 이력 데이터 중 실제 A/S 조치가 이뤄진 내역이 아닌 단순 응대/서비스 지원 항목 13건을 제외하여 최종 분석 데이터는 586건으로 정의하였다. 이중 양품은 543건, 불량을 43건이다.

Figure 8.

Collect Analysis Data

4.1.2 데이터 구조 분석

데이터 분석을 위한 사전 단계로 Figure 9와 같이, 데이터의 구조를 분석하고, 도출된 구조를 기반으로 데이터를 연계하였다. 데이터들의 개별 시스템에서 별도의 테이블 구조로 되어 있고 상위 성적서의 경우 부모 WIP(Work-In-Progress), 자식 WIP 등의 계층구조로 되어 있어서, S/N와 WIP No.를 기준으로 데이터들을 연계하였다.

Figure 9.

Data Structure Analysis and Link Datum

4.1.3 데이터 전처리

기본적인 데이터 전처리 단계를 수행하는 과정으로 아래 Figure 10과 같이, 결측치와 이상치를 식별하고 제거하는 과정을 수행하였다. 총 14개 변수의 결측치를 확인한 결과, 14개 변수 모두 결측치 데이터는 없었다. 이상치는 Box-plot을 활용하여 식별하였으나, 단일 항목에서 Box-plot의 범위를 벗어나는 값이 존재하긴 하나, 전체 데이터 양이 적고 검사 Spec 범위 내의 기준치 영역에 존재하여 이상치로 정의 내리기는 어려워 정상값으로 분류하였고, 다중 항목에서 범위를 벗어나고 있는 데이터 1개를 이상치로 분류하여 제거하였다.

Figure 10.

Preprocessing

4.1.4 데이터 탐색

이상치 1개를 제외한 데이터 585건의 기초통계 데이터 특성을 파악하였으며, 양품 데이터인 A/S 미접수 데이터와 불량 데이터인 A/S 접수 데이터로 나누었다. Table 2, 3에서, 데이터의 통계량을 기본적 기술 통계 분석을 통해 데이터의 기본적 특성을 파악하였다. 산술평균(Mean), 표준편차(Standard_deviation), 산포도(Variation), 왜도(Skewness), 첨도(Kurtosis) 등의 기술 통계량을 검토한 결과, 일부 변수의 표준편차가 큰 값이 존재하나, 특성으로 규명하기에는 어려운 수준이었다(Kim, 2005).

Table 2.

Descriptive Statistics of A/S Data Not Received (542ea)

Table 3.

Descriptive Statistics of A/S Data received(43ea)

기술 통계 단계 이후 데이터의 특성을 추가 파악하기 위해 두 번째 단계로 인자간의 상관관계를 분석하였다. Figure 11에서 확인할 수 있듯이, 파란색은 양의 상관관계(Positive Correlation), 빨간색은 음의 상관관계(Negative Correlation)이며, 색상이 진할수록 상관계수의 절댓값이 큰 관계를 나타내는 것으로 시각적 판단을 할 수 있다.

Figure 11:

Correlation Analysis

상관분석 결과로 Var5-Var10 등과 같이 일부 변수 간의 상관관계를 발견하였다. 특히 파란색의 양의 상관관계를 보이는 Var 5(Output Voltage), Var 10(Standard Charge Voltage), Var12(Overcharge Prevention Voltage), Var14(Over_current Prevention Voltage)는 모두 전압에 대한 측정 변수로서, 시험에 대한 측정 조건과 규격이 상이하나, 제품 초기에는 유사한 상황의 조건으로 시험하게 되므로 상관성이 높게 보이게 된다. 상관분석을 통해 이후 모델링 단계에서 다중 공선성 문제 발생 시 입력인자에 대한 대상들로 선택을 하게 될 수 있으나, 상관관계가 높음으로 무조건 인자들을 제거하지 않고 후속 모델 설계 단계에서 영향도를 보고 판단하기로 계획하였다.

4.1.5 데이터 통계 분석

데이터 분석 세 번째 단계로 가설 검정의 절차를 진행하여, 최종 T-test를 통한 A/S 접수 데이터와 미접수 데이터 간의 평균의 유의성 검정을 수행하였다(Kim, 2005).

T-test를 통하여 Table 4의 결과처럼, A/S 접수 데이터와 A/S 미접수 데이터 간 각 인자별로 두 개 집단 간 평균의 유의성을 통해 통계적인 차이가 있는 인자를 사전에 식별해 낼 수 있었다. 해당 인자인 Var11은 본 분석에서 유의미한 인자로 도출되었는데, 이는 인자의 특성이 다른 인자들의 특성인 전압계 지표가 아닌 전류 관련한 특성으로 A/S 불량과의 상관성을 보이는 것으로 유추해 볼 수 있었다. 다만, 모델링 전 기본 통계 분석인 T-test를 통해 식별된 인자는 주요 인자로 분류를 할 수 있으나, 이 인자가 무조건 유의한 것은 아니고, 모델 설계 단계에서 주의 깊게 봐야 하는 인자 정도의 사전 정보를 얻었다.

Table 4.

T-test Result

4.2.1 모델링

데이터에 대한 탐색적 분석을 수행한 이후, 모델 설계를 수행하였으며, Figure 10과 같이, 모델 설계 단계는 총 3단계로 나눠 수행했다. 우선 분석 데이터 세트(Set)를 구성하고, 분석 알고리즘을 선정한 후 모델 성능 평가를 통해 알고리즘을 선택하고, 실제 모델의 추정값이 유의한지 평가 하게 된다.

분석 데이터 세트 구성은 데이터 분석 및 모델링을 위하여 데이터 세트를 구성하고 모델에 적합한 구조를 포맷팅을 하였다. 이번 데이터의 경우는 양품의 비율이 불량품의 비율보다 높은 High-imbalanced data의 특징을 가지고 있어, 이를 극복하기 위해 ROSE(Random Over Sampling) 을 포함한 전처리 기법을 통해 여러 데이터 세트를 만들어 내고 알고리즘에 적용하여 모델의 성능을 평가하였다.

데이터 세트는 접수된 A/S 데이터 중 불량의 개념을 어떻게 정의하느냐에 따라 다양한 방법으로 구성되었다. A/S 접수가 된 데이터 중 고객 취급 부주의로 분류된 항목만을 제외할지, 현상 미재현, 검사결과 이상이 없었던 데이터 세트를 모두 정상으로 분류할지 등에 대해 현업과 사전 협의를 통해 불량의 개념 정의를 합의했고 최종적으로 고객 취급 부주의로 분류된 항목들을 정상 데이터로 레이블링(labeling)한 데이터 세트로 모델링을 진행하였다.

A/S 불량 발생 시 원인이 되는 인자를 도출하고자 하는 현업의 니즈 충족을 위해, 설명 변수와 종속변수 간의 관계를 비교적 명확하게 보여줄 수 있는 White Box 알고리즘인 Logistic Regression과 Decision Tree를 후보 알고리즘으로 선정하였고, 1단계에 구성된 분석 데이터 세트를 두 개의 알고리즘으로 모델링 작업을 수행하였다(Seo, 2019). 여러 모델의 성능평가를 통해 최적 알고리즘을 선정하고, 최적의 모델을 도출하는 단계로 진행을 하였다. Figure 12와 같이 모델링 단계에서는 앞서 설명한 3가지 단계를 최종 모형이 도출될 때까지 반복적으로 수행하였다.

Figure 12.

The Procedure of Predictive Modelling of A/S Occurrence

4.2.2 모델 성능 평가

Logistic Regression과 Decision Tree로 모델링을 수행한 결과 Figure 13과 같이 양품과 불량품 분류 측면에서 Logistic Regression이 Decision Tree 대비 우수한 성능을 보임이 확인되었다.

Figure 13.

Model Performance Comparison

Logistic Regression은 회귀 분석을 통해서 각 S/N별로 양품/불량품일 확률을 추정해 내는 알고리즘으로 Input data는 2차 전지의 검사 성적서, Output data는 A/S 이력 데이터를 사용하였다. 모델 평가 결과 Accuracy(정확도)는 82%로 전체 데이터의 82% 불량 발생 여부를 예측하였다.

Decision Tree는 의사결정 규칙을 Tree 구조로 만들어 분류/예측을 하는 알고리즘으로 Decision Tree 성능 개선을 위하여 Random Over Sampling을 통해 data의 불균형 문제를 해결한 데이터 세트를 구성하였으며, 이를 통한 모델 성능 평가 결과는 Accuracy(정확도)는 67%로 전체 데이터의 67%의 불량 발생의 여부를 예측하였다.

Figure 14에서 ROC(Receiver Operating Characteristic) Curve는 다양한 임계값에서 분류 모델의 성능을 보여주는 그래프로서, AUC(Area Under the Curve)는 이 ROC 곡선의 아래 영역을 말하는 것으로, AUC 수치가 1에 가까워질수록 클래스를 구별하는 모델의 성능이 우수하다는 것을 의미하며 0에 가까워질수록 불량한 분류 모델을 의미한다. 각 모델의 AUC값을 비교한 결과 0.66 vs 0.57로 Logistic Regression의 분류 예측 결과가 Decision Tree 대비 좋은 성능을 보임을 확인하였다. Decision Tree의 모델링은 Over Sampling을 적용하여 데이터를 인위적으로 생성하였기 때문에 결과에 왜곡이 발생했을 가능성도 있기 때문에 각 모델의 성능지표(AUC, ROC Curve, Accuracy) 값을 종합적으로 고려하여, 최종 모델은 Logistic Regression으로 선정하였다.

Figure 14.

AUC comparison

4.2.3 Logistic Regression 예측

Logistic Regression 분석을 위해, Figure 15와 같이 “R”을 데이터 분석 Tool로 계수를 추정한 결과를 얻어, 제품별 불량 발생 여부를 분류 예측하였다(Jin, 2022). 앞서 데이터 탐색 분석 단계에서 T-test를 통해 Var11이 양품과 불량 사이에 통계적으로 유의미한 평균의 차이가 있음을 검정하였는데, Logistic Regression을 통해서도 Var11이 유의미한 인자로 도출되었음을 확인할 수 있었다. 주어진 모델의 계수 값을 오즈비(Odds Ratio)로 환산 시 e^0.55 = 1.73으로, 다른 인자가 일정한 경우 Var11의 인자가 1포인트 증가한다면 해당 S/N은 불량으로 판정될 가능성이 약 73% 증가하게 된다.

Figure 15.

Logistic Regression Analysis(R result)

Figure 16은 Logistic Regression 결과를 기반으로 총 585개의 제품 불량 발생 확률을 예측한 결과이다. 제품(S/N)별로 각각의 불량 확률을 도출하였으며, Cut Off Value를 0.11(11%)로 선택하여 도출된 결과이다. 총 585개의 데이터 중 82%의 데이터의 불량 여부를 예측하였으며, 이를 통해 검사 성적서 데이터를 기반으로 A/S 불량 발생을 사전에 예측하여 Field로 불량이 유출함을 방지하는 효과를 기대할 수 있다. 그러나, 불량 데이터의 모수가 적기 때문에, 모델의 신뢰성 향상을 위해서는 데이터를 추가 확보하여 모델의 성능 개선 및 신뢰성 향상 작업이 필요하다.

Figure 16.

Classification Result(Failure Forecast)

본 데이터는 OK/NG 데이터 중 NG의 비율이 낮은 Imbalanced data이다. 이 경우 Precision은 모델 성능 평가 지표로 사용하지 않고, 분석 도메인과 데이터의 특성에 맞게 선정하여 사용하는데, 이번 연구에서는 Figure 16 우측 상단 그래프와 같이 Recall과 Precision의 trade off를 고려하여 최종 Cut-off value를 선정하였다. 적용된 Logistic regression 은 4.2.2 모델 성능 평가 결과에서 Decision Tree 보다 더 좋은 성능을 내었고, 본 연구 후에는 이런 classifier 모델보다 이상 탐지 모델을 적용해 보는 게 더 좋은 결과를 도출 할 수 있을 것으로 본다.

4.2.4 분석의 한계 및 착안 사항

현업의 품질 이슈를 빅데이터 분석에 반영한 당사 최초의 사례였으나, 방위산업 특성상 지니는 데이터의 한계로 인해 분석이 제한되고 분석 결과의 활용성이 낮게 나타난 점도 확인되었다. 분석의 한계점으로는 첫째, 협력사부터의 생산 초기 데이터를 취합했음에도 분석 대상의 표본 수가 많지 않음을 먼저 들을 수 있다. 국방기술품질원의 규격에 대한 성적서 중심의 품질 평가로 인하여 합격 외의 표본은 관리가 되지 않으므로 규격에 대한 검사 표본만이 관리되며, 방산업의 다품종 소량 생산의 한계가 표본 수 관리에 제약의 배경이라는 점이 분석 시 두드러졌다. S-QIS(협력사 품질정보시스템) 도입 전 성적서 확보가 불가능하여 일부만 분석에 사용하였다. 둘째, 데이터 확보의 제한적인 점이다. 방산업 특성상 업체 간 데이터 교류의 제한성, 보안 관련 공유의 제약이 있는 반에 개발기간이 수년간에 걸치는 특성으로 개발-양산 간 데이터의 연속성 확보가 어렵다는 점이 여실히 드러났다. PDF 형태의 검사/시험 성적서 데이터의 활용에 어려움이 있었다. 셋째, 데이터의 신뢰성이 저하되어 있다는 것이다. 수집된 고객 불만 자료 등이 명확하지 않고, 일부 데이터가 오류인 경우, 정성적인 표현, 전산화 되지 않은 점으로 활용에 제한적인 면도 있었고, 공정 중의 자료가 수치 기입 시 범주형 변수로 판정/양호 값밖에 없어 분석용 변수로써 정보량이 적었다.

물론 부정적 한계가 있었으나, 이를 기반으로 다양한 착안 사항도 도출할 수 있었다. 먼저, 대량 양산 사업 등 대량의 표본 추출이 가능한 대상을 중심으로 방산 관련 빅데이터 분석 계획을 수립할 수 있는 전략 수립의 기초 역량이 생겼다. 또한, 전순기 데이터의 전산화가 필요하다. 즉, 총 수명주기 동안 통계적 품질관리 환경을 구축하기 위해 전산시스템, 업무 프로세스를 과거 데이터 수준에서 벗어나, 다양한 데이터 활용 기반 인프라가 구축되어야 한다. 마지막으로 협력사의 데이터 확보를 위한 협력이 필요하다. 선제적인 부품 단계에서부터의 구매 요구조건을 검토한다든지, 품질 요구 사항 등을 명시하는 등의 초동단계의 품질 보증 활동이 도입되어야 한다.

이러한 착안 사항 등이 구축되어 진다면, 이번 연구에서 아쉬웠던 수준에서 추후 다양한 분석 대상 적용 및 해석을 할 수 있으며, 이를 위해 품질 분야와 데이터 관련 전문가가 정례화된 빅데이터 분석 기법 발굴 및 내재화를 통해 지속적인 연구가 이뤄져야 한다고 본다.

4.2.5 현장 개선 반영 연계

앞선 분석에서 도출된 핵심 개선 인자 Var11 사항을 기반으로, 관련 모듈의 공정개선을 위해 대안 발굴 및 최종 개선안이 도출되었다. 즉, Var11(연속최대 방전전류 시간)이 길어지면, 기존 알려진 시간과 사용량에 따라 배터리 내부 구성 요소의 성능이 저하되어 가스가 방출되고 부풀어 오를 수 있으며, 이는 결국 열에 대한 장시간 안정적 제어가 부족한 점을 강화해야 한다(Park, 2023). 이를 고려하여 협력사의 관리 강화가 요청되었으며, 당사 자체 공정 개선사항의 대안도 도출되었다. 첫째, 배터리 온도 영향을 최소화하기 위한 장착 구조를 변경하는 대안이고 둘째, 배터리팩을 배터리팩 고정판에 장착하는 방법을 변경하는 것이며, 셋째, 불량 현상의 발생에 대한 감지 기능을 적용하는 대안이 강구되었다.

첫째 개선사항인 구조 설계의 변화는 배터리와 타 모듈 간의 위치를 개선하여 상호 열의 복사 현상을 최소화하기 위해 전체 구조의 공차 내에서 부착 위치를 변경하여 재설계한 가장 근본적인 개선안이다. 배터리 전체 구조에서 열이 발생하는 모듈들이 주변에 있고, 불량의 중심인 배터리팩과의 열적 상호 작용을 감소하도록, 재배치된 설계를 하였다. 둘째 개선사항인 조립 공정의 개선안은 배터리팩을 배터리 고정판에 장착하는 방법을 개선하였다. 기존 수축 튜브를 사용하여 고정판에 팩을 고정하는 방법에서 팩의 양쪽 접촉면에 접착제를 이용하여 고정하는 방법으로 변경하였다. 이를 통해 수축 튜브의 압력에 의한 누액 발생이 완화되고, 수축 튜브에 가해지는 열에 의한 팩에 미치는 열 손상을 방지하며, 현장 교체 시 작업 방법도 쉽도록 조건이 완화되었다. 셋째, 실수 방지 차원에서, 이상 동작 현상을 감지하는 기능을 추가하여 안전성을 강화하였다. 기존 구조에서는 배터리팩의 이상 유무의 정보를 알려주는 기능이 없었으나, 감지용 센서 케이블이 추가되어, 불량 현상 초기 발생 시 사전에 감지하여 배터리 팩의 사용에 대한 안전성을 한층 강화하였다(Lee, 2021). 이것에 대한 적용 및 추가 보완은 후속 양산 제품에서 관리계획에 반영되어 수행 중이다.