1. 서 론
빅데이터, 사물인터넷(IOT), 인공지능(AI), VR/AR 기술 등으로 대표되는 4차 산업시대의 정보통신기술(ICT) 교육은 더욱더 그 중요성이 강조되어지고 있다. 이러한 급변하는 시대에 효과기반 교육(Effects-Based Education)이 요구되고 있다. 따라서 조직은 변화하는 기술과 시장 환경에 대응하기 위해 새로운 요구에 맞춘 직무 교육을 제공해야 한다. 이것은 조직의 지속 가능한 성장 전략의 일환이라 할 수 있다.
지속적인 직장과 교육환경의 디지털화로 인해 학습과 업무를 뒷받침하는 인간의 활동이 점점 더 기술에 의해 매개되고 있으며, 인공지능(AI)의 발전과 일상 기술로의 통합은 사람들이 정보에 노출되는 방식, 상호작용하는 방식, 학습하는 방식, 그리고 의사결정을 내리는 방식에 영향을 미치고 있다(Poquet & De Laat, 2021).
조직의 전략적 목표에 맞추어 설계된 교육 프로그램은 직원의 성과 향상을 통해 궁극적으로 조직 전체의 생산성이나 경쟁력을 높여준다(Kirkpatrick & Kirkpatrick, 2006). 이에 효과기반 교육은 학습 및 훈련의 목적을 단순히 활동의 수행에 두는 것이 아니라, 그 활동을 통해 얻고자 하는 결과(효과)를 중심으로 설계하고 교육 및 훈련하는 개념으로 이는 학습자의 역량 강화, 성과 개선, 실질적인 문제 해결 등을 목표로 하여, 교육의 효과성과 효율성을 극대화하는데 초점을 맞춘다. 이 개념은 군사작전 개념인 효과기반작전(Effects-Based Operations, EBO)을 교육훈련분야에 적용한 것으로(Lindley-French, 2009; Smith, 2006), 학습목표를 명확히 정의하고 학습자에게 기대되는 행동변화에 중점을 두는 목표 설정 방법론인 Bloom(1956)의 교육 목표분류와 학습자가 스스로 동기를 가지고 실질적인 결과를 추구하도록 설계한다는 Knowles(1980)의 성인학습이론 등을 근거로 하고 있다.
현장실무직원을 양성하는 직무교육기관의 교육목표는 교육생들에게 학습역량을 증진시켜 직무에 즉각 활용가능한 우수인재를 배출하는 것이다. 직무교육기간 중에 지각한 교육생의 교육품질보다 교육수료 이후 현장 근무중 지각하게 된 이수 교육훈련의 품질은 더 목표에 부합한다. 추가하여, 교육과정 중에 지각하고 평가한 품질은 SERVQUAL이나 3차원 서비스품질 모델로서 교육품질을 설명하는데 한계를 보인다(O'Neill & Palmer, 2004; Harvey, 1995). 이러한 한계로 인해 최근 연구에서는 전통적인 서비스품질 모델을 보완하여 교육기관의 교육품질 평가 구성요인의 다양성을 추구하는 추세에 있다(Lee, Gil, & Park, 2025; KIM, Ok, & PARK, 2024; Ryu, & Jo, 2023). 교육기간 중에 평가하는 서비스품질은 교육생에 초점을 맞춘다면(Kwon, 2024; Hong & Kim, 2024), 직무교육수료 후 현장에서 평가하는 품질은 교육생뿐만 아니라 또다른 고객인 해당 조직의 요구에 초점을 맞춘다. 따라서 직무교육의 효과성과 실질적 활용성을 평가하는 직무적합성과 현장유용성의 두 개념을 이용한 교육품질을 평가하는 것이 필요하다. 이러한 직무적합성과 현장유용성을 교육품질 평가의 기준으로 사용하는 것은 첫째, 교육과 직무의 연결성을 보장하고, 둘째, 실질적 유용성을 검증하며, 셋째, 효과적인 교육설계를 보완할 수 있기 때문이다.
일상의 인공지능(AI) 시대에서 학습자가 자유롭게 목표를 설정하고 학습에 대한 주도권을 가질 수 있도록 하기 위해, 우리는 학습의 목적(telos)이 ‘인적 자본(human capital)’에서 ‘인간 개발(human development)’로 이동해야 하며, 특히 인간의 역량에 초점을 맞춰야 한다(Poquet & De Laat, 2021). 이러한 맥락에서 직무교육은 현장에서 요구하는 능력을 갖춘 인재를 양성을 그 목표로 한다. 즉 일머리를 가진 인력을 교육훈련 시키는 것이다. 현장에 투입되어 개인이 가치창출을 하기 위해 현장이 필요로 하는 지식, 기술과 태도를 학습하여 조직에 기여할 수 있도록 여건을 조성하여야 하는 것이 직무교육기관의 목표이다. 따라서 이러한 관점에서 본 연구는 교육이수 후 현장근무 중, 배웠던 교육이 현장에 얼마나 적용가능한지 그리고 현장에서 얼마나 유용한지에 초점을 맞출 것을 강조한다. 또한, 조직구성원의 상사-구성원 관점을 모두 반영할 것을 주장한다. 이러한 연구관점은 지속가능한 교육훈련을 가능하게 하는 뒷받침이 된다. 교육품질은 일반적인 서비스 특성인 무형성, 변화성, 비분리성, 소멸성의 속성을 지니고 있다(Kim & Park, 2019).
본 연구의 목적은 직무교육기관에서 교육을 이수한 교육생과 직장 상사를 대상으로 실증조사하여 첫째, 교육품질(현업유용성, 현장적용성)을 상사-구성원간 비교분석하여 인식차이를 확인하고 둘째, 교육품질, 즉 현업유용성과 현장적용성(직무관련성)이 상호작용하여 상사가 평가한 직무역량 수준과 구성원이 인지한 자기효능감(자기 직무역량 수준)에 미치는 영향을 파악하기 위해서 다항회귀항이 포함된 반응표면 분석을 실시한다. 셋째, 두 품질간 방향성을 확인하고 직무역량간의 인과관계를 구조방정식모델(SEM)을 활용하여 검증하는 것이다. 넷째, 머신러닝 군집별 교육 품질-직무역량 만족도 차이를 통해 구성원의 특성을 확인하는 것이다. 이러한 연구를 통해 현장중심의 교육품질 향상을 위한 개선 방향을 도출하고 교육품질 경쟁우위 확보를 위한 전략적 시사점 제시하고자 한다.
2. 이론적 배경 및 선행연구
2.1 교육품질의 평가지표로서 직무적합성과 현업 유용성
직무 교육은 직책이나 직업상 수행하는 사무를 능숙하게 처리할 수 있도록 하는 교육을 의미한다(인터넷 전자사전, 우리말샘). 이러한 직무 교육은 조직 요구를 반영한다. 이렇게 조직관점에서 교육품질은 고객인 조직의 요구와 일치하는 정도가 품질이라 할 수 있다. 품질(quality)은 ‘기술적 품질(technical quality)’인 결과 품질(output quality)과 ‘기능적 품질(functional quality)’인 과정 품질(process quality)의 결합을 의미하며(Grönroos, 1984), 궁극적으로 품질은 ‘무엇(what)’을 ‘어떻게(how)’ 전달하느냐에 관한 것이다(Kim & Park, 2015). 한편, 효과중심 교육(effects-based education)은 급변하고 불확실성의 4차 산업혁명시대에 더욱더 크게 요구되고 있다. 직무교육의 품질(quality)은 직무에 적합한가 그리고 현장에 유용한가로 그 효과성이 입증된다. 현장 유용성(usefulness-to-work)와 직무적합성(Job relevance)은 직무교육의 효과성과 실질적 활용성을 평가하는 데 중요한 두 가지 개념이다. 현장 유용성은 교육 이수 후 결과중심의 평가 개념에 가깝고, 직무적합성은 교육 설계 단계에서 과정중심으로 평가되는 개념이다. 두 가지 개념 모두 교육 이수 후 학습자나 직장내 상사의 평가를 통해 지속적으로 평가되고 개선을 추구해야 하는 개념이다. 이러한 관점에서 직무적합성과 현장 유용성은 기술적 품질과 기능적 품질로 교육 효과를 입체적으로 분석할 수 있게 해준다.
직무적합성은 교육 내용이 직무 요구와 얼마나 일치하는지를 측정하며, 이것은 교육 설계와 목표 설정에서 중요한 개념이다(Branch, 2009). 또한, 지속가능한 교육을 위하여 지속적으로 확인되고 보완되어야 하는 필수요인이다. 직무적합성이 높은 교육 프로그램이 학습 동기와 성과를 높이는 데 기여한다(Noe et al., 2010). 이러한 점에서 직무교육기관은 직무적합성에 주목해야 한다. 직무와 교육 목표 간의 연계성을 고려하지 않는다면, 학습자는 교육이수 후에도 직무에 필요한 기술과 지식을 적용할 수 없을 위험이 있다(Morrison et al., 2019).
현장 유용성은 교육효과성을 평가하는 주요 기준이다. 교육의 실제 업무에 효과적 적용성을 측정하는 데 초점이 맞춘 개념이다. 교육 전이 이론(Transfer of Training Theory)에 근거하면 교육의 효과가 직무에서 실제로 전이(transfer)지 여부가 교육의 성공을 결정한다고 설명하고 있다. 교육 전이는 학습된 기술(skill), 지식(knowledge), 태도(attitude)가 직무 수행에서 실질적으로 사용되는 것을 의미하며, 이는 현장 유용성과 직접적으로 연결된다. 설계된 교육과정과 실제 직무 요구사항의 일치도가 높을수록 교육의 현장 유용성이 증가한다(Burke & Hutchins, 2007). 이러한 관점을 반영하여 교육평가는 교육이 직장에서 얼마나 잘 적용되고 성과에 기여하는지에 중점을 두어야 한다. 이것은 교육평가모델인 Kirkpatrick의 4단계 Model(반응, 학습, 행동, 결과)의 행동 평가, 즉 교육생이 배운 내용을 실제 업무에 사용하는 정도를 평가하는 행동의 개념과 동일하다(Kirkpatrick & Kirkpatrick, 2011).
이에 본 연구에서는 교육이수 후 일정시간 경과후에 평가하는 교육품질의 하위요인으로 직무적합성과 현장 유용성을 활용하여 측정하고자 한다.
2.2 직무역량
직무역량(Competency)이 지식, 기술, 태도, 행동, 능력 등으로 구성되며, 직무 성공 및 조직 성과와 밀접하게 연관되어 있다. 직무역량은 특정한 직무나 상황에서 직무에서 뛰어난 성과와 밀접하게 연관된 개인의 근본적인 특성(Competency is an underlying characteristic of an individual that is causally related to superior performance in a job or situation)을 말하며, 이는 지식(Knowledge), 기술(Skills), 태도(Attitude) 및 행동(Behaviors)으로 구성된다(Spencer & Spencer, 1993). 또한, 직무역량은 조직의 기준 내에서 직무 요구를 충족시키는 행동으로 이어지는 개인이 가진 능력(Competency is a capacity that exists in a person that leads to behavior that meets the job demands within organizational parameters)이며, 특히 행동, 기술, 지식이 직무 성공에 기여한다(Boyatzis, 2008). 국제 표준(ISO 30409:2016)에 따르면, 직무역량을 특정 작업 상황에서 의도한 결과를 달성하기 위해 지식, 기술, 행동을 적용하는 능력(Competency is the demonstrated ability to apply knowledge, skills, and behaviors to achieve the intended results in a specific work context)을 의미한다.
역량기반 접근법(Competency-Based Models)이 조직의 교육 및 훈련 프로그램에서 중요한 역할을 하는데, 직무에서 우수한 성과를 발휘하기 위해 필수적인 개인의 특성과 행동을 식별하고, 이를 체계적으로 개발하는 것이 교육 및 훈련의 효과성을 높이는 핵심이다(Spencer & Spencer, 1993). 직무를 성공적으로 수행할 수 있다고 확신하는 자기 능력에 대한 개인의 믿음의 정도로 설명되는 개념은 자기효능감(Self-Efficacy)이며, 이는 직무역량(Job Competency)에 대한 개인적 평가와 밀접하게 연관되어 있다. 조직구성원인 개인은 자신이 설정한 직무 목표를 개인이 완수하여 달성할수록 높은 직무역량을 가지게 된다고 믿는다. 그 이론적 근거는 사회인지이론(social cognitive theory)의 조직행동학에 두고 있다(Bandura, 2009). 하지만, 주관적으로 평가로 인해 실제 능력과 반드시 일치하니않을 수 있다(Kruger & Dunning, 2009). 반면에, 상사는 조직적 맥락에서 구성원의 능력을 관찰하고 평가한다(Lawler, 1994). 상사가 직무역량을 평가할 때, 이는 심리적 자본(Psychological Capital)의 요소 중 하나인 자기효 능감과 구별되며, 객관적인 직무역량 평가로 사용될 수 있다(Luthans et al., 2007). 상사 평가를 통해 얻어진 직무능력과 개인의 자기효능감 간의 차이는 조직에서 중요한 학습 및 피드백 기회로 작용한다(Gist & Mitchell, 1992). 직 무교육 이수이후 일정기간 직원으로 근무중인 구성원과 상사가 평가한 직무역량간 비교 통합은 조직행위 관점에 인지적 불일치를 확인하고 다각적 관점에서 역량을 평가하며, 피드백의 정확성을 높이고 학습 및 개발의 기회를 제공한다(London & Smither, 1995). 이러한 관점을 반영하여 본 연구는 조직구성원이 스스로가 평가한 자기효능감의 관점에서의 직무역량과 상사가 평가한 구성원의 직무역량을 비교하고 그 차이를 분석함으로써 전략적으로 탁월한 교육품질 향상의 피드백요소로 활용하고자 한다.
3. 연구가설 및 연구모형
3.1 연구가설과 연구모형
직무적합성과 현장 유용성은 교육품질 평가의 중요한 기준이다. 이 두 기준은 교육 프로그램이 직무와 조직성과에 기여하는 정도를 측정하는데 효과적이며, 이를 통해 교육의 ROI((Return on Investment)를 극대화할 수 있다(Bates et al., 2000; Sitzmann et al., 2010; Kirkpatrick & Kirpatrick, 2011). 높은 직무적합성을 갖춘 교육 프로그램이 학습 동기와 성과를 높이는 데 기여한다(Noe, 2010). 직무적합성이 높은 교육일수록 학습자들이 훈련에서 배운 것을 실무에 적용할 가능성이 높아지며, 이는 행동전이(Behavioral Transfer)를 촉진시켜 실질적으로 성과 향상으로 이어진다(Bates et al., 2000). 직무와 관련된 교육훈련이 개인의 기술 향상뿐만 아니라 자기효능감(Self-Efficacy)과 직무 몰입(Job Engagement)을 강화한다(Noe, 1986). 한편, 현업 유용성은 교육과 훈련이 실제 업무 현장에서 얼마나 효과적으로 적용될 수 있는지를 나타내며, 이러한 교육훈련의 유용성이 높을수록 조직 내에서 직무 수행과 관련된 기술 및 지식이 더욱 강화된다(Holton et al., 2000). 현장 유용성이 높은 교육훈련은 학습자가 현장에서 문제를 해결하고 직무 수행을 개선할 수 있는 실제적 도구와 방법을 제공한다. 교육훈련의 전이는 교육내용의 실제적인 유용성과 직무 환경의 지원 수준에 크게 좌우된다(Baldwin & Ford, 1988). 이에 다음과 같은 가설을 설정할 수 있다.
가설 1. 교육품질은 직무역량에 유의한 영향을 미칠 것이다.
가설 1-1. 직무적합성은 직무역량에 유의한 영향을 미칠 것이다.
가설 1-2. 현업 유용성은 직무역량에 유의한 영향을 미칠 것이다.
교육품질 평가지표인 직무적합성과 현장 유용성의 관계에 대한 연구에서 교육 내용이 직무에 적합할수록 현장에서 유용하게 활용될 가능성이 높은 것으로 나타났다(Brown, 2005; Holton et al., 2000). 세부적으로 직무적합성이 높게 평가될수록 교육의 행동적 전이(Behavioral Transfer)가 증가하고(Bates et al., 2000), 또한 교육설계의 직무적합성이 현장적용성(유용성)을 강화하는 주요 요인으로 작용한다(Brown, 2005). 현장 유용성은 교육 이수 후 결과 중심의 평가 개념에 가깝고, 직무적합성은 교육 설계 단계에서 과정 중심으로 평가되는 개념이다. 과정품질은 결과 품질에 선행하여 고객이 평가한다(Kim, 2013). 본 연구에서 또한, 교육이수 후 교육품질 두 평가요소 내 방향성을 같은 맥락을 고려하여 다음과 같은 연구가설을 세우고자 한다.
가설 2. 현업 유용성은 직무적합성과 직무역량을 매개할 것이다.
직무적합성과 현장 유용성은 각각 독립적으로 직무역량에 영향을 미치지만, 이 두 요소가 결합되어 상호작용할 때 시너지 효과를 더욱 크게 발휘한다. 직무 관련성과 유용성이 모두 높은 교육훈련이 구성원의 직무수행(job performance)과 조직몰입(Organizational Commitment)을 동시에 강화하는 것으로 나타났다(Sitzmann et al., 2010). 직무와 높은 연관성을 가진 교육이 실제 업무 현장에서 효과적으로 적용된다면, 구성원은 더욱 빠르게 역량을 개발하고 조직 성과를 향상시킬 것이다.
가설 3. 현업 유용성과 직무적합성은 상호작용하여 직무역량에 유의한 영향을 미칠 것이다.
3.2 연구모형
위에서 언급한 연구가설을 토대로 교육품질과 직무역량에 대한 연구모형은 우선, 가설 1~2의 구조방정식모델(SEM)은 다음의 <Figure 1>과 같이 설정하였다.
다음으로 가설 3 교육품질(현업 유용성, 직무적합성)과 직무역량의 상호작용효과 검증을 위한 반응표면분석(RSM)에 대한 연구모델의 회귀방정식은 다음과 같다.
(Y = 직무역량, X1 = 현업 유용성, X2 = 직무적합성, X 1 2 X 2 2
4. 연구방법
4.1 연구조사
본 연구는 경남지역에 위치한 4개의 공공 직무교육기관에서 2023~2024년 교육수료이후 1년이내이면서 현장에서 근무중인 조직구성원 600명과 구성원의 관리자급 300명, 총 900명을 대상으로 하였다. 응답은 641명(구성원 414명, 상사 227명)이 실시하여 71.2%(구성원 69%, 상사 75.67%)의 응답율을 보였다, 표본 집단의 일반적 특성으로 우선, 구성원이 이수한 직무교육과정은 A기관 209명, B기관 143명, C기관 232명, D기관 57명이다. 다음으로 구성원들의 지위는 중간관리자 21.46%, 관리형 실무 31.38 %, 실무전문 11.74%, 실무지원 35.43% 등 4개 집단으로 구성되어 있다. 또한, 성별은 남성 78.4%, 여성 21.6%로 조사되었다.
4.2 조작적 정의와 설문조사
교육생의 만족도 평가항목은 해당전문기관의 내부규정(지침서)에 근거한 추수평가를 통해 교육품질의 구성요소인 직무관련성, 현업 유용성과 직무역량에 대한 3개 요인이다. 척도는 리커트 5점(전혀 아니다 1점, 매우 그렇다 5점)을 활용하였다. 구체적으로 본 연구의 요인과 조작적 정의는 다음 <Table 1>과 같다.
자료수집은 조직내 인트라넷 설문체계를 활용하였다. 구성원 414개, 상사 227개, 총 641개가 수집되었고, 그 설문결과를 분석에 활용하였다.
4.3 분석방법
본 연구에서는 통계적 분석을 위한 도구로 Excel을 사용하여 데이터를 코딩하였다. 구조방정식모델(Structural Equation Modeling, SEM), 반응표면방법(Response Surface Methodology, RSM), 머신러닝 클러스터링(Machine Learning Clustering) 기법을 R 프로그램을 이용하여 분석하였다. 모든 분석은 교육이수 구성원과 상사 집단별로 구분하여 실시하였다.
우선, 교육품질-직무역량간 구조방정식모델 검증은 2단계 접근법(two-step approach)으로 사용하였다. 1단계로 확인요인분석(Confirmatory Factor Analysis, CFA)을 통해 측정모형의 타당성과 신뢰성 평가하였으며, 2단계로 구조방정식모델(SEM)을 사용하여 이론적 모형의 경로계수를 검증하였다(Kim, 2015; Anderson & Gerbeing, 1988). SEM은 여러 변수들 간의 직간접적인 인과관계를 분석할 수 있는 강력한 통계적 기법으로, 관측변수와 잠재변수 간의 구조적 관계를 추정하는 데 활용된다(Bollen, 1989). 특히 본 연구에서는 교육품질의 하위요인인 직무적합성과 현업 유용성이 직무역량에 미치는 영향을 측정하기 위해 이 접근법을 채택하였다.
다음으로 교육품질 하위요소인 직무연관성과 현업유용성의 직무역량에 대한 상호작용효과를 보다 정교하게 분석하기 위해 반응표면방법(Response Surface Method, RSM)을 사용하였다. RSM은 여러 독립변수가 종속변수에 미치는 영향을 2차 회귀식을 통해 분석하는 기법으로, 개별 요인의 효과뿐만 아니라 상호작용의 비선형적 관계와 곡면 구조를 시각적으로 해석하는 데 유용한 강력한 도구이다(Box & Draper, 1987). 본 연구에서는 이 방법론을 활용하여 직무역량에 대한 교육품질 요인(직무적합성 및 현업 유용성)의 상승 또는 하강 효과와 상호작용 효과를 평가하였다. 이를 통해, 단순한 일차적 영향 분석을 넘어 각 요인의 상호작용이 직무역량을 어떻게 강화하거나 약화시키는지를 심층적으로 이해할 수 있다. 이러한 분석은 직무역량 향상을 위한 교육적 개입의 최적화 전략을 설계함으로써 교육품질을 개선하는 데 중요한 시사점을 제공한다.
머신러닝 클러스터링은 K-Means기법의 노이즈와 이상값(outlier)에 민감한 단점을 보완하고 클러스터의 수를 자동으로 결정하는 K-Medoids기법의 PAMK(Partitioning Around Medoids with Automatic K) 알고리즘(Manhattan 거리사용)을 사용하였다(Kassambara, 2017; Kaufman & Rousseeuw, 2009). 특히, 본 연구에서는 Manhattan 거리를 사용하여 클러스터링을 수행하였는데, 이는 Manhattan 거리가 Euclidean 거리보다 이상값(outlier)에 덜 민감하여, 군집 내 데이터가 고르게 분포하지 않거나 잡음(noise)이 포함된 경우에도 강건한(robust) 결과를 제공하는 장점이 있다(Kassambara, 2017). 반면, Euclidean 거리는 이상값의 영향을 크게 받아 해석 가능성이 낮아질 가능성이 있다(Kaufman & Rousseeuw, 2009). 이러한 접근을 통해 군집 구조의 내적 일관성을 확보하고, 교육품질과 직무역량 간의 관계에 대한 보다 해석 가능한 군집을 식별하고자 하였다. 이런 관점을 반영하여 PAMK 알고리즘의 사용은 군집 수를 사전에 설정하지 않고 데이터 기반으로 자동 결정할 수 있는 장점을 제공하며, 이는 데이터에 대한 사전 가정의 필요성을 낮추고 군집 해석의 객관성을 높이는 데 기여한다.
5. 분석결과
5.1 교육품질과 직무역량간 구조방정식모델분석
5.1.1 신뢰성과 타당성
먼저 확인요인분석을 실시하여 신뢰성과 타당성을 검토하였다. 분석 결과로 구성원의 교육품질-직무역량 구조모델의 적합도 지수는 x2 =285.614, df =74, p = < 0.001, GFI = 0.997I(0.9이상이면 적합함), NFI = 0.937(0.90이상이면 적합함), CFI = 0.952(0.90 이상이면 적합함), RMSEA = 0.076(0.05~0.1이하이면 보통), SRMR =0.035(0.05 이하이면 적합함)으로 나타나 대체로 적합함을 나타냈다(Kim, 2015). 각 요인을 구성하는 변수들의 신뢰성과 집중타당성을 분석결과, 모든 요인이 AVE가 0.5이상이으로 나타났고 신뢰성지수가 0.7이상으로 분석되어 신뢰성과 집중타당성은 문제점이 없는 것으로 확인되었다. 다음 <Table 2>는 구성원 응답자료에 대한 확인요인분석 결과를 요약한 것이다.
상사 그룹에서도 확인요인분석을 실시한 결과, x2 =223.507, df =87, p = < 0.001로 나타났다. GFI = 0.997I(0.9 이상이면 적합함), NFI = 0.956(0.90이상이면 적합함), CFI = 0.964(0.90 이상이면 적합함), RMSEA = 0.083(0.05~0.1이하이면 보통), SRMR =0.035(0.05 이하이면 적합함)로 모델 적합도는 양호한 것으로 평가되었다(Kim, 2015). 마찬가지로 모든 요인을 구성하는 변수의 AVE가 0.5이상이고 신뢰성지수가 0.7이상으로 나타나 신뢰성과 집중타당성은 확보되었음을 확인하였다. 다음 <Table 3>는 상사응답자료에 대한 확인요인분석 결과를 요약한 것이다.
다음으로 판별타당성(discriminant validity) 검증을 위해 AVE 값과 상관계수 간 관계를 비교하였으며, <Table 4>와 같이 AVE의 값들(상관행렬의 대각선 값)이 각 관련변수들 간의 상관계수 제곱을 초과하는 것으로 나타나 판별 타당성이 확보된 것으로 간주되었다(Fornell and Larcker, 1981). 또한, HTMT 분석을 수행하여 판별타당성을 평가하였을 때, HTMT 0.9이하로 허용 가능한 수준으로 분석되었다(Henseler, Ringlet, & Sarstedt, 2015).
각 요인 간 상관관계를 분석한 결과, 각 요인 간에 유의한 정(+)의 관련성이 있어 예측타당성(기준타당성)을 갖는 것으로 나타났다. 구성원과 상사간 직무역량, 현업 유용성과 직무적합성간 관계는 평균을 비교하였을 때, 전반적으로 구성원이 상사의 평가에 비해 상대적으로 높은 평가를 하는 것으로 나타났다. 한편, 직무역량과 교육품질의 구성요인인 현업 유용성, 직무적합성과의 상관계수(r)의 크기가 상사에 비해 구성원이 작게 나타났다. 이는 구성원이 상대적으로 상사에 비해 직무역량에 대해 직무교육의 효과와 본인의 능력의 관련성이 적다고 지각하고 있음을 시사한다.
5.1.2 구조방정식모델분석
이론모델 검증을 위해 R프로그램을 이용하여 구조방정식 모델(SEM) 분석한 결과, 조직구성원은 x2 = 326.459, df =87, p = 0.000, GFI = 0.904(0.90이상이면 적합함), NFI = 0.956(0.90이상이면 적합함), CFI = 0.967(0.90 이상이면 적합함), RMSEA = 0.082(0.05~0.1이하이면 보통), SRMR =0.031(0.05이하면 적합함)으로 나타나 연구모델의 적합수준은 대체로 양호한 것으로 나타났고. 상사의 경우 x2 = 223.507, df = 87, p = 0.000, GFI = 0.890I(0.90이상이면 적합함), NFI = 0.942(0.90이상이면 적합함), CFI = 0.964(0.90 이상이면 적합함), RMSEA = 0.083(0.05~0.1이하이면 보통), SRMR =0.035(0.05이하면 적합함)으로 나타나 연구모델의 적합수준은 대체로 양호하였다(Kim, 2015). <Figure 2>와 <Figure 3>과 같이 본 연구에서는 교육품질 하위수준, 즉 직무적합성과 현업 유용성, 직무역량간 통계적으로 유의한 인과관계를 확인하였다.
구체적으로 경로분석결과은 <Table 5>와 같이 나타났으며, 본 연구의 가설들(H1-1, H1-2, H2)의 p값은 α=0.05보다 작으므로 모든 연구가설은 채택되었다. 세부적으로 가설1-1과 1-2 교육품질, 현업유용성(구성원 p < .001, 상사 p < .001)과 직무적합성(구성원 p < .001, 상사 p < .05)이 직무역량에 유의한 영향을 미치는 것으로 나타났다. 가설2 현업유용성은 직무적합성과 직무역량간에 매개효과를 보이는 것으로 나타났다(간접효과; 구성원 p < .001, 상사 p < .05). 추가적으로 연구모델 경로의 전체효과는 <Table 6>과 같이 구성원(p < .001)과 상사(p < .001) 모두 통계적으로 유의한 것으로 분석되었다. 이러한 경로분석결과를 토대로 구성원과 상사 모두 교육프로그램이 직무에 적합하게 인지함으로써 현업에 유용하다고 인지하고 직무역량 향상을 지각하는 것으로 나타났다. 이때 구성원과 상사 모두 교육품질이 얼마나 직무에 관련되어 있는가를 평가하고 이러한 평가는 현장에서 교육품질이 얼마나 유용한가를 평가하여 직무역량으로 연결되고 더불어 직무역량에 직접적으로도 연결되는 메커니즘(간접 매개효과)을 보이는 것으로 조사되었다.
<Table 6>은 모델의 전체효과를 나타낸 것으로 구성원과 상사 모두 전체효과가 통계적으로 유의(p < .001)한 것으로 나타났다. 구체적으로, 구성원(Ex-trainee)의 전체 효과는 추정치가 0.687(표준 오차 0.042)로 나타났으며, z-값은 16.322로 매우 높은 수준의 유의성을 보였다. 표준화 계수(Std.all)는 0.737로, 모델 내에서의 강한 영향력을 시사한다.
한편, 상사(Supervisor)의 전체 효과는 추정치가 0.812(표준 오차 0.058)로 구성원보다 더 높은 수준을 보였으며, z-값은 13.890으로 또한 높은 유의성을 나타냈다. 표준화 계수는 0.819로, 상사의 영향력이 매우 크다는 것으로 분석되었다.
5.2 직무역량에 미치는 교육품질 구성요소의 상호작용 효과
5.2.1 반응표면방법
직무적합성과 현업 유용성이 직무역량에 미치는 상호작용 효과를 분석하기 위해 반응표면방법론(Response Surface Methodology, RSM)을 사용하였다. 반응표면방법론은 여러 독립변수가 종속변수에 미치는 영향을 모델링할 때 2차 회귀식을 활용하여 비선형적 관계와 상호작용의 복잡한 구조를 시각적으로 해석할 수 있는 강력한 분석 기법이다(Box & Draper, 1987). 본 연구에서는 RSM을 통해 직무역량에 대한 교육품질의 하위 요인(직무적합성 및 현업 유용성)의 개별적 및 결합적 효과를 분석하고 최적화 가능성을 탐색하였다.
<Table 7>의 분석결과에서, 상사와 구성원 모델 모두 통계적으로 유의한 상호작용 효과를 보이는 것으로 나타났다. 상사 모델는 F값 99.59, 설명력() 69.3%, P값 <0.001로, 나타났으며 구성원 모델에서는 F값 110.1, 설명력() 61.8%, P값 <0.001로 분석되었다. 따라서 가설 3이 채택되었다.
세부적으로 살펴보면, 상사 평가의 경우 1차항(선형항), 2차항(비선형항), 그리고 상호작용항 모두 통계적으로 유의미한 것으로 나타났다. 현업 유용성은 직무역량에 부(-)의 효과를 보이는 반면, 직무적합성은 긍정적 영향을 미치는 것으로 보였으나, 두 요인 모두 2차 효과를 통해 적정 수준에서 최적의 직무역량을 최적화하는 것으로 나타났다. 이는 상사들이 특정 조합 내에서 직무역량의 성과가 극대화 평가할 수 있음을 시사한다. 특히 상호작용 항이 음(-)의 영향을 나타내어, 두 요인의 조합이 적절하지 않을 경우 상사들은 구성원의 직무역량에 대한 만족도가 떨어질 가능성을 시사한다. 반면에, 구성원 스스로 평가는 1차항(선형항)은 통계적으로 두 요인 모두 유의하지 않고, 2차항(비선형항)의 경우는 직무적합성만 유의한 부(-)의 영향을 주는 것으로 나타났다. 상호작용 항은 통계적으로 유의하였으나 선형 항의 영향력은 상대적으로 미미하였다. 직무적합성의 2차 효과의 함축적 의미는 직무역량에 주요한 역할을 하는 품질요인이라도 직무적합성에 지나치게 초점을 맞춘 교육훈련은 실제 현장에서는 직무역량에 부정적인 결과를 초래할 수 있음을 의미하며, 적정수준의 교육품질 유지가 중요함을 시사한다.
<Figure 3>은 반응표면방법에 의한 시각화 그래프로 상사 모델과 구성원 모델간 차이를 시각적으로 비교하여 볼 수 있으며, 상사 모델이 그릇 모양(bowl-shaped)의 볼록형(Convex Surface)을, 구성원 모델이 안장형(Saddle Surface)의 형태를 보인다(Montgomery, 2017). 상사 모델에서는 볼록형(Convex Surface)인 중앙에 최소점을 가지는 접시형(Bowl-shaped)으로 현업 유용성과 직무적합성은 개별적으로 유의미하며, 상호작용 효과도 유의미한 것을 보여준다. 또한, 교육품질의 두 평가지표의 값이 특정 범위내 조합될 때 직무역량에 대한 만족도가 극대화되거나 극소화 될 수 있으며, 비선형성이 뚜렷하고 상호작용이 중요함을 시각적으로 나타내 주고 있다. 반면 구성원 모델에서는 상호작용이 존재하며 일부 방향에서 증가와 감소가 동시에 발생하는 안장형(Saddle Surface)으로 현업 유용성과 직무적합성이 특정범위에서 조합될 때 최적의 상호작용 효과를 나타내고 있으나, 비선형적 관계가 존재하지만 상사 모델에 비해 덜 뚜렷하여 상사 모델에 비해 복잡도가 낮게 나타났다. 구성원과 상사 간의 반응표면 모델의 차이는 구성원은 현업 유용성과 직무적합성의 상호작용 효과가 직무역량에 중요하지만 선형적 기여도는 크기 않으나, 상사는 교육품질의 요소들이 직무역량에 개별적, 상호작용 등 복합적으로 영향을 미치고 있다. 이것은 선형적 영향과 이차적 관계 모두가 매우 유의미하며, 전체적으로 더 복잡함을 보여주고 있다. 이렇듯 둘 모두 직무역량을 예측할 수 있으며, 이차효과와 상호작용 효과의 중요한 역할을 함을 나타내고 있다. 이와 같은 결과는 교육품질의 요인들이 직무역량에 미치는 비선형적 영향과 상호작용 효과를 고려할 필요성을 강조하며, 상사와 구성원이 교육의 효과를 평가하는 방식의 차이를 시사한다. 또한, 직무역량을 향상시키기 위한 전략 설계 시 교육품질 요소의 적절한 균형과 조합이 필수적임을 의미한다. 구체적으로 교육품질 개선방향은 상사 모델에 근거하여 전략적으로 직무적합성과 현업 유용성을 함께 고려한 종합적 교육설계, 주기적인 교육과정 리뷰, 평가도구의 다양화 등 점진적 개선 중심 전략이 필요하며, 구성원 모델에 따라 맞춤형 교육 콘텐츠 개발, 사전에 직무환경과 니즈를 파악, 교육간 피드백에 따라 유연한 교육운영을 통한 정밀한 조정 중심의 전략이 요구된다. 또한, 공통적으로 역량 수준별 맞춤형 교육 설계하고 교육성과 분석 강화한다면 직무역량 향상에 실질적으로 기여하는 직무교육으로 연결될 것이다.
5.2.2 구성원에 대한 교육품질, 직무역량 상사평가에 기반한 머신러닝 군집화와 군집별 특성
상대적으로 객관성이 있다고 여겨지고 RSM설명력이 높은 상사 설문결과를 토대로 해석가능한 군집을 식별하기 위해 머신러닝 기반의 군집화 기법을 활용하였다. 그 결과는 <Figure 4>와 같다. 이 <Figure 4>의 결과는 구성원을 평가한 상사 설문표본을 기반으로 각 군집별 성향은 3개로 나타났으며, 군집 1은 균형형, 군집 2는 잠재 전문가형, 군집 3은 협업 지향형이다. 군집 1은 "균형형” 구성원으로 직무 역량, 현업 유용성, 직무 적합성 전반에서 균형 잡힌 성과를 보일 가능성이 있다. 신뢰할 수 있고 전반적으로 균형 잡힌 역할을 수행하는 것으로 평가된다. 군집 2는 높은 "잠재 전문가형" 구성원으로 직무 역량이나 현업 유용성 등 특정 영역에서 강점을 보이지만, 직무 적합성이나 협업 적합도에서는 상대적으로 낮은 점수를 가질 수 있다. 이들은 개별 전문성이 강조되는 역할이나 과업에 적합할 수 있다. 군집 3은 "협업 지향형” 구성원으로 직무 적합성 및 협업 능력에서 뛰어난 점수를 보이는 반면, 직무 역량이나 현업 유용성에서는 보통 수준이거나 발전 가능성이 있다. 팀워크와 적응력이 요구되는 역할에서 성과를 보일 것으로 보인다.
PAMK에 의한 군집의 품질, 즉 응집력과 분리도를 평가하는 지표인 실루엣 점수(Silhouette Coefficient)는 1에 가까울수록 군집화가 잘 이루어진 것이다(Rousseeuw, 1987). 군집별 실루엣 점수는 군집 1 0.68, 군집 2 0.43, 군집 3 0.80이며, 평균 실루엣 점수는 0.64로, 0.5이상 군집화가 적절하다고 판단할 수 있다(Tan et al., 2019). 따라서, 군집화 품질은 전반적으로 양호하다고 평가된다. 군집별 RSM모델 다항회귀분석결과는 <Table 8>과 같고, 요인 간 상호작용 효과와 비선형이 군집 마다 다르게 나타났다. 군집 1은 모든 변수들이 통제적으로 유의하지 않았다. 군집 2는 직무적합성(p < .1) 그리고 현업 유용성과 직무적합성의 상호작용 항(p < .01)이 통계적으로 유의한 것으로 나타났다. 군집 3은 현업유용성(p < .1), 현업 유용성과 직무적합성의 상호작용항(p < .05)과 현업 유용성의 2차항(p < .01)이 통계적으로 유의한 것으로 나타나 강한 비선형성을 보이며, 현업 유용성의 제곱항의 영향이 크다.
다음의 <Figure 5>는 군집별 반응표면방법에 의하여 시각화된 3D 그래프이다. 군집 1은 교육품질, 현업 유용성과 직무적합성의 영향을 받지 않는 것으로 보인다. 스스로 직무역량이 높다고 인지하고 있는 것으로 보인다. 군집 2는 안장형(saddle shape)으로 교육품질의 두 하위요인인 현업유용성과 직무적합성의 상호작용 효과가 크게 작용하는 것으로 나타났다. 군집 3은 반응표면의 곡률이 매우 강하고 비선형적 패턴을 보이며, 특정영역에서 직무역량이 급격하게 증가하는 봉우리 형태(dome-shaped)의 오목형(concave)의 형태를 띄고 있다. 특히 현업 유용성의 비선형 효과가 강하게 나타났다.
이상을 종합하면 군집 2와 3에서 변수의 상호작용 및 비선형 효과가 중요하게 나타난 반면, 군집 1은 모델의 설명력이 낮고 요인들이 직무역량에 통계적으로 유의하지 않은 것으로 분석되었다. 이는 구성원의 특성에 따라 차별화된 교육을 통해 직무역량 개발 전략의 필요함을 시사한다. 세부적으로 군집 1은 개인의 역량을 고려하여 고도화된 실무형 교육훈련을 제공하고, 군집 2의 경우 개개인의 교육품질에 대한 선호도에 맞는 개별적 맞춤형 학습을 설계할 필요가 있다. 마지막으로 군집 3에게는 두 요소 모두 일정 수준이상 충족하는 균형 잡힌 교육 개입전략을 구사하는 것이 요구되어진다. 이러한 차별화된 전략을 통해 교육훈련 전체 시스템의 효과성을 제고할 수 있다.
6. 결론 및 시사점
인공지능과 4차 산업혁명 시대에 ICT관련 교육을 통한 업무역량 강화는 아무리 강조해서 지나침이 없다. 이러한 가운데 본 연구는 교육이수 후 사후평가를 통해 지속가능한 교육품질을 유지하는데 중점을 두고 있다. 본 연구는 경남지역에 위치한 4개의 공공 직무교육기관에서 2023~2024년 교육수료 이후 1년이내이면서 현장에서 근무중인 조직구성원 600명과 구성원의 관리자급 300명, 총 900명을 대상으로 한 실증분석 결과이다.
우선, 상사와 구성원의 교육품질(현업 유용성, 직무 적합성)과 직무역량에 대한 인식이 차이는 구성원이 상사보다 상대적으로 높게 평가하는 경향을 보였고, 교육품질과 직무역량간 상관관계 또한, 구성원이 상사에 비해 낮은 수준으로 나타나 품질과 역량간 관련성을 낮다고 지각함을 알 수 있었다.
다음으로 구조방정식모델(SEM) 분석을 통해 품질 요소간 방향성과, 직무역량에 미치는 영향을 검증하였다. 첫째, 품질이 만족에 유의한 영향을 미치는 것으로 조사되었다. 이것은 특정집단에서도 기존 품질-만족간 관계 재확인할 수 있었다. 둘째, 품질내 과정품질은 결과품질에 긍정적 영향을 미치는 것으로 나타났다. 셋째, 결과품질이 과정품질-만족간 부분매개효과를 보였다. 넷째, 과정품질과 고객만족 간 조직구성원의 지위에 따라 조절효과가 나타났다.
또한, 교육품질의 두 구성요소의 직무역량에 대한 상호작용효과를 분석하기 위해 반응표면방법을 사용하였다. 그 결과는 다음과 같다. 첫째, 직무적합성과 현장 유용성의 상호작용효과는 상사와 구성원 모두 유의미한 것으로 확인되었으나, 상사와 구성원이 교육품질의 인지, 즉 교육의 효과를 평가하는 방식이 차이를 보였다. 상사가 지각한 상호작용효과가 구성원에 비해 더 복잡하고 더욱 명확하게 나타났다. 둘째, 이러한 특성을 보이는 상사 데이터를 기반으로 머신러닝 기반으로 군집화 기법(PAMK알고리즘)을 활용하여 설명가능한 군집이 식별되었다는 점이다. 직무역량, 현업 유용성, 직무 적합성 전반에서 균형 잡힌 성과를 보이는 구성원들, 특정 영역(예: 직무역량)에서 높은 성과를 보이지만, 직무 적합성이나 협업 능력은 상대적으로 낮은 구성원들, 그리고 직무 적합성 및 협업 능력이 뛰어나며, 팀워크가 중요한 업무에서 성과를 낼 수 있는 구성원들 등 총 3개의 군집으로 분석되었다.
이러한 결과를 토대로 다음과 같은 시사점을 도출할 수 있었다. 첫째 교육설계 및 실행에 대하여 지속적으로 보완하고 개선하는 것의 중요성이다. 4차 산업혁명과 인공지능으로 인한 과학기술의 발전은 비약적이고 이를 반영한 교육훈련 설계 시, 직무적합성을 높이기 위해 교육 내용과 직무 요건 간의 연결성을 강화하고, 현장 유용성을 증대시키기 위하여 학습 내용을 실제 업무 환경과 연계해야 한다는 것이다. 이러한 근거로 Kirkpatrick & Kirkpatrick (2006)은 효과적인 훈련 설계는 학습 내용의 현장 적용 가능성과 직무 관련성을 최우선으로 고려해야 한다고 제안 했다.
둘째, 성과 평가 및 피드백은 지속가능한 교육훈련을 보장한다는 것이다. 교육훈련 후, 직무적합성과 현장 유용성이 구성원의 직무역량에 미친 영향을 평가하고, 이를 바탕으로 훈련의 효과성을 개선해야 한다. 정기적인 성과 평가와 건설적인 피드백은 교육훈련 프로그램을 지속적으로 개선하는 피드백 루프를 형성한다. 이를 통해 교육 내용이 실제 직무 요구와 직원의 역량 변화에 맞게 조정되어, 교육의 효과성과 지속가능성이 높아진다. 직무적합성과 현장 유용성을 반영한 맞춤형 교육훈련은 직원의 직무역량과 성과 향상에 실질적으로 기여한다. 직무별 맞춤 교육은 현장 적용 중심의 교육을 통해 고객 만족도 향상을 증진한다. 피드백 기반의 교육 개선은 기술기업에서 숙련도 격차를 줄이고 직원 몰입도와 교육 효과 유지율을 높일 수 있다. 성과 평가 및 피드백이 단순한 사후 점검이 아니라, 교육훈련의 현장 적합성과 실효성을 높이는 핵심적인 수단임을 시사한다. 조직은 변화하는 업무 환경에 신속하게 대응하고, 구성원의 역량을 지속적으로 강화할 수 있다.
셋째, 머신러닝 클러스터링을 활용하여 식별된 집단(군집)별 맞춤형 교육품질 향상을 추구하는 것이다. 이것은 교육의 효율성과 효과성을 증대할 수 있다. 머신러닝 클러스터링(예: K-평균, 계층적 클러스터링 등)은 교육 대상자들의 특성, 학습 성향, 사전 역량, 학습 성과 등 다양한 데이터를 기반으로 유사한 특성을 가진 집단을 자동으로 분류한다. 이를 통해 각 군집별로 특화된 교육 콘텐츠, 학습 방법, 피드백 방식을 설계할 수 있어, 모든 학습자에게 동일한 교육을 제공하는 것보다 개인화·집단화된 교육 효과를 극대화할 수 있다. 집단별로 최적화된 교육을 제공하면, 불필요한 내용 반복이나 과도한 난이도 조정 없이 적합한 난이도와 내용을 제공할 수 있다. 아울러 학습자의 몰입도와 만족도가 높아지고, 실제 역량 향상으로 이어질 가능성이 커지고 교육 자원(시간, 비용 등)의 효율적 배분이 가능해 진다.
본 연구는 다음과 같은 한계 및 향후 연구방향을 도출할 수 있었다. 우선, 직무교육 가치사슬 전반을 반영한 종합적인 교육품질모델이 필요하다. 본 연구는 특정 직무교육의 교육품질 고유의 평가항목에 따른 일반화가 제한될 수 있다. 향후 품질측정 도구의 보완 필요하다. 마지막으로 설문 기법만 사용하여 편향이 발생할 수 있다. 인터뷰, 관찰 등 추가 진단 기법의 추가가 필요하다. 이러한 한계점에도 불구하고 인공지능시대에 탁월한 현장역량형 인재를 양성하고자 하는 교육 기관에는 응용 연구자료가 될 것으로 생각한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Print 
