1. 서 론
그간 품질경영의 주제 하에 서비스품질의 개념과 측정에 대한 연구는 매우 활발하게 진행되어 온 분야이다(Carman, 1990; Taylor and Baker, 1994). 지금까지 서비스품질의 차원에 관한 연구는 경영학의 마케팅과 품질경영 분야에서 주로 행해져 왔으며 주로 Parasuraman et al. (1988)의 SERVQUAL 모형을 그 기초로 삼고 있다. 그리고 그 측정방식에 있어서도 활발한 연구가 지속되었다(Buttle, 1996). Cronin and Taylor (1992)는 서비스 품질은 SERVQUAL에서 이용한 기대-성과 불일치의 방식으로 측정하는 것보다는 성과만을 가지고 측정하는 SERVPERF 척도가 SERVQUAL보다 설명력이 높음을 실증분석으로 보여주었다.
이러한 서비스품질의 측정도구나 방법에 대한 연구들은 주로 서비스의 수용자 측면에서 그 조사가 이루어져 왔다. 그러나 이러한 서비스품질은 서비스 제공자와 수용자 간의 인식하는 바가 얼마나 동일 혹은 상이한가에 따라서 그 현상의 진단과 개선의 방향 설정에서 큰 차이를 가져올 수 있다. 예를 들면, 서비스의 수용자는 어느 서비스의 특징적인 측면에서 매우 부정적으로 인식하고 있는 반면, 해당 서비스의 제공자는 매우 낙관적인 인식을 가지고 있다면 이는 서비스품질의 진단과 개선방향 도출에 큰 장애가 될 것이다. 이는 두 집단 간의 효과적 커뮤니케이션 과정에 대한 탐구를 요구한다.
본 연구에서는 상호지향성 모형(co-orientation model)을 소개하고 서비스품질 분야에서의 적용 가능성을 고찰해보고자 한다. Chaffee & McLeod (1968)는 기존의 커뮤니케이션 효과에 관한 연구가 지닌 한계를 극복하고자 상호지향성모형을 제시하였다. 상호지향성이란 “어떠한 개념이나 사물 그리고 사람에 대해서 동시에 지향하는 것”을 의미한다. 상호지향성 모형은 쌍방향적이고 상호작용적인 커뮤니케이션에 초점을 두고 상호 간의 이해를 중심으로 한 모형으로서 양 집단(조직) 간 상호 이해의 수준를 보다 정확히 파악하는 유용한 분석 틀이 될 수 있다. 서비스품질 분야에 상호지향성 모형이 접목될 때, 서비스품질에 대한 서비스 제공자의 인식과 수용자의 인식은 객관적 일치도(agreement)에 의해 비교되며, 서비스품질에 대한 제공자의 인식과 상대방인 수용자의 인식에 대한 제공자의 추측은 주관적 일치도(congruence)에 의해 비교된다. 그리고 서비스품질에 대한 수용자의 인식과 수용자의 인식에 대한 제공자의 추측은 정확도(accuracy)에 의해 비교된다. 그간 서비스품질의 수준파악이나 개선방향 도출에 관련된 수많은 기법들에 대한 연구가 진행되어 왔으나(Ree and Kim, 2008) 서비스품질에 상호지향성 모형의 틀을 접목시킨 연구는 거의 찾아보기 힘들다.
본 연구에서는 서비스품질 분야에서 상호지향성 모형의 적용가능성에 대해 고찰하기 위해, ‘국가연구개발사업계획 평가서비스’라는 특정 서비스에 대한 사례연구를 실시하였다. 정부 연구개발투자의 양적 확대가 급격히 이루어지면서 정부는 투자 효율성 제고의 필요성을 크게 고려하게 되었다. 이에 따라 국가연구개발사업의 타당성을 사전에 검토하여 예산낭비를 방지하고 재정투자의 효율성을 제고하고자 국가연구개발사업계획에 대한 평가를 수행하는 예비타당성조사 제도가 도입되었다(Ahn et al., 2013). 서비스품질은 본 연구의 대상인 정부가 국가연구개발사업 기획자들에게 제공하는 국가연구개발사업계획 평가서비스라는 주제에서도 국가 자원의 효율적인 배분과 연구개발사업 기획자들의 발전적 개선방향 설정이라는 측면에서 매우 중요하다고 볼 수 있다. 그럼에도 불구하고 이러한 국가연구개발사업계획 평가서비스라는 특화된 주제에서의 서비스품질에 대한 연구는 국내외로 거의 드물다. 본 연구에서 제시하는 사례를 통하여 특정 서비스 분야의 서비스 제공자와 수용자가 어떻게 다르게 인식하고 있는지에 대한 현상을 파악하는 과정을 소개하고자 한다.
본 연구에서 소개하는 ‘서비스품질 상호지향성 모형’의 활용을 통해 서비스품질 활동의 숨겨진 문제점을 간파하고 이를 개선하기 위한 현실적 조치를 강구할 수 있을 것이다. 상호지향성 모형은 서비스품질의 영역에서 품질개선의 기회를 탐구하는데 큰 도움이 될 것으로 기대된다.
2. 이론적 배경
2.1 국가연구개발사업계획 평가서비스
국가연구개발사업은 ‘중앙행정기관이 법령에 근거하여 연구개발과제를 특정하고 연구개발비의 전부 또는 일부를 출연하거나 공공기금 등으로 지원하는 과학기술분야의 연구개발사업’으로 정의할 수 있다(Yim and Jung et al., 2014). 정부에서 투자하는 연구개발 분야의 예산 규모는 지속적으로 증가하고 있다(2013년에는 약 17조 원; 정부 통합재정 상의 비중이 약 5%). 이러한 연구개발투자의 양적 확대가 급격히 이루어지면서 정부는 투자 효율성을 제고할 필요성을 크게 느끼게 됨에 따라, 연구개발사업의 타당성을 사전에 검토하여 예산낭비를 미연에 방지하고 재정투자의 효율성을 높이고자 연구개발부문에 예비타당성조사 제도가 도입되었다 (Ahn et al.,2013).
조사 대상으로는 총 사업비가 500억 원 이상이면서 국가의 재정지원 규모가 300억 원 이상인 건설사업, 정보화 사업, 국가연구개발사업이 해당하며, 중기재정지출이 500억 원 이상인 기타 재정사업(사회복지, 보건, 교육, 노동, 문화 및 관광, 환경보호, 농림해양수산, 산업, 중소기업 분야 등의 사업)도 해당된다. 제도를 도입한 초기에는 항만, 도로, 철도 등 건설 사업이 주된 대상이었으나, 점차 정보화 사업, 복지사업, 연구개발사업 등 재정이 투입되는 전 부문으로 확대되었다. 특히, 연구개발사업은 과학기술기본법 시행령에 의한 사전타당성조사 제도로 2007년도부터 법제화되었는데, 2008년도부터는 국가재정법에 의한 예비타당성조사로 통합하여 시행하게 되었다. 연구개발사업의 경우는 한국과학기술기획평가원(이후, K기관)에서 예비타당성조사를 수행하고 있다.
본 연구에서 대상으로 하는 국가연구개발사업계획 평가서비스는 다른 일반적인 서비스와는 다른 다음과 같은 특징들을 갖는다고 볼 수 있다. 먼저, 본 평가서비스는 국가연구개발사업 기획자들의 입장에서 자율적인 선택의 문제가 아니라 과학기술기본법 시행령에 의해 평가받아야 하는 법적 의무의 성격을 띠고 있다. 이러한 특징은 서비스를 제공하는 평가자에 대해 피평가자가 가지는 신뢰(trust)의 요소가 특히 중요하게 고려된다. 그리고 평가서비스를 제공받는 물리적 환경이 특별히 제공되지 않고 주로 서면 인터뷰와 결과보고서를 통해 서비스의 과정과 결과의 전달이 구현된다. 또한 평가자와 피평가자 간의 질의와 소명을 위한 대면 접촉의 수적 제한 등이 그 특징이라고 볼 수 있다. 이러한 특징들에도 불구하고 여전히 이러한 평가서비스를 서비스품질의 시각에서 바라보고 이를 통한 국가연구개발사업계획의 질적 개선과 대국민 정부행정업무의 서비스 고도화가 필요한 시점임은 말할 나위가 없다.
2.2 서비스품질의 개념과 측정
일반적인 기업이 자사의 고객들에게 제공하는 서비스에 대해 서비스품질의 개념을 적용하는 것은 매우 중요하다. 본 연구의 대상인 정부가 연구개발사업 기획자들에게 제공하는 국가연구개발사업계획 평가서비스라는 주제에서도 국가 자원의 효율적인 배분과 연구개발사업 기획자들의 발전적 개선방향 설정이라는 측면에서 서비스품질의 개념은 매우 중요하다. 그러나 국가연구개발사업계획 평가서비스라는 특화된 주제에서의 서비스품질에 대한 연구는 국내외로 거의 찾아 볼 수 없다.
지금까지 서비스품질의 구성요소에 대한 연구는 경영학의 마케팅과 품질경영 분야에서 주로 행해져 왔는데 대부 분 그 기초를 Parasuraman et al. (1988)의 SERVQUAL 측정도구에 두고 있다. Parasuraman et al. (1988)은 22개의 측정항목으로 구성된 SERVQUAL을 제시하고 이들 항목을 가지고 총 5개의 구성요인 즉, 반응성(responsibility), 신뢰성(reliability), 보장성(assurance), 유형성(tangible), 감정이입(empathy)을 식별해 내었다. 이러한 연구결과는 후속적인 다른 연구자들의 연구의 기초가 되기도 하였지만 SERVQUAL의 개념화, 차원성, 조작적 정의, 측정, 작용면에서 비판을 받아왔으며(Buttle, 1996), 이러한 구성요인은 서비스 유형에 따라 상이하다는 논의도 다수 제시되었다(Carman, 1990; Taylor and Baker, 1994). 특히 SERVQUAL의 효용 제고를 위해 Carman (1990)은 대학 치과병원, 취업보도실, 타이어 매장, 병원응급실 등에서 보다 범용적으로 받아들여질 수 있는지를 연구하였다. 그 결과, SERVQUAL을 구성하는 구성요인들은 잘 축약되어 있지만 이 모든 서비스 분야에 그대로 적용하는 것은 무리가 있으며 서비스 분야마다 그에 적합한 측정도구가 필요하다고 주장하였다. 이러한 논의는 그 이후에도 계속 진행되어 Sureshchandar et al. (2002)는 SERVQUAL에 대한 구성요인을 비판하면서 소비자의 관점에서 서비스품질의 구성요소를 서비스제품, 서비스전달 인적요소, 서비스전달 시스템화, 서비스 유형성, 사회적 책임 등 다섯 개의 요인을 들어 설명하였다. 또한 Cronin and Taylor (1992)는 SERVQUAL에서 이용한 기대-성과 간 불일치의 방식으로 측정하는 것보다는 적합성-중요성(adequacy-importance)의 모형에 기반하여 성과만을 가지고 측정하는 SERVPERF 척도가 보다 설명력이 높다는 것을 실증적으로 분석하였다.
그러나 이러한 지각된 서비스품질의 구성요인들은 크게 보면 Gronroos (1984)이 주장한 2 가지 구성요인 즉, ‘상호작용품질(interaction quality)’과 ‘결과품질(outcome quality)’을 재 반복하여 제시한 것으로 볼 수 있다. 대부분의 서비스품질은 전달될 것(what)인 ‘핵심적 효용’과 이를 전달하는 방법(how)인 ‘과정적 측면’이 암묵적으로 인정되고 있다고 볼 수 있다(Hwang, 2004; Dabholkar et al., 1996; Jung, 2011). 이러한 점에서 최근에 와서 Gronroos (1984)의 분류의 효용성을 강조하는 추세이며 이를 원용하여 서비스품질을 서비스를 전달하는 과정을 의미하는 ‘상호작용품질’과 전달되는 핵심적인 서비스인 ‘결과품질’, 그리고 서비스가 제공되는 환경인 ‘물리적 환경품질(physical environment quality)’로 분류하여 연구함으로써 이러한 지각된 서비스품질의 측정이 의미가 있음을 실증시키고 있다(Yi and La, 2003; Brady and Cronin, 2001).
본 연구에서는 K기관이 국가연구개발사업계획 평가서비스의 독특한 특성으로 말미암아 일반적인 SERVQUAL에 의한 구성요인을 적용하는 것보다 평가서비스의 과정과 결과가 대표적인 두 중요요인이라는 점에 착안하여 지각된 서비스 품질의 구성요인을 ‘상호작용품질’과 전달되는 핵심적인 서비스인 ‘결과품질’이라는 상위의 두 구성요인으로 요약하고, 세부적으로는 ‘공정성(Fairness)’, ‘대응성(Responsiveness)’, ‘안정성(Stability)’을 상호작용품질의 세부요인으로, ‘인지된 가치(Perceived value)’와 ‘가독성(Legibility)’을 결과품질의 세부요인으로 고려하였다. 그리고 측정의 방법론으로는 성과를 중심으로 측정하였다.
2.3 상호지향성 모형
그간 서비스품질의 수준파악이나 개선방향 도출에 관련된 수많은 기법들에 대한 연구가 진행되어 왔으나 서비스품질에 상호지향성 모형의 틀을 접목시킨 연구는 찾아보기 힘들다. 본 절에서는 상호지향성 모형을 소개하고 서비스품질 분야에서의 적용 가능성을 고찰해보고자 한다.
기존의 커뮤니케이션 효과에 관한 연구가 커뮤니케이션을 설득과 연계된 태도의 변화(Attitude change)만으로 파악하여 이해와 관련된 효과를 소홀히 했다는 한계를 극복하고자 Chaffee & McLeod (1968)는 상호지향성모형(co-orientation model)을 제시하였다. 상호지향성이란 “어떠한 개념이나 사물 그리고 사람에 대해서 동시에 지향하는 것”을 의미한다. 상호지향성 모형은 쌍방향적이고 상호작용적인 커뮤니케이션에 초점을 두고 상호 간의 이해를 중심으로 한 모형이다(Kim and Lee, 2013). 상호지향성의 개념에서 비추어 볼 때, 두 당사자 간(A와 B)의 이해는 커뮤니케이션 대상(X)에 대해 공통으로 상호간에 지향할 때 가장 높아진다. 상호지향성 모형은 양 집단(조직) 간 이해의 수준을 명확히 파악하는 효과적인 분석의 틀이 될 수 있다. 상호지향의 수준이 높을수록 두 집단의 상호이해 정도가 높아짐으로 인해, 상호지향의 수준을 평가함으로써 두 집단 간의 상호이해의 정도를 파악할 수 있다(Kim et al., 2014).
상호지향성 모형은 공통대상 X에 지향하는 A와 B 두 사람 사이에 이루어진 사회체제를 전제로 한 Newcomb (1966)의 A-B-X모델에 그 이론적 토대를 두고 있다. 즉 커뮤니케이션 상황에서는 의사소통하는 사람이 2인(A와 B) 이상이고 단일의 공통대상(X)이 있다는 것이다(Mha et al., 2010). 커뮤니케이션의 주요 기능은 커뮤니케이션 참가자들로 하여금 상호간에 대해(A⟶ B, B⟶ A), 혹은 공통대상에 대해(A⟶ X, B⟶ X) 동시적으로 지향케 하는 것이다. 여기서 지향성이란 대상에 대해 우리가 어떻게 인지하는가를 의미한다(Park et al., 2015). 특정 시점에서 커뮤니케이션 속의 지향성은 대칭적일수도 비대칭적일수도 있으며, 이러한 대칭성의 존재여부가 태도를 변화시키는 동인이 된다. A와 B가 X에 대해 공통적으로 이해할 때, 또는 X에 대한 A와 B가 동일한 느낌을 가지게 될 때 대칭성이 있다고 할 수 있다. Newcomb 모델의 핵심개념은 ‘대칭성을 향한 긴장’이며 이는 공통대상 X에 대해 A와 B가 유사한 이해와 평가를 보임으로써 대칭성을 확보함을 의미한다(Chung et al., 2008).
하나의 주제(대상)에 대한 집단 간의 상호지향성 측정은 다음과 같은 세 가지 인식유형을 파악하여 이들 간의 일치도를 파악함으로써 이루어진다. 1) 특정 주제에 대한 자신의 인식, 2) 특정 주제에 대한 상대방의 인식, 3) 상대방에 대한 자신의 인식. 이러한 상호지향성모델을 서비스품질라는 공통대상에 대해 도식화 하면 아래의 Fig. 1과 같이 표현 할 수 있다.
Fig. 1에서 설명하는 바는, 서비스품질에 대한 제공자의 인식과 서비스에 대한 수용자의 인식은 객관적 일치도(agreement)에 의해 비교되며, 서비스품질에 대한 제공자의 인식과 상대방인 수용자의 인식에 대한 제공자의 추측은 주관적 일치도(congruence)에 의해 비교된다. 그리고 서비스품질에 대한 수용자의 인식과 수용자의 인식에 대한 제공자의 추측은 정확도(accuracy)에 의해 비교된다. 이들에 대해 보다 구체적으로 살펴보면
객관적 일치도(agreement)란 공통대상에 대한 두 집단의 인식이 일치하는 수준를 말하는 것으로 집단 A(서비스 제공자)와 집단 B(서비스 수용자)의 X(서비스품질)에 대한 인식이 완벽하게 일치가 될 때, 두 집단은 상호지향되어 있다고 할 수 있다.
주관적 일치도(congruence)란 공통대상에 대한 자신의 인식과 내가 추측하는 공통대상에 대한 상대방의 인식이 일치하는 정도를 말한다. 공통대상 X(서비스품질)에 대한 인식에 있어서 상대방이 자신과 일치 또는 불일치한다고 주관적으로 생각하는 정도이다.
정확도(accuracy)란 얼마나 상대방을 정확하게 인식했는지 나타내는 개념이다. 내가 추측하는 대상에 대한 상대방의 인식이 실제 상대방의 대상에 대한 인식과 어느 정도 일치하는가의 정도를 말한다.
이와 같은 상호지향성 모형은 특정 공통대상에 대한 두 집단 간 인식을 보다 깊게 비교할 수 있도록 해주고, 집단 간 이해의 수준을 명확히 파악할 수 있게 해준다. Table. 1은 국내 주요 학술등재지에 발표된 상호지향성 모형을 사용한 과거 10년 동안의 대표적인 선행연구들을 DBpia(누리미디어), KISS(KSI 한국학술정보), RISS(학술연구정보서비스), 교보문고스콜라의 데이터베이스를 통하여 조사한 결과이다. 주로 그동안의 상호지향성 모형은 광고, 홍보, 방송, 인적자원 등과 같은 커뮤니케이션 분야에서 주로 활용되어 왔음을 알 수 있다. 이와 같은 선행연구들에서 파악할 수 있듯이 두 집단 이상의 상호 커뮤니케이션의 정확도와 이해도를 파악하는데 있어 상호지향성 모형은 이미 검증받은 연구방법론이라는 것을 알 수 있다. 본 연구에서는 이러한 상호지향성 모형을 서비스품질이라는 영역에서 적용해보고 향후 서비스품질 분야에서의 학술적 탐구를 위한 추가적인 활용의 가능성을 소개하고자 한다.
3. 연구모형 및 연구문제
서비스품질을 구성하는 구성요인은 서비스 유형에 따라 재분류되고 측정항목 문구는 해당 서비스에 맞게 조정(Carman, 1990)되어야 하는 것과 마찬가지로 본 연구에서는 서비스 제공자로서 K 기관이 수행하는 평가서비스에 대해 ‘공정성(Fairness)’, ‘대응성(Responsiveness)’, ‘안정성(Stability)’, ‘인지된 가치(Perceived value)’와 ‘가독성(Legibility)’의 5개 하위 구성요인으로 요약하였으며, 각 요인에 대한 명목적 정의와 조작적 정의는 다음과 같다.
먼저 공정성의 명목적 정의는 ‘평가의 전문성과 풍부한 경험을 바탕으로 일관되고 공평하며 합리적인 업무를 정확한 절차에 맞게 진행하는 정도’라고 정의하고 그 조작적 정의는 ‘진행절차 고지, 진행절차 고지, 전문적 평가, 풍부한 경험, 일관되고 공평한 절차, 합리적 근거’로 변수화 하였다. 그리고 대응성은 ‘평가의 수행과정에서 피평가자와의 소통의 측면에서 얼마나 명확하고 충분한 대응을 적시에 제공하고 있는지를 느끼는 정도 ’와 ‘충분한 소명의 기회, 평가대상에 대한 이해, 질의에 대한 응대, 충분한 대면 기회’, 안정성은 ‘적절한 정보교류 채널을 통해 기밀을 유지한 채 외부의 영향력에 얽매이지 않는 객관적 잣대로 업무를 수행하는 정도’와 ‘정보교류 채널, 기밀 유지, 객관적 잣대’, 인지된 가치는 ‘현 평가서비스가 국가적 차원에서 기대에 부응하며 대상사업을 유익한 방향으로 개선하는데 이바지 하여 수행되어져야할 가치가 있다고 느끼는 정도’와 ‘평가대상의 개선에 도움, 평가 수행의 의의, 국가차원의 기대부응’, 그리고 가독성은 ‘평가의 지침 및 결과보고서의 내용 및 양식이 얼마나 이해하기 쉽게 적절히 구성되는지의 정도’와 ‘표준지침의 이해도, 결과보고서의 이해도, 결과보고서의 양식’이라는 명목적 정의와 조작적 정의로 각각 명시하였다.
본 연구에서는 K 기관의 평가서비스의 5가지의 하위 구성요인들 각각에 대해서 피평가자(평가서비스 수용자)와 평가자(평가서비스 제공자)가 어떻게 인식하고 있으며, 각자 상대방의 인식에 대해 어떻게 추정하고 있는지를 Chaffee & McLeod (1973)가 제안한 상호지향성모델을 통해 알아보고자 한다. 이를 위해 보다 구체적인 연구문제를 제시하면 다음과 같다.
4. 연구방법
4.1 측정도구
평가서비스에 대한 피평가자와 평가자 간 상호지향성을 파악하기 위해서 평가서비스의 주요 구성요인별 설문항목을 추출하였다. 항목의 내용타당성을 고려하기위해 평가서비스를 제공하는 평가자들 중 선별된 3인과 연구자 2인의 회의를 거쳐 공정성(5문항), 대응성(4문항), 안정성(3문항), 인지된 가치(3문항), 가독성(3문항) 등 다섯 가지 구성요인에서 총 18개의 문항이 추출되었다. 본 연구에서 평가서비스에 대한 인식에 대한 상호지향성을 측정하기 위해 동일한 18개 문항에 대해서 ‘평가서비스에 대한 자신의 인식’과 ‘평가서비스에 대한 상대방의 인식에 대한 추측’에 대해 답하도록 하였다. 즉 피평가자와 평가자는 본인이 생각하는 인식수준을 응답하는 문항과 동일한 항목에 대해서 서로 상대방이 어떻게 생각할 것이라는 것을 추정하여 응답하는 형식의 질문지를 구성하였다. 18개 문항에 대하여 상호지향성 연구에서 가장 많이 사용되고 있는 Likert 5점 척도를 기준으로 설문지를 설계하였다(전혀 그렇지 않다 1점; 보통이다 3점; 매우 그렇다 5점).
4.2 자료수집 및 분석방법
본 연구를 진행하기 위해 2015년 10월 5일부터 2015년 10월 31일까지 설문을 실시하였다. 설문의 응답대상자로는 평가서비스를 수행하는 K 기관의 평가자와 이들의 평가를 받는 연구개발사업계획를 제출한 피평가자들을 선정하였다. 설문방법으로는 이메일 설문조사를 실시하였으며 K 기관의 평가자 총 34명 중 15명이 응답하여 응답률은 약 44.12%였다. 피평가자의 경우 연구개발사업계획 평가결과(시행/미시행)에 의한 응답자 자료수집의 편의(Bias)가 발생할 수 있을 것으로 판단하여 먼저 설문 응답자를 평가실무진과의 협의를 통해 표본을 선정하였으며 선정된 35명 중 19명이 응답하여 응답률은 54.29%을 나타내었다. 설문응답자의 기술통계는 아래의 Table. 2와 같다. 피평가자가 과거 참여한 연구개발사업계획의 평가결과의 항목을 보면 시행판정 9명, 미시행판정 1명, 모두 경험 9명을 나타냈으며, 연구개발사업계획을 기획하던 당시의 소속기관의 항목을 보면 출연연구소가 10명으로 가장 많았다. 피평가자들의 기획 당시의 담당 업무 영역은 기획총괄 18명, 기술성 분석이 1명이다. 평가자들 중 과거 평가수행건수가 1건(33.3%)인 경우가 가장 많았고, 다음으로는 6건 이상(26.7%)인 경우가 많았다.
Table 2.
. Literature review for co-orientation model
분석방법으로는 서비스품질의 구성요인들에 대한 개념신뢰성과 개념타당성을 검증하기 위해 구조방정식 모형을 사용하였고 상호지향성의 분석을 위해서는 Mann-Whitney U 검증과 Wilcox 부호-서열 검증을 사용하였다. 구조방정식모형은 크게 공분산중심 구조방정식(Covariance-based SEM)과 성분기준 구조방정식(Component-based SEM; Partial least squre-SEM)으로 나눌 수 있다. 공분산중심 구조방정식(이후, CB-SEM)은 Karl Jöreskog (1973)가 제안한 방법이며 성분중심 구조방식(이후, PLS-SEM)은 Wold (1975)가 NIPALS(Nonlinear iterative partial least squares)라는 이름으로 제안한 방법이다. CB-SEM은 주로 이론(즉, 실증적으로 검증될 수 있는 다변량 변수들간의 체계적인 관계)들을 확인(혹은 기각)하는데 사용되며 제안된 이론적 모형이 공분산으로부터 얼마나 잘 추정될 수 있는지(Hiar 등, 2013)에 초점을 맞추는 반면, PLS-SEM은 탐색적 연구로부터 새로운 이론을 발전시키는데 주로 사용한다. 본 연구에서는 국가연구개발사업계획 평가서비스에 대한 서비스품질 구성요인에 대한 기존의 이론이 부족하다는 측면과 표본의 확률분포를 가정하지 않으며 표본이 크지 않아도 되는 장점(Lee, 2008)에 기인하여 PLS-SEM을 사용하였다. 한편, 상호지향성 모형에서 객관적 일치도와 정확도를 확인하는 통계기법으로는 일반적으로 독립표본 t-test을 활용할 수 있으나, 독립표본 t-test의 가정(표본의 정규성)이 성립하지 않는 경우에는 비모수 검정법인 Mann-Whitney U 검증을 사용한다. 주관적 일치도의 경우에는 주로 대응표본 t-test가 사용될 수 있으나 역시 마찬가지로 대응표본 t-test의 가정(표본의 정규성)이 성립하지 않는 경우 Wilcox 부호-서열 검증을 사용할 수 있다. 본 연구에서는 표본의 크기가 작고 이로 인한 표본의 확률분포를 가정하기에 무리가 따른다는 측면을 고려하여 Mann-Whitney U 검증과 Wilcox 부호-서열 검증을 사용하였다.
5. 분석결과
5.1 개념신뢰성과 개념타당성 검증
측정항목들이 목표하는 구성요인을 잘 구성하는지 또는 타당성을 가지고 목표하는 구성요인을 잘 설명하고 있는지는 구성요인들에 대한 개념신뢰성(Construct reliability)과 개념타당성(Construct validity)을 통해 검증할 수 있다. 반영지표로 구성된 각 구성요인의 개념신뢰성 검증은 변수 간 내적일관성(Internal consistency)을 확인하여야 한다. 내적일관성을 확인하는 방법으로는 Cronbach's alpha 혹은 합성신뢰도 Composite reliability)를 통하여 확인할 수 있다(Peterson, 1994; Hair et al., 2006). 본 연구에서 반응지표로 측정한 구성요인들인 ‘가독성’, ‘공정성’, ‘대응성’, ‘안정성’, ‘인지된 가치’ 각각의 Cronbach's alpha값은 각각 0.872, 0.918, 0.927, 0.813, 0.886이며, 합성신뢰도(CR; composite reliability) 값은 각각 0.915, 0.939, 0.949, 0.888, 0.929로 나타났다. 즉, 본 연구에서 사용된 구성요인들은 기준치(Cronbach's α > 0.7, 합성신뢰도 > 0.7)를 모두 초과하여 개념신뢰성을 확보하였다고 판단된다. 반영지표로 구성된 구성요인의 개념타당성은 집중타당성(Convergent validity)과 판별타당성(Discriminant validity)을 통해 검증할 수 있다. 집중타당성 검증은 요인적재량(Factor loading or Outer loading)값의 통계적 유의성을 통하여 검증하거나 평균분산추출(AVE; Average variance extracted) 값 통해 검증할 수 있다. Table. 3은 각 구성요인의 측정항목의 표준화 요인적재량값을 나타낸 것이며, 반영지표로 측정한 구성요인들의 요인적재량값은 기
Table 3.
Sample Characteristics
준치인 0.7을 모두 초과하였고 AVE 값 또한 모두 기준치인 0.5를 초과하여 집중타당성이 확보되었다.
판별타당성 검증은 요인적재량값과 교차적재량(Cross loading)값을 비교하는 방법이 있으며, 다른 방법으로는 AVE 값과 구성요인 간 상관계수의 제곱 값을 비교하는 Fornell-Larcker 기준을 이용하는 방법이 있다(Fornell and Larcker, 1981; Hair et al., 2011). Table. 4에 나타난 것과 같이 각 개념의 AVE 제곱근은 다른 개념과의 상관관계 값보다 모두 높은 값을 보여주었기 때문에 판별타당성 역시 확보되었다.
Table 4.
Construct reliability and Convergent validity
5.2 상호지향성 분석결과
5.2.1 구성요인별 객관적 일치도
국가연구개발사업계획 평가서비스에 대해서 평가자와 피평가자 사이에 어떠한 인식의 차이가 있는가를 알아보기 위해 객관적 일치도를 살펴본 결과는 Table. 5와 같다. 분석결과 대응성(p-value<0.01)과 인지된 가치(p-val-ue<0.01) 구성요인에서 차이가 있는 것으로 나타났다. 특히 대응성에 있어서는 평균값을 비교해 볼 때 피평가자(2.9605)가 평가자(4.0833)보다 훨씬 부정적인 인식을 가지고 있는 것으로 나타났다. 인지된 가치에 있서서도 피평가자(3.1053)는 평가자(4.2444)보다 부정적으로 인식하고 있었다.
5.2.2 구성요인별 주관적 일치도
평가서비스에 대해서 평가자가 피평가자의 인식에 대해 추측하고 있는 바가 평가자 본인의 인식과 얼마나 일치하는가를 알아보기 위해 주관적 일치도를 살펴본 결과는 Table. 6와 같다. 분석결과를 살펴보면, 평가자는 피평가자가 평가서비스의 모든 측면에 있어서 자신보다 부정적 인식을 가지고 있을 것이라고 추측하고 있는 것으로 나타났다. 특히 가장 부정적이라고 인식한 영역은 공정성(3.000)이고 본인의 인식과 가장 큰 차이를 보일것이라고 인식한 영역은 안정성(Z 검정 통계량=-3.318)으로 나타났다.
Table 6.
Agreement for constructs
| Construct | Agreement | |||||
|---|---|---|---|---|---|---|
| Service providers’ view Mean(SD) | Service recipients’ view Mean(SD) | Mann-Whitney U test statistic | Z test statistic | p-value | ||
| Fairness | 3.9067 (0.7045) | 3.5684 (0.7980) | 109.500 | -1.154 | 0.256 | |
| Responsiveness | 4.0833 (0.4880) | 2.9605 (1.0713) | 53.500 | -3.119 | 0.001*** | |
| Stability | 4.1333 (0.3944) | 3.7368 (0.8576) | 96.000 | -1.648 | 0.111 | |
| Perceived value | 4.2444 (0.5837) | 3.1053 (0.9300) | 43.000 | -3.502 | 0.000*** | |
| Legibility | 3.7556 (0.6103) | 3.2105 (0.9177) | 95.000 | -1.672 | 0.104 | |
5.2.3 구성요인별 정확도
평가서비스에 대해서 평가자가 피평가자의 인식에 대해 추측하고 있는 바가 실제 피평가자의 인식과 얼마나 일치하는가를 알아보는 정확도를 분석한 결과는 Table. 7와 같다. 분석결과를 살펴보면, 공정성 영역을 제외하면 대체로 평가자가 피평가자의 인식에 대해 정확히 추측하고 있는 것으로 나타났다. 공정성의 영역에서만 유의수준 0.1 수준에서 차이를 보였는데(p-value<0.1), 평균값을 비교해 보면 실제 피평가자(3.5684)는 평가자가 추측하고 있는 것(3.000)보다는 덜 부정적으로 인식하고 있는 것으로 나타났다.
Table 7.
Congruence for constructs
| Construct | Congruence | |||
|---|---|---|---|---|
| Service providers’ view Mean(SD) | Service providers’ estimate of Service recipients’ view Mean(SD) | Z test statistic | p-value | |
| Fairness | 3.9067 (0.7045) | 3.0000 (0.8976) | -3.307 | 0.001*** |
| Responsiveness | 4.0833 (0.4880) | 3.2000 (0.8462) | -3.188 | 0.001*** |
| Stability | 4.1333 (0.3944) | 3.3111 (0.7608) | -3.318 | 0.001*** |
| Perceived value | 4.2444 (0.5837) | 3.4222 (0.7814) | -2.966 | 0.003** |
| Legibility | 3.7556 (0.6103) | 3.4333 (0.7121) | -2.877 | 0.004** |
5.2.4 세부 측정문항별 상호지향성 결과
구성요인별로 살펴본 평가자와 피평가자간의 상호지향성의 결과 이외에 보다 세부적인 측정문항별 상호지향성의 결과를 이해하고 싶을 수도 있을 것이다. 보다 세부적인 측정문항별 분석결과는 Table. 8과 같다. 구성요인별 상호지향성 평가의 결과가 대체적으로 그대로 반영되어 있다. 구성요인별 분석에서의 유의 여부와 측정항목별 분석에서의 유의 여부가 다르게 나타난 항목을 찾아보면, 객관적 일치도에서는 기밀유지(안정성; p-value=0.032<0.05)와 결과보고서의 양식(가독성; p-value=0.033<0.05), 주관적 일치도에서는 결과보고서의 양식(가독성; p-val-ue=0.346>0.1), 그리고 정확도에 있어서는 정보교류 채널(안정성; p-value=0.011<0.05) 항목이 차이를 보였다.
Table 8.
Accuracy for constructs
| Constructs | Accuracy | ||||
|---|---|---|---|---|---|
| Service providers’ estimate of Service recipients’ view Mean(SD) | Service recipients’ view Mean(SD) | Mann-Whitney U test statistic | Z test statistic | p-value | |
| Fairness | 3.0000 (0.8976) | 3.5684 (0.7980) | 87.500 | -1.920 | 0.056* |
| Responsiveness | 3.2000 (0.8462) | 2.9605 (1.0713) | 126.500 | -0.557 | 0.584 |
| Stability | 3.3111 (0.7608) | 3.7368 (0.8576) | 102.000 | -1.419 | 0.167 |
| Perceived value | 3.4222 (0.7814) | 3.1053 (0.9300) | 104.500 | -1.333 | 0.190 |
| Legibility | 3.4333 (0.7121) | 3.2105 (0.9177) | 124.500 | -0.631 | 0.537 |
Table 9.
Result of co-orientation analysis for operational measurements
| variables | Agreement | Congruence | Accuracy | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Apprai sers’ view | Appraisees’ view | P-value | Appraisers’ view | Appraisers’ estimate of appraisees’ view | P-value | Appraisers’ estimate of appraisees’ view | Appraisees’ view | P-value | ||
| Fairness | F1 | 4.067 | 3.526 | 0.192 | 4.067 | 3.200 | 0.013** | 3.200 | 3.526 | 0.418 |
| F2 | 3.933 | 3.632 | 0.265 | 3.933 | 3.000 | 0.001*** | 3.000 | 3.632 | 0.034** | |
| F3 | 3.600 | 3.737 | 0.659 | 3.600 | 2.933 | 0.015** | 2.933 | 3.737 | 0.014** | |
| F4 | 3.733 | 3.316 | 0.199 | 3.733 | 2.800 | 0.002*** | 2.800 | 3.316 | 0.114 | |
| F5 | 4.200 | 3.632 | 0.036 | 4.200 | 3.067 | 0.002* | 3.067 | 3.632 | 0.054* | |
| Responsiveness | R1 | 4.000 | 2.737 | 0.001*** | 4.000 | 3.200 | 0.021** | 3.200 | 2.737 | 0.290 |
| R2 | 4.333 | 3.158 | 0.000*** | 4.333 | 3.333 | 0.005*** | 3.333 | 3.158 | 0.634 | |
| R3 | 4.133 | 2.947 | 0.004*** | 4.133 | 3.133 | 0.003*** | 3.133 | 2.947 | 0.692 | |
| R4 | 3.867 | 3.000 | 0.044** | 3.867 | 3.133 | 0.012** | 3.133 | 3.000 | 0.858 | |
| Stability | S1 | 4.067 | 4.105 | 0.956 | 4.067 | 3.133 | 0.021** | 3.133 | 4.105 | 0.011** |
| S2 | 4.333 | 3.632 | 0.032** | 4.333 | 3.200 | 0.032** | 3.733 | 3.632 | 0.868 | |
| S3 | 3.200 | 3.105 | 0.986 | 3.200 | 2.800 | 0.047** | 2.800 | 3.105 | 0.304 | |
| Perceived value | P1 | 4.267 | 2.947 | 0.000*** | 4.267 | 3.533 | 0.019** | 3.533 | 2.947 | 0.075* |
| P2 | 4.400 | 3.000 | 0.000*** | 4.400 | 3.400 | 0.004*** | 3.400 | 3.000 | 0.262 | |
| P3 | 4.067 | 3.368 | 0.037** | 4.267 | 3.200 | 0.006*** | 3.333 | 3.368 | 0.867 | |
| Legibility | L1 | 3.467 | 3.053 | 0.269 | 3.467 | 3.067 | 0.020** | 3.067 | 3.053 | 0.884 |
| L2 | 3.867 | 3.526 | 0.178 | 3.867 | 3.533 | 0.037** | 3.533 | 3.526 | 0.955 | |
| L3 | 3.933 | 3.053 | 0.033** | 3.933 | 3.786 | 0.346 | 3.786 | 3.053 | 0.073* | |
5.2.5 상호지향성 결과 요약
국가연구개발사업계획 평가서비스의 서비스품질을 높이기 위해 Chaffee & Mcleod (1973)의 상호지향성 모델을 이용하여 서비스 수용자(피평가자)와 서비스 제공자(평가자) 간의 인식 차이를 살펴본 결과는 아래와 같이 요약될 수 있다.
평가서비스의 품질에 대한 서비스 제공자와 수용자간의 인식 차이를 나타내는 ‘객관적 일치도’는 ‘대응성’과 ‘인지된 가치’영역에서 유의한 차이를 보이고 특히 수용자의 인식이 더욱 부정적으로 나타났다. 즉, 서비스 제공자는 수용자가 인식하는 것보다 스스로가 우수한 서비스품질을 제공하고 있다고 판단하고 있는 상황이다. K기관은 이 두 영역에서의 실상에 대해 수용자의 입장에서 평가서비스 프로세스를 재점검 할 필요가 있다.
평가서비스에 대해서 서비스 제공자가 수용자의 인식에 대해 추측하고 있는 바가 제공자 본인의 인식과 얼마나 일치하는가를 알아보는 ‘주관적 일치도’는 서비스품질의 모든 영역에서 유의한 차이를 보이고 특히 가장 큰 차이를 보인 영역은 ‘안정성’으로 나타났다. 이는 서비스 수용자가 안정성에 대해 부정적으로 인식할 것이라는 것을 서비스 제공자가 이미 추측하고 있는 상태인 것으로, 평가서비스의 특수성 상 피평가자가 평가자에 대해 불만을 내포하고 있을 것이라고 추측하고 있는 것이다.
평가서비스에 대해서 서비스 제공자가 수용자의 인식에 대해 추측하고 있는 바가 실제 수용자의 인식과 얼마나 일치하는가를 알아보는 ‘정확도’는 ‘공정성’의 영역에서만 유의한 결과를 보이고 전반적으로 비유의한 결과를 보였다. 이는 전반적으로 서비스 수용자의 인식에 대한 서비스 제공자의 추측이 실제 수용자의 인식을 정확하게 진단하고 있다는 것을 의미한다. 즉, ‘공정성’을 제외하고는 전반적으로 수용자가 부정적인 인식을 가지고 있을 것이라는 추측이 사실과 같다는 의미이다. 한편 ‘공정성’에 대한 서비스 수용자의 평가는 오히려 서비스 제공자의 추측보다 높게 나타났다.
세 가지 상호지향성의 요소들을 종합해 볼 때, K기관의 서비스 제공자(평가자)들은 ‘공정성’의 항목에서 불필요한 부정적인 착각을 하고 있는 것으로 해석할 수 있다. 즉, 실제로는 제공자와 수용자가 유사한 인식을 하고 있으나(객관적 일치도) 주관적으로 다르게 추측(주관적 일치도) 하고 있는 것이다. 이러한 추측이 실제 수용자의 인식과 다르다는 것(정확도)이 재확인되고 있다.
이러한 상호지향성 모델을 통한 분석결과를 통해 K 기관은 다음과 같은 실무적 시사점을 고려해 볼 수 있다. ‘객관적 일치도’에서 차이를 보인 ‘대응성’과 ‘인지된 가치’의 개념에 초점을 맞추어, 제도 및 행정 집행과정에서의 목표가 서비스 수용자(사업기획자)들의 요구에 얼마나 부응하며, 제도의 성과가 그들의 인지된 욕구에 얼마나 부합하느냐를 다시 재점검을 할 필요가 있다. 평가서비스의 수용자에 대해 K 기관이 얼마나 적시에 대응하고 소통하는가에 대한 측면(대응성)에서, 그리고 국가적 차원에서의 기대에 부응하여 대상사업을 유익한 방향으로 개선하는데 도움이 준다는 측면(인지된 가치)에서 평가서비스의 수용자들이 상대적으로 부정적으로 생각하고 있다는 사실은 피평가자의 입장에서 일반적으로 느낄 수 있는 의사결정과정에서의 소외감으로도 해석될 수도 있다. 피평가자가 주장하는 충분한 소명과 소통의 기회는 주로 그들의 사업이 ‘시행’으로 결정 나도록 하는데 필요한 모든 형태의 소명기회 일 것이다. 그러나 K 기관은 이러한 소명의 기회에 대한 요구가 맹목적인 것이라고 판단할 수 있으나 이를 가볍게 간과하지 말고 설득력 있는 충분한 횟수의 제한된 소명의 기회와 그에 대한 대응의 객관화를 위해 최대한 고민해야 한다. 현실적으로 볼 때, 과도한 소명기회의 제공은 조사기간의 지연 등 사업기획자와 K 기관 모두의 행정력을 낭비할 수 있으므로 제도를 운영하는 측면에서 그 시기와 횟수에 대한 적절한 기준이 필요할 것이다. 이처럼 꼭 필요한 핵심적인 기능에 선택과 집중을 하되, 이 핵심기능을 중심으로 조직과 일하는 방식을 전체적으로 개선 및 개혁하는 것이 필요하다. 이러한 혁신은 조직 내의 관련자들 간의 정보를 공유하고, 유사 서비스 제공기관의 방식을 벤치마킹 하는 것을 요구할 수도 있다.
이상에서 살펴본 바와 같이, K기관의 평가서비스에 대해 서비스 제공자와 수용자가 어떻게 다르게 인식하고 있는지에 대한 현상을 우리는 파악할 수 있다. 서비스 제공자의 입장에 있는 조직 및 기업에서는 이러한 상호지향적 서비스품질 활동의 문제점을 간파하고 이를 개선하기 위한 현실적 조치를 강구할 필요가 있다. 본 사례에서 살펴본 바와 같이 상호지향성 모형은 서비스품질의 영역에서 품질개선의 기회를 탐구하는데 큰 도움이 될 것으로 기대된다.
6. 결 론
본 연구는 그동안 서비스품질과 관련된 품질경영 분야의 많은 연구들에서 활용된 방법론들과는 달리, 커뮤니케이션 분야에서 주로 적용되어오던 상호지향성 모형을 서비스품질 영역에 접목시킴에 따라 그 활용의 가능성을 고찰한 사례분석 연구이다. 서비스품질의 문제점 파악과 개선방향 설정을 위해 서비스 제공자와 수용자 사이의 쌍방향적이고 상호작용적인 커뮤니케이션에 초점을 두고 상호 간의 이해를 돕게 됨에 따라 향후 조직의 서비스품질 발전에 크게 이바지 할 수 있을 것으로 보인다. 즉, 본 연구에서 제시한 ‘서비스품질 상호지향성 모형’은 양 집단(조직) 간 이해의 정도를 보다 명확히 파악하는 중요한 분석 틀이 되어 두 집단의 상호이해가 높아지고 커뮤니케이션 효과도 극대화 되게 됨에 따라 두 집단 간의 상호이해와 오해의 정도를 파악할 수 있다.
본 연구에서 사례로 제시된 국가연구개발사업계획 평가서비스에서 평가서비스의 제공자(평가자)와 수용자(피평가자)들은 각각 서로 다른 입장, 역할, 목적 등을 가지고 있지만 평가서비스를 통해 합리적인 의사결정을 달성하고자 하는 공통의 목표를 가지고 있다고 볼 수 있으므로 이러한 상황에서 평가서비스 제공자에게 요구되는 다양한 능력(예를 들어, 공정성, 대응성, 안정성, 인지된 가치, 가독성)들에 대한 평가서비스 수용자의 인식을 상호간에 비교하는 것은 매우 중요하다. 이러한 활동을 통해 평가서비스 제공자가 어떤 측면을 보다 강화해야 할지에 대한 방향성을 모색할 수 있게 될 것이다. 즉, 서비스품질 상호지향성모델을 통해 서비스 제공자는 어떤 점에서 서비스 수용자와 다르게 생각하고 어떤 점에서 공통적인 인식을 보유하고 있는지 확인할 수 있게 되어 상호간의 이해와 오해의 영역을 구분하게 되고 이에 따른 변화와 개선의 안건들을 찾아낼 수 있을 것이다.
그러나 보다 풍부한 사례를 제시하여 서비스품질 상호지향성 모형이 품질경영 분야에서 범용적으로 사용될 수 있는 도구임을 보이지 못함은 본 연구의 한계점으로 지적된다. 뿐만 아니라 객관적 일치도, 주관적 일치도, 그리고 정확도의 세 가지 측면에서 파악된 결과를 바탕으로 보다 체계적으로 현상을 정의하고 정의된 현상의 속성을 파악하는 과학적 방법론의 제시가 필요하다. 즉, 각 측면에서의 유의 여부에 따라 종합적인 해석을 제시할 수 있는 체계적인 도구가 필요하다. 이러한 연구의 한계점은 향후의 연구문제로 남겨둔다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Print 
