| Home | E-Submission | Sitemap | Editorial Office |  
top_img
Journal of Korean Society for Quality Management > Volume 46(4); 2018 > Article
핵심성과지표 개발 방법 비교연구

Abstract

Purpose

There are several KPI(key performance indicators) models: BSC(balanced scorecard), IPOO(Input-process-output-outcomes) indicators, QCDP(quality-cost-delivery-productivity) indicators. This paper analyze these models and gives some suggestions to help the effective usage of KPI.

Methods

This paper reviews and summarize the criteria to evaluate the PI(performance indicators) through literature review. Evaluation and analysis on the PI factors of the KPI developing models is performed by the criteria.

Results

Criteria to evaluate the PI, which can be used to evaluate the goodness of PI is suggested. This paper also proposes some suggestions for the KPI models and their factors for the effective development of PI in the organization.

Conclusion

This research will help the managers to develop and select useful PI and KPI for their business and processes.

1. 서 론

오늘날 많은 경영도구나 기법들이 유행처럼 어느 날 나타나서 관심을 끌다가 얼마 후에 사라지는 경우가 많다. 몇몇 성공적인 회사들은 그것들을 받아들여 그 핵심을 잘 파악하고 기존 시스템과 잘 조화시킴으로서 경영시스템을 발전시키는 데 성공하지만, 또 다른 회사들은 그러하지 못하고 몇 년 도입하다가 효과가 별로 없다고 생각하고 폐기하기도 한다.
성과지표(PI) 개발의 경우에도 상황은 유사해 보인다. 전통적으로는 재무지표 중심의 성과지표들이 주로 활용되었다. 그러다가 많은 기업들은 전략과 잘 정렬될 수 있고 지표들의 구성이 균형잡힌 성과측정시스템으로 여겨지는 BSC를 도입하였다[1]. 많은 공공기관이나 행정기관에서는 행정학에서 주로 언급하는 IPOO 모델을 성과지표 개발도구로 사용하고 있다(Park, 2004). 전통적으로 TQM에서는 성과지표 개발 모델로서 QCD를 많이 사용하여 왔다. 또는 여기에 생산성(productivity)을 추가하여 QCDP라고 하기도 하고, 종업원 사기(morale)와 안전(safety)을 추가하여 QCDMS라고 하기도 한다(Chung, 2011). 문제는 조직들이 이러한 모델들을 종합적으로 이해하고 활용하기 보다는 관행적으로 접하게 된 하나를 사용하는 경우가 많다는 것이다.
성과지표는 단순히 성과의 측정에 그치는 것이 아니라 사람들의 행동 방향을 결정하는 보상 시스템의 설계에도 활용되기 때문에 좋은 성과지표를 선택하는 것은 매우 중요하다. 양날의 칼과 같이 구성원들을 올바른 방향으로 행동하도록 동기부여시키는 유력한 도구이자, 목표치 달성 노력이 조직에는 해가되는 잘 못된 행동을 유발하는 독이 될 수도 있기 때문이다.
좋은 성과지표를 선택하려면 좋은 성과지표의 특성에 대한 이해가 우선되어야 한다. 또 성과지표 개발의 주최가 조직인지 피평가자인지에 따라 선호되는 평가지표가 달라지기도 한다. 조직은 조직의 목표나 전략 달성에 정렬된 지표를 선호하겠지만, 피평가자는 자신의 목표달성에 유리한 지표를 선호하게 된다. 그러나 서로가 좋은 평가지표가 가져야 할 특성에 대한 이해를 공유하고 있다면 어느 정도 해결할 수 있을 것이다.
본 논문은 기존 문헌들에 대한 이론적 고찰을 통하여 성과지표가 갖추어야 할 바람직한 기준들을 도출한다. 다음으로 저자들이 제시하는 기준들이 매우 다양해서 활용성이 떨어지기 때문에 이것들을 유사성에 따라서 체계적으로 분류하여 소수의 범주로 묶어 나간다. 이 결과물은 조직들이 성과지표를 개발하고 선별하는데 유용한 체크리스트로서 활용될 수 있을 것이다. 예를 들어서 많은 조직들이 성과지표 선정기준으로서 영국에서 프로젝트 평가 기준으로 제시되어 잘 알려진 SMART(specific, measurable, achievable, relevant, time-bound) 기준과 같은 것을 사용한다(Jeon 2004, 140). 그러나 그들은 적합성(relevance)의 구체적 의미를 모르고 사용하는 경우가 많은데, 적합성의 구체적 기준들에 대한 이해는 도구의 정확한 사용에 매우 중요하다(Chung, 2011).
본 논문은 이러한 성과지표 선정 기준의 관점에서 BSC, IPOO 및 QCDP 모델 같은 몇 가지 성과지표 개발 모델들의 성과지표 제안들을 비교 평가한다. 이것들은 서로가 보완적인 도구들이며 업무 수준 및 유형에 따라 각기 다른 적합도를 가진다. 이러한 분석 결과는 조직들의 효과적인 성과지표 도구 사용을 도울 것이다.

2. 성과지표 기준에 대한 문헌적 고찰

본 절에서는 여러 저자들에 의해서 제시된 성과지표가 가져야할 할 바람직한 기준들을 고찰한다. Ria(1974)는 지표 속성으로서 적합성(relevant) 과 측정성(measurable)을 성과지표에 대한 목표치로서는 도전성(challenging)과 달성가능성(attainable)을 제시하였다. Harty(1980)는 적합성(relevance), 중요성(importance), 이해용이성(understand -ability), 사업성과에의 영향(influence to business performance), 데이터 획득성(data availability), 유일성(uniqueness), 조작배제성(exclusion of manipulability), 완전성(comprehensiveness)의 8가지 요소를 제시하였다. 영국 재무부(HM Treasury)는 다음과 같은 9가지 기준들을 제시하였다. 관련된 전략 또는 상위 목표와의 연계성( linked to strategy or upper objective relevance), 결과지향성(outcome oriented), 판별성(discriminable), 편리성(convenience), 검증성(verifiability), 역행 행동의 회피성(avoidance of perverse behavior), 적시성(timeliness), 비교가능성(comparability), 영향 발견 가능성(possibility to find influence)이다(Park, 2004). 그 외에 Jackson(1988), 미국의 회계관리기관인 GAO(1997), Niven(2002), Poister(2003) 등의 주장은 Table 2에 보여진다.
국내 저자들의 문헌을 고찰하면 다음과 같다. Park et al(2001)은 타당성과 정확성, 이해도, 통제성, 포괄성, 독특성, 잠재적 역행효과의 배제, 자료수집의 적시성, 자료수집비용의 최소화를 제시하였다. 조세연구원의 성과관리지침연구안(PMAT)은 프로그램 관리 및 평가 도구 지침으로 연계성, 효율성, 안정성, 계량화 등을 제시하며, 계량화된 지표가 어려울 경우 비계량지표도 가능한 것으로 제안한다(Chung, 2011). 한국과학기술평가원(KISTEP)은 성과지표가 갖추어야 할 요소로서 양보다 질, 명확성, 비중복성, 포괄성, 타당성, 관련성, 비교가능성, 적시성, 신뢰성, 자료획득가능성, 검증 가능성을 제시하였다(Jeon, 2014). 또 한국의 교육부(MOE)는 정책 대표성, 적절성, 인과성, 구체성, 측정가능성, 적시성, 비교 가능성의 7가지 기준을 성과지표 개발 원칙으로 제시하였다(Jeon, 2014). 이 외에도 Suh(2005), Lee(2007), Riew(2012) 등의 주장은 Table 2에 보여진다.
여러 저자들이 주장하는 성과지표 기준들은 다른 용어를 사용하더라도 유사한 경우가 많다. 저자들별로 제시한 53개 기준요소들(components)을 유사한 것들을 묶어서 21개 기준(categories)으로 분류하였으며 대표적이라고 판단되는 이름을 부여해서 정리한 결과는 다음 Table 1과 같다. 또한 Table 1에서는 21개 기준에 대해서 그 기준요소들을 고려하여 그 내용들을 설명하였다. 표의 내용들은 성과지표의 개발과 평가 기준으로 사용될 수 있을 것으로 기대된다.
앞에서 고찰한 15개 문헌의 저자들이 어떠한 기준들을 제시하였는지를 21개 기준에 맞추어 정리하면 Table 2에 보이는 것과 같다. 표의 맨 오른쪽 열에는 어떠한 기준들이 몇 개 문헌에서 제시되었는지가 표시되어 있다. 가장 많이 제시된 기준은 적합성(relevance)으로서 11회 이다. 실제로 유사성이 높은 연계성(alignment)까지 포함한다면 15개 문헌 전체가 제시하였다고 볼 수 있다. 다음으로는 5회 이상 제시된 기준들은 중요성(importance), 인과성(causallity), 포괄성(comprehensive), 구체성(specificity), 비교가능성(comparability), 명확성(clarity), 측정성(measurability), 신뢰성(reliability)이다. 다음으로는 역행행동 회피(avoidance of perversion) , 일관성(consistency), 비용민감성(cost sensitivity), 균형성(balanced composition) 등이 4번 제시되었다.
21개 기준도 실무에서 적용하기에는 많은 편이라고 볼 수 있다. 따라서 다시 21개 기준을 그 유사성에 따라서 묶어나간 결과는 다음 table 3에 보이는 것과 같다. 적합성(relevance), 중요성(importance), 인과성(causality)은 모두 크게 보면 지표 자체가 얼마나 적합하냐의 정도를 의미하므로 묶었다. 포괄성(comprehensive)과 구체성(specificity)은 지표가 관련 활동이나 직무의 범위와 일치하느냐와 관계되기 때문에 묶었다. 명확성(clarity), 이해용이성(understandability), 간결성(simplicity)은 지표 사용의 용이성과 관계되므로 묶었다. 측정성(measurability), 자료접근성(accessability), 신뢰성(reliability), 일관성(consistency)은 모두 측정의 질과 관련되므로 묶일 수 있다.
결과적으로 21개 기준이 13개 기준으로 압축되었다. 그러나 13개도 실무적 관점에서는 여전히 많은 편이라고 볼 수 있을 것이다. 다시 2차 그룹핑을 통하여 추가적인 압축을 하기로 한다. 연계성, 적합성, 업무대응성, 비교성, 용이성, 왜곡요인회피는 지표 자체의 속성의 양부를 의미하므로 크게 보아 지표의 타당성 또는 적합성이라고 볼 수 있을 것이다. 나머지 측정성, 적시성, 비용성은 지표의 측정성에 관련된 속성이므로 측정성이라고 묶을 수 있을 것이다. 다음으로 지표수와 구성 적절성은 개별 지표의 양부가 아니라 운영하는 지표들의 전체구성에 관한 문제이므로 지표 풀에 대한 것이므로 다시 묶일 수 있다. 마지막으로 도전성과 달성가능성은 지표 자체가 아니라 특정 성과지표에 대해서 설정된 목표치(target) 수준의 적절성에 관한 사항이므로 같은 속성으로 묶을 수 있다.
2차 그룹화의 결과로서 개별 지표 자체에 대해서는 적합성과 측정성의 두 가지로 구분되었다. 이것은 앞서 Ria(1974)가 그의 목표관리 저서에서 주장했던 것과 같은 것이다. 나머지는 지표 자체에 대한 사항이 아니라 지표 풀 운영 개수에 대한 사항과 목표치 설정에 관한 사항이다.

3. 성과지표 모델(BSC, IPOO, QCDP)에 관한 토론

3.1 BSC

균형성과지표라 불리는 BSC는 Kaplan and Norton(1992)에 의하여 주주의 이익에 중심을 둔 재무성과 에 기반한 전통적인 성과지표의 대안으로 제시되었다. 재무중심의 성과지표 관리는 과정보다는 결과, 장기보다는 단기, 여러 이해관계자 중 주주에만 치우친다는 결점을 지녔다. 이에 대한 대안으로 그들은 figure 1.에서 보듯이 주주의 관점을 대변하는 재무적 성과지표 외에도 고객 관점, 내부사업 프로세스 관점, 구성원의 학습 및 성장 관점을 포함시킨 성과지표들을 개발하여 성과지표들을 균형있게 관리할 것을 제안하였다.
오늘날 한국의 많은 대기업, 적지 않은 중소기업, 정부를 포함한 공공기관들에서 BSC를 도입하고 있다. 컨설팅을 받아서 도입하는 경우가 많은데, 그 경우 기존의 지표체계를 대체하는 패키지로 도입하는 경우가 많다. BSC는 전략과 정렬될 때 매우 유용한 도구이다. 전략 맵이란 도구를 사용하여 전략과 연계된 전략적 KPI를 식별하고 개발하는 데 효과적이다. 그러나 그것은 조직을 운영하는데 필요한 모든 KPI나 PI를 도출하는 방법을 알려주지 않으며, 때로는 전략적 관점만을 중시함으로써 조직 전반에 걸친 운영 효율성의 기초가 되는 다른 성과지표들을 소홀히 하도록 만드는 경향이 있다(Chung, 2011).

3.2 QCDP

전통적으로 TQM에서 많이 이용되었던 QCD 또는 QCDP 접근법은 모든 직무에 대하여 해당 직무의 성과지표로서 QCDP를 도출할 것을 제안하는 것으로서 직무별 성과지표를 도출하는데 유용하고 포괄적인 도구이다. 그것은 Figure 2에서 보듯이 직무를 SIPOC("supplier - input - process - output – customer") 시스템으로 보고 접근하는 방식이다(Chung, 2012). 그것은 Figure 2.에 나타낸 것과 같이 큰 직무 단위인 프로세스에서 하위 단위인 과업이나 활동 단위에 이르기까지 모든 프로세스 계층에 적용될 수 있다(Chung 2011).
산출물에 대한 직관적인 성과지표는 질(quality)과 양(quantity)이다. 양지표는 공급이 수요보다 부족할 때는 매우 좋은 지표가 될 수 있으나 그렇지 않은 경우는 성과지표 기준 중의 하나인 조직에 해가 되는 역행행동을 유발하기 쉽다. 양 지표는 탁월한 측정성으로 인하여 실무적으로는 매우 선호되는 지표이다. 그러나 양 지표에 대하여 목표치를 설정하는 경우 공급보다 수요가 적은 상황에서도 공급측면에서 설정된 목표치 달성을 위하여 생산을 계속하여 결과적으로 과잉재고가 쌓일 수 있기 때문이다. 따라서 양은 수요 개념을 고려한 납기(delivery)에 의하여 대체된다(Chung, 2011).
투입은 투입요소들 각각의 성과지표도 관리의 대상이 될 수 있지만 종합적으로는 비용(cost)으로 환산되어 관리될 수 있다. 투입요소들인 사람(man), 자재(material), 설비(machine)는 각각 제조원가의 3요소인 노무비, 재료비, 경비가 된다. 각각의 투입물별로 성과지표가 도출되어 관리될 수 있는데, 사람에 대한 성과지표로서는 앞의 QCDMS에서 언급했던 M(사기, morale)과 S(안전, safety), BSC에서 다루었던 학습과 성장(learning & growth) 등이 이에 해당한다. 공급자(supplier) 관리는 자재와 관련되고 고객(customer)은 질과 관련된다. 왜냐하면 질의 정의는 “고객 기대의 충족 정도“로 정의될 수 있기 때문이다.(Chung and Kim, 1996). 생산성은 투입대비 산출로서 투입과 산출에 관한 개별지표들인 QCD 간의 상충관계를 해결하기 투입과 산출을 동시에 나타내는 종합지표이다(Chung 2012).
QCDP적 지표개발 모델에서 QCDP 지표들 외에도 양, 시간, 속도, 유연성 등은 D의 구성요소로 볼 수 있다(Chung 2011). 또한 투입요소 각각에 대한 관리지표들도 개발될 수 있다. 예를 들어서 안전, 사기 등은 투입요소인 사람에 관련된 지표에 해당한다. 또한 다수의 재무지표들도 이 방법에 의하여 도출될 수 있다(Chung, 2012). 따라서 QCDP적 접근은 체계적으로 활용하면 그 자체로서 포괄적이고 효과적인 성과지표 개발 도구가 될 수 있다. BSC는 전략맵을 통하여 어느 지표가 더 중요한지를 말해주지만 QCDP 접근법은 지표들간의 상대적 중요도에 대한 판단을 개발자나 관리자에 맡긴다.
BSC는 조직 차원에서 전략 맵을 이용하여 조직 차원 KPI를 도출하고 이를 하부 부서로 전개한다. QCDP적 접근에서는 모든 프로세스 계층별로 KPI나 PI를 도출하기 때문에 이것들을 이용하여 KPI를 프로세스 계층별로 또는 관리자 계층별로 전개한 KPI 계층도(KPI tree)를 작성할 수 있다(Chung, 2011). KPI 계층도는 조직 전반의 KPI 체계를 일목요연하게 보여주는 효과적인 지표관리 도구이다.

3.3 IPOO

IPOO 모델은 행정 관련 조직에서 널리 사용된다. IPOO 지표들은 Figure 3 에서 보듯이 투입(input), 프로세스나 활동(process or activity), 산출(output), 결과(outcome)의 4종류의 성과지표를 의미한다(Park 2004). 이 모델은 업무를 SIPOC 시스템으로 보고 그에 근거하여 도출한 QCDP 모델과 기본적 접근에서 유사하다. 단, QCDP 지표는 대부분의 기업 활동에서 보듯이 반복적인 업무에 적합하고, IPOO 지표는 많은 정부 지원 프로그램에서 보듯이 일회성 사업인 프로젝트에 보다 적합한 것으로 보인다.
IPOO 모델에서 투입은 예산이나 인력을 의미하며, 투입지표(I)는 효율성이나 생산성을 분석하기 위하여 사용된다. 이것은 QCDP 모델에서 보면 모든 투입물을 비용으로 나타내는 비용(C)에 해당한다. 프로세스나 활동지표(P)는 일의 진척도를 측정하기 위하여 사용된다. 이것은 산출물의 납기나 일정에 관한 지표인 D에 해당한다. 산출지표(Output)는 프로젝트의 산출물에 관한 지표이다. 정부사업의 예를 든다면 포장된 도로 면적, 건설된 철도 길이, 직업훈련프로그램에의 참가자 수 등이 될 수 있을 것이며, 이것은 산출량에 해당한다. 기업의 경우에는 수요를 초과하는 산출량은 역효과가 나기 때문에 산출량에 수요의 개념을 합한 납기(D)를 더 선호한다. 따라서 산출지표는 납기의 하위개념이라고 볼 수 있다(Chung, 2011).
결과지표(outcome)는 프로젝트의 궁극적인 목적이 얼마나 달성되었는지의 여부를 측정하는 지표이다. 여기에는 목적에 따라서 경제적, 사회적, 환경적 변화 등이 포함된다. 예를 들어서 포장된 도로가 얼마나 많은 사람들이 이용하여 경제적 이득을 가져왔는가가 될 수 있을 것이다. 예를 들어서 이용률이 떨어지는 도로 건설 프로젝트는 설사 그에 관련된 I,P,O(output) 지표를 달성하였다고 하더라도 결과지표(outcome)는 달성하지 못하게 되는 것이다. 기업의 경우에는 크고 작은 일들의 목적이 거의 고객(외부고객 또는 내부고객)만족이라고 볼 수 있으며, ISO에서는 품질(Q)은 일의 산출물 또는 실체가 제공하는 고객요구의 충족도로 정의한다(ISO 1994). 따라서 사업목적 충족도인 결과지표(outcome)는 고객 요구 충족도인 Q와 유사한 지표라고 볼 수 있을 것이다.
원래 품질은 그것의 영어 형용사인 Qualitative 가 정성적인 즉, 정량화가 어려운 이라는 뜻을 갖고 있듯이 C, D에 비하여 측정성이 떨어진다. 그러나 기업의 경우에는 고객의 요구사항이 상대적으로 명확한 경우가 많고, 고객만족도와 같이 주관적인 경우도 고객을 대상으로 한 서베이를 통하여 계량화도 가능하다. 반면에 정부 프로젝트의 경우에는 고객도 불명확하고, 그들의 요구도 구체적이지 못한 경우가 많다. 따라서 고객 요구 충족도를 나타내는 Q 보다는 프로젝트의 목적 달성도를 의미하는 결과지표로 관리하는 것이 더 의미가 있을 것이다. 일반적으로 프로젝트의 목적인 경제적, 사회적, 환경적 변화는 그 효과가 긴 시간에 걸쳐서 나타나는 경우가 많기 때문에, 측정이 어렵고 시간이 오래 걸리므로 결과지표의 도출과 측정은 많은 정부 프로젝트 성과관리에서 매우 중요한 도전과제가 되고 있다.

3.4 성과지표 모델에 관한 토론

여기서는 2장에서 논의한 바람직한 성과지표 기준들의 관점에서 지금까지 살펴 본 3가지 모델과 그 지표들에 대해서 토론하고자 한다. 각 지표의 속성들(Chung and Kim 1996, Chung 2011, Chung 2012)을 기반으로 한 지표들에 대한 평가 결과는 Table 4에 보이는 것과 같다, Table 4에서 보듯이 BSC는 성과지표들 구성의 균형성 관점에서 출발하였고, 다른 두 모델들은 개별지표들을 다루고 있다.
BCS의 4가지 지표들은 측정이 상대적으로 어려운 고객관련 지표를 제외하고는 대체적으로 많은 기준들을 만족하므로 좋은 속성들을 지니고 있다고 평가 할 수 있을 것이다. 성과지표의 관리 대상은 업무 수준에 따라서 기업 수준, 프로세스 수준, 하위 프로세스 수준, 과업, 활동 수준 등으로 구분할 수 있다( Chung, 2011). BSC는 기업 수준에서는 바람직한 지표 구성이나 프로세스 단위 이하로 가면 4개 지표의 하나인 프로세스 지표 중심이 되어 버리고 고객지표는 직접 외부고객을 상대하지 않기 때문에, 재무지표는 지표가 측정 안되기 때문에 적합성이 떨어지는 약점을 지닌다.
IPOO 모델의 결과지표는 적합성 측면에서 좋은 성질을 가지고 있으나 측정성에서 어려움을 맞고 있다. 특히, 많은 사업의 효과는 시간을 두고 서서히 나타나는 경우가 많은데 이것을 파악하기 위해서는 프로젝트 종료 후 상당기간의 사후 측정이 필요하게 된다. 나머지 3개 지표는 적합성에 문제가 있으며, 결과적으로 왜곡된 행동을 유발할 수 있는 여지를 가지고 있으므로 제한적 사용이 바람직하다. 특히, 정부 기관의 1회성 사업에 많이 이용되는데 적합한 결과지표의 도출이 성과관리 성패의 핵심이다. 정부 주도 사업의 많은 비효율은 결과지표의 도출 및 사후관리가 안되는데서 온다고 하여도 과언이 아닐 것이다.
QCDP 지표의 경우에는 Q가 적합성이 좋으나 측정성이 떨어지는 약점을 지니고 있으며, 역으로 CD는 측정성이 좋고 쉬우나 적합성이 떨어질 수 있다는 약점이 있다. QCDP 지표를 활용하는 경우에는 측정성이 떨어지나 적합성이 높은 Q지표들을 어떻게 개발해서 측정하느냐가 성공적인 성과관리의 핵심이다. 적지 않은 조직에서 성과지표 구성이 측정성이 좋으나 적합성이 떨어지는 양 지표가 많은 현상이 발견되며, 이것은 성과지표 관리가 실패하는 주요한 원인이 된다. 한편 QCDP 지표는 모든 업무 수준에 적용 가능하다는 장점이 있다.
지금까지의 논의를 토대로 조직의 형태가 공공부문이냐 사기업이냐, 업무의 형태가 1회성 프로젝트냐 지속성 업무냐에 따라 성과지표 모델의 적합성을 제시하면 다음 Table 5와 같다.
공공부문의 1회성 프로젝트인 경우는 사업의 목적 달성도인 결과지표의 도출이 핵심이므로 IPOO 모델의 적용이 적합할 것이다. 그러나 공공부문이라고 하더라도 공기업과 같이 반복적인 사업을 수행하는 경우에는 IPOO외에도 BSC나 QCDP를 활용하는 것이 바람직 할 것이다. 사기업의 경우에는 프로젝트라고 하더라도 그 목적이 보다 구체적이고 경제적 성과 창출인 경우가 많으므로 결과지표의 도출까지 필요하지 않을 수 있으므로 보다 구체적인 지표들로 구성된 BSC나 QCDP가 보다 적합한 모델이라고 보여진다. 반복되는 업무의 경우에는 더욱 그러할 것이다. BSC와 QCDP의 경우는 서로 보완적으로 병행해서 사용할 수 있다. 기업단위 수준에서는 전략과 조율된 BSC를 가지고 균형있게 성과지표들을 구성하고, 프로세스 이하 단위로 내려오면 QCDP를 활용하여 여러 업무 수준별로 필요한 성과지표들을 도출하는 것이 BSC와 QCDP를 병행하여 효과적으로 사용하는 것이다(Chung, 2011).
한편 업무수준의 목적이 특정한 수준의 유지냐 개선이냐에 따라서 어느 성과지표가 더 중요한가는 달라질 수 있다. 유지가 목적인 경우의 관리는 SDCA(Standard Do Check Act) 사이클로 대변되는 일상관리라고 하고 개선이 목적인 경우는 PDCA 사이클로 대변되는 개선관리라고 구분한다(Imai, 1989). 보통 유지가 목적인 경우 그 업무에 대한 성과지표들을 KPI로 삼기보다는 단순히 모니터링 하다가 문제가 생길 때만 조치를 하는 통제 수준의 PI로 관리되는 경우가 많다. 일상유지가 목적인 경우는 QCDP중 Q는 업무의 목적에 해당하므로 가장 중시되는 성과지표라고 할 수 있을 것이다(Chung and Kim, 1996). 품질 안정을 목적으로 하는 품질보증 시스템의 운영은 이러한 경우에 해당한다고 볼 수 있겠다.
반면에 업무 개선을 통하여 성과지표치의 향상을 목표로 하는 경우는 일반적으로 기업 경쟁력 향상의 3대 목표가 품질향상(Better), 원가절감(Cheaper), 시간단축(Faster)로 상징되듯이 QCDP지표 모두 바람직한 목표의 대상이 될 수 있을 것이다. 이때 생산성은 원가절감을 위한 유력한 수단이 된다. 따라서 QCDP 지표는 업무별로 도출하여 지표 풀에 넣어서 PI 수준에서 균형있게 관리해나가다가 해당 업무를 개선하려고 할 경우에는 QCDP중 어느 지표치 향상을 목표로 하는지를 결정하고 해당 지표를 KPI로 설정하여 운영하는 것이 바람직 할 것이다.
지금까지 3개 성과지표 모델에 대하여 논의된 것을 바탕으로 전통적으로 많이 사용되어왔던 재무지표와 비교하여 모델들의 특징을 업무수준별 적합성, 업무유형별 적합성, 지표의 구체성, 지표개발 방법의 용이성 여부 등을 나타내면 table 6과 같다.

4. 결 론

성과지표는 사업이나 프로세스의 결과를 평가하기 위하여 사용된다. 전통적으로는 재무지표가 주로 사용되어 왔으며 여기에 성과지표 구성의 균형성을 강조하는 BSC(balanced scorecard), 행정업무에서 많이 사용되는 IPOO(input, process, output, outcome), 전통적적으로 기업에서 많이 사용되던 QCDP(quality, cost, delivery, productivity)의 성과지표 모델들이 있다. 본 논문은 문헌적 고찰을 통하여 바람직한 성과지표들의 기준들을 살펴보고, 이러한 기준들에 입각하여 각 모델 및 모델들의 세부 성과지표를 분석한다. 이러한 분석을 통하여 본 논문은 공공조직인지 사기업인지의 조직 유형, 거시적인지 미시적인지의 직무 수준, 유지업무인지 개선업무인지 신규업무인지의 직무 유형에 따른 이러한 모델들의 효과적인 적용방법에 대해서 제안한다.

REFERENCES

Chung, Kyu Suk 2011. “A Model for the Development of Performance Indicators by I-O System Approach and Integration with BSC”. Journal of the Korean Production and Operation Management 2(4):399-415.

Chung, Kyu Suk 2012. “A Comprehensive performance Indicators by SIPOC Model”. Journal of the Korean Society of Quality Management 40(3):394-405.
crossref pdf
Chung, Kyu Suk, and Kim, Hyeong Wook 1996. “The Development of Process Quality Indicators”. Korean Society for Quality Management, Autumn Symposium Proceeding. 127-136.

Davis, Tim RV 1996. “Developing an employee Balanced Scorecard: Linking Frontline Performance to Corporate Objectives”. Management Decision 34(4):14-18.
crossref
Dilla, WN, and Steinbart, PJ 2005. “Relative weighting of common and unique balanced scorecard measures by knowledgeable decision makers”. Behavioral research in accounting 17: 43-53.
crossref
GAO (General Accounting Office) 1997. Managing for Results: Analytic Challenge in Measuring Performance. GAO. Washington, DC.

Geon, Taek-seung 2004. Guidelines for Project Evaluation and Research on the Introduction of PART, the Research on Performance Management and Project Evaluation. Korea Institute of Public Finance.

Harty, H 1980. “Performance Measurement Principles and Techniques: An Overview for Local Government”. Public Productivity Review December.

Imai, Massaki 1988. Kaizen. Kaizen Institute Ltd.

Jackson, P 1988. “The Management of Performance in the Public Sector”. Public Money & Management Winter. 11-16.
crossref
Jeon, Jong-Soon 2014. The Characteristics of Military Executive Agency Performance Evaluation Indicators & Empirical Study on Impact between Indicators. Phd Dissertation. Kangwon National University.

Kang, Young Cheol 2008. “Influencing factors on the Acceptance for Performance Management System”. The Journal of Policy Analysis and Evaluation 18(3):123-152.

Kaplan, Robert S, and Norton, David P 1992. “The Balanced Scorecard: Measures That Drive Performance”. Harvard Business Review 70(1):71-79.

Lee, Yoon-Sik 2006. “Improvement for the Evalution Method for Government Policy”. Society of Analysis and Evaluation for Policy 16(3):1-32.

Lee, Yoon-Sik 2007. “Improvement for the Performance management System”. Society of Analysis and Evaluation for Policy 17(3):1-30.

Niven, PR 2002. Balanced Scorecard Step-by-Step: Maximizing Performance and Maintaining Results. John Wiley & Sons, Inc.

Park, Gi-baek 2004. Performance Based Budgeting and Development of Performance Indicators, the Research on Performance Management and Project Evaluation. Korea Institute of Public Finance.

Park, Jung-Hoon, Park, Jae-Hee, Kang, Jung-Suk, La, Hyun-Joo, Kim, Jung-Rouk, Lee, Nam-Kook, and Han, Min-Jung 2001. Improvement of the Performance Evaluation System for the Accountable Organizations. A Report for Korea Administration Research Institute.

Poister, Theodore H 2003. Measuring Performance in Public and Nonprofit Organizations. Jossey-Bass. San Francisco, CA.

Ria, Anthony P 1974. Managing by objectives. Scott, Foresman and Company.

Riew, Do-Am 2012. An Empirical Study on the Influence of Acceptance of Performance Management System for the Trust for the Organization. Ph.D. Dissertation,. Seoul City University.

Suh, Jung-Rok 2005. The Influence of BSC Implementation Factors and Performance Measurement Indicators on the Performance. Ph.D. Dissertation,. Sokang University.

Figure 1.
BSC framework
jksqm-46-4-863f1.jpg
Figure 2.
SIPOC system and QCDP indicators
jksqm-46-4-863f2.jpg
Figure 3.
IPO system and IPOO indicators
jksqm-46-4-863f3.jpg
Table 1.
Definition for the criteria for performance indicator
21 category 53 components contents for criterion components
alignment linked to strategy
influence to business results
  • linked with the strategy, mission

  • linked with strategic objective or goals

relevance relevance
validity
  • to measure the purpose of business or activity

  • to measure rightly the performance

  • to meet the needs of stakeholders for the evaluation

importance importance
meaningfulness
representative
useful
outcome oriented
quality focus than quantity
providing necessary
information
  • to represent the related task

  • related with the individual’s task

  • to communicate and learn from the results

  • to include indicator for improvement of task

  • outcome indicator than input, process, and output

  • quality than quantity

causality causality
analysis of influence
controllable
actionable
contingency
agility to environment
  • causality between the result and activity evaluated

  • to measure the result from input and activity

  • clear responsibility and authority for creating the results

  • to be able to control and act the activity

  • coordinated for the environment change

  • to reflect the environment for decision making(uncertainty, complexity)

comprehensive comprehensive
  • to reflect most aspect of the decision making related with activity

  • to cover comprehensively the business or activity

specificity specific
unique
  • specific and not abstract

  • do not include the result of other activities

  • unique to reflect the difference among activities

comparability comparable
distinctive
  • to compare with past performance

  • to compare with others; business, departments or individuals

clarity clarity
accuracy
generally definable
  • well defined

  • clarity of terminology and concept

  • clear positive effect for the increase or decrease of the measure

understandability understandability
  • easily understood for the meaning and contents

  • easy to use

  • easily check the achievement of the goal

simplicity simplicity
  • simple and clear and not complex

avoidance of perversion avoidance of perverse
behavior and
mistake the means for the end
  • do not encourage perversive behavior

  • do not mistake the means for the end

  • free from internal manipulation

measurability quantitative
measurable
objective
discriminable
  • quantitative

  • accurately measurable for the object

  • free from subjective bias

  • discriminable for goood or bad performance

  • qualitative application if quantitative indicator is not available

accessability accessability to dataavailability of data
  • easy to access to the needed data

  • the data is available

reliability reliability
verifiable
  • measured value is not variable by observers and times

  • verifiable for the measured value

  • clear back data for the measuring process

consistency consistencystability
  • consistency for the time and measuring units

  • not so sensitive to the environmental change

timeliness timelinessnewness of data
  • clear schedule for the performance achievement

  • to be able to check the progress of activity

  • timely available within the necessary time for the information

cost sensitivity cost minimization
efficiency
convenience
  • low cost for measuring

  • lower cost than benefit from measuring

  • easy to measure

bounded bounded numbers
  • bounded number of key performance indicators

  • restricted to certainly necessary

balanced composition proper composition
balanced
multiple priority
non-ovelapping
  • balancing indicators(ex: 4 aspects of BSC)

  • comprehensively represent the characteristics of organization

  • proper composition between financial and non-financial and common and department/activity specific indicators

  • diversified to identify both for positive and negative effects

  • priority are set among indicators

  • not overlapped with other indicators

challenge challenging
  • target for the performance is challenging

achievability achievable
feasibility
  • realistic target for performance

  • achievable by rational endeavor

Table 2.
Performance indicator criteria by authors
category 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 frequency
alignment * * * * * * * 7
relevance * * * * * * * * * * * 11
importance * * * * * * 6
causality * * * * * 5
comprehensive * * * * * * 6
specificity * * * * * * 6
comparability * * * * * 5
clarity * * * * * * 6
understandability * * * 3
simplicity * 1
avoidance of perversion * * * * 4
measurability * * * * * * * 7
accessability * * * 3
reliability * * * * * * 6
consistency * * * * 4
timeliness * * * 3
cost sensitivity * * * * 4
bounded * 1
balanced composition * * * * 4
challenge * 1
achievability * * * 3

Note:

1. Jackson(1988), 2. Poister(2003), 3. Niven(2002), 4. HM Treasury(Park, 2004), 5. Harty(1980), 6. GAO(1997), 7. Ria(1974), 8. Geon(2004), 9. Park et al(2001) 10. MOE(Jeon, 2014), 11. PMAT(Park, 2004), 12. KISTEP(Jeon, 2014), 13. Kang(2008), 14. Suh(2005), 15. Riew(2012)

Table 3.
Grouping of criteria
52 components 21 category n 13 factors (1st grouping) n 2nd grouping n attribute
linked to strategy
influence to business results
alignment 7 alignment 7 relevance 60 characteristics of individual indicator
relevance
validity
relevance 11 relevance 22
importance
meaningfulness
representative
useful
outcome oriented
quality focus than quantity
providing of necessary information
importance 6
causality
analysis of influence
controllable
actionable
contingency
agility to environment
causality 5
comprehensive comprehensive 6 12
specific
unique
specificity 6 correspondence with activity
comparable
distinctive
comparability 5 comparability 5
clarity
accuracy
generally definable
clarity 6 easiness 10
understandability understandability 3
simplicity simplicity 1
avoidance of perverse behavior and mistake the means for the end avoidance of perversion 4 avoidance of perversion 4
quantitative
measurable
objective
discriminable
measurability 7 measurability 20 measurability 27
accessability to data
availability of data
accessability 3
reliability
verifiable
reliability 6
consistency
stability
consistency 4
timeliness
newness of data
timeliness 3 timeliness 3
cost minimization
efficiency
convenience
cost sensitivity 4 measurement cost 4
bounded number bounded 1 bounded 1 proper no. of indicators 5 characteristics of indicators pool
proper composition
balanced
multiple priority
non-ovelapping
balanced
composition
4 proper
composition
4
challenging challenge 1 challenge 1 proper target 4 characteristics of target
achievable
feasibility
achievability 3 achievability 3
Table 4.
Evaluation for PI methods by criteria
factors category BSC IPOO QCDP
Total F C P LG I P Ot Oc Q C D P
alignment O O O O O O
relevance relevance O O O O O O V V V
importance O O O O O O V V V
causality V O O O V V O O V O O
correspondence comprehensive O O O O O O V O
with activity specificity V V V O O O V O O O O
comparability comparability O O O O O V O O O O
easiness clarity O V V O O O O V V O O O
understandability O V V O O O O V V O O O
simplicity O V V O O O O V V O O O
avoidance of perversion V O O O V V V O O O V O
measurability measurability O V O O O O O V V O O O
accessability O V O O O O O V V O O O
reliability O V O O O O O V O O O O
consistency O V O O O O O V O O O O
timeliness O V O O O O O V O O O O
measurement cost O V O O O O O V V O O O
bounded number
proper composition O

Example: O: good, V: ordinary, ☓: bad (blank): not applicable

Table 5.
Suggestion for PI developing methods by situations
Project On-going process
Public sector IPOO IPOO, BSC, QCDP
Private company BSC, QCDP BSC, QCDP
Table 6.
Characteristics of PI Models
Model Job level Job type PI Specificity Developing method
Macro Micro Routine Improvement New/project
Financial O × O O O × O
BSC O V O O O V V
IPOO O V × × O V V
QCDP O O O O O O O

Example: O: good, V: ordinary, ×: bad

Editorial Office
13F, 145, Gasan digital 1-ro, Geumcheon-gu, Seoul 08506, Korea
TEL: +82-2-2624-0357   FAX: +82-2-2624-0358   E-mail: ksqmeditor@ksqm.org
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © The Korean Society for Quality Management.                 Developed in M2PI
Close layer
prev next