리뷰를 활용한 고객 품질 만족도 지수 개발 : TV 사례연구

Developing the Customer Quality Satisfaction Index Using Online Reviews: Case Study of TV

Article information

J Korean Soc Qual Manag. 2022;50(4):863-876
Publication date (electronic) : 2022 December 27
doi : https://doi.org/10.7469/JKSQM.2022.50.4.863
*Quality Innovation Team, Global CS Center, SAMSUNG ELECTRONICS
신지예*, 김희수*,, 이재호*, 전형우*, 안정식*, 황성훈*
*삼성전자 Global CS센터 품질혁신팀
Corresponding Author(heesoo.kim@samsung.com)
Received 2022 November 4; Revised 2022 November 27; Accepted 2022 December 2.

Trans Abstract

Purpose

The purpose of this study is to propose the product quality satisfaction index based on multiple linear regression using customer reviews.

Methods

The proposed framework is composed of four steps. First, we collect online reviews and divide it into insight phrases. The insight phrases are classified using product attribute dictionary and sentiment analysis is conducted. Second, the importance of attributes is calculated in consideration of both regression coefficient and frequency. Third, the positive rate is calculated concerning sentiment analysis result. Therefore, the quality satisfaction index is measured by the weighted sum of importance and positive rate in the last step.

Results

We conduct a case study using 2-years(2020, 2021) of Samsung TV reviews to confirm the effectiveness of the proposed methodology. As a result, we found that Picture quality is the most crucial attribute in TV evaluation. The importance of Gaming and content has grown up as the positive rate has also increased. Therefore, the overall satisfaction of TV has increased in 2021 compared to 2020.

Conclusion

The result of this study shows that the proposed index reveals the customer's mind efficiently and can be explained by the importance and positive rate of each attribute. By using the proposed index, companies are able to improve and the priority of improvement can be determined.

1. 서 론

기업 간의 경쟁이 점점 치열해짐에 따라 고객만족의 중요성이 더욱 대두되고 있다. 이에 따라 고객만족을 구성하는 요소를 확인하고 이를 측정하려는 연구들이 진행되어왔다. 대표적으로 SERVQUAL(Service quality)은 서비스의 고객만족을 분석하는 프레임워크 중 가장 널리 사용되는데 주로 신뢰성, 응대성, 확신성, 감정배려, 유형설비 등 다섯 가지 특성이 구성하는 서비스품질이 고객만족과 관련이 있다는 이론이다(Parasuraman, Zeithaml & Berry, 1988). 또한 ACSI(America customer satisfaction index) 역시 고객만족을 평가하는 방법론으로 널리 사용되었는데, 해당 연구는 고객 만족을 구성하는 특성으로 고객기대(Customer expectations), 지각된 품질(Perceived quality), 지각된 가치(Perceived value)를 제시하였다(Fornell et al., 1996). 두 연구 모두 품질을 고객만족에 영향을 미치는 요소로 제안했으며 호텔(Denga et al., 2013), 요식업(Andaleeb and Conway, 2006), 은행 서비스(Keskar and Pandey, 2020) 등 다양한 분야에 적용될 수 있음이 알려지면서 고객만족에 품질이 중요한 요소라는 사실이 확인되었다.

품질을 구성하는 특성이 고객만족에 얼마나 영향을 미치는지 분석한 연구 또한 다수 진행되었다(Gupta and Srivastava, 2011; Tsafarakis et al., 2018; Koo et al., 2021). 이들은 각 특성의 중요도를 AHP(Analytic hierarchy process), MUSA(Multicriteria satisfaction analysis), 구조방정식 등으로 분석하였으며 설문조사를 통해 평가 대상의 전체적인 만족도와 이를 구성하는 특성별 점수를 확보하였다. 하지만 설문조사는 사전에 설계된 질문지를 바탕으로 답변을 요청하는 구조로서 답변의 범위가 제한적이며, 고객의 비협조적 태도 등에 의해 잘못된 응답이 나타날 수 있고 정보 수집 과정에서 시간과 비용이 소모되는 특징이 있다(Cho et al., 2021; Liu et al., 2021; Kang and Park, 2014). 이로 인해 짧은 주기로 지속적으로 조사를 진행하는 데에 어려움이 있어 급변하는 고객의 심리를 파악하기에는 한계가 있다.

이후 전자상거래가 활성화되기 시작하면서 고객리뷰가 온라인에 축적되었고, 기업에서도 리뷰를 제품 및 서비스의 품질 만족도를 평가하는데 활용하면서 리뷰의 중요성이 증가했다(Park et al., 2021). 또한 수집의 용이성과 고객이 자발적으로 작성했다는 점으로 인해 리뷰를 통해 고객만족을 측정한 연구도 학계에서 활발히 진행되었다. 그러나 많은 연구들은 다기준의사결정 방법론, SERVQUAL 등의 기존의 이론을 적용하여 리뷰를 분석하거나(Sari et al., 2018; Ahani et al., 2019), 리뷰가 구매 의도에 미치는 영향을 분석하는 것(Thomas et al., 2019)에 치중되어 진행되었다. 이에 반해 리뷰를 활용해 품질 만족도를 측정하는 방법에 대한 연구는 미진했으며 그중 제품 품질의 만족도를 측정하려는 연구는 더욱 부족했다. 하지만 현장에서는 품질의 정의가 기존에는 고장이 나지 않는 제품에서 뛰어난 성능을 내는 제품, 그리고 최근에는 고객에게 만족을 주는 제품으로 확대되고 있다. 뿐만 아니라 최근에는 서비스와 제품이 융합된 상품이 증가하면서 기존의 품질 항목들로는 이를 평가하는데 어려움이 있었고(Park et al., 2021), 이에 따라 새로운 품질 만족도 지수에 대한 필요성이 높아졌다. 하지만 품질의 경우 여전히 불량률 위주로 관리가 진행되는 것이 실정이며 따라서 본 연구에서는 앞선 선행연구들의 한계와 현장의 요구를 충족하는 새로운 품질 관점의 만족도 지수를 개발하고자 한다.

본 연구의 목적은 다음과 같다. 첫째, 회귀분석을 활용해 별점과 리뷰 텍스트에서 특성별 중요도를 산출하고 이를 통해 제품의 어떤 특성이 고객만족에 주요한 영향을 미치고 있는지 파악한다. 둘째, 리뷰 텍스트를 특성별로 분류하고 감성분석함으로써 특성별 긍정률을 산출하며 이를 통해 발전시키거나 보완해야 할 특성을 파악한다. 셋째, 특성별 중요도와 긍정률을 가중합하여 품질 만족도 지수를 산출한다. 해당 지수는 별점과 리뷰 텍스트를 모두 활용하였다는 점에서 고객이 리뷰를 통해 평가한 내용을 충분히 반영한다는 의의를 가진다. 마지막으로 제안한 방법론의 효과성을 확인하기 위해 TV 리뷰를 바탕으로 한 사례 연구를 진행하였다.

본 연구의 이후 구성은 다음과 같다. 2장에서는 전체적인 프레임워크와 제안하는 방법론에 대해 상세히 서술하였으며 3장에서는 이를 TV 리뷰에 적용한 결과에 대해 서술하였다. 마지막으로 4장에서는 결론 및 추가적인 제언을 서술하였다.

2. 연구 방법

본 연구에서는 리뷰를 통해 특성별 중요도와 만족도를 산출, 이를 종합하여 고객의 품질 만족도를 지수화하는 방법론을 제안한다. 해당 지수는 회귀분석에 이론적 기반을 두고 중요도를 산출하였으며, 리뷰 텍스트의 모든 긍정, 부정 언급 수와 별점 사이의 관계를 다중선형 회귀분석을 활용해 모형화하였다. 품질 만족도 지수 산출은 크게 데이터 수집 및 전처리, 중요도 산출, 긍정률 산출, 품질 만족도 지수 산출 등 4단계로 구분되며 각 과정은 아래에 상세히 서술하였다.

2.1 데이터 수집 및 전처리

첫 번째로 데이터 수집 및 전처리 단계는 비정형 데이터인 리뷰를 입수한 후 정형화하는 단계이다. 데이터는 온라인에서 크롤링을 통해 수집되며 중복을 제거해 대상이 되는 리뷰 데이터를 확정한다. 다음으로 리뷰 텍스트를 분류하기 위해 데이터 기반(Data-driven) 방식과 지식 기반(Knowledge-based) 방식을 종합하여 특성분류체계를 구축한다. 데이터 기반 방식은 리뷰 텍스트를 단어 임베딩을 통해 군집화하여 분류하는 것이며 지식 기반 방식은 실무자들의 전문지식을 바탕으로 주요 특성을 선정하는 것이다. 이 두 방식을 종합하여 제품에 관하여 언급된 모든 내용을 범주화한 특성분류체계를 구축하였다. 리뷰 텍스트를 의미를 가진 구절(Insight phrase)로 나누어 모든 문장의 주제와 속성을 분류해 특성분류와 감성분석을 진행한다. 예를 들어 “화질은 좋은데 가격이 너무 비싸요”라는 리뷰가 있다면 문장을 두 구절로 나누고 추출된 구절을 분석의 단위로 설정한다. 두 구절 “화질이 좋다”, “가격이 너무 비싸다”을 품사태깅(Part-of-speech tagging)을 통해 주제와 속성을 분석한다. 다음으로 구절의 주제를 구축된 특성 분류체계와 매칭하여 구절에서 언급된 특성을 찾아내며 예시에서 “화질이 좋다”의 특성은 화질로, “가격이 너무 비싸요”의 특성은 가격으로 분류된다. 딥러닝으로 학습된 모델에 의해 구절의 속성인 “좋다”와 “비싸다”는 각각 긍정과 부정으로 분류된다. 이와 같은 리뷰 텍스트의 처리 과정은 <Figure 1>에 도식화하였다. 추가적으로 중립 구절의 경우 리뷰 작성자의 의견보다는 제품의 특징 등 사실의 기술이 대부분으로 분석의 대상에서는 제외하였다. 최종적으로 데이터는 리뷰 별로 어떠한 특성에 대해 긍정, 부정적으로 언급한 구절의 수가 집계된 형태로 처리된다.

Figure 1.

Example of a review text preprocessing process

2.2 중요도 산출

두 번째 단계인 중요도 산출은 고객이 언급한 특성들의 상대적 중요도를 산출하는 단계이다. 상대적 중요도의 산출은 다중선형 회귀분석에 이론적 배경을 두고 있다. 별점에 품질 관련 특성이 미치는 영향력을 확인하기 위해 별점을 종속변수로, 리뷰에 언급된 특성 중 품질 관련 특성의 긍정, 부정 언급을 독립변수로, 품질 외 특성의 긍정, 부정 언급을 통제변수로 설정하여 회귀분석을 실시했다. 이는 리뷰에 품질 외의 다른 특성들도 언급되고 있어 이를 통제함으로써 품질특성과 별점 간의 관계를 보다 정확하고 구체적으로 해석하기 위함이다(Park et al., 2010). 따라서 k개의 품질특성과 C-k개의 품질 외 특성을 사용해 분석한 회귀모델은 다음과 같다.

(1) StarRatej=β0+i=1k(Coefi(p)Cntij(p)+Coefi(n)Cntij(n))+i=k+1k(Coefi(p)Cntij(p)+Coefi(n)Cntij(n)+j

여기서 StarRatejj번째 리뷰의 별점, β0는 상수항, Coefi(p)i번째 특성의 긍정 언급 회귀계수, Coefi(n)i번째 특성의 부정 언급 회귀계수, Cntij(p)j번째 리뷰의 i번째 특성 긍정 언급 수, Cntij(n)j번째 리뷰의 i번째 특성 부정 언급 수, ϵjj번째 리뷰의 오차항이다. 제품의 구체적인 변수 선택 과정은 3장에서 다룬다.

회귀계수 값을 활용하여 종속변수에 대한 독립변수의 영향력을 확인할 수 있음은 널리 알려져 있다(Lee JY and Lee EJ, 2010). 하지만 현업에서는 언급 시 별점이 크게 변동하는 것뿐만 아니라 언급 빈도 또한 중요하게 여겨진다는 것을 고려할 때 회귀계수만을 중요도로 사용하는 것은 한계가 있다. 본 연구에서는 리뷰를 작성한 고객이 만족을 느끼는데 제품의 특성들이 각각 얼마만큼의 영향을 주는지 확인하여 중요도를 산출하는 것이 목적이다. 따라서 회귀모델에 모든 리뷰를 대입함으로써 이 영향력을 확인할 수 있으며 이는 회귀계수와 평균 언급 수의 곱을 통해 산출할 수 있다. i번째 특성의 긍정 언급의 영향력 EFi(p)와 부정 언급의 영향력EFi(n)를 식(2)와 (3)과 같이 나타낸다면,

(2) EFi(p)=Coefi(p)×1mj=1mCntij(p)
(3) EFi(n)=Coefi(n)×1mj=1mCntij(n)

식(1)에 총 m개의 리뷰를 모두 대입한 후 m으로 나눈 식은 식 (2), (3)을 고려하였을 때 아래 식(4)와 같이 도출된다. 이는 i번째 특성이 별점을 구성하는 데 평균적으로 긍정 언급은 EFi(p)만큼, 부정 언급은 EFi(n)만큼의 영향을 주었음을 의미한다.

(4) 1mj=1mStarRatej=β0+i=1k(EFi(p)+EFi(n))+i=k+1c(EFi(p)+EFi(n))

품질 특성 k개의 중요도를 도출하기 위해 k개의 특성에 한해 긍정 언급 영향력 EFi(p)와 부정 언급 영향력 EFi(n)크기의 i합을 번째 특성의 중요도 Weighti'로 설정하였다. 최종적으로 특성별 중요도 Weighti'의 총합을 1로 정규화한 을 중요도로 설정하였다.

(5) Weighti=|EFi(p)|+|EFi(n)|,i=1,2,,k
(6) Weighti=Weightii=1kWeighti

2.3 긍정률 산출

세 번째 단계는 긍정률 산출로 리뷰의 긍정, 부정 언급 횟수를 통해 특성별 긍정률을 산출하는 단계이다. 리뷰마다 언급하는 구절의 수가 다르지만, 모든 리뷰의 영향력이 동일하게 반영되도록 리뷰 별 긍정률을 산출한 뒤 이를 평균내었다. 식 (7)을 통해 j번째 리뷰의 i번째 특성의 긍정률 PosRateij를 산출한다.

(7) PosRateij=Cntij(p)Cntij(p)+Cntij(n)

PosRateij을 리뷰 기준으로 평균 낸AvgPosRatei를 최종적으로 긍정률로 사용한다.

(8) AvgPosRatei=j=1mPosRateijm

2.4 품질 만족도 지수 산출

마지막 단계는 품질 만족도 지수 산출 단계이다. 앞에서 구한 긍정률 AvgPosRatei를 중요도 Weighti와 가중합하는 방법으로 품질 만족도 지수 Index를 산출한다.

(9) Index=i=1cWeighti×AvgPosRatei

산출한 품질 만족도 지수를 통해 고객 관점의 제품에 대한 종합적인 품질 만족도가 어떠한지 정량적으로 확인할 수 있다. 이 지수는 0%에서 100%까지의 값을 가지며 100%에 가까울수록 품질 만족도가 높음을 의미한다. 품질 만족도 지수를 산출함으로써 특성별 중요도를 통해 제품별로 어떤 특성이 고객만족에 주요한 영향을 미치고 있는지, 특성별 긍정률을 통해 발전시키거나 보완해야 할 특성이 무엇인지, 종합적인 만족도가 연도별로 어떤 추세로 변화하는지 파악할 수 있다. 아래 <Figure 2>는 품질 만족도 지수 산출 프레임워크를 도식화 한 것이다.

Figure 2.

Quality satisfaction index framework

3. 사례 연구

제안된 방법론의 타당성을 확인하기 위해 실제 데이터에 기반한 사례 연구를 수행하였다. 이번 사례 연구는 미국에서 2020년과 2021년의 삼성전자 TV 리뷰를 연도별로 분석하였다. 이는 삼성전자 TV의 경우 1년마다 신제품이 출시되므로 제품의 만족도 또한 1년 단위로 평가하는 것이 적합하기 때문이다. 비교 대상이 되는 2020년 점수를 100으로 환산하여 2021년 점수와의 비교를 용이하게 하고자 하였다.

3.1 TV 사례 연구

3.1.1 데이터 수집 및 전처리

사례 연구를 진행하기 위해 별점, 제목, 내용, 작성 일시가 포함된 리뷰 데이터를 Amazon, Bestbuy, Walmart 등 미국 8개 이커머스 사이트에서 수집하였다. 수집 기간은 2020년과 2021년의 1월부터 10월까지로 한정했는데 이는 미국의 경우 블랙프라이데이, 박싱데이 등 다양한 행사로 인해 11월부터 할인을 큰 폭으로 진행하여 고객들이 저렴하게 TV를 구매하므로 다른 기간보다 만족도가 증가하는 경향이 있기 때문이다. 따라서 제품에 대한 만족도를 보다 정확히 파악하기 위하여 매년 1월부터 10월까지 작성된 리뷰만을 수집하였다. 데이터 전처리는 먼저 단순 복사된 리뷰를 제거하였으며 이후 단어 임베딩을 통해 리뷰 데이터를 군집화해 리뷰에 어떠한 특성이 주로 언급되는지 확인하였다. 이렇게 군집화된 데이터를 활용하여 전문가의 의견을 바탕으로 평가 특성들을 추가로 선정한 후, 어떤 특성을 품질과 관련된 특성으로 볼 것인지 선택하였다. 특성 분류체계를 구축한 결과는 <Table 1>과 같다.

Taxonomy for measuring customer satisfaction index of TV

다음으로 Sprinklr를 통해 총 133,762건의 리뷰를 412,920건의 구절로 분리한 후 구절 단위로 특성 분류와 감성 분석을 진행했다. 전처리가 완료된 결과는 <Table 2>와 같으며 특성별로 주로 언급된 구절을 도식화한 Word cloud는 <Figure 3>와 같다.

Example of the review data after preprocessing

Figure 3.

Word cloud for attributes

3.1.2 중요도 산출

입수된 리뷰 데이터를 대상으로 특성별 긍정, 부정 언급이 별점에 미치는 영향력을 다중선형 회귀분석을 활용하여 산출하였다. 이에 앞서 모형의 적합성, 오차항의 자기상관성 및 다중공선성(Multicollinearity) 여부를 각각 F-확률, Durbin-Watson, VIF(Variance inflation factors)를 통해 검증했으며 그 결과는 <Table 3>과 같다. 순서대로 F-확률은 0.05 이하, Durbin-Watson 값은 2에 가깝고 VIF 값은 모두 10 미만으로 나타나 회귀모형을 사용함에 있어 문제가 없음을 확인하였다. 이후 별점을 종속변수로, 품질 특성을 독립변수로, 품질 외 특성을 통제변수로 하는 회귀분석을 진행하였다. 모든 변수가 유의확률 0.05 하에서 유의함을 확인하였으며 그 결과는 <Table 4>와 같다. 또한 부정 언급의 회귀계수는 음수, 긍정 언급의 회귀계수는 양수로 나타나 다중선형 회귀분석 모델이 언급 의도를 타당하게 구조화하였음을 실험적으로 확인하였다. 회귀계수를 확인해본 결과 품질 외 특성도 별점에 영향을 크게 미치는 것을 볼 수 있었다. 단순한 칭찬, 비난을 의미하는 General 특성의 긍정, 부정 회귀계수가 각각 0.291, -0.829로 그 절댓값이 긍정과 부정 회귀계수 중 가장 크게 나타났다. 또한 배송, 환불과 같은 Customer service 및 가격 프로모션을 의미하는 Marketing 또한 품질 특성보다 회귀계수의 절댓값이 크게 나타났다. 이는 별점이 품질 외 요소에서도 영향을 받아 결정되며, 별점을 품질의 평가지표로 직접적으로 사용하기에는 어렵다는 것을 보여준다. 하지만 리뷰에 작성되어 있는 품질 특성에 대한 언급은 여전히 유의미하므로 앞에서 선정한 9가지 품질 특성만을 대상으로 하여 영향력을 계산하였다.

Regression model statistics by year

Regression result by year

특성의 영향력을 구하기 위해 회귀계수에 평균 언급 수를 곱한 결과는 <Table 5>와 같다. 식 (5)와 같이 특성별 긍정, 부정 영향력의 크기를 더한 뒤 정규화한 중요도를 산출한 결과는 <Table 6>에 나타나 있다.

Influence by TV categories

Weight of TV categories by year (%)

3.1.3 긍정률 산출

식 (7)과 같이 리뷰 별 특성의 긍정률을 산출한 후, 식 (8)과 같이 특성별 긍정률을 산출하였다. 2020년 점수를 100으로 환산하고, 2021년 결과는 2020년과 비교하여 상대적으로 산출한 수치는 <Table 7>과 같다. 제안한 긍정률 산출 방법은 의견 표시가 강한 소수의 리뷰가 전체의 의견처럼 취급되는 문제를 방지한다. 실제로 한 리뷰에 Picture quality 특성만을 17번까지 언급한 리뷰가 존재하는데 만일 이를 리뷰 별 평균을 내지 않고 단순히 산술평균할 경우 Picture quality를 한 번 언급한 리뷰에 비해 긍정률 산출에 17배 더 큰 영향을 미치게 될 것이다. 하지만 제안한 방법으로 평균 긍정률을 산출할 경우 모든 리뷰가 긍정률 산출에 동일한 비율로 반영되며 이에 따라 일부 고객의 의견이 과하게 반영되는 것을 방지한다.

Positive rate by year

3.1.4 품질 만족도 지수 산출

위에서 TV의 특성별 중요도는 <Table 6>과 같이, 긍정률은 <Table 7>과같이 산출되었다. 최종적으로 식 (9)에 따라 특성별 중요도와 긍정률을 가중합하여 최종 품질 만족도를 산출하였다. 그 결과는 <Table 8>과 같다.

TV quality satisfaction index by year

3.2 사례연구 결과

전체적인 2021년의 품질 만족도는 100.6점으로 2020년보다 0.6점 높게 나타나 품질 만족도가 증가한 것으로 나타났다. 품질 만족도 증가는 각 특성별 중요도와 긍정률이 변함에 따라 결정되며 품질 만족도의 증가 원인을 확인하기 위해 중요도가 높은 순으로 그 원인을 분석했다. 먼저 Picture quality는 2020년에는 중요도가 44.1%, 2021년에는 43.3%로 가장 중요한 특성임을 <Table 6>을 통해 알 수 있었다. 실제로 TV는 큰 화면을 통해 다양한 컨텐츠를 시청하기 위한 제품이므로 화질의 중요성이 가장 높은 것은 당연한 결과이다. 또한 두 번째로 중요도가 높은 Build quality의 경우 2020년 21.9%에서 2021년 22.5%로 증가했는데, 이는 점차 TV의 하드웨어 및 소프트웨어 사양이 고도화되면서 가격이 상승함에 따라 높은 가격에 걸맞는 품질 수준을 소비자들이 요구하고 있음을 의미한다. 다음으로 Sound quality의 중요도가 5.7%에서 6.2%로 증가하여 음질이 점차 중요해지고 있는 것을 확인했다. 실제로 TV와 연결하여 사용하는 사운드바의 전세계 시장 규모는 2020년 44억달러에서 2021년 51억달러로 연간 16% 성장하여 TV 시청시 음질에 대한 관심이 증가하고 있음을 확인할 수 있었다(Custom Market Insights, 2022). 또한 Contents와 Gaming의 2021년 중요도는 각각 2.7%, 2.3%로 2020년보다 각각 0.4%, 0.6% 증가하였는데 이는 COVID-19 이후 OTT 지출 비용과 게임콘솔 사용 시간이 증가하였다는 연구 결과와 일치한다(Ortiz et al., 2020; KCCA, 2020).

긍정률의 경우 <Table 7>과 같이 2020년을 100점으로 기준으로 하였을 때 2021년에는 Picture quality, Build quality, Smart feature, Sound quality, Contents, Gaming, Remote control 등 총 7개 특성의 긍정률이 증가하였고, Simplicity와 Connectivity의 긍정률은 감소하였다. 특히 중요도가 가장 큰 Picture quality와 두 번째로 큰 Build quality의 긍정률이 2020년 대비 각각 0.7%, 1.4% 증가하였다. 또한 중요도가 증가한 Contents와 Gaming의 경우 긍정률 또한 각각 2%, 1.3% 증가하여 최종 품질 만족도 증가에 기여하였다.

이와 같이 산출된 중요도와 긍정률은 제품 개선의 우선순위를 결정하는데 활용할 수 있다. 만일 중요도는 증가하나 긍정률이 하락하는 특성이 존재할 경우 해당 특성을 가장 우선적으로 개선해야 한다. 다음으로는 중요도와 긍정률 모두 감소하는 특성과 중요도와 긍정률이 모두 증가하는 특성을 개선해야 한다. 예를 들면 본 사례연구에서는 Simplicity의 중요도와 긍정률이 모두 감소하고 있으며 Build quality, Sound quality, Gaming과 Contents의 중요도와 긍정률은 모두 증가하고 있다. 이들의 우선순위는 현장을 고려하여 결정할 수 있을 것이다. 마지막으로 중요도가 감소하고 긍정률이 증가한 특성을 개선하는 것으로 계획을 세울 수 있으며 본 연구에서는 Picture quality, Smart feature가 이에 해당된다. 하지만 Picture quality는 제품의 품질 만족도를 결정하는데 40% 이상의 비중을 차지하므로 우선순위를 높게 유지하여 지속적으로 관리해야 할 것이다.

4. 결론 및 시사점

4.1 결론

고객만족의 중요성은 지속적으로 증가하고 있으며 품질이 고객만족에 중요한 영향을 미친다는 사실은 널리 알려져왔다. 이에 따라 설문조사를 활용해 품질 특성이 제품 만족도에 미치는 영향을 분석하는 연구는 진행되어 왔지만 리뷰를 활용해 제품의 품질 만족도를 평가하는 방법에 관한 연구는 부족했다. 따라서 본 논문에서는 회귀분석을 활용하여 고객들이 작성한 별점과 리뷰 텍스트를 토대로 품질 만족도를 지수화하는 방법론을 제시하였으며 그 과정은 크게 네 단계로 구성된다. 첫 번째 단계에서는 온라인 리뷰 데이터를 수집하며 전처리하여 구절 단위로 나눈다. 데이터 기반 방식과 지식 기반 방식을 종합하여 특성 분류체계를 구축한 후, 이를 통해 구절을 분류하고 감성분석을 진행한다. 두 번째 단계에서는 특성의 중요도를 회귀분석을 활용하여 산출한다. 세 번째 단계에서는 감성분석 결과를 토대로 긍정률을 산출하며 마지막 단계에서는 중요도와 긍정률을 가중합해 최종적으로 품질 만족도 지수를 산출한다. 제안한 방법론을 사용하여 삼성전자 TV의 리뷰를 분석해 본 결과 2020년보다 2021년의 품질 만족도가 증가한 것을 볼 수 있었다. 또한 TV의 품질 만족도에 가장 큰 영향을 미치는 특성은 화질이며 사운드, 게임과 컨텐츠의 중요도가 증가하는 측면은 기존의 연구 결과와도 일치함을 볼 수 있었다.

4.2 시사점

본 연구의 시사점은 다음과 같다. 첫째, 리뷰의 별점과 리뷰 텍스트를 종합적으로 고려한 정량적인 품질 만족도를 산출함으로써 개선점 발췌 및 우선순위 파악이 가능하다. 기존 선행연구와는 달리 별점과 리뷰 텍스트를 모두 고려하여 산출한 중요도와 긍정률을 통해 고객의 관점과 특성의 만족도 변화를 확인할 수 있다. 다음으로 본 연구에서 제안한 지수는 리뷰를 통해 고객의 품질 만족도를 산출하는 방법으로 설문조사에 비해 시간과 비용의 소모는 적지만 더 많은 고객의 의견을 확인할 수 있다. 이에 따라 점점 더 빠르게 변화하는 고객의 요구를 적은 비용과 시간으로 지속적으로 추적 관리할 수 있다는 장점이 있다. 마지막으로 긍정률을 통해 고객의 만족도를 파악함으로써 불량이 발생하지 않거나 높은 별점이 달린 대다수 리뷰에서도 상세한 개선점을 발굴할 수 있다. 제품에 불량이 발생해 수리가 접수되어야 문제를 확인이 가능하였던 전통적 품질 개선 프로세스와 달리, 본 방법론을 기업에서 활용한다면 고객의 불만족에 기반하여 빠르고 다양한 개선점을 발굴할 수 있을 것이다.

본 연구의 한계점과 추가 연구 제안은 크게 두 가지가 있다. 첫째, 제안한 방법론은 평가 특성을 사전에 선정한 후 분석이 이루어지므로 제품의 신기능 추가 등으로 새로운 특성이 생성되는 경우 이를 자동으로 반영하기 어렵다. 따라서 클러스터링 등 비지도학습 방법론을 사용해 새로운 특성이 발굴되었을 시 이를 자동으로 발굴하는 과정이 추가된다면 더욱 효과적으로 제품을 평가할 수 있을 것이다. 둘째, 현재 감성분석을 고도화하는 방안은 흥미로운 연구 주제가 될 수 있다. 예를 들어 현재 감성분석은 텍스트를 긍정, 중립, 부정으로 분류하고 있는데, 이 중 중립의 비율은 약 9%이다. 중립 언급 중 일부는 모델이 텍스트의 뉘앙스를 완벽히 이해하지 못해 중립으로 판정된 것 또한 존재하는데 이를 더 세세하게 초긍정, 긍정, 중립, 부정, 초부정으로 분류한다면 중립 데이터의 양이 감소함과 동시에 더 깊은 시사점을 도출해 내는 것을 기대해 볼 수 있을 것이다.

References

Ahani A., Nilashi M., Yadegaridehkordi E., Sanzogni L., Tarik A. R., Knox K., Ibrahim O. 2019;Revealing customers’ satisfaction and preferences through online review analysis: The case of Canary Islands hotels. Journal of Retailing and Consumer Services 51:331–343.
Andaleeb S. S., Conway C. 2006. Customer satisfaction in the restaurant industry: an examination of the transaction-specific model. Journal of Services Marketing
Cho H. S., Kang S. A., Ryu M. H. 2021. An Analysis of OTTService Review Using Text Mining: Focusing on the Competitive Advantage of Local Service. The Journal of Korean Institute of Communications and Information Sciences 46(4):722–733.
Custom Market Insights. 2022. Global Soundbar Market 2022–2030. https://www.custommarketinsights.com/report/soundbar-market (access on: November 30 2022).
Deng W. J., Yeh M. L., Sung M. L.. 2013;A customer satisfaction index model for international tourist hotels: Integrating consumption emotions into the American Customer Satisfaction Index. International Journal of Hospitality Management 35:133–140.
Fornell C., Johnson M. D., Anderson E. W., Cha J., Bryant B. E.. 1996;The American customer satisfaction index: nature, purpose, and findings. Journal of Marketing 60(4):7–18.
Gupta P, Srivastava R. K.. 2011;Analysis of customer satisfaction in hotel service quality using analytic hierarchy process (AHP). International Journal of Industrial Engineering Research and Development (IJIERD) 2(1):59–68.
Hu N., Pavlou P. A., Zhang J. 2006;Can online reviews reveal a product’s true quality? Empirical findings and analytical modeling of online word-of-mouth communication. In Proceedings of the 7th ACM conference on Electronic Commerce :324–330.
Kang D, Park Y. 2014;Review-based measurement of customer satisfaction in mobile service: Sentiment analysis and VIKOR approach. Expert Systems with Applications 41(4):1041–1050.
Keskar M. Y., Pandey N., Patwardhan AA. 2020;Development of conceptual framework for internet banking customer satisfaction index. International Journal of Electronic Banking 2(1):55–76.
Koo H. M., Kim G. J., Shin W. S., Song HJ. 2021;Analyzing the Impact of Service Quality Factors on Trust, Customer Satisfaction, and Customer Loyalty of Major Telecommunication Companies in Korea. Journal of the Korean Society for Quality Management 49(4):483–503.
Korea Creative Content Agency. 2020;The Impact of COVID-19 on Content Usage Behavior. N CONTENT 15:6–9.
Lee J. Y., Lee E. J.. 2010;Influence analysis of system, information and service qualities on learner satisfaction in university e-learning. Journal of Educational Studies 41(3):119–147.
Liu Y., Wan Y., Shen X., Ye Z., Wen J. 2021;Product customer satisfaction measurement based on multiple online consumer review features. Information 12(6):234.
Melián-González S., Bulchand-Gidumal J., González López-Valcárcel B. 2013;Online customer reviews of hotels: As participation increases, better evaluation is obtained. Cornell Hospitality Quarterly 54(3):274–283.
Ortiz L., Tillerias H., Chimbo C., Toaza V. 2020;Impact on the video Game industry during the COVID-19 pandemic. Athenea Engineering Sciences Journal 1(1):5–13.
Parasuraman A., Zeithaml V. A., Berry L. 1988;SERVQUAL: A Mmultiple-item Scale for Measuring Consumer Perceptions of Service Quality 64(1):12–40.
Park J., Kim Y. R., Kang SB. 2021;Customer Satisfaction Analysis for Global Cosmetic Brands: Text-mining Based Online Review Analysis. Journal of the Korean Society for Quality Management 49(4):595–607.
Park M. S., Bae K. M., Kim YS. 2021;How to Apply the New Quality Dimensions to the New Business in the Digital Transformation Era? Journal of the Korean Society for Quality Management 49(4):609–622.
Park W. W., Go D. W., Yun E. 2010;Improving causality: the significance of control variable, phenomena, and recommendations. J Ind Relat 21:1–49.
Sari P. K., Alamsyah A., Wibowo S. 2018. March. Measuring e-Commerce service quality from online customer review using sentiment analysis. In Journal of Physics: Conference Series 971(1)p. 012053. IOP Publishing.
Thomas M. J., Wirtz B. W., Weyerer J. C.. 2019;Determinants of online review credibility and its impact on consumers’ purchase intention. Journal of Electronic Commerce Research 20(1):1–20.
Tsafarakis S., Kokotas T., Pantouvakis A. 2018;A multiple criteria approach for airline passenger satisfaction measurement and service quality improvement. Journal of Aair Transport Management 68:61–75.

Article information Continued

Figure 1.

Example of a review text preprocessing process

Figure 2.

Quality satisfaction index framework

Figure 3.

Word cloud for attributes

Table 1.

Taxonomy for measuring customer satisfaction index of TV

Classification Attributes Keywords
Quality attributes Picture quality Backlight, Brightness, Black
Build quality Overall quality, Hardware, Software
Simplicity Ease of use, Ease of set-up
Smart feature Mirroring, PC on TV, Apps
Sound quality Noise, Volume, Clarity
Connectivity HDMI, Bluetooth, WI-FI
Contents Streaming, Broadcasting
Gaming Input lag, VRR, Game mode
Remote control Hot key, Number of buttons
Attributes except quality General Like, Love, Hate
Customer service Delivery, Customer service
Design Color, Stand design
Marketing Price, Advertising

Table 2.

Example of the review data after preprocessing

Review Created time Star rating Insight phrase Insight attribute Insight sentiment
Amazing picture quality, easy to use and Bixby is awesome!!! 2021-06-12 4 Amazing picture quality Picture quality Positive
Easy to use Simplicity Positive
Bixby is awesome Smart feature Positive

Table 3.

Regression model statistics by year

Statistics Result
2020 2021
F-probability 0.000 0.000
Durbin-Watson 2.000 2.004
VIF < 10 < 10

Table 4.

Regression result by year

Classification Variables 2020 2021
Quality attributes Picture quality negative −0.359 *** −0.307 ***
Picture quality positive 0.173 *** 0.167 ***
Build quality negative −0.697 *** −0.665 ***
Build quality positive 0.153 *** 0.150 ***
Simplicity negative −0.121 *** −0.148 ***
Simplicity positive 0.131 *** 0.139 ***
Smart feature negative −0.301 *** −0.280 ***
Smart feature positive 0.106 *** 0.109 ***
Sound quality negative −0.279 *** −0.261 ***
Sound quality positive 0.090 *** 0.098 ***
Connectivity negative −0.313 *** −0.333 ***
Connectivity positive 0.092 *** 0.103 ***
Contents negative −0.367 *** −0.219 ***
Contents positive 0.108 *** 0.115 ***
Gaming negative −0.289 *** −0.186 ***
Gaming positive 0.122 *** 0.145 ***
Remote control negative −0.052 *** −0.037 *
Remote control positive 0.049 *** 0.067 ***
Attributes except quality General negative −0.829 *** −0.830 ***
General positive 0.291 *** 0.317 ***
Customer service negative −0.746 *** −0.781 ***
Customer service positive 0.168 *** 0.171 ***
Design negative −0.104 *** −0.050 **
Design positive 0.101 *** 0.096 ***
Marketing negative −0.484 *** −0.527 ***
Marketing positive 0.141 *** 0.118 ***
R2 0.467 0.493
Adj. R2 0.467 0.492
*

p<.05,

**

p<.01,

***

p<.001

Table 5.

Influence by TV categories

Attributes 2020 2021
Negative Positive Negative Positive
Picture quality −0.035 0.119 −0.031 0.119
Build quality −0.062 0.014 −0.062 0.016
Simplicity −0.004 0.028 −0.005 0.025
Smart feature −0.015 0.018 −0.012 0.017
Sound quality −0.009 0.011 −0.009 0.013
Connectivity −0.012 0.005 −0.012 0.005
Contents −0.003 0.005 −0.002 0.007
Gaming −0.002 0.004 −0.002 0.006
Remote control −0.001 0.002 −0.001 0.003

Table 6.

Weight of TV categories by year (%)

Picture quality Build quality Simplicity Smart feature Sound quality Connectivity Contents Gaming Remote control
2020 44.1 21.9 9.3 9.3 5.7 4.8 2.3 1.7 1.1
2021 43.3 22.5 8.8 8.3 6.2 4.8 2.7 2.3 1.1

Table 7.

Positive rate by year

Picture quality Build quality Simplicity Smart feature Sound quality Connectivity Contents Gaming Remote control
2020 100 100 100 100 100 100 100 100 100
2021 100.7 101.4 99.1 100.6 101.0 96.7 102.0 101.3 101.6

Table 8.

TV quality satisfaction index by year

2020 2021
Index 100 100.6