글로벌 화장품 브랜드의 소비자 만족도 분석: 텍스트마이닝 기반의 사용자 후기 분석을 중심으로

Customer Satisfaction Analysis for Global Cosmetic Brands: Text-mining Based Online Review Analysis

Article information

J Korean Soc Qual Manag. 2021;49(4):595-607
Publication date (electronic) : 2021 December 28
doi : https://doi.org/10.7469/JKSQM.2021.49.4.595
*Department of Business Administration, Changwon National University
**Major in Industrial Quality Engineering, Daegu Haany University
박재훈*,, 김예림**, 강수빈**
*창원대학교 경영학
**대구한의대학교 화장품공학부 산업품질공학전공
Corresponding Author(pjh3479@changwon.ac.kr)
*이 논문은 2021~2022년도 창원대학교 자율연구과제 연구비 지원으로 수행된 연구결과임.
Received 2021 July 27; Revised 2021 September 9; Accepted 2021 September 27.

Trans Abstract

Purpose

This study introduces a systematic framework to evaluate service satisfaction of cosmetic brands through online review analysis utilizing Text-Mining technique.

Methods

The framework assumes that the service satisfaction is evaluated by positive comments from online reviews. That is, the service satisfaction of a cosmetic brand is evaluated higher as more positive opinions are commented in the online reviews. This study focuses on two approaches. First, it collects online review comments from the top 50 global cosmetic brands and evaluates customer service satisfaction for each cosmetic brands by applying Sentimental Analysis and Latent Dirichlet Allocation. Second, it analyzes the determinants that induce or influence service satisfaction and suggests the guidelines for cosmetic brands with low satisfaction to improve their service satisfaction.

Results

For the satisfaction evaluation, online review data were extracted from the top 50 global cosmetic brands in the world based on 2018 sales announced by Brand Finance in the UK. As a result of the satisfaction analysis, it was found that overall there were more positive opinions than negative opinions and the averages for polarity, subjectivity, positive ratio, and negative ratio were calculated as 0.50, 0.76, 0.57, and 0.19, respectively. Polarity, subjectivity and positive ratio showed the opposite pattern to negative ratio, and although there was a slight difference in fluctuation range and ranking between them, the patterns are almost same.

Conclusion

The usefulness of the proposed framework was verified through case study. Although some studies have suggested a method to analyze online reviews, they didn't deal with the satisfaction evaluation among competitors and cause analysis. This study is different from previous studies in that it evaluates service satisfaction from a relative point of view among cosmetic brands and analyze determinants.

1. 서론

기업이 제공하는 제품 및 서비스에 대한 소비자들의 만족도는 기업의 제품 이미지, 이윤 증대 그리고 경쟁력 강화에 직접적으로 영향을 미친다. 따라서 제품 및 서비스에 대한 고객들의 만족도를 평가하고 분석하는 것은 기업의 제품 품질 향상과 경쟁력 강화에 중요한 요소가 된다. 최근에는 온라인 및 모바일 기술의 발달로 소비자들의 제품 구매가 전통적인 오프라인 구매에서 온라인 구매 형태로 변화하고 있으며, 온라인 구매에서는 온라인에 등록된 다양한 소비자들의 후기가 구매에 중요한 결정요인이 되고 있다. 2016년의 DMC medial의 조사 결과에 따르면 약 51.5%의 소비자들이 제품에 대한 체험 후기들을 온라인에 공유하고 있으며, 제품 구매에 있어서는 사용자들이 올린 구매 후기정보들을 가장 많이 참조한다고 한다(DMC Media, 2016). Archak et al.(2011)의 연구에 따르면, 온라인 후기는 제품 판매율과 소비자들의 구매 결정에 중요한 영향을 미치고 있으며, 제품과 서비스의 품질 만족도를 평가하는데도 중요한 수단이 되고 있다. 즉, 온라인을 통해 공유되는 소비자들의 사용 후기 정보는 새로운 고객들에게는 제품 구매를 결정하는 중요한 정보로 활용되며, 기업의 담당자들에게는 자사 제품 및 서비스에 대한 고객들의 만족도를 파악할 수 있는 중요한 정보로 활용될 수 있다.

온라인에 등록된 사용자들의 후기를 분석하는 것은 다양한 제품군을 대상으로 할 수 있지만, 화장품과 같은 고감성 제품(high-sensitivity product)군에서 특별히 분석의 가치가 높을 수 있다. 고감성 제품들은 다른 제품들에 비해 소비자들의 후기 정보가 제품 구매 결정에 더 많은 영향을 미친다. 이를 방증하는 것으로, Lee and Sim(2007)의 연구는 최근 들어 화장품을 비롯한 다양한 고감성 제품을 구매하는 대부분의 고객들은 다수의 온라인 쇼핑몰에서 다양한 후기 정보들로 부터 제품 정보 및 소비자들의 의견들을 참조한다고 언급하고 있다. 이런 점에 비추어볼 때, 온라인 후기는 화장품 제품 개발과 품질 향상에 있어 소비자들의 요청사항과 제품들에 대한 소비자들의 만족도를 증명할 수 있는 중요한 정보가 된다(Liao et al., 2008). 그 예로, 대한민국 대표 온라인 쇼핑몰인 CJ mall에서는 소비자들이 긍정적인 후기가 많은 제품의 판매율이 그렇지 않은 제품보다 약 2.5~5배가 높다는 연구결과를 제시하며, 온라인 후기에 대한 중요성을 강조하고 있다. 또한, 소비자들은 화장품을 구매함에 있어 제품의 브랜드 인지도 및 TV광고 등과 같은 요소들 보다는 온라인 후기 정보에 더 크게 구매 영향을 받는다고 한다(Jung and Kim, 2014).

전 세계적으로 글로벌 화장품 기업들은 다양한 브랜드들을 출시하고 있으며, 각 기업의 브랜드 담당자들은 자사 브랜드에 대한 경쟁력을 평가하기 위해 소비자들의 다양한 의견을 분석하는 것에 대한 연구의 필요성을 제기하고 있다. 그의 일환으로 본 연구는 온라인 후기를 대상으로 텍스트마이닝(Text-Mining) 기법을 활용하여 화장품 브랜드들의 만족도를 분석하는 방법론을 소개한다. 본 연구에서 브랜드 만족도는 사용자 후기에서 긍정적 의견이 많을수록 만족도가 높다고 가정한다. 본 연구는 다음의 2가지 내용에 초점을 둔다. 첫째, 글로벌 화장품 상위 50개 브랜드를 대상으로 온라인 후기를 수집하고, 감성분석(Sentiment Analysis)기법을 활용하여 화장품 브랜드들의 고객 만족도를 평가해 보도록 한다. 둘째, LDA(Latent Dirichlet Allocation) 기법을 활용하여 브랜드별 만족도 평가에서 만족도(긍정과 부정 의견들)를 유발하거나 영향을 미치는 주요 결정요인들을 분석하고 브랜드별 개선 방향을 제시한다.

온라인 후기 분석은 소비자들의 의견을 폭넓게 반영할 수 있고 설문조사와 같은 전통적인 오프라인 방식보다는 분석 비용이 상대적으로 적다는 이유로, 숙박 업체 및 가전제품을 대상으로 다양한 분석 방법들이 연구되고 있다 (Bhandari and Rodgers, 2018). 하지만, 이들 대부분은 온라인으로부터 소비자들의 후기 정보를 얼마나 효과적으로 추출할 수 있는지(Zhan et al., 2009; Lee and Bradlow, 2011), 소비자 감성 분류(Zhan et al., 2018), 혹은 제품에 대한 전반적인 고객의 구매 결정 행동 분석(Arora et al., 2009; Hu et al., 2019) 등에 집중하고 있다. 앞서 언급한 바와 같이, 몇몇 연구들이 온라인 후기를 분석하는 방법을 제시하고 있지만, 해당 연구들은 본 연구에서 핵심적으로 다루고 있는 경쟁사들 간의 소비자 만족도 평가 및 서비스 의견에 대한 결정 원인 분석은 다루지 않았다. 본 연구는 화장품 브랜드들 간의 상대적 관점에서의 브랜드 만족도를 평가함과 더불어 만족도 평가 결과를 바탕으로 만족도를 결정하는 핵심 요인들을 분석한다는 점에서 기존 연구들과 차이가 있다.

2. 연구 배경

본 연구는 온라인상에 저장되는 사용자 후기 정보를 텍스트마이닝의 감성분석과 LDA분석을 활용하여 화장품 브랜드의 만족도와 결정요인을 분석하는 것을 목표로 한다. 하여 본 장에서는 본 연구와 직접적으로 관련이 있는 온라인 후기와 감성분석에 대한 이론적 내용을 설명하고자 한다.

2.1 온라인 사용자 후기(Online Customer Reviews)

특정 대상(서비스 혹은 제품)에 대해 개인의 의견, 느낌, 혹은 감정들이 정보로써 다른 사람에게 공유되는 것을 구전(Word-of-Mouth, WOM)정보라고 하며, 이러한 정보의 공유가 온라인에서 이루어지는 것을 온라인 구전이라 한다. 온라인에서 공유되는 다양한 제품 및 서비스에 대한 소비자들의 제품 후기 및 서비스 평가 등은 온라인 구전의 대표적 예라 할 수 있다. 온라인의 특성상 소비자들이 남기는 제품의 후기는 표현에 제약이 없으며 다수의 소비자들이 접근하여 정보를 서로 공유하기 쉽다는 장점으로 인해, 소비자들이 남긴 후기 정보는 판매자들이 제시하는 제품의 정보 보다 더 객관적이고 신뢰가 높을 수 있다(Bhandari and Rodgers, 2018).

최근의 소비자들은 제품을 구매함에 있어 해당 제품의 구매 및 사용 경험이 있는 소비자들이 온라인상에 남긴 후기를 참고하여 구매의 여부를 결정한다. 제품 및 서비스에 대한 칭찬이나 장점 위주의 후기는 제품 구매에 긍정적인 영향을 미치고, 불만족이나 단점 위주의 후기 정보는 구매에 부정적 영향을 미친다. 특히, 부정적인 내용의 후기 보다는 긍정적인 내용의 후기가 제품 구매에 더 큰 영향을 준다는 연구 결과가 있다(Clemons et al., 2006). 또한, 제품에 대한 소개 및 특징에 대해 서술한 후기 내용보다는 고객의 주관적인 느낌 및 솔직한 감정과 같은 내용이 제품 구매에 더 큰 영향을 미친다는 주장이 있다(Henning-Thurau et al., 2004).

2.2 감성분석(Sentiment Analysis)

감정분석은 다양한 매체로부터 특정 사물 혹은 대상에 대한 개인적인 느낌, 기분, 혹은 감정 등과 같은 의견을 분석하는 것이다. 정보시스템의 발달과 온라인 SNS의 활성화로 제품과 서비스에 대한 개인의 의견 및 감정들은 온라인을 통해 손쉽게 공유되고, 시간이 흐르면서 이러한 언어적 정보는 자연적으로 증가함에 따라 감성분석은 최근 새롭게 주목 받고 있다. 감성분석은 사용자들이 남긴 개인적 의견, 감정 등으로부터 의미 있는 정보를 도출한다는 점에서 의견분석(opinion mining)으로 혼용되기도 한다(Cambria et al., 2013). 반면, Karamibekr and Ghorbani (2013)은 자연어 처리(NLP)와 관련한 학문적 관점에서 감성분석과 의견분석은 엄격히 구분되어야 된다고 주장하기도 한다. 즉, 많은 경우 의견분석과 감성분석이 혼용되지만, 다양한 관점으로 의견분석과 감성분석이 구분하여 정의되기도 한다. 우선 의견분석은 기업이 가지고 있는 특성, 속성, 평가, 제품 및 서비스 등이 어떤 양상으로 나타나 있는지에 대한 계산학 연구(Computational Study)의 한 분야다. Guellil and Boukhalfa(2015)는 의견분석을 3단계 구성(의견들이 어떻게 규격화되는지를 고려하는 의견모델링, 일반적인 주제나 표현을 찾는 의견추출, 추출한 의견들이 객관적인지 요소인지 주관적인지를 고려하는 주관성 분석)으로 이루어진다고 정의했다. 반면, 감성분석은 자연어처리(Natural Language Process, NLP)의 한 분야로써 감정이 포함된 주관적 문장을 분석해 문장의 긍정과 부정을 분류한다. 주로 텍스트 데이터에 포함된 소비자의 의견과 감정을 기계적으로 분석하는 데에 초점을 둔다. 연구자들이 제시하는 의견분석과 감정분석의 정의는 고객들의 의견을 분석한다는 점에서 비슷하게 볼 수 있지만, 의견 분석은 광범위하게 소비자의 의견을 분석하고, 감성분석은 소비자의 감성에 초점을 두고 긍정 및 부정 의견을 분석한다는 점에서 둘의 차이를 구분할 수 있겠다. 본 논문에서는 온라인 후기에서 고객의 긍정과 부정 의견을 분석하기에 의견분석보다 감성분석이 더 적절한 접근이라고 본다.

감성분석은 학습방법에 따라 기계학습(Machine-Learning) 접근, 어휘기반(Lexicon-based) 접근, 그리고 기계학습과 어휘기반을 종합한 하이브리드(Hybrid-based) 접근으로 분류될 수 있다. 첫 번째로 기계학습 접근은 지도학습 (Supervised Learning)과 비 지도학습(Unsupervised Learning)으로 구성된다. 서포트 벡터 머신(Support Vector Machine, SVM), 베이지안 네트워크(Bayesian Network), 최대 엔트로(Maximum-entropy) 등을 기본으로 하는 지도학습은 감성분석에 사용되는 기계학습 기반의 가장 대표적인 기술이다. 비 지도학습의 경우 감정과 관련된 주관적인 내용을 분류한 후 다양한 구문 모델로부터 추출된 감정 어휘 사전을 기반으로 비교하는 방법이 대표적 기술이다 (Medhat et al., 2014). 두 번째로 어휘기반 접근은 텍스트나 문장에 있는 긍정 및 부정, 중립의 감정 점수가 부여된 감성 어휘들을 결정하는 것에 집중한다.

3. 만족도 평가 및 결정원인 분석방법

본 연구에서는 Park(2020)의 연구에서 제안한 방법론을 참고로 <그림 1>과 같이 화장품 브랜드별 만족도 결정요인 분석을 강화한 방법을 소개한다. 본 연구에서 수행한 방법론은 문장별 감성분류, 브랜드별 만족도 평가, 그리고 결정요인 분석으로 3단계로 구성된다. 1단계인 문장별 감성분류(Section 3.1)에서는 웹사이트에서 화장품 브랜드의 소비자 후기 정보를 추출(Web-crawling)한 후, 감성분석 기법을 활용하여 각 후기의 문장별로 감성분류를 수행한 다. 해당 단계에서는 각 브랜드별로 사용자 후기의 문장단위로 해당 문장이 긍정, 부정, 그리고 중립 중에 하나로 분류된다. 2단계인 브랜드별 만족도 평가(Section 3.2)에서는 1단계에서 분류한 문장별 감성분류 결과를 이용하여 각화장품 브랜드별로 만족도를 상대적 관점에서 평가한다. 3단계인 결정요인 분석(Section 3.3)에서는 사용자 후기정보를 긍정과 부정의견으로 그룹화(Clustering)하여, 토픽모델링 기법 중 하나인 LDA(Latent Dirichlet Allocation) 을 적용하여 각 그룹에서 긍정과 부정을 유발하는 결정요인과 원인을 분석한다. 각 단계에 대한 구체적인 설명은 다음과 같다.

Figure 1.

Online review-based satisfaction evaluation framework

3.1 단계 1: 문장별 감성분류

본 연구에서는 화장품 브랜드별로 사용자의 긍정도를 평가하기 위해 텍스트 마이닝의 감성분석을 적용한다. Bhuta et al.(2014)는 감성분석의 일반적 절차를 데이터 추출, 데이터 전처리, 데이터 분석, 의미 식별과 같이 4단계로 정의하고 있다. 본 연구에서도 Bhuta et al.(2014)에서 제안하는 감성분석 4단계를 참고하여 온라인 웹사이트로부터 화장품 브랜드 별로 소비자 후기를 추출(Web-crawling) 하도록 한다. 추출한 온라인 후기는 거의 대부분이 텍스트 데이터로 되어 있다. Xiang et al.(2015)은 텍스트 데이터 분석 결과의 타당성을 확보하기 위해서는 불필요한 단어들과 유사한 의미의 단어들을 NLP(Natural Language Processing)를 이용하여 정제할 필요가 있다고 했다. NLP는 컴퓨터 언어와 사람이 사용하는 언어들 사이의 상호작용을 위해 컴퓨터가 사람의 언어를 판독하여 이해하도록 가공 처리하는 인공지능의 한 분야이다. 대부분의 NLP기술들은 사람의 언어에서 의미를 끌어내기 위해 머신러닝 (machine learning)을 이용한다.

본 연구에서도 NLP기반의 데이터 정제 과정을 수행한다. 일반적으로 텍스트 데이터에는 불필요하거나 의미를 정확히 인식하기 어려운 다양한 특수문자, 기호 혹은 축약어 등이 포함될 수 있다. 분석의 정확도를 높이고 판독의 오류를 최소화하기 위해서 이러한 숫자, 특수문자 그리고 기호 등은 제거하도록 한다. 또한, Ramadan et al.(2019)는 분석의 정확도를 높이기 위해서는 문법적으로 동일한 의미이지만 형태가 다른 단어들을 하나의 단어로 통합하여야 한다고 주장한다. 이에 따라 우리는 다양하게 표현되지만 의미가 동일한 단어 혹은 문장들은 하나의 단어 혹은 문장 으로 통합하도록 한다(e.g. {Smell, Smells, Scent}들은 ‘향’이라는 동일한 의미를 나타내므로 ‘Smell’이라는 단어로 통합한다).

일반적으로 개별 후기들은 하나 이상의 문장으로 이루어져 있고, 단일 문장 내에는 다양한 의견들이 포함되기도 한다. 본 연구에서는 개별 후기에서 보다 상세한 의견들을 구분하고 파악하기 위해 감성분류의 단위를 문장으로 한다. 즉, 문장 단위로 해당 문장들이 긍정문장인지, 부정문장인지 혹은 중립문장인지가 구분된다. 이를 위해, 각 브랜드별로 추출된 후기 데이터들은 문장단위로 재배열 하도록 한다. 문장별로 감성을 분류하기 위해 본 연구에서 감정 어휘자료(sentiment lexicon resource)의 3가지 대표적 방법(Manual approach, Dictionary-based approach, Corpus-based approach) 중에서 비교적 구현이 쉽고 기존의 관련 연구들에서 광범위하게 적용되고 있는 Dictionary-based approach를 활용한다. Dictionary-based approach는 감정어휘를 긍정 어휘만 구분한 긍정사전과 부정 어휘만 구분한 부정사전을 활용하여 문장 내의 어휘들이 긍정사전 혹은 부정사전에 포함된 빈도 값을 계산하게 되고, 긍정 혹은 부정 어휘의 발행 빈도를 기반으로 각 문장들의 긍정, 부정, 중립의 정도를 결정한다. 이해를 돕기 위해 PeNe를 감정어휘를 담고 있는 긍정사전과 부정사전이라 하고, wipPe에 포함된 단어의 수, winNe에 포함된 단어의 수를 의미한다고 하자. Pi를 분석하려는 후기에서 i번째 문장의 감성분류 값이라 할 때, Si = wip−win로 계산 할 수 있다. 감성분류에서 만약 Si > 1이면 해당 문장은 긍정문장으로, 반대로 Si < 1이면 부정, Si=1 은 중립문장으로 분류된다.

3.2 단계 2: 브랜드별 만족도 평가

브랜드별 만족도 평가를 위해 극성값, 주관성값, 긍정비율, 그리고 부정비율을 (식 1), (식 2), (식 3), 그리고 (식 4)에 의해 계산한다. PSr, NSr, ESr 을 감성분류를 통해 도출한 r번째 화장품 브랜드의 긍정, 부정, 중립문장의 합이라 하고, PPr, SPr, PRr, 그리고 NRrr번째 화장품 브랜드의 긍정에 대한 극성값, 주관성값, 긍정비율, 그리고 부정비율이라 하자. 극성값은 브랜드별로 긍정과 부정 문장 수 대비 그 차이를 나타내는 값으로, -1에서 +1의 범위를 가지며, 해당 값이 0보다 크면 긍정의 문장이 부정의 문장보다 많다는 것을 의미하고, 0보다 작으면 그 반대를 의미한다. 주관성값은 브랜드별로 서비스 체험에 대한 고객들의 의견에서 긍정 혹은 부정과 같은 주관성(혹은 감성적 의견)이 차지하는 비율을 의미한다. 긍정비율과 부정비율은 브랜드별 고객들의 의견에서 긍정적 문장과 부정적 문장의 발생 비율을 의미한다.

식 (1) PPr=(PSrNSr)(PSr+NSr)
식 (2) SPr=(PSr+NSr)(PSr+NSr+ESr)
식 (3) PRr=PSr(PSr+NSr+ESr)
식 (4) NRr=NSr(PSr+NSr+ESr)

이해를 돕기 위해 2개의 화장품 브랜드 A와 B를 예로 들어 보자. 감성분류를 통해 A 브랜드와 B 브랜드에 대한 긍정, 부정, 중립 문장이 (800, 700, 800)개와 (1450, 600, 500)개로 각각 계산되었다고 가정하자. 브랜드 A와 B의 극성값, 주관성값, 긍정, 부정비율은 각각 (0.07, 0.65, 0.35, 0.30)과 (0.41, 0.80, 0.57, 0.24)로 계산된다. 브랜드 A와 B 모두 긍정적 의견이 부정적 의견보다 높지만 A보다는 B가 긍정적 의견이 차지하는 비율이 상대적으로 높다할 수 있다. 또한, 브랜드 A와 B 중에서 서비스 평가에 대한 주관성 비율은 B가 A보다 상대적으로 더 높은 것을 알 수 있다. 또한, 긍정비율을 쌍으로 비교하는 승산비(Odds ratio)를 구하면, 두 브랜드 간의 만족도에 대한 상대적 비교를 해석할 수 있다. j번째 브랜드와 j' 번째 브랜드 사이의 승산비는 (식 5)로 구할 수 있으며, 이는 j-th 브랜드에 대한 고객 만족도가 j'-th 브랜드보다 θ(j, j') 배 높다는 뜻이다. 즉, 브랜드 B에 대한 만족도는 A보다 2.47배 높다는 결과를 얻을 수 있다.

식 (5) θ(j,j*)=PRj(1PRj)PRj*(1PRj*)

3.3 단계 3: 결정요인 분석

본 단계에서는 단어의 중요도 분석을 통해 각 브랜드별 감성분류(긍정 혹은 부정 의견)를 유발하는 결정요인을 분석한다. 각 브랜드별로 사용자 온라인 후기는 두 그룹으로 분류되는데, 첫 번째 그룹은 긍정적인 어휘를 포함하는 문장으로, 두 번째 그룹은 부정적인 어휘를 포함하는 문장으로 분류한다(이후 첫 번째 그룹은 긍정후기그룹, 두 번째 그룹은 부정후기그룹으로 칭함). 분류를 위한 예비 단계로, 감성 사전은 두 개의 사전으로 나뉘는데, 첫 번째 사전은 긍정적인 어휘만을 포함하고 두 번째 사전은 부정적인 어휘만을 포함하고 있다(전자는 긍정감정사전, 후자는 부정감 정사전으로 칭함). 각 브랜드별로 후기를 긍정감성사전(또는 부정감정사전)과 비교함으로써, 긍정적인(또는 부정적인) 감정을 포함하는 문장들을 식별하고 이들을 긍정후기그룹 그리고 부정후기그룹으로 각각 분류한다.

각 브랜드별로 후기 데이터를 긍정후기그룹과 부정후기그룹으로 분류한 후 각 그룹에서 중요하게 언급되는 핵심 단어들을 추출해 내고 이를 기반으로 각 그룹에서 긍정과 부정감성을 유발하는 결정요인을 도출하도록 한다. 결정요인을 도출하기 위해 토픽모델링 기법 중 하나인 LDA(Latent Dirichlet Allocation)을 적용한다. 일반적으로 토픽모 델링은 크게 벡터기반과 확률기반으로 나룰 수 있는데, LDA는 확률기반 접근법이다. LDA는 모든 문서(본 연구에서는 각 브랜드별 후기가 됨)는 하나의 토픽(topic)에만 속하는 것이 아니라 2~3가지의 토픽들의 혼합으로 정의하여 방대한 문서 안에서 어떠한 토픽들이 존재하고, 해당 토픽별로 잠재키워드(핵심 어휘)들이 존재하는지를 비지도학습 (Unsupervised Learning)으로 찾는 방법이다. 본 연구에서는 LDA 분석을 통해 브랜드별 토픽들을 도출하고 각 토픽 내 포함된 핵심 키워드를 중심으로 감성을 유발하는 결정요인을 파악하도록 한다. 특히 각 토픽별로 도출된 핵심 키워드들 중에서 감정 및 느낌을 나타내는 형용사 보다는 사물 및 내용을 지칭하는 명사 위주로 추출한다. 이는 긍정및 부정의 감정은 대체로 형용사 및 동사로 표현이 되고, 이들의 목적이 되는 대상들은 명사로 표현되기 때문이다. 이렇게 추출되는 단어들은 긍정적인 또는 부정적인 의견의 결정요인뿐만 아니라 긍정적인 또는 부정적인 후기 그룹 에서 가장 중요하고 자주 언급되는 것으로 간주한다.

4. 사례연구

4.1 브랜드 대상 선정 및 서비스 만족도 평가

글로벌 화장품 브랜드별 만족도 평가를 위해 영국의 Brand Finance에서 발표한 2018년 매출액 기준, 전 세계 상위 50위권의 화장품 브랜드를 연구 대상으로 선정하였고, 각 브랜드 별 소비자 후기는 Makeupalley 사이트 (www.makeupalley.com)에서 R프로그래밍의 rvest 패키지를 사용하여 브랜드별로 후기 정보를 추출 하였다. 추출한 후기는 브랜드별로 건수에 차이가 있었는데, 실험 결과와 해석의 신뢰성을 높이기 위해 후기 건수가 300건 미만인 브랜드는 제외하고 300건 이상인 26개 브랜드들만 최종 분석 대상으로 선정하였다. 글로벌 26개의 화장품 브랜드들에서 추출한 총 35,617개의 후기들을 대상으로 분석을 수행하였다. 기본적인 데이터 전처리는 RapidMiner 소프트웨어를 사용하였고, 데이터 전처리 과정을 통해 특수 기호, 숫자, 불완전한 문자 및 비언어들은 제거하고, 의미는 같지만 표현이 다른 단어들은 하나의 단어로 통일했다(예, ‘smell’과 ‘scent’는 ‘smell’로 통일). RapidMiner는 데이터 전처리(data pre-processing), 머신러닝(machine-learning), 심층기법(deep-learning), 텍스트 마이닝 (text-mining), 예측분석(predictive analysis)를 할 수 있도록 제공한다. 전처리 이후 문장별 감성분류를 위해 각 후기를 총 110,097개의 문장으로 분류하였다.

문장별 감성분류 위해 본 연구에서는 SentiNet 5.0 감성사전을 적용하였다. 각 브랜드에 대한 문장별 감성분류 결과, 긍정, 부정, 그리고 중립 문장에 대한 평균은 2,418, 794, 그리고 1,014개로 각각 구분이 되어, 전반적으로 부정적 의견 보다는 긍정적인 의견이 더 많음을 알 수 있었다. 또한 화장품 후기에서는 제품을 구매하는 방법, 제품의 설명등과 같은 의견과 무관한 문장이 많으므로 중립의 의견이 많은 것을 알 수 있었다.

브랜드별 만족도 평가 결과는 <그림 2>와 같고, 극성, 주관성, 긍정비율, 부정비율에 대한 평균은 0.50, 0.76, 0.57, 0.19로 각각 계산되었다. 극성, 주관성, 그리고 긍정비율은 부정비율과는 정반대의 패턴을 보이고 있으며, 이들 간에 변동폭과 순위에서는 약간의 차이를 보이고 있지만, 패턴은 거의 유사함을 알 수 있었다. 극성, 주관성, 긍정 비율 측면에서 가장 좋은 상위 4개 브랜드는 Gil**, Hea**, Pan**, 그리고 Sch**이고, 반대로 가장 좋지 않은 하위 4개 브랜드(부정비율이 가장 높은)는 Ave**, Niv**, Sul**, 그리고 Inn** 이었다. 해당 결과로부터 긍정비율 측면에서의 상위 브랜드는 대부분 모발, 바디 및 방향(향수 등) 화장품을 주력으로 하는 브랜드가 대부분이고, 하위 브랜드는 반대로 기초, 메이크업 및 기능성 화장품을 주력으로 하는 브랜드로 구분되는 특징을 보였다.

Figure 2.

Result of satisfaction analysis

만족도 하위 4개 브랜드와 상위 4개 브랜드 간의 긍정비율 관점에서 상대적 비교를 수행하였고, 그 결과는 <표 1>과 같다. 앞서 <그림 2>에서 만족도가 가장 높은 브랜드인 Gil**과 가장 낮은 브랜드인 Ave**를 긍정비율 관점에서 비교해 보면, Gil**은 Ave**와 비교해서 긍정비율 관점에서 만족도가 1.90배 높다고 해석 가능하며, 반대로 Ave**은 Gil**에 비해 긍정비율 관점에서 0.52(=1/1.90)배 높다고 해석 가능하다. 즉, 긍정비율 관점에서 Ave**의 만족도는 Gil**의 52% 정도가 된다. 이러한 방법으로 브랜드 Gil**와 비교하여 Sul**, Niv**, 그리고 Ave**의 만족도는 각각 54%, 55%, 그리고 52% 정도로 확인되었다.

Result of comparative evaluation in terms of positive ratio

4.2 브랜드별 만족도 결정요인 분석

브랜드 별 긍정후기그룹과 부정후기그룹으로 분류하기 위해 R프로그래밍의 match()함수를 적용하였다. 전체 브랜드의 후기 데이터를 브랜드 별로 긍정후기그룹과 부정후기그룹으로 분류한 결과, 긍정후기그룹과 부정후기그룹에 있는 문장들은 평균 1,276개와 740개로 분류되었다. LDA 분석을 위해서는 사전에 토픽의 수를 결정해야 한다. 토픽의 수를 너무 많이 설정하면 토픽 내에 특별한 키워드(중요 단어)가 없어 의미 없는 주제가 도출되며, 반대로 너무 작게 설정하면 너무 많은 키워드가 한 주제에 포함되어 구분이 어렵게 된다. 본 연구에서는 토픽의 수를 도출하기 위해 가장 일반적으로 활용되고 있는 Perplexity값을 사용하였다. Perplexity 값은 특정 확률 모델이 실제로 관측되는 값을 얼마나 잘 예측하는지 평가할 때 주로 사용되며, 변화가 최소가 되는 지점(RPC: Rate of perplexity change)의 값을 최적의 토픽 수로 결정한다. <그림 3>은 전체 후기 데이터를 대상으로 토픽 수에 따른 Perplexity 값을 나타내는데, 변곡지점이 발생하는 5를 토픽의 수로 결정하였다.

Figure 3.

Result of perplexity according to number of topics

본 연구에서 분석 대상으로 고려한 26개의 화장품 브랜드는 다른 유형의 화장품을 생산하는 브랜드들이 혼합되어 있었으며, 이는 크게 3가지 제품군(색조 메이크업 제품군, 기초 케어 제품군, 헤어 및 바디 제품군)으로 나눌 수 있었다. 각 제품군별로 고객 만족도를 기준으로 브랜드들의 만족도 결정요인을 분석해 보았으며, <표 2>는 각 제품군별로 상대적으로 서비스 만족도가 높은 3개의 브랜드를 대상으로 긍정후기그룹에서의 토픽별 중요도가 가장 높은 키워드를 추출한 결과이다. 기초 케어 제품군에 속한 3개의 브랜드(L'Oc**, Joh**, Ola**)의 경우 크림(Cream)과 유아 로션(Baby lotion) 제품에서 소비자 만족이 높게 나왔으며, 특히 이들 제품에 대한 향(Smell, Scent)이 서비스 만족도를 높이는 요인이라 할 수 있었다. 예를 들면 L'Oc**의 경우 smell 혹은 scent가 언급된 문장은 320건 이상이며, 해당 요인들이 실제 사용된 문장의 구체적인 예는 다음과 같다. “It smells lovely, washes well, offers a pleasurable experience, leaves my straight fine hair quite shiny and light/bouncy/feathery, and does not dry out my hair.” 색조 메이크업 제품군에 속한 3개의 브랜드(L'Or**, Mac**, May**)의 경우 파운데이션(Foundation), 마스카라(Mascara)와 립스틱(Lipstick) 제품에서 소비자 만족이 높게 나왔으며, 특히 이들 제품들의 색감(Color)가 서비스 만족도를 높이는 주요 요인이라 할 수 있었다. 헤어 및 바디 제품군에 포함된 3개의 브랜드(Gil**, Hea**, Pan**)의 경우 두피 건강과 비듬 케어의 효능에 대한 만족이 높았으며, 특히, 샴푸(Shampoo) 제품의 특수 제형이 서비스 만족을 높이는 주요 결정 요인이라 할 수 있었다.

Determinants in positive review group

반대로 <표 3>은 각 제품군별로 상대적으로 서비스 만족도가 낮은 3개의 브랜드를 대상으로 부정후기그룹에서의 토픽별 중요도가 가장 높은 키워드를 추출한 결과이다. 기초 케어 제품군에 속한 3개의 브랜드(Ave**, Neu**, Sul**)의 경우 제품 사용감(Using, Dry)과 피부 자극 반응(Acne, Sentitive, Oily)등이 소비자들의 불만을 유발하는 요인이라 할 수 있었다. 색조 메이크업 제품군에 속한 3개의 브랜드(Est**, Shi**, Dio**)의 경우 가격에 대한 부정적인 의견이 많았고, 피부 트러블(Acne) 유발 및 품질(Tacky) 측면에서 소비자들의 불만이 많음을 알 수 있었다. 헤어 및 바디 제품군에 포함된 3개의 브랜드(Gar**, Dov**, Sch**)의 경우 클렌징 제품의 세정력에 대한 부정적인 의견이 많았고, 특히 이들 제품들의 향과 제품 용기가 서비스 불만족을 유발하는 결정요인이라 할 수 있었다.

Determinants in negative review group

불만족을 유발하는 요인들을 바탕으로 서비스 만족도가 상대적으로 낮은 브랜드들이 서비스를 개선한다고 할 경우 어떤 요인에 초점을 두고 개선해야 하는지를 <표 4>에 정리하였다. 본 연구에서 서비스 만족도 평가 지표로 고려하는 극성값, 주관성값, 긍정비율, 그리고 부정비율에서 부정문장을 개선하는 경우 관련된 지표값 모두가 상승되게 된다. 이를 근거로 각 브랜드 별 서비스 개선 방향에 대한 도출은 서비스 불만족을 유발하는 요인을 개선함으로 상대적으로 고객들의 서비스 만족도를 높일 수 있다는 가정을 전재로 제안한다. 예를 들면, Ave**의 경우에는 불만족을 유발하는 주된 요인으로 사용감과 자극에 대한 내용이 도출됨에 따라 서비스 만족도를 높이기 위해 향후에는 제품의 사용감과 피부 자극 성분에 대한 개선에 초점을 둘 필요가 있다. 이러한 사용자 불만을 기초로 한 제품들의 개선 활동은 향후 해당 브랜드로 하여금 소비자 반응 친화적인 기업으로 인식되는 효과가 있으며, 제품의 품질 향상으로 브랜드 경쟁력 향상에 도움이 될 것으로 기대한다.

Service improvement points for the brands with lower service satisfaction

5. 결론

최근 들어 제품을 구매하는 많은 고객들은 다수의 온라인 쇼핑몰에서 기존 고객들이 남긴 후기 정보들로 부터 제품에 대한 다양한 정보들을 참조한다. 이런 점에서 온라인 후기는 제품 개발과 품질 향상에 있어 소비자들의 요구사항과 제품들에 대한 소비자들의 만족도를 증명할 수 있는 중요한 정보가 된다. 본 연구는 다양한 제품들 중에서 고감성 제품군에 속하는 화장품을 대상으로 소비자들의 만족도를 평가하는 방법을 다루었다. 특별히 본 연구에서는 전세계 화장품을 대상으로 제품들을 평가하는 Makeupalley 사이트로부터 글로벌 상위 50개 브랜드를 대상으로 감성 분석을 활용하여 브랜드들의 소비자 만족도를 분석하였고, LDA 방법을 활용하여 브랜드별 만족도 평가에서 만족도 (긍정과 부정 의견들)를 유발하거나 영향을 미치는 주요 결정요인들을 분석하여 브랜드별 개선 방향을 제시하였다.

본 연구에서는 감성사전을 이용한 감성분석으로 감성 어휘의 빈도만으로 만족도를 판단하기 때문에, 감성이 반전 (예, ‘안 좋다’ 등)되거나 감성이 활성화/비활성화(예, ‘좋지 않다’ 등)가 되는 경우는 고려 할 수 없어 정확도가 다소 떨어질 수 있다는 단점을 내포하고 있다. 향후에는 감성분석의 정확도를 높이기 위해 감성반전 혹은 감성활성화/비 활성화를 고려한 다양한 딥러닝 기반의 감성분석을 이용한 화장품 브랜드들의 만족도 평가 연구를 수행하고자 한다. 또한, 본 연구에서는 브랜드를 대상으로 소비자 만족도를 평가함으로 브랜드에 포함되는 다양한 상품 및 제품 수준에서의 구체적 개선 방향 제안에는 한계가 있다. 향후에는 감성분석의 단위를 제품의 종류별로 구체화 하고 만족도 유발 요인별로 대상물을 다양화해서 보다 현실적인 분석을 수행하고자 한다. 그럼에도 불구하고 본 연구를 통해 분석된 결과는 해당 화장품 브랜드에 대한 소비자들의 만족도와 품질수준을 평가하고 타 브랜드들과의 상대적 비교가 가능해, 향후 브랜드들의 체계적인 서비스와 품질 제공을 위한 기초자료로 활용될 수 있을 것으로 판단한다.

References

Archak N, Ghose A, Ipeirotis PG. 2011;Deriving the pricing power of product features by mining consumer reviews. Management Science 57(8):1485–1509.
Arora S, Joshi M, Rosé CP. 2009;Identifying types of claims in online customer reviews. Association for Computational LinguisticsProceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics :37–40.
Bhandari M, Rodgers S. 2018;What does the brand say? Effects of brand feedback to negative eWOM on brand trust and purchase intentions. International Journal of Advertising 37(1):125–141.
Bhuta S, Doshi A, Doshi U, Narvekar M. 2014;A review of techniques for sentiment analysis of Twitter data. 2014 International Conference on Issues and Challenges in Intelligent Computing Techniques :583–591.
Cambria E, Schuller B, Xia Y, Havasi C. 2013;New avenues in opinion mining and sentiment analysis. IEEE Intelligent Systems 28(2):15–21.
Clemons E, Gao G, Hitt L. 2006;When online reviews meet hyper differentiation: A study of the craft beer industry. Journal of Management Information Systems 23(2):149–171.
Guellil I, Boukhalfa K. 2015;Social big data mining: A survey focused on opinion mining and sentiments analysis. 2015 12th International Symposium on Programming and Systems :1–10.
Hennig-Thurau T, Gwinner KP, Walsh G, Gremler DD. 2004;Electronic word-of-mouth via consumer-opinion platforms: What motivates consumers to articulate themselves on the Internet? Journal of Interactive Marketing 18(1):38–52.
Hu N, Zhang T, Gao B, Bose I. 2019;What do hotel customers complain about? Text analysis using. Tourism Management 72:417–426.
Jung NR, Kim YR. 2014;The influence of customer’s purchasing attitude for cosmetic by characteristic of SNS on related information and purchase satisfaction. Asian Journal of Beauty and Cosmetology 12(4):565–573.
Karamibekr M, Ghorbani AA. 2013;A structure for opinion in social domains. 2013 International Conference on Social Computing (SocialCom) 1:264–271.
Lee EJ, Shim WS. 2007;A study on the behavior characteristics of point of purchase, post purchase and trust evaluation of Internet shopping after notes. The e-business studies 8(3):155–170.
Lee TY, Bradlow ET. 2011;Automated marketing research using online customer reviews. Journal of Marketing Research 48(5):881–894.
Liao SH, Hsieh CL, Huang SP. 2008;Mining product maps for new product development. Expert System with Application 34(1):50–62.
Medhat W, Hassan A, Korashy H. 2014;Sentiment analysis algorithms and applications: A survey. Ain Shams Engineering Journal 5(4):1093–1113.
Media D. 2016. Consumer Reports by Industry Seoul, South Korea: DMC Report.
Park J. 2020;Framework for Sentiment-Driven Evaluation of Customer Satisfaction With Cosmetics Brands. IEEE Access 8:98526–98538.
Ramadan S, Ibrahim Baqapuri H, Roecher E, Mathiak K. 2019. Process mining of logged gaming behavior. 2019 International Conference on Process Minig (ICPM) 57–64.
Xiang Z, Schwartz Z, Gerdes JH, Uysal M. 2015;What can big data and text analytics tell us about hotel guest experience and satisfaction? International Journal of Hospitality Management 44:120–130.
Zhan J, Loh HT, Liu Y. 2009;Gather customer concerns from online product reviews—A text summarization approach. Expert System with Applications 36(2):2107–2115.
Zhan Y, Tan KH, Li Y, Tse YK. 2018;Unlocking the power of big data in new product development. Annals of Operations Research 270(1):577–595.

Article information Continued

Figure 1.

Online review-based satisfaction evaluation framework

Figure 2.

Result of satisfaction analysis

Figure 3.

Result of perplexity according to number of topics

Table 1.

Result of comparative evaluation in terms of positive ratio

Odds ratio Top 4 brands in satisfaction
Gil** Hea** Pan** Sch**
Bottom 4 brands in satisfaction Inn** 1.77 1.67 1.63 1.63
Sul** 1.84 1.73 1.69 1.69
Niv** 1.81 1.70 1.66 1.66
Ave** 1.90 1.79 1.75 1.75

Table 2.

Determinants in positive review group

Line Brand Positive review group
Basic Care L’Oc** cream scent smell hand smells
Joh** baby skin scent smell lotion
Ola** moisturizer face cream skin scent
Color-Makeup L’Or** mascara foundation color formula packaging
Mac** color lipstick foundation red formula
May** mascara foundation color coverage formula
Hair and Body Gil** shave blades shaving gel smooth
Hea** shampoo dandruff scalp conditioner smell
Pan** shampoo conditioner soft scent bottle

Table 3.

Determinants in negative review group

Line Brand Negative review group
Basic Care Ave** dry using cleanser sensitive moisturizer
Neu** dry sensitive acne price fragrance
Sul** cream dry serum mask oily
Color-Makeup Est** acne tone money feeling tacky
Shi** face dry price expensive light
Dio** foundation mascara color lips expensive
Hair and Body Gar** hair water sensitive cleanser remove
Dov** hair scent body smell shampoo
Sch** fragrance expensive scent price perfume

Table 4.

Service improvement points for the brands with lower service satisfaction

Line Brand Service improvement points
Basic Care Ave** It needs to improve the feeling of use of the product and skin irritating ingredients
Neu** It needs to improve ingredients that cause skin irritation and acne
Sul** It needs to improve formulation for global consumer satisfaction
Color-Makeup Est** It needs to improve skin trouble-causing ingredients
Shi** It needs to product satisfaction with price
Dio** It needs to product satisfaction with price
Hair and Body Gar** It needs to improve the cleaning power of cleansing products
Dov** It needs to improve fragrance to alleviate consumer’s likes and dislikes
Sch** It needs to improve perfume scent and product container design