네이버 검색 '창과 방패' 게임, 인공지능이 끝낼까
by김유성 기자
2017.04.08 10:23:24
[이데일리 김유성 기자] 지난해 중반부터 블로그·지식인 마케팅 업체들과 파워블로거들은 소란스러웠다. 네이버가 또 검색 알고리즘을 바꿨기 때문이었다. 수많은 파워블로그 방문자 수는 속절없이 떨어졌다.
이들이 느끼는 문제는 네이버의 알고리즘을 도통 파악하기 힘들다는 점이다. 지난해 중반 블로그 검색에 도입된 검색 방식 ‘C랭크’를 뚫기란 불가능에 가까웠다.
사실 파워블로거나 블로그·지식인 마케팅 업체들은 네이버라는 시장 안에서 활동했다. 하루 수 만에 가까운 방문자를 모으며 광고 등으로 수익을 올렸다. 블로그 방문자 수가 고정적으로 수 천명 이상이 되면 ‘최적화’됐다고 불렀다. 네이버 검색 결과에 최적화됐다는 얘기다.
블로그·지식인 마케팅 업체들은 고객의 의뢰를 받았다. 고객 블로그를 최적화시켜줬던 것. 지식인도 네이버가 요구하는 ‘묻고 답하기’ 방식에 최적화시켰다. 일부 인기 키워드는 70% 이상 이들 마케팅 업체들의 작품이라는 얘기도 있었다.
파워 블로거로 활동했고 마케팅 업체에서도 일하는 정 모 씨는 “블로그로 광고 유치하기가 어려워졌다”며 “업종을 바꿔야할 것 같다”고 토로했다. 그는 여전히 파워블로거를 비롯한 마케팅 업체들이 C랭크를 뚫지 못하고 있다고 전했다.
C랭크는 무엇인가. C는 창작자(Creator)에서 따왔다. 네이버 안에서는 ‘작가’라고 부른다. 카카오의 전문가 블로그 ‘브런치’에서 글쓴이를 ‘작가’라고 부르는 것과 같은 맥락이다.
C랭크를 뚫지 못하는 이유는 무엇일까. 김광현 네이버 서치(search) 리더 얘기를 들어보면 답이 나온다. 7일 열린 네이버X 콜로키움에서 이같이 말했다.
“검색 모델링을 할 때 처음에는 검색어와의 유사도를 갖고 따졌다. 이후 문서의 퀄리티를 따졌다. 얼마나 잘 써졌는지 분석했다. 하지만 그것만 갖고 판단하기 쉽지 않았다. 그래서 저자가 평소 얼마나 좋은 글을 썼고, 그것이 얼마나 중요한가를 깨닫게 됐다.”
이는 검색 엔진 역사와 맥을 같이 한다. 초반 검색 엔진은 입력 키워드와 가장 유사한 문서를 검색 결과 최상단에 위치시켰다. 이보다 좀 더 진화된 게 사람들이 많이 찾거나 선호도가 높은 문서를 올려놓는 방식이다.
사람들이 많이 찾는 문서도 양과 질에 있어 차이가 나기 마련이다. 기왕이면 보기 좋게 잘 만들어진 문서를 검색엔진이 찾게 된다. 따라서 잘 만들어진 문서를 다량으로 확보하고 검색엔진이 해당 블로그를 많이 찾도록 하면 ‘최적화’가 완성된다.
C랭크는 이와는 다르다. 기존에는 콘텐츠에 중심을 뒀다면, C랭크는 저자에 주목한다. 믿을 수 있는 저자의 콘텐츠 글을 우선적으로 검색 결과에 노출한다는 방식이다.
박찬훈 네이버 소셜 앤드 트랜드 리더는 “네이버 안에서 10년 이상 한 저자가 1만건 이상의 글을 쓰는 경우가 많다”며 “포스팅하는 기간, 포스팅하는 글의 길이, 글을 소비하는 패턴 등 살펴볼 게 여럿 있다”고 말했다.
그런데 이런 부분을 네이버 관리자가 일일이 따져 보기란 힘들었다. 시간적으로 물리적으로 불가능하다. 네이버가 검색 대상으로 삼은 데이터 수만 260억개다. 이 숫자는 기하급수적으로 늘어난다.
이런 문제를 인공지능이 해결해줬다. 작가가 일정 기간 신뢰할 수 있는 양질의 콘텐츠를 작성해줬는지 판단할 수 있게 된 것이다. 잘 쓴 글과 그렇지 않은 글을 대조하면서 배운 기계학습 덕분이다.
여기에는 작가에 대한 ‘즐겨찾기’, ‘구독’이 얼마나 많은지도 참고 사항이 된다. 검색에 따른 우연한 방문보다 ‘즐겨찾기’나 ‘구독’이 많은 저자의 글을 더 우대한다는 얘기다. 단기간에 포스팅을 많이 해 방문자를 끌어 모으는 방식은 안 통하게 됐다.
박 리더는 “하루 10만건 이상의 데이터가 유입되고 있는데 이중 광고성이 심한 데이터도 있다”며 “30% 이상의 품질 개선 효과가 있었다”고 자부했다.
네이버는 카페와 지식인에도 C랭크를 도입한다. 외부 웹페이지와 뉴스 검색도 C랭크 방식이 적용된다. 가령 구독 수가 많은 인기 기자의 기사가 네이버 메인에 걸리는 식이다.
인공지능의 도입으로 마케팅 업체들의 ‘최적화’는 더이상 통하지 않을까. 김광현 센터장은 결국은 C랭크도 뚫릴 수 밖에 없을 것이라고 예상했다.
“(네이버와 마케팅 업체 간 숨바꼭질은) 끝낼 수 없다. 마케팅 업체들도 우리 알고리즘을 분석하고 있다. 우리는 그 분들을 막으려 하는 게 아니다. 검색 품질이 저해된다면 이를 개선하는 노력을 하는 것이다. 우리가 만들었다고 해서 완벽한 알고리즘은 아니다.”
검색 결과를 놓고 막으려는 인공지능과 뚫으려는 인간의 ‘경쟁’은 지금도 앞으로도 ‘현재 진행형’이라는 얘기다. 생활 속 인공지능은 그렇게 우리 생활에 파고들고 있다.