뤼그넨 대학 문화인류학과 고진말(43)교수가 이끄는 연구팀이 지난 3008년 11월 <네이처>지에 게제된 논문에서 전 세계 국가별 주요 넽커뮤니티의 집단지능지수(Collective Intelligence Quota) 검사결과에 따르면, 네이버 지식인은 고전음악 CIQ 110으로 조사된 47개 커뮤니티 중에 21위를 기록했다.

고교수팀은 알렉사 순위에서 상위권을 차지한 각 언어별 대표 질문답변 사이트들에 각각 53개의 고전음악분야의 질문들을 2년에 걸쳐 올려 그에 대한 답변이 적절한지 (1차 답변 평가), 궁극적인 답이 있는 곳을 알려주고 있는지 (답변 지시성 평가), 답변이 달리기까지 얼마나 시간이 걸리는지 (신속성 평가), 틀린 답변이 달리는지 (오답변 평가) 등을 평가하여 각 사이트에 형성된 집단지성의 지능을 수치하 하여 평가하였다. 지능검사의 대상이 된 사이트로는 yahoo를 비롯한 포털들을 비롯하여, 유명한 질문답변 사이트들인 ask, fragensie, ch4, questioneer들과 그리고, 유즈넷의 rec.music.classical가 포함되어 있었다. 한국어 사이트로는 네이버 지식인이 유일하게 평가대상에 포함되었다.

인터넷에서 형성된는 집단지성체들이 물리적인 개체와 같은 단위가 아닌, 특정 주제를 단위로 형성되는 것이 일반적이기 때문에 모든 영역에 대한 문제를 풀게 하는 일반지능검사는 불가능하였고, 특정 분야에 대한 지능검사를 실시하였다고 논문은 밝히고 있다. 고전음악이란 분야는 비교적 번역에 따른 질문 난이도의 변화가 적고, 비록 서양문화의 일부부이지만, 전세계적인 교양으로 인정받고 있다는 점에서 집단지능비교에 적당한 분야로 낙점되었다고 한다.

이 논문에서 1위의 지능을 차지한 것은 rec.music.classical 으로 CIQ는 276으로 평가되었다. 연구가 끝나갈 무렵 rec.music.classic의 한 이용자는 자신이 다니는 다른 사이트(스웨덴어와 독일어사이트)에서 동일한 질문이 동시에 올라왔다며 의혹을 제기하여 잠시 연구자들에게 위기감을 안겨주었으나, 이 의혹은 다행히 크게 이슈화 되지 않아 연구가 무사히 끝날 수 있었다고 한다.

독일어 사이트인 3위를 제외한 1위부터 5위까지는 영어사이트, 7위를 중국어, 8위를 일본어, 9위를 스페인어 사이트가 차지하였다.

네이버 지식인은 문항 전체적으로 신속성 평가에서 좋은 점수를 얻었지만, 답변의 적절성과 오답변 평가에서 점수를 많이 까먹어 21위를 기록하였으며, 문항들 중 고난이도와 초고난도로 분류된 13문항에 대해 전혀 반응이 달리지 않았다. 지능이 높은 사이트에서는 이러한 고난이도 문항들에 대해 답변지시적인 반응(어디어디에서 찾아보라)이 달려 점수를 많이 획득한 것으로 분석됐다.

고교수의 집단지능검사치의 신뢰성에 대해 다양한 논란이 일어나고 있지만, 집단지성이란 개념이 부상한 이후, 대중들에게 추상적으로만 가늠되었던 지능이 높은 커뮤니티에 대한 수치적 측정을 시도했다는 점에서 선구적인 것으로 여겨지고 있다.