[이코리아] 크롤링 문제로 법정에서 시비를 가리는 기업이 늘고 있다. 크롤링은 업계 후발주자가 경쟁에 뛰어들 수 있게 돕는 기술로 꼽히지만, 시장에서 우위를 점하고 있는 기업들이 반발하고 있기 때문이다.

◇적법성 모호한 크롤링 문제, 쟁점은?

국회 입법조사처는 ‘데이터 거래 활성화를 위한 거래소·거래사·크롤링의 현황과 개선과제’ 보고서를 지난 6일 발간했다. 여기에는 최근 논란인 크롤링을 양지로 들이고 활성화해야 한다는 제언이 담겼다.

크롤링이란 색인을 만들기 위해 웹사이트 정보를 수집하는 작업이다. 주로 검색엔진 개발자가 이용자들이 웹사이트를 찾을 수 있도록 본문과 메타태그 등을 수집할 때 활용한다.

크롤링은 다양한 산업의 기반이 될 수 있다. 그러나 적법성을 명시한 법령이 없어, 검색엔진 외에는 크롤링을 이용하는 데 소극적인 상황이다.

실제로 법적공방이 국내외에서 매년 끊이지 않고 있다. 주요 사례로는 잡코리아-사람인, 야놀자-여기어때, 네이버-다윈중개, 링크드인-하이큐랩스 등이 치른 소송이 있다.

기업들이 법정에 나서면서까지 타사의 크롤링을 막으려는 까닭은 데이터를 시장 지배력을 강화하는 자산으로 생각해서다. 공들여 구축한 데이터를 신규 경쟁자가 크롤링으로 손쉽게 수집해 가는 데 불만이 큰 것이다.

입법조사처는 크롤링 활성화를 위한 환경을 조성해야 한다는 시각이다. 박소영 입법조사관은 보고서를 통해 “크롤링은 해외에서 가장 빈번하게 이용하는 웹사이트 데이터 수집 경로”라며 “거래할 수 있는 데이터가 부족해지는 상황을 피하려면 크롤링을 합리적으로 활성화시킬 방안을 살필 필요가 있다”고 말했다.

크롤링에 대한 기업들의 부정적 인식에 관해서는 “소비자 후생을 높이고 경쟁을 촉진하는 긍정적인 효과도 크다”며 “저작권법과 부정경쟁방지법 등에서 보호하는 권리를 침해하지 않는 선에서 크롤링을 허용하고, 데이터를 독점하지 않도록 할 방안을 논의해야 한다”고 지적했다.

국내외 기업 역차별이 발생할 여지도 있다. 국내 법령이 크롤링을 제한한다면, 외국 기업만 국내 데이터를 수집하는 경우가 나타날 수 있기 때문이다.

◇’크롤링’이냐 ‘스크래핑’이냐, 용어 문제도 해소해야

크롤링과 스크래핑을 구분할지, 일련의 기술로 볼지에 대해서도 사회적 합의가 필요해 보인다. 스크래핑은 특정한 정보만 수집해 내재화한다는 데서 크롤링과 차이가 있다.

스크래핑 분쟁의 대표적인 사례로는 미국 스타트업 ‘하이큐랩스’와 구인구직 SNS ‘링크드인’ 사이의 소송이 있다. 지난 4월 항소심 결과가 나왔다. 하이큐랩스는 링크드인의 회원 프로필에서 개인정보를 수집한 뒤, 직원의 이직 가능성을 예측하는 서비스를 개발해 피소했다.

법원은 하이큐랩스의 손을 들어줬다. 링크드인에 공개돼 누구나 볼 수 있는 회원 개인정보를 수집해 영리적으로 활용하는 일에 문제가 없다고 판단한 것이다.

당시 미국 법조계는 링크드인처럼 회원정보를 대중들에게 공개하는 기업이 스크래핑을 막으려면, 조건을 명시하고 사전에 승인받도록 해야 한다고 조언했다. 현지 언론들은 스크래핑으로 수집한 정보로 콘텐츠나 서비스를 만들던 스타트업·학자·언론인들의 승리라고 평가했다.

이 같은 스크래핑과 검색엔진의 크롤링은 결이 다른 사안이다. 링크드인-하이큐랩스 사건에서는 회원들이 하이큐랩스의 개인정보 수집을 예상할 수 없었지만, 통상 웹사이트들은 접근 조건을 명시하지 않았다면 검색엔진의 크롤링에 암묵적 동의하는 것이기 때문이다.

입법조사처의 경우 링크드인-하이큐랩스 사건을 다룬 외신 기사를 보고서에 ‘크롤링’ 사례로 인용했다. 다만 해당 기사에는 ‘크롤링(crawling)’이라는 단어는 한 번도 쓰이지 않았고, ‘스크래핑(Scraping)’으로 표현했다. 일련의 기술로 판단하고 임의로 번역한 셈이다.

이와 관련해 박소영 입법조사관은 지난 8일 본지와의 통화에서 “특정 항목만 가져오는 걸 스크래핑이라 부른다”며 “크롤링이라는 넓은 범주 안에 스크래핑이라는 세부 기술이 있는 것으로 볼 수 있다”고 설명했다.

이처럼 크롤링과 스크래핑이라는 용어는 국내외 각각 쓰임이 다르다. IT업계에서는 둘을 구분해야 한다는 목소리도 나온다. 이에 정책입안자들은 크롤링과 스크래핑 모두 규제를 완화할지, 스크래핑을 제외한 크롤링만 법적으로 허용할지 고민할 필요가 있어 보인다.