현재 전 세계 인터넷 트래픽의 절반 이상을 기계가 만들어내고 있다. 인공지능(AI) 시대의 이 일면은 국내 언론에서도 체감되고 있다. 봇(bot) 추정 접속이 사이트에 대량 트래픽을 유발한다는 지적이 대표적이다. 통상 트래픽 증가는 독자 영향력, 광고수익 등으로 환원되지만 봇 트래픽은 아니다. 데이터 무단수집 우려까지 나온다. 개별 언론의 AI 크롤러 통제방안과 정책 수립을 토대로 한 업계 공동 대응이 시급한 시점이다.

일러스트=김성규 기자.

◇갑자기 2~3배 뛴 트래픽… 봇 비중 90%?
서울경제신문은 최근 자사 영문 뉴스 사이트에서 비정상적 트래픽 급증을 겪었다. 서울경제가 한국언론진흥재단의 ‘2026 뉴스저작권 워크숍’에서 공개한 자료에 따르면 5월 말~6월 중순 100만~130만 건이던 하루 평균 트래픽 요청이 6월21일 갑자기 늘었다. 정점이던 6월26일엔 하루 요청이 272만 건에 달했는데 45%(122만 건)가 중국발(發)로 파악됐다. 중국발 하루 요청량은 평균 30만 건에서 급증 후 최대 107만 건까지 치솟았다.

중국 이용자가 아니었다. 자체 분석 결과 6월24~29일 중국발 트래픽 82.2%가 단일 사용자 에이전트에서 나왔다. 평균 체류시간은 3초대, 이탈률(한 페이지만 보고 떠난 방문자 비율)은 94.5%로 사람 행동으로 보기 어려웠다. 6월29일 중국 지역 의심 요청을 차단하자 전체 요청량이 통상 수준을 회복했다.

서울경제는 이를 “가정용 IP 약 1만9500개로 위장한 대규모 봇 네트워크”를 활용한 자동화 접근 시도로 봤다. 독자 유입이나 기사 소비 증가가 아니라 자동화 요청 증가가 트래픽 급증 원인이란 것이다. 이 기간 확실한 봇 비중을 57.7%라 보고 실제론 83~90%에 달할 것이라 추정했다. 우승호 서울경제 미래전략부 부국장은 “방문자가 늘었다 생각할 수 있지만 전혀 실익 없이 서버 비용만 더 나가게 하는 ‘마이너스’ 방문”이라며 “타 매체에 실태를 물어보니 봇 비중이 80% 이상이란 말도 들린다. 차단 지역을 잠시 열었더니 봇이 또 들어왔는데 진행형이고, 우리만의 일이 아니라 봤다”고 했다.

◇봇 트래픽, 기여 없이 부담만
미국 웹 인프라 기업 클라우드플레어 최근 통계를 보면, 6월 첫 역전(57.5%) 후 봇 트래픽은 지속 사람보다 많은 상태다. 매체별 양상은 다르지만 올해 들어 봇 트래픽 급증은 국내 여러 매체에서 감지됐다. 지역신문 디지털 부문 한 관계자는 “상반기 사이트 검색 클라우드 비용이 평달 대비 몇 배가 나와 알게 됐다. 새벽 시간 접속해 초 단위로 연속 키워드 검색을 했고, 사람이 아닌 듯해 차단했다”며 “IP상 국외였고 무단 크롤링이 추정되지만 정확히 뭘 했는진 모른다”고 했다.

앞선 통계에서 봇 활동 목적은 2~9일 기준 훈련 41.6%, 훈련·검색 병행 37.1%, 검색 15.5% 등이었는데 언론사가 반기긴 어려운 결과다. 데이터 접근·수집으로 자사 서비스와 AI 성능을 개선하지만 언론사로선 효과가 제한적이어서다. 트래픽만 높여 서버 유지 부담만 키울 뿐 독자를 돌려주지 않는 게 근본 문제다. 특히 정체를 알 수 없는 봇은 판별이 어렵고 무단 데이터 수집에 대응도 쉽지 않다. 빅테크 기업들은 봇 목적이나 기능을 공표하고 ‘Googlebot’, ‘GPT Bot’, ‘Claude Bot’ 등 명명으로 사전조치 여지를 주지만 ‘비식별 봇’은 피해 후 정체를 알게 된다.

봇 트래픽의 조회수나 영향력, 광고 등 기존 성과지표 오염도 우려된다. 이는 내부 의사결정 혼란, 나아가 비즈니스 모델 위협 요인이다. 이에 미국 인터넷광고협회(IAB)에선 봇 트래픽 방지, 지표 투명성을 위해 ‘국제 스파이더 및 봇 목록’을 지속 갱신, 제공하고 있다.

◇“언론, 봇 현황 파악… 차단부터 해봐야”
이와 관련 한국일보는 올 초 문제를 인식하고 6월부터 사이트에 ‘봇 감지 인디케이터’를 탑재했다. 김민성 한국일보 미디어전략부문장은 “이 방문물(物)들을 정확히 판별하긴 어렵지만 일정 기준을 두고 매일 봇 관련 유입을 체크해 과도한 활동으로 보이면 분석과 추후 조치로 지표에서 발라내는 식”이라고 했다. 그는 “정책적으로 인간 방문자, 독자와 관계 속 저널리즘을 통해 비즈니스 모델을 확장하려는 우리 노선에선 정확한 판단에 필요하고, 부풀리지 않은 성과 공유가 책무라 봤다”며 “각 사에서 일단 비식별 봇 등을 막아봐야 이후 중요한 결정이 따를 수 있다”고 했다.

그간 국내 언론의 봇 대응은 검색·학습용 봇 접근에 ‘함부로 긁어가지 말라’는 권고(robots.txt)를 두는 수준이었는데 실제 ‘봇을 허용하고 막는’ 물리적 방어 경험이 사별 정책 고민의 계기가 될 수 있다는 취지다. 다만 개별사, 특히 인프라가 부족한 중소매체에선 현황이나 피해를 알기 어려운 측면도 있다. 이성규 블루닷AI 대표는 “전담 인력이 없는 중소언론을 위해 일단 차단 방법 등 가이드 공유가 절실하다”면서 “CMS 운영 등을 맡은 솔루션 업체가 로그를 살펴 봇 규모 통계를 알려줄 필요도 있다. 언론사에 클라우드 비용을 전가할 수도 있는데 근거를 밝히고 차단을 돕는 게 우선”이라고 했다.

◇기울어진 AI 운동장… “국내외 연대 필요”
이런 차단은 언론 공동대응을 위한 전제조건으로 의미 있다. 크롤러 정책 주요 축엔 빅테크와 협상이 있고, 개별 대응과 별개로 AI 기업과 뉴스 산업 간 불균형 구조는 명백해서다. 당면 과제로는 이상 봇과 행동 데이터를 언론이 공유하는 ‘봇 정보 공유 시스템 구축’이 거론된다. 악성 기준이 다르면 같은 봇에 제각각 수치가 나와 시장 규모 추정이나 협상이 어려워지는 만큼 ‘측정 기준 통일’도 필요하다. 이를 토대로 사용료, 출처 표시, 독자 유입 등까지 포함한 공통 원칙을 마련하고 ‘공동협상’에 나서야 여지가 있다는 것이다.

우승호 부국장은 “빅테크는 전 세계 언론을 상대하는 만큼 한국 언론도 같은 기준으로 얘기해야 한다. 근거 없이 갑자기 비용을 요구하기는 어렵기에 준비가 필요하다는 회사 뜻을 여러 언론, 단체에 전하고 있다”고 했다. 이어 “세계 언론의 문제인 만큼 글로벌 연대에도 적극 나서야 한다. 영미권에서 스퍼(SPUR)가 기준을 마련 중인데 참여를 통해 한국 현실을 반영한 체계가 되면 더 나을 거라 본다”고 했다.

봇 트래픽 차단… 정책수립? 솔루션 도입? 첫 단추 어떻게

대규모 예산이나 전담 인력 없이도 개별 언론사가 봇 점검을 시작할 수 있다. ‘구글 애널리틱스’에서 특정 국가 요청이 급증했지만 국가별 참여율과 체류시간이 비정상적으로 낮다면 자동화 접근의 위험신호로 볼 수 있다. 서버와 방화벽 기록을 살펴 신분을 밝힌 봇과 의심패턴을 산출, 최소 기준을 만들 필요도 있다.

면밀한 분석엔 사내·외 전산 협조가 요구된다. 전문 인력이나 WAF(웹 방화벽)·CDN(지리적 제약 없는 빠른 콘텐츠 전송 기술) 사업자 지원 하 ‘마이크로소프트 클래리티 세션 녹화’(사이트 방문자 행동 추적·재생 도구), ‘TLS 지문’(접속자나 프로그램 판별 기술) 분석 등을 진행하는 식이다. 이를 토대로 봇 제외 전후 광고 노출, 페이지뷰, 체류시간, 전환율 등을 비교해 정확한 성과지표를 도출하고 별도 관리할 중요성도 크다.

경영진에선 ‘봇별’ 정책을 수립해야 한다. 같은 테크기업도 검색, AI 학습·활용, AI 데이터 수집 등 여러 목적 봇을 운영하는 상황에서 ‘차단’, ‘과금’, ‘협상’, ‘허용’으로 각각 대응하는 방향이다. 실시간 답변·검색용 봇처럼 언론에 유익을 주는 봇은 ‘허용’하되 기여가 없는 비식별 봇 등은 ‘차단’하는 식이다. 특정 지역·국가를 막을 수도 있지만 클라우드플레어의 ‘AI 크롤러 차단(AI Crawl Control)’ 기능을 도입, 봇별 통제를 고도화하는 방법도 있다.

지속 콘텐츠 수집을 하지만 표준화된 사용료 부과가 적합한 경우 ‘과금’을 고려할 수 있다. AI 요청 시 ‘봇 전용 페이월’로 경로를 넘기고 이용료를 지불하면 콘텐츠를 주는 ‘톨빗(TollBit)’의 솔루션이 해당한다. ‘크롤링 1회당 얼마’를 넘어 ‘콘텐츠의 AI 생성 답변 기여도에 따른 수익 배분’ 모델을 내놓은 ‘프로라타(ProRata)’는 파이낸셜타임스, 가디언, 타임 등 유수 언론과 라이선스 계약을 맺고 있다. 시장 영향력이 큰 생성형 AI의 경우 ‘협상’을 염두해야 하지만 한국 언론은 일단 협상력을 키워야 하는 여건이다.

크롤러 정책을 수립하고 위 솔루션 도입을 진행 중인 국내 매체가 나타나는 가운데 해외에선 보다 적극적 행보도 나온다. 미국 타임지는 최근 인간 독자용 웹사이트와 별도로 봇만 읽을 수 있는 텍스트 중심 ‘마크다운’ 버전 페이지를 도입했다. AI 검색엔진 노출을 위한 최적화를 넘어 이 페이지 내부에 브랜드 광고를 삽입, 봇 트래픽 증가를 새 수익 창출원으로 삼는다는 점에서 주목받았다.