회사 홈페이지에 고객 질문을 풀어 쓴 글을 올리면 이런 생각이 듭니다. 누군가 AI에게 같은 질문을 했을 때 우리 글도 참고할까? 답변에 출처로 소개된다면 고객이 회사를 알아볼 방법이 하나 더 생길 수도 있습니다.
그런데 실제로 어디까지 일어났는지 알아보려면 질문을 나눠야 했습니다. AI 관련 로봇이 우리 글에 왔는지, 그 요청이 정말 해당 회사에서 온 것인지, 답변에 글이 쓰였는지, 답변을 본 사람이 홈페이지에 들어왔는지는 모두 다른 일입니다. 이번에는 앞의 두 가지를 확인할 수 있도록 만든 기록입니다.
먼저 글을 읽을 수 있는지 확인했습니다
홈페이지에는 검색·AI 로봇에게 읽어도 되는 곳과 읽으면 안 되는 곳을 알려 주는 파일이 있습니다. 기존에는 공개 페이지를 넓게 허용하고 있었습니다. 저희는 나중에 규칙을 바꿀 때 AI 로봇만 빠지는 일을 피하려고 주요 로봇 이름을 따로 적었습니다. 관리자 화면이나 개인별 결과 페이지처럼 공개할 이유가 없는 곳은 계속 제외했습니다.
AI 답변의 자료를 찾는 로봇과 모델 학습에 쓸 자료를 모으는 로봇도 구분했습니다. 이노자일은 현재 두 종류를 모두 허용하기로 했습니다. 회사마다 콘텐츠 활용에 대한 생각이 다를 수 있어 어느 쪽을 허용할지는 별도로 정할 문제입니다. 사이트 앞단의 로봇 차단 설정도 당시 꺼져 있는 것을 확인했습니다.
다만 접근을 허용했다는 사실은 실제 방문의 증거가 아닙니다. 방문을 확인하려면 따로 기록이 필요했습니다.
일반 방문 통계만으로는 로봇을 보기 어려웠습니다
저희가 쓰는 방문 통계는 주로 방문자의 브라우저에서 실행되는 측정 코드로 쌓입니다. 글을 가져가는 로봇은 그 방식으로 기록되지 않을 수 있습니다. 그래서 서버로 글을 요청하는 순간 알려진 검색·AI 로봇의 이름, 방문 날짜, 요청한 주소를 따로 세도록 했습니다. 이 기록에는 방문자의 IP 주소나 요청에 붙은 이름 전체를 저장하지 않습니다.
관리 화면에서는 어떤 이름의 로봇이 어느 글을 요청했는지 볼 수 있게 했습니다. 그렇지만 화면에 AI 검색 로봇 1회라고 나온다고 해서 곧바로 진짜 로봇이 한 번 읽었다는 뜻은 아닙니다. 요청을 보낸 프로그램은 자기 이름을 마음대로 적을 수 있기 때문입니다.
이름뿐 아니라 출발지도 대조했습니다
공식 로봇처럼 보이는 요청이 실제로 그 회사에서 왔는지 확인하려고 회사가 공개한 네트워크 주소 목록과 요청의 출발지를 비교했습니다. 네이버처럼 주소의 이름을 거꾸로 확인하는 방식을 안내하는 경우에는 그 방법을 따랐습니다. 대조할 방법이 없거나 조회가 실패하면 ‘확인 불가’로 남깁니다. 목록 밖에서 온 요청은 확인 방법이 유효할 때에만 ‘위장 의심’으로 분류합니다.
실제 사이트에서 저희 컴퓨터가 로봇 이름만 붙여 보낸 요청도 시험했습니다. 구글·네이버 등의 이름을 꾸민 요청은 ‘위장 의심’으로 기록됐습니다. 이름만 믿으면 숫자가 부풀 수 있다는 것을 확인한 시험이었습니다. 구글 역시 로봇 이름은 흉내 낼 수 있으므로 출발지 확인을 안내합니다.
운영 서버에서는 목록을 가져오지 못했습니다
시험 중 OpenAI와 Perplexity의 이름을 단 요청은 ‘확인됨’도 ‘위장 의심’도 아닌 ‘확인 불가’로 남았습니다. 저희 컴퓨터에서는 두 회사의 공개 목록을 읽을 수 있었지만 운영 서버에서는 읽지 못했습니다. 정확히 어느 단계에서 막혔는지는 확인하지 못했습니다.
그래서 공개 목록의 사본을 저장하고 대조하는 방법을 마련했습니다. 이때 사본에 있는 주소와 일치하면 ‘확인됨’으로 기록하지만 사본에 없다는 이유만으로 ‘위장 의심’이라고 판단하지 않습니다. 회사가 새 주소를 추가했는데 사본이 아직 바뀌지 않았을 수 있기 때문입니다. 관리자 화면에서는 서버, 관리자 브라우저, 공식 목록을 열어 붙여 넣는 순서로 사본을 갱신할 수 있습니다. 30일이 지나면 갱신이 필요하다고 표시합니다.
자동으로 다시 가져오도록 예약할 수도 있지만 운영 서버의 접근 문제가 그대로라면 같은 실패가 반복될 수 있습니다. 그래서 지금은 갱신 방법과 마지막 갱신 시각을 함께 보여 줍니다.
AI 답변을 보고 사람이 들어왔는지는 별개입니다
로봇이 글을 요청했다는 기록만으로 AI 답변에 그 글이 인용됐다고 말할 수는 없습니다. 답변에서 실제로 출처 링크를 보여 줬는지도 이 기록으로는 알 수 없습니다.
사람이 홈페이지에 들어오는 단계는 별도로 살핍니다. 방문 통계에서 ChatGPT나 Perplexity처럼 출처가 보이는 방문을 다른 외부 사이트 유입과 나눠 보도록 했습니다. 하지만 AI 앱이 출처 정보를 전달하지 않으면 그 방문은 구분되지 않을 수 있습니다. 따라서 화면에 보이는 수가 AI를 거쳐 온 모든 방문을 뜻하지는 않습니다. 로봇 방문 수와 고객 문의 수를 바로 연결해 해석해서도 안 됩니다.
3주 동안 쌓인 기록
기록을 시작한 9월 26일부터 10월 18일까지 약 3주 동안 쌓인 수치입니다. 같은 로봇이 같은 날 같은 주소를 여러 번 요청하면 그 횟수를 모두 셌습니다.
| 로봇 | 하는 일 | 요청 수 | 출발지 확인 | 주로 요청한 곳 |
|---|---|---|---|---|
| OAI-SearchBot (OpenAI) | AI 답변의 자료 찾기 | 124 | 모두 확인됨 | 로봇 안내 파일만 |
| GPTBot (OpenAI) | 모델 학습 자료 모으기 | 96 | 모두 확인됨 | 인사이트 글 13편, 주요 페이지 |
| ClaudeBot (Anthropic) | 모델 학습 자료 모으기 | 347 | 확인 불가 | 대부분 안내 파일·사이트 지도, 인사이트 글 11편 |
| meta-externalagent (Meta) | 모델 학습 자료 모으기 | 216 | 확인 불가 | 9월 28~30일에 몰림, 주요 페이지와 글 |
| Googlebot · bingbot | 검색 | 157 · 120 | 위장 의심 6 · 1 | 글 전반 |
| Applebot · 네이버(Yeti) | 검색 | 73 · 72 | 모두 확인됨 | 글 전반 |
몇 가지가 눈에 띄었습니다.
- 학습용 로봇은 실제로 글을 가져갔습니다. OpenAI 의 학습 로봇은 출발지까지 확인된 요청으로 인사이트 글 13편을 읽어 갔습니다.
- AI 답변용 로봇은 아직 글을 읽지 않았습니다. OpenAI 의 답변용 로봇은 124번 왔지만 모두 "어디를 읽어도 되는지" 알려 주는 안내 파일만 확인하고 돌아갔습니다. 답변의 출처가 되려면 이 단계부터 넘어야 합니다.
- 이름을 꾸민 요청은 실제로 들어옵니다. 구글 로봇 이름을 단 요청 6건과 빙 로봇 이름을 단 요청 1건이 공식 주소 목록 밖에서 왔습니다. 그중에는 이 사이트에 없는 주소(/cms·/press)를 찔러 본 요청도 있었습니다. 이름만 셌다면 이 요청들도 "구글이 다녀갔다"로 기록됐을 것입니다.
- 확인 불가는 위장이 아닙니다. Anthropic 과 Meta 의 로봇은 대조할 공식 목록을 쓰지 않아 '확인 불가'로 남았습니다. 수가 많아도 진짜인지 가짜인지 말할 수 없는 기록입니다.
- 네이버 로봇은 실제 방문으로 확인됐습니다. 시험 요청이 아니라 실제 네이버 로봇 72건이 출발지 확인을 통과했습니다.
이 수치로 알 수 있는 것은 "어떤 로봇이 무엇을 요청했는가"까지입니다. AI 답변에 글이 쓰였는지, 그 답변을 보고 사람이 들어왔는지는 여전히 다른 질문입니다.
이번 일을 하며 글을 AI가 ‘봤다’는 말에도 여러 단계가 있다는 것을 알게 됐습니다. 사이트가 읽기를 허용하는지, 진짜 로봇이 글을 요청했는지, 답변에 소개됐는지, 그 답변을 본 사람이 방문했는지를 따로 보는 편이 운영 결정을 내리는 데 더 도움이 됩니다.