AI 크롤러마다 사이트를 읽는 방식이 크게 다르다는 관찰
r/SaaS 게시자는 34개 웹사이트에서 3개월 동안 1,100만 건의 크롤러 로그를 추적했다고 말합니다. 글에 따르면 GPTBot은 robots.txt를 거의 확인하지 않았고, 존재하지 않는 /llms.txt를 반복해서 요청했습니다. Google 봇은 robots.txt를 자주 다시 확인했고, ClaudeBot의 방문량은 4월부터 6월 초까지 크게 늘었다고 합니다. 사용자의 질문과 연결된 AI 방문은 사이트 전체가 아니라 답이 있는 한 페이지를 바로 가져가는 경향이 있다고 설명합니다.
핵심 포인트
- 게시자는 34개 웹사이트에서 3개월 동안 1,100만 건의 크롤러 로그를 봤다고 말합니다.
- GPTBot은 robots.txt를 거의 요청하지 않았지만 /llms.txt는 반복해서 요청했다고 합니다.
- Google 봇은 robots.txt를 매우 자주 다시 확인했다고 설명합니다.
- ClaudeBot 방문량은 4월 7,300건에서 5월 64,000건, 6월 첫 10일 168,000건으로 늘었다고 합니다.
- 사용자 질문과 연결된 AI 방문은 필요한 한 페이지를 바로 가져가는 경향이 있다고 합니다.
용어 한 줄 설명
- r/SaaS
- 소프트웨어 구독 사업을 만드는 사람들이 의견을 나누는 Reddit 게시판입니다.
- SaaS
- 인터넷으로 쓰는 유료 소프트웨어 서비스입니다.
- GPTBot
- OpenAI 쪽 AI 학습이나 검색용으로 알려진 웹 방문 봇 이름이다.
- robots.txt
- 웹사이트 루트에 두는 텍스트 파일로, 어떤 봇이 어느 페이지에 접근할 수 있는지 알려주는 규칙 파일입니다.
- /llms.txt
- AI가 웹사이트 내용을 더 쉽게 이해하도록 안내하기 위해 쓰자는 제안에서 나온 파일 경로입니다.
- llms.txt
- AI 언어 모델이 웹사이트 내용을 쉽게 읽을 수 있도록 정리한 텍스트 파일 형식입니다.
- LLMs
- 많은 글을 학습해 질문에 답하거나 글을 만드는 대형 AI 언어 모델입니다.
- 비즈니스
- 돈을 벌기 위해 가치 있는 것을 만들어 파는 모든 활동을 말합니다.