User-agent: * Allow: / Disallow: /site_join Disallow: /site_join_agree Disallow: /login Disallow: /logout.cm Disallow: /shop_cart Disallow: /?mode* Disallow: /admin # 1. 메이저 검색 엔진 & AI 봇 명시 (이들에게 아래 규칙을 적용함) User-agent: Googlebot User-agent: Bingbot User-agent: Yahoo! Slurp User-agent: DuckDuckGoBot User-agent: Baiduspider User-agent: YandexBot User-agent: Yeti # 2. 생성형 AI 및 LLM 봇 명시 User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot User-agent: CCBot User-agent: Claude-Web User-agent: Anthropic-AI User-agent: Google-Extended User-agent: Applebot-Extended User-agent: PerplexityBot User-agent: FacebookBot User-agent: Twitterbot # 3. 그 외 모든 봇 (혹시 빠진 봇들을 위한 안전장치) User-agent: * # --- 공통 규칙 적용 시작 --- Allow: / # [보안 & SEO] 개인정보 및 불필요한 페이지 접근 차단 # (이걸 안 적으면 위에서 명시한 AI들이 장바구니까지 긁어갑니다) Disallow: /site_join Disallow: /site_join_agree Disallow: /login Disallow: /logout.cm Disallow: /shop_cart Disallow: /order Disallow: /myshop Disallow: /?mode* Disallow: /exec # 사이트맵 및 AI 학습용 파일 위치 안내 Sitemap: https://dearlabs.kr/sitemap.xml Sitemap: https://dearlabs.kr/llms.txt Sitemap: https://dearlabs.kr/sitemap.xml