User-agent: *
Allow: /

# 允许访问主要页面
Allow: /services
Allow: /technologies
Allow: /documentation
Allow: /pricing
Allow: /enterprise

# 允许访问技术栈页面
Allow: /r-technologies/
Allow: /python-technologies/
Allow: /ide-tools/
Allow: /julia-technologies/

# 允许访问资源页面
Allow: /blog
Allow: /tutorials
Allow: /community
Allow: /examples

# 允许访问支持页面
Allow: /support
Allow: /contact
Allow: /status
Allow: /faq

# 允许访问法律页面
Allow: /privacy
Allow: /terms
Allow: /security
Allow: /compliance

# 不允许访问的目录
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/
Disallow: /cache/
Disallow: /logs/
Disallow: /config/
Disallow: /backup/
Disallow: /private/

# 不允许访问特定文件类型
Disallow: *.log
Disallow: *.sql
Disallow: *.bak
Disallow: *.tmp

# 百度爬虫特定规则
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# Google爬虫特定规则
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 必应爬虫特定规则
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# 360搜索爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 搜狗爬虫
User-agent: Sogou Spider
Allow: /
Crawl-delay: 1

# 指向网站地图
Sitemap: https://www.shinyproxy.com/sitemap.xml

# 指向新闻站点地图（如果有）
# Sitemap: https://www.shinyproxy.com/news-sitemap.xml

# 指向图片站点地图（如果有）
# Sitemap: https://www.shinyproxy.com/image-sitemap.xml