ai.robots.txt与Traefik集成：使用插件自动化管理爬虫规则

【免费下载链接】ai.robots.txt A list of AI agents and robots to block. 项目地址: https://gitcode.com/gh_mirrors/ai/ai.robots.txt

ai.robots.txt是一个强大的项目，提供了全面的AI爬虫和机器人列表来阻止非必要的网络爬虫访问您的网站。通过与Traefik集成，您可以轻松实现爬虫规则的自动化管理，保护您的网站内容不被未授权的AI爬虫抓取。

为什么需要集成ai.robots.txt与Traefik？

在当今的网络环境中，各种AI爬虫和机器人不断增加，它们可能会消耗您的服务器资源，甚至抓取和使用您的内容。ai.robots.txt项目提供了一个全面的机器人列表，可以帮助您阻止这些非必要的爬虫。而Traefik作为一款流行的反向代理，能够帮助您集中管理和应用这些爬虫规则。

两种集成方式

使用Traefik插件实现自动化管理

ai.robots.txt项目提供了一个专门的Traefik插件——Robots.txt Traefik plugin。这个插件可以自动将robots.txt中的规则添加到Traefik中，实现爬虫规则的自动化管理。

手动配置Traefik

如果您更喜欢手动配置，也可以按照traefik-manual-setup.md中的指南，通过配置一个轻量级的静态文件服务和高优先级的Traefik HTTP Router规则来集中提供robots.txt。

手动配置步骤

1. 定义服务

使用nginx:alpine镜像创建一个服务来提供robots.txt文件：

services:
  robots:
    image: nginx:alpine
    container_name: robots-server
    volumes:
      - ./static/:/usr/share/nginx/html/:ro
    labels:
      - "traefik.enable=true"
      # Router for all /robots.txt requests
      - "traefik.http.routers.robots.rule=Path(`/robots.txt`)"
      - "traefik.http.routers.robots.entrypoints=web,websecure"
      - "traefik.http.routers.robots.priority=3000"
      - "traefik.http.routers.robots.service=robots"
      - "traefik.http.routers.robots.tls.certresolver=letsencrypt"
      - "traefik.http.services.robots.loadbalancer.server.port=80"
    networks:
      - external_network

networks:
  external_network:
     name: traefik_external_network
     external: true

2. 放置robots.txt文件

将robots.txt文件放置在本地的./static/目录中，Nginx将为所有Traefik代理后的服务提供这个文件。

3. 关键配置说明

Traefik HTTP Routers规则没有包含主机名，虽然Traefik会为此TLS设置打印警告，但它仍然可以正常工作。3000的高优先级确保此规则在传入请求时首先被评估。

ai.robots.txt的主要功能

ai.robots.txt包含了大量AI爬虫和机器人的规则，例如：

• User-agent: anthropic-ai
• User-agent: ChatGPT Agent
• User-agent: GPTBot
• User-agent: Claude-Web
• User-agent: Google-Extended

等等，总共包含了超过130种不同的机器人规则，全面保护您的网站。

如何获取ai.robots.txt

您可以通过以下命令克隆仓库来获取ai.robots.txt：

git clone https://gitcode.com/gh_mirrors/ai/ai.robots.txt

总结

通过将ai.robots.txt与Traefik集成，您可以轻松实现对AI爬虫和机器人的有效管理。无论是使用插件进行自动化配置，还是手动设置静态文件服务，都能帮助您保护网站内容，减少不必要的资源消耗。选择适合您的方式，开始使用ai.robots.txt来增强您的网站安全吧！

【免费下载链接】ai.robots.txt A list of AI agents and robots to block. 项目地址: https://gitcode.com/gh_mirrors/ai/ai.robots.txt