≡En resumen
- Un web crawler descarga páginas, extrae sus enlaces y los añade a una cola para visitarlos después.
- Los buscadores, las IA, los archivos web y las herramientas SEO usan crawlers distintos con fines distintos.
- Rastrear no es extraer datos: el scraping toma información concreta; el crawling descubre y recorre.
- robots.txt permite pedir a cada bot qué puede rastrear, pero no es un mecanismo de seguridad.
- Un crawler SEO como Screaming Frog te muestra tu web tal como la ve un bot.
01 ¿Qué es el web crawling y qué es un web crawler?
La palabra viene del inglés to crawl, «arrastrarse», y la metáfora de la araña que recorre su tela explica los otros nombres: spider, araña web o simplemente bot. En la entrada sobre crawling explicamos cómo encaja el rastreo en el SEO de Google; aquí nos centramos en los web crawlers como programas: cómo funcionan, cuáles existen y cómo controlarlos.
| Término | Qué es | Ejemplo |
|---|---|---|
| Web crawler / spider / araña | Programa que recorre la web siguiendo enlaces | Googlebot, Bingbot, CCBot |
| Bot | Cualquier programa automático que actúa en internet | Crawlers, bots de chat, bots de spam |
| Scraper | Programa que extrae datos concretos de páginas | Un script que recoge precios |
| Indexador | Sistema que analiza y guarda lo rastreado para buscarlo | El índice de Google |
| Fetcher | Programa que descarga una URL a petición, sin recorrer enlaces | ChatGPT-User al abrir un enlace que le pides |
02 Cómo funciona un web crawler
-
1
Semillas
El crawler empieza con una lista de URL de partida: páginas conocidas, sitemaps o direcciones enviadas por los propietarios.
-
2
Consulta de robots.txt
Antes de pedir páginas de un dominio, un crawler respetuoso lee su archivo robots.txt para saber qué zonas tiene permitidas.
-
3
Descarga
Solicita la URL al servidor, recibe el código de respuesta (200, 301, 404…) y el contenido, y a veces lo renderiza para ejecutar JavaScript.
-
4
Extracción de enlaces
Analiza el HTML, localiza los enlaces y normaliza las URL para no repetir la misma dirección con variantes.
-
5
Cola o frontera
Las URL nuevas pasan a una cola priorizada. El crawler decide qué visitar primero según importancia, frescura y límites del servidor.
-
6
Revisitas
Las páginas ya conocidas se vuelven a visitar con una frecuencia que depende de lo mucho que cambian.
Política de selección
Qué páginas descargar, porque ningún crawler puede recorrer toda la web: se prioriza por relevancia.
Política de revisita
Cada cuánto volver a una página para detectar cambios sin malgastar recursos.
Política de cortesía
Cuántas peticiones hacer a un mismo servidor para no saturarlo.
Política de paralelización
Cómo repartir el trabajo entre muchas máquinas sin descargar dos veces lo mismo.
03 Ejemplos de web crawlers: buscadores, IA y archivos
Cada bot se identifica con un nombre en su user agent, que es el que usas en robots.txt para darle instrucciones. Estos son los más relevantes para una web en 2026:
| Crawler (user agent) | Empresa | Para qué rastrea |
|---|---|---|
| Googlebot | Búsqueda de Google (versiones para smartphone y ordenador) | |
| Googlebot-Image / Googlebot-Video / Googlebot-News | Imágenes, vídeos y Google Noticias | |
| Storebot-Google | Superficies de compras | |
| Google-Extended | No es un bot aparte: es el token que decide si tu contenido se usa para entrenar Gemini y dar contexto en sus apps; no afecta a la Búsqueda | |
| Bingbot | Microsoft | Buscador Bing y servicios que usan su índice |
| OAI-SearchBot | OpenAI | Mostrar webs en las búsquedas de ChatGPT |
| GPTBot | OpenAI | Contenido para entrenar sus modelos de IA |
| ChatGPT-User | OpenAI | Visitas iniciadas por un usuario; OpenAI advierte que robots.txt puede no aplicarse |
| CCBot | Common Crawl | Archivo abierto de la web usado en investigación y entrenamiento de IA |
04 Web crawling vs web scraping
Se usan como sinónimos, pero no lo son. El crawling descubre y recorre páginas; el web scraping extrae datos concretos de ellas. Muchos proyectos combinan ambos: un crawler encuentra las fichas de producto de una tienda y un scraper saca de cada una el precio y el stock.
| Web crawling | Web scraping | |
|---|---|---|
| Objetivo | Descubrir y descargar páginas | Extraer campos concretos |
| Alcance | Muchos sitios o un sitio completo | Páginas concretas |
| Resultado | Copia de páginas, índice, mapa de enlaces | Tabla de datos: precios, nombres, fechas |
| Ejemplo | Googlebot indexando la web | Comparador que recoge precios de competidores |
05 Herramientas de crawling: crawlers SEO y de código abierto
Screaming Frog SEO Spider
Crawler de escritorio para auditar tu web: enlaces rotos, redirecciones, títulos, canónicas y profundidad de rastreo.
Scrapy
Framework de Python con licencia BSD para programar tus propios crawlers y scrapers.
Apache Nutch
Crawler extensible en Java, de la Apache Software Foundation, pensado para rastreos a gran escala.
Heritrix
El crawler del Internet Archive, diseñado para archivar la web con calidad de archivo.
GNU Wget y HTTrack
Utilidades clásicas para descargar o replicar un sitio web completo desde la línea de comandos.
Para SEO, lo más útil es pasar un crawler por tu propia web: la Screaming Frog y otras de las mejores herramientas SEO simulan lo que hace Googlebot y te enseñan páginas huérfanas, bucles de redirecciones o enlaces a URL que devuelven error. Es el punto de partida de cualquier auditoría web SEO.
06 Cómo controlar qué crawlers entran en tu web
- ✓Publica un robots.txt en la raíz del dominio con reglas por user agent.
- ✓Declara en él la ruta de tu sitemap XML para facilitar el descubrimiento.
- ✓Usa la etiqueta noindex, no robots.txt, para sacar una página del índice de Google.
- ✓Revisa los logs del servidor para ver qué bots te visitan y con qué frecuencia.
- ✓Verifica que un bot es quien dice ser (por ejemplo, con la búsqueda DNS inversa que documenta Google) antes de confiar en su user agent.
- ✓Protege con contraseña lo que no deba verse: robots.txt es una petición, no un candado.
El protocolo de exclusión de robots nació en 1994 como una convención propuesta por Martijn Koster y se convirtió en estándar oficial del IETF, el RFC 9309, en septiembre de 2022. El propio estándar aclara que sus reglas no son una forma de autorización de acceso: los bots respetuosos las cumplen, los maliciosos las ignoran. Tienes los detalles de sintaxis en nuestra entrada sobre el archivo robots.txt.
07 Breve historia de los web crawlers
| Fecha | Hito |
|---|---|
| Junio de 1993 | Matthew Gray lanza en el MIT el World Wide Web Wanderer, escrito en Perl, para medir el tamaño de la web |
| Abril de 1994 | Brian Pinkerton lanza WebCrawler, el primer buscador con índice de texto completo |
| 1994 | Martijn Koster propone el protocolo robots.txt |
| 2008 | Common Crawl empieza a publicar rastreos abiertos de la web |
| Septiembre de 2022 | El protocolo robots.txt se publica como RFC 9309 |
| 2023 en adelante | Las empresas de IA publican bots propios (GPTBot, OAI-SearchBot) y Google crea el token Google-Extended |
Preguntas frecuentes sobre Web Crawling (web crawlers)
Es un programa que recorre la web automáticamente descargando páginas y siguiendo sus enlaces para descubrir otras. También se llama araña, spider o bot.
Significa rastrear la web: recorrer sus páginas de forma automática, como hacen los buscadores para construir su índice.
El crawling descubre y descarga páginas siguiendo enlaces; el scraping extrae datos concretos de esas páginas, como precios o nombres.
Googlebot y Bingbot en buscadores, GPTBot y OAI-SearchBot de OpenAI, y CCBot de Common Crawl. Para auditorías SEO, Screaming Frog es el crawler de escritorio más usado.
Añade en robots.txt una regla Disallow para su user agent. Los bots respetuosos la cumplen; para los que no, hace falta bloquearlos en el servidor o en el firewall.
Rastrear páginas públicas es habitual, pero debes respetar robots.txt, las condiciones del sitio, la propiedad intelectual y la protección de datos, y no sobrecargar el servidor.
Lo más sencillo es usar un framework como Scrapy en Python, que ya gestiona la cola de URL, las peticiones y el respeto a robots.txt.
Fuentes consultadas
Sobre el autor
CEO de appyweb, especialista en SEO, IA y desarrollo
Fundador de appyweb. Más de una década posicionando webs y tiendas online en Google y en las respuestas de la IA, y dedicado también al desarrollo de software y las automatizaciones.
Ver perfil y artículos → Ver perfil en LinkedIn ↗