Coastlight

CoastlightBot

CoastlightBot is the collector for Coastlight, a free local news service for Monterey County, California, in English and Spanish. If you found it in your server logs, this page explains what it reads, how it behaves and how to make it stop.

At a glance

User agent
CoastlightBot/1.0 (+https://coastlightnews.com/bot)
Contact
Email address coming soon
To stop it
Email us, or disallow it in your robots.txt (how).

What it is

CoastlightBot belongs to Coastlight Labs, a small company in Monterey County, California. It gathers public information for Coastlight and Faro Costero, a free morning email of local news in English and Spanish. Every story we publish links to its source.

What it fetches

Only what anyone can see without logging in:

  • public web pages, such as news releases and event calendars;
  • RSS and iCal feeds;
  • public meeting documents: agendas, minutes and their attachments;
  • public data APIs, such as weather, tides and road conditions.

How it behaves

  • It reads your robots.txt first and obeys it, and never uses a copy more than a day old. A disallow is final, with one exception, below: we stop collecting whatever it disallows.
  • It sends at most one request every 5 seconds to the same site.
  • It uses ETag and If-Modified-Since, so when your server supports it, unchanged pages aren’t downloaded again.
  • It never logs in, and it never gets around paywalls, CAPTCHAs or bot protection.
  • If you block it, we never try to get around the block: not from another computer or IP address, and not under another name.
  • It always names itself with the user agent above.

One exception

Diligent Community, a meeting portal some public agencies use, has a robots.txt that asks every crawler to stay out. For public agencies’ meeting pages and agenda attachments only, CoastlightBot reads them anyway, because these are public records under the Brown Act, California’s open-meeting law.

It reads them under its honest name, at most every 6 hours, and stops on any block or request from the portal or the agency. If a portal’s robots.txt has a User-agent: CoastlightBot group, CoastlightBot always obeys it.

How to ask us to stop

Either of these works:

  1. Email Email address coming soon and tell us which site.
  2. Add these two lines to your robots.txt:
    User-agent: CoastlightBot
Disallow: /

We honor both within a day. To keep us out of only part of your site, disallow just that path, for example Disallow: /private/.

Questions about CoastlightBot are welcome at the same address.

CoastlightBot en español

CoastlightBot es el recolector de Coastlight y Faro Costero, un servicio gratuito de noticias locales del condado de Monterey, California, en inglés y en español. Pertenece a Coastlight Labs, una pequeña empresa del condado. Si lo vio en los registros de su servidor, aquí le explicamos qué lee, cómo se comporta y cómo pedirle que se detenga.

Agente de usuario
CoastlightBot/1.0 (+https://coastlightnews.com/bot)
Contacto
Correo próximamente

Qué lee

Solo lo que cualquiera puede ver sin iniciar sesión:

  • páginas web públicas, como comunicados y calendarios de eventos;
  • canales RSS e iCal;
  • documentos públicos de reuniones: agendas, actas y sus anexos;
  • datos públicos de APIs, como el clima, las mareas y el estado de las carreteras.

Cómo se comporta

  • Lee primero su archivo robots.txt y lo respeta, y nunca usa una copia de más de un día. Un Disallow es definitivo, con una excepción, más abajo: dejamos de recolectar todo lo que bloquee.
  • Envía como máximo una solicitud cada 5 segundos al mismo sitio.
  • Usa ETag e If-Modified-Since, así que, si su servidor lo admite, no vuelve a descargar las páginas que no cambiaron.
  • Nunca inicia sesión ni se salta muros de pago, CAPTCHA ni protecciones contra bots.
  • Si lo bloquean, nunca intentamos saltarnos el bloqueo: ni desde otra computadora o dirección IP, ni con otro nombre.
  • Siempre se identifica con el agente de usuario de arriba.

Una excepción

El robots.txt de Diligent Community, un portal de reuniones que usan algunas agencias públicas, pide a todos los rastreadores que no entren. Solo para las páginas de reuniones y los anexos de las agendas de agencias públicas, CoastlightBot las lee de todos modos, porque son registros públicos según la Ley Brown, la ley de reuniones abiertas de California.

Las lee con su nombre real, como máximo cada 6 horas, y se detiene ante cualquier bloqueo o petición del portal o de la agencia. Si el robots.txt de un portal tiene un grupo User-agent: CoastlightBot, CoastlightBot siempre lo respeta.

Cómo pedirnos que paremos

Cualquiera de estas dos opciones funciona:

  1. Escríbanos a Correo próximamente e indíquenos el sitio.
  2. Agregue estas dos líneas a su robots.txt:
    User-agent: CoastlightBot
Disallow: /

Cumplimos con ambas en menos de un día. Para dejarnos fuera solo de una parte de su sitio, bloquee solo esa ruta, por ejemplo Disallow: /privado/.

Si tiene preguntas sobre CoastlightBot, escríbanos al mismo correo.