Новшества от Гугла
Чтобы страница исчезла из результатов поиска 25 августа 2007 года, нужно на этой странице прописать мета-тег unavailable-after:
< META NAME="GOOGLEBOT" CONTENT="unavailable_after: 25-Aug-2007 15:00:00 EST" >
Как контролировать не-HTML страницы, например документы в формате PDF?
Мы расширили функциональность мета-тегов, так что их можно использовать в директиве X-Robots-Tag HTTP заголовка.
* Не показывать сниппет и кешированную версию страницы:
X-Robots-Tag: noarchive, nosnippet
* Не включать содержание документа в индекс:
X-Robots-Tag: noindex
* Убрать из выдачи к 25 августа 2007 года к 16:30 по Гринвичу:
X-Robots-Tag: unavailable_after: 25 Aug 2007 16:30:00 GMT
Директивы можно комбинировать:
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST