Buscar enlaces a páginas web
Se pueden usar caracteres comodín como «*.wikipedia.org».
Es necesario, por lo menos, un dominio de nivel superior, por ejemplo «*.org».
Protocolos soportados: bitcoin:, ftp://, ftps://, geo:, git://, gopher://, http://, https://, irc://, ircs://, magnet:, mailto:, matrix:, mms://, news:, nntp://, redis://, sftp://, sip:, sips:, sms:, ssh://, svn://, tel:, telnet://, urn:, worldwind://, xmpp: (no añadas ninguno de estos en tu búsqueda).
Abajo se muestran hasta 5 resultados entre el n.º 1 y el n.º 5.
- http://www.robotstxt.org/faq/indexing.html enlazado desde Estándar de exclusión de robots
- https://www.robotstxt.org/robotstxt.html enlazado desde Estándar de exclusión de robots
- http://www.robotstxt.org/wc/guidelines.html enlazado desde Araña web
- http://www.robotstxt.org/ enlazado desde Estándar de exclusión de robots
- http://www.robotstxt.org/wc/exclusion.html enlazado desde Araña web