Geração de Ficheiros Robots
Que tipo de ficheiro é Robots.txt?
Motores de busca automaticamente acessam páginas teias na Internet e obtêm informações teias através de um programa chamado "Spider" (também conhecido como Aranha). Você poderá criar um ficheiro de texto simples robots.txt na sua página Web que declare as partes do site que não deseja ser acedido por aranhas, de modo que algum ou todo o conteúdo do site não possa ser acedido e incluído pelos motores de busca, ou pode usar o robots.txt para especificar que os motores de busca incluem apenas o conteúdo especificado. O primeiro arquivo visitado por um site de rasteamento de motores de busca é o robots.txt.
Por favor, descreva o ficheiro Robots.txt em detalhe.
Localização do ficheiro
O ficheiro robots.txt deve ser colocado na raiz do sítio Web. Por exemplo, quando um motor de busca visita um site, ele primeiro verifica se o arquivo robots.txt existe no site, e se o programa de robôs encontrar o arquivo, ele irá determinar o alcance de seu acesso com base no conteúdo do arquivo. A localização do ficheiro Robots do WordPress não foi enviada para o robots.txt no programa de raiz do sítio Web do WordPress. Quando os motores de busca e os utilizadores visitam um ficheiro, o programa WordPress irá gerar activamente um robots.txt para o motor de busca e para os utilizadores. Se enviarmos o robots.txt para o programa de raiz do site, os utilizadores e os motores de busca visitarão o ficheiro que enviámos e o WordPress deixará de gerar esse ficheiro. O WordPress gera este ficheiro apenas se o servidor não conseguir encontrar os 'robots'.
Formato do ficheiro
O arquivo "robots.txt" contém um ou mais registros separados por linhas em branco (com CR, CR/NL, ou NL como o Terminator), e cada registro tem o seguinte formato:"<field>:<optionalspace><value><optionalspace>" pode usar # para comentar no arquivo, da mesma forma que a convenção no UNIX. Os registos neste ficheiro normalmente começam com uma ou mais linhas de utilizador-agente, seguidas de várias linhas de desautorização, como se segue: Utilizador - Agente: o valor deste item é usado para descrever o nome do robô robô do motor de busca. No arquivo "robots.txt", se houver vários registros de usuários-agentes, múltiplos robôs serão vinculados pelo protocolo. Portanto, deve haver pelo menos um registro de usuário-agente no arquivo "robots.txt". Se o valor deste item estiver configurado como * (wildcard), o protocolo é válido para qualquer robô do motor de pesquisa. No arquivo "Robots.txt", só pode haver um registro como "usuário - agente:*". Desautorizar: O valor deste item é usado para descrever um URL que não deseja ser acedido. O URL poderá ser uma localização completa ou parcial, e qualquer URL que comece por desautorização não será acedido pelo robô. Por exemplo, "desautorizar:/ help" não permite o acesso do motor de busca a /help.html e/help/index.html, enquanto "desallow:/ help/" permite que o robô aceda/help.html, mas não /help/index.html. Qualquer registro de desautorização está vazio, indicando que todas as partes do site podem ser acessadas, e deve haver pelo menos um registro de desautorização no arquivo "/robots.txt". Se "/robots.txt" é um texto vazio, o site está aberto a todos os robôs de busca.
Escudo geral de protecção
Bloqueie páginas de privacidade, páginas de pouso de fundo, páginas de cache, diretórios de imagens, diretórios CSS, páginas de modelo, bloqueie o conteúdo de duas páginas, e bloqueie algumas páginas de má qualidade, como todas as páginas de espaço de usuário de membros de Jinwang, e os links dinâmicos de DZ também podem ser bloqueados. Configure-o através do comando Desautorização:.