Problemas de Crawling e impacto no tráfego orgânico — Robots.txt

É o problema mais comum quando você tem dificuldade com tráfego orgânico. Mas o que é esse tal de crawling? O robô de busca do Google trabalha com uma ferramenta chamada de “bot”. Ele navega na internet lendo as páginas e guardando informação para depois processar e organizar ela em links orgânicos. Esse processo de percorrer as páginas e descobri-las é chamado crawling.

O que pode estar atrelado dentro de um site para ser um problema de crawling? Primeiro erro mais comum e simples de todos é o de arquivo robots.txt. Ele é um arquivo que você coloca na raiz do seu site que diz aos crawlers do Google o que eles podem e o que eles não podem rastrear no seu site.

Muitas vezes existem pessoas que quando vão desenvolver um site colocam uma diretriz dentro do robots.txt que demanda que nenhuma página seja lida. O problema é quando esse site sai de homologação para a produção, e vai para o ar com essa diretriz específica. Por isso, o Google não conseguirá ler essas páginas.

Segundo o Ricotta, esse é um problema bem sério, porém, simples de resolver. Tirando essa diretriz, em uma semana seu tráfego estará duas, três ou até 20 vezes maior dependendo do site.

Bloqueio

Outro problema relacionado a crawling, que normalmente é o mais comum dos grandes problemas, é alguma questão relacionada ao bloqueio do próprio robô do Google. Pois, às vezes, sites de empresas grandes tem uma configuração que bloqueia tudo que vem de fora do país.

Como o Google faz a consulta a partir de servidores americanos, quando você bloqueia qualquer acesso internacional, acontece do bot não conseguir ler e processar o seu site. Isso vai te dar um grande problema, porque ele não consegue identificar as informações, e desta forma, não pode posicionar você na página de resultados.

Frameworks JavaScript

O último é um problema de crawling que acontece quando os frameworks são feitos em JavaScript.  Existem vários frameworks feitos nesta linguagem, mas o Google não consegue processar direito este formato da mesma forma como um site em HTML.

Assim, os bots não conseguem identificar todas as informações, links e o site não irá posicionar muito bem na ferramenta de busca. Por isso, quando esse site é migrado para um formato mais tradicional, consegue se perceber mudanças positivas no tráfego orgânico.

Títulos

Outro impasse que o CEO da Mestre já encontrou é o problema com títulos. Por mais pequeno que este detalhe seja, sites com títulos duplicados ou malfeitos, fazem diferença.

Simplesmente colocar cada título no seu devido lugar, página de categoria e produto com título correto, faz com que alguns sites tripliquem o tráfego orgânico em uma semana. Então essa mudança pode ser bem interessante!

Links internos

O último item é a falta de links internos. Imagine que você tem um site com uma infinidade de páginas, mas sua home page é estática, só com uma caixa de busca.

Se você não tiver nenhum link interno apontando para as outras páginas, para o Google continuar navegando nelas, dificilmente ele vai reconhecer tudo o que você possui no site.

Isso é um problema de arquitetura, onde você não tem uma estrutura clara de links em cada uma das páginas. Então você precisa adicionar pelo menos alguns links no menu ou no rodapé para que ele possa descobrir todas as páginas que você possui.

Esse erro de não ter linkagem é mais comum do que aparenta, mas que pode ser contornado melhorando o HTML da página, sitemap e etc.

O que o Ricotta endossa para fazer o seu tráfego orgânico crescer sempre, é investir pesado em conteúdo de forma recorrente e de qualidade. Não adianta publicar 50 conteúdos e parar por aí.

Você precisa publicar conteúdo sempre porque é uma forma de abrir cada vez mais portas para o Google descobrir suas informações. Quanto mais artigos você publica, mais links internos você é capaz de produzir.

É importante que você busque ter títulos bem definidos, tome bastante cuidado com a questão do crawling e não mexa muito nisso se você não entende, porque pode dar um problema muito sério.

Mas, se trabalhar bem uma arquitetura clara de links de forma organizada, criar conteúdo recorrente, não apresentar nenhum dos erros mencionados, o seu tráfego vai continuar crescendo

Fonte: Agência Mestre