La redirection 301 et le petit robots.txt sont dans un bateau…

Rigueur. Et passion !

Ne dites pas à ma mère que je suis artisan en architecture de l'information appliquée aux sites web : elle croit que je suis webdesigner, intégrateur HTML & CSS, rédacteur web, formateur NTIC et consultant en webmarketing depuis 2001 ! Voulez-vous en savoir plus ?

Le blog de l'intégrateur web

La redirection 301 et le petit robots.txt sont dans un bateau…

La multiplication des digg-like, des agrégateurs et autres aspirateurs de contenus nécessite une vigilance accrue quant aux redirections qui affectent les liens pointant vers nos blogs et nos sites web. A cause de Wikio, il faudra non seulement vérifier les redirections, mais aussi les fichiers robots.txt. Magneto !

Petits rappels concernant les redirections 301 ou 302

Contrairement à ce qu’on lit parfois sur les conséquences de l’utilisation des redirections 301 ou 302, une redirection permanente vers votre contenu n’est pas un problème : elle indique que la page de destination (la vôtre) est bien la page que les moteurs de recherche devront continuer d’indexer : c’est la page « officielle » pour le contenu associé. En revanche, les redirections 302 temporaires indiquent que la page de destination (toujours la vôtre) est là de manière temporaire : la page qui pointe vers elle est vue comme la page officielle par les moteurs de recherche.

Petit rappel Ottorisé :

> Redirection 301 : Page web déplacée de façon permanente. Pas de soucis.

> Redirection 302 : Page web déplacée de façon temporaire. Une redirection 302 entraine que la page du site qui fait la redirection remplace la page d’origine aux yeux des moteurs de recherche.

Comment voir les redirections ?

Vous l’aurez certainement remarqué, les redirections 302 sont un fléau difficile à contrer : n’importe qui peut faire une redirection 302 sur l’une de vos pages pour prendre votre place dans les SERP. Dans ce contexte, il est important de connaitre les outils pour visualiser les en-têtes HTTP pour surveiller les annuaires, les agrégateurs, et d’une manière générale tout ceux qui vous veulent du bien ;)

Voici quelques outils :

La redirection 301 tombe à l’eau. Qu’est-ce qu’il reste ? (le petit robots.txt)

Bien. Vous avez fait quelques tests et les liens qui pointent vers votre site sont bien des redirections 301 permanentes. Tout va bien ? Pas si sûr : j’apprends via le twitter d’Otto que Wikio, par exemple, utilise un fichier robots.txt qui interdit à tous les moteurs de suivre certains liens. Par exemple, l’adresse :

http://www.wikio.fr/webinfo?id=67435763

qui renvoie les en-têtes HTTP…

HTTP/1.1 301 Moved Permanently
Location: http://www.css4design.com/css4design-vs-google-petite-histoire-du-positionnement-sur-le-mot-cle-css

… devrait me garantir une visite de courtoisie de la part des moteurs de recherche. Or, le fichier robots.txt de Wikio précise :

User-agent: *

Disallow: /webinfo

… ce qui indique aux moteurs de recherche de ne pas suivre cette adresse.

Pour quel motif ? La seule (mauvaise) raison qui me vient à l’esprit, c’est de garder le Google Juice pour eux tout seul pour passer devant les blogs dans les SERP !

Conclusion provisoire

  1. Wikio s’est déjà fait épinglé par Otto pour cause de redirections 302 sauvages,
  2. Wikio s’est déjà fait épinglé par Aymeric pour cause de scraping de contenu,
  3. Wikio se fait épinglé pour cause de fichier robots.txt antisocial,

Suite à la vigilance d’Otto, la redirection 302 avait été transformée en redirection 301. J’espère que les lignes scélérates du robots.txt seront supprimées rapidement et qu’en prime, pour se faire pardonner, Wikio accèdera à la demande générale d’avoir de vrais liens retour vers la source des contenus qui fait sa valeur, comme le suggère Aymeric.

Note : Je précise qu’il n’est pas dans mes intentions de faire du Wikio bashing gratuitement. Je suis convaincu que Wikio a sa place dans le paysage blogosphérique français, mais pas à n’importe quel prix.

scoopeo_url=’http://www.css4design.com/la-redirection-301-et-le-petit-robots-txt-sont-dans-un-bateau’

Articles sur le même sujet

PS : Le respect de la vie privée sur internet est important : j'ai décidé d'échanger mon bouton Like de Facebook par un bouton Faire un don de Paypal car
Il n'y pas d'amour, il n'y a que des preuves d'amour (Jean Cocteau) ;) Merci d'avance.



31 commentaires pour “La redirection 301 et le petit robots.txt sont dans un bateau…”

  1. Yves dit :

    ça laisse songeur… je vais réfléchir sérieusement à tout ça et voir ce que je fais avec Wikio, mon blog de musique est référencé chez eux… Très bon article. J’attends la réaction de Wikio ici avec impatience (généralement, ils sont hypers réactifs pour se justifier sur les blogs qui parlent d’eux…

  2. Martin dit :

    J’ai signalé pas plus tard qu’aujourd’hui un site à Google pour duplication de contenu. En effet, ce site exploitait le contenu de mon site sans lier la source précise, ainsi que de plusieurs centaines, voire milliers de blogs traitant du web et du référencement. Lors d’une recherche de l’un de mes articles, j’ai constaté que Google pénalisait mon site au profit du contrefacteur, alors que celui-ci ne fait que contrefaire des sites originaux avec l’aide de Wikio sur lequel il semble s’appuyer pour identifier le contenu relatif à son domaine de contrefaçon de prédilection.

    De toutes façons, les sites qui vivent du contenu externe qui ne fournissent pas de liens en dur sont directement suspects de s’approprier ce contenu et il faut les bannir. Je sens que je vais faire un nettoyage sous peu, d’ailleurs.

  3. Énorme. Et là tu relis toutes les justifications des concernés dans les précédents commentaires et tu ris jaune. Foutage de gueule++

  4. Tu te doutes que j’ai un article dans les cartons du coup. :)

  5. pickupjojo dit :

    La course au trafic n’a vraiment plus de limites…

  6. burningHat dit :

    Tiens, j’ai aussi lu cette news ce matin et j’ai beaucoup ris… jaune… Franchement, déjà que, malgré leur promesse dans les commentaires de ce même blog en ce son temps, j’attends toujours d’être classé correctement chez Wikio. En plus ils prennent vraiment des libertés plus que douteuses avec le contenu de ceux qui, quand on y réfléchit 2 secondes, les font vivre… tsssss

  7. Jérémy dit :

    Il semblerait que wikio ai enlevé cette ligne du robot.txt à en croire l’article que tu link ( http://blog.sitxpress.com/index.php?2008/09/19/24-pourquoi-je-n-aime-pas-wikio ). On verra l’impact que ça aura en espérant ne pas se faire « entuber » d’une autre manière…

  8. Avion dit :

    Wow c’est abusé comme on nous prends pour des cons, heureusement que certains sont vigilants.

  9. Bruno Bichet dit :

    Merci à tous pour vos avis. Je ne suis pas un grand utilisateur de Wikio et Wikio ne m’apporte quasiment pas de trafic, mais jusqu’à présent j’avais une certaine estime pour cette société.

    Aujourd’hui, je me rends compte que Wikio n’est ni plus ni moins qu’un agrégateur de flux sans foi ni loi comme il en existe beaucoup.

    Je viens de découvrir un billet qui décortique les conditions générales d’utilisation de Wikio et c’est assez édifiant : pourquoi faut-il quitter Wikio ?

    Ce qui m’ennuie le plus avec Wikio, c’est qu’ils semblent avoir bien préparé leur coup : un classement prenant en compte le maximum de blogs pour détourner l’attention des blogueurs et acheter ainsi leur silence et leur bienveillance. Et de l’autre côté la mise en place d’une machine pour truster les meilleures positions sur Google sur le dos des blogueurs.

    Le pire, c’est que ça a marché comme sur des roulettes, comme un pansement sur les plaies encore sanguinolentes causé ici par une baissse de PageRank ou ailleurs par un besoin de reconnaissance…

    Sans compter le cynisme des dirigeants qui n’hésitent pas à déclarer qu’ils ne sont pas là pour améliorer le référencement des blogs… Oui, merci, ça on commence à le comprendre :/

  10. Martin dit :

    @Bruno Bichet : Ce que t’apporte Wikio, c’est un boost sur les chiffres fournis par Feedburner. C’est comme Google Reader, en somme. Ne compte ni sur Wikio, ni sur Technorati pour t’apporter des visiteurs ou du référencement. Quant à l’article que tu cites expliquant pourquoi quitter Wikio, l’auteur fait l’amalgame — et si tient coûte que coûte — entre les CGU de Wikio qui protègent leur base de données et ses propres droits d’auteur. Non, on ne peut pas utiliser Wikio pour en faire son concurrent ; oui, on reste propriétaire de son contenu. Pour plus de détails, lire mes commentaires…

  11. Bruno Bichet dit :

    @Martin:

    Ce que t’apporte Wikio, c’est un boost sur les chiffres fournis par Feedburner.

    Je vois pas trop où est le boost. Tu veux dire que Wikio compterait pour plusieurs inscrits aux flux RSS ?

    entre les CGU de Wikio qui protègent leur base de données et ses propres droits d’auteur

    C’est bien possible, mais au train où vont les choses, ça n’a pas une grande importance. Que Wikio protège son modèle de données (au sens MVC), d’accord, mais pour le reste, je ne vois pas pourquoi Wikio se réserverait des droits sur des contenus qui ne lui appartiennent pas.

    Là, en se protégeant du spam, ils ont jeté le bébé avec l’eau du bain, et quand on en arrive là… Enfin, je veux dire qu’ils trouveront une parade pour rester en haut des classements puisque c’est la condition sine qua non pour qu’ils gagnent de l’argent ^^

    Je ne suis pas parano et je sais très bien que les CGU de Wikio et Cie sont là pour éviter des dérapages. Mais c’est exactement la même chose que pour les CGU de Google Chrome, sauf que là, on se fait « avoir » par un ami qui nous veut du bien, et c’est la porte ouverte à toutes les fenêtres !

    Jusqu’à présent, le fait d’être dans le classement m’a fait perdre suffisamment d’objectivité par rapport à Wikio dont je n’ai jamais cessé de dire du bien. Je crois qu’il est temps d’ouvrir les yeux pour être plus vigilant et moins naïf.

    Je crois aussi qu’il est temps que les blogueurs prennent conscience de la valeur de leur travail et que les contenus qu’ils produisent ne sont pas destinés à servir de marche-pied pour d’autres.

  12. [...] La redirection 301 et le petit robots.txt sont dans un bateau La multiplication des digg-like, des agrégateurs et autres aspirateurs de contenus nécessite une vigilance accrue quant aux redirections qui affectent les liens pointant vers nos blogs et nos sites web. A cause de Wikio, il faudra non seulement vérifier les redirections, mais aussi les fichiers robots.txt. Magneto ! [...]

  13. Martin dit :

    @Bruno Bichet : Bon, je vois que tu ne connais pas le fonctionnement du compteur de Feedburner. Voilà comment il marche :

    Feedburner lit le flux RSS de ton blog ;Feedburner laisse à disposition de flux RSS de ton blog sur ses serveurs ;un service tiers lit le flux RSS de ton blog republié sur Feedburner ;ce service indique en retour à Feedburner — par pure convention/courtoisie et sans aucune garantie d’aucune sorte — le nombre d’abonnés à ce flux au sein de son service.

    Or, la plupart des services renvoient effectivement le nombre d’abonnés à un flux RSS et non le nombre de lecteurs réels. Certains services abonnant par défaut certains nouveaux utilisateurs à certains flux font exploser les chiffres de bon nombre de blogs qui se vantent d’une masse de lecteurs via flux RSS fournie par Feedburner énorme, alors qu’en réalité, ils pourraient n’en avoir aucun, de lecteur.

    Feedburner n’a en effet aucun moyen technique de vérifier les chiffres fournis, et on constate à chaque bug de Netvibes par exemple ou autre service de lecture de flux RSS que les statistiques de Feerburner peuvent être divisées par dix ou multipliées par dix du jour au lendemain, sans que Feedburner, compte tenu de la confiance qu’il accorde aux services tiers, puisse vérifier ces chiffres.

    Le seul chiffre viable concernant tes lecteurs de flux RSS est celui fourni par Google Webmaster Tools qui t’indique le nombre de lecteurs de ton flux via Google Reader. En effet, à ma connaissance, Google Reader est le seul outil qui comptabilise non pas les abonnés, mais les lecteurs « réels » de ton flux (il faut qu’une personne voie s’afficher un article de ton flux sur l’écran pour que être comptabilisée comme lecteur, de là à savoir si elle l’a lu ou le temps qu’elle a passé sur ton flux…)

    Pour ce qui est de l’appropriation des contenus tiers par Wikio, ce n’est pas le cas, relis bien les CGU.

  14. Bruno Bichet dit :

    @Martin:

    Bon, je vois que tu ne connais pas le fonctionnement du compteur de Feedburner. Voilà comment il marche

    Si, si je t’assure, enfin, j’en connais suffisamment pour faire la différence entre le nombre d’abonnés « passifs » et le nombre de lecteurs actifs. J’avais d’ailleurs fait le point là-dessus dans cet article sur Feedburner ^^

    Or, la plupart des services renvoient effectivement le nombre d’abonnés à un flux RSS et non le nombre de lecteurs réels.

    yep, voir juste au-dessus ;)

    Certains services abonnant par défaut certains nouveaux utilisateurs à certains flux font exploser les chiffres de bon nombre de blogs

    Oui, je suis aussi au courant. C’est le cas notamment de Netvibes et d’autres agrégateurs qui proposent des flux par défaut lors de l’ouverture d’un compte. Mais ça/tu n’explique pas comment Wikio peut abonner automatiquement des gens qui ne s’inscrivent pas (à priori, il n’y a pas besoin de s’inscrire sur Wikio pour lire les news) et s’il y avait une possibilité de s’inscrire, j’ai le sentiment que ce nombre ne doit pas être très significatif si on en croit ce sondage sur la popularité de Wikio au sein d’une population « normale » :D

    Le seul chiffre viable concernant tes lecteurs de flux RSS est celui fourni par Google Webmaster Tools qui t’indique le nombre de lecteurs de ton flux via Google Reader

    J’ai une différence entre le nombre d’abonnés à mon flux dans la partie détail de Google Reader et le nombre affiché car j’ai une bonne partie des lecteurs qui sont abonnés directement à la source sans passer par le flux feedburné.

    D’ailleurs, GWT ne m’indique rien sur les abonnés au flux Feedburner, uniquement sur ceux qui utilisent le flux rss et atom à la racine du blog (du coup, je devrais pouvoir les ajouter à la main à la suite du compteur, non ? ;) )

  15. Martin dit :

    Tu as raison, GWT n’indique que le nombre d’abonnés au flux issu de ton site, et non les abonnés de Feedburner. J’ai en effet oublié ce petit détail. Cela montre bien que tous les chiffres relatifs aux flux RSS, en matière de fréquentation, sont à prendre avec des pincettes.

    Pour ce qui est de la « population « normale » », elle n’a jamais entendu parler de « flux RSS » et ne sait pas ce qu’est Wikio. Ce type de solutions n’est utilisé que par des spécialistes du web. D’ailleurs, l’essentiel des blogueurs ne sait pas comment insérer un lien dans un article et se contente de dire « cliquez dans les favoris de la marge sur le lien pour en savoir plus » quand ils veulent renvoyer un lecteur vers un article externe ou « regardez l’article publié hier » sans aucun lien pour faire référence à un article particulier.

    Enfin, si Wikio renvoie bien la quantité d’abonnés à ton flux Feedburner, cela n’implique pas que tu aies des lecteurs. Moi, par exemple, je ne me souviens plus si j’ai créé ou non un compte sur Wikio, alors que j’en ai créé un peu partout à une époque, sans me reconnecter dessus depuis parfois plusieurs années. Si je comptabilisais de la même manière mon trafic web, j’aurais plusieurs millions de visiteurs abonnés en ce moment ! Bref, Wikio, tout comme d’autres services d’agrégation de flux RSS, booste ton compteur de flux Feedburner.

  16. [...] les déplacements de page La redirection 301 et le petit robots.txt sont dans un bateau… – [...]

  17. J’ai actuellement un blogue qui n’est pas référencé dans Google par choix idéologique (pouvoir croissant de Google et confiance excessive de beaucoup en lui).

    Je comptais sur Wikio pour « placer » mes billets dans Google, mais pour l’instant, 2 soumissions sans succès. (Sans doute à cause du look du blogue qui est une thème par défaut, je travaille sur une version personnelle.)

    En attendant, c’est à Paperblog que j’ai confié la tâche de reprendre mon contenu. Pour Wikio, je pense que je vais attendre un peu, qu’il arrête de filer un mauvais coton.

  18. Bruno Bichet dit :

    @Mathias, étudiant en DUT SRC: Ben, je sais pas trop quoi te dire parce que ta démarche est assez étrange. Pourquoi ouvrir un blog, finalement, puisque tu peux très bien rédiger des billets directement dans Wikio, Scoopeo, Blogasty ou Ziki. C’est sûrement possible sur Paperblog aussi.

    Il existe des plate-formes de blogs qui ont un système interne de promotion des articles et de mise en relation entre les blogueurs : over-blog, hautetfort, skyblogs, etc.

    Dans un autre registre tu as aussi MySpace, FaceBook et une myriade d’autres services qui n’attendent que ton contenu pour pouvoir le valoriser ensuite…

    Tu as l’embarras du choix ;)

  19. C’est vraiment interessant votre article, rien a dire!

    Alors on peut utiliser le robots.txt au lieu de .htaccess ou httpd.conf pour obtenir le meme resultat quant aux redirections?

  20. [...] Wikio : le bon (redirection 301) ? La brute (redirection 302) ou le truant (fichier robots.txt frela… – [...]

  21. Yves dit :

    Je suis étonné du manque de réaction de Wikio sur ce coup…D’habitude, ils sont très réactifs pour donner des explications…

  22. Bruno Bichet dit :

    @Web Design Montreal:

    Alors on peut utiliser le robots.txt au lieu de .htaccess ou httpd.conf pour obtenir le meme resultat quant aux redirections?

    En fait, l’objectif est différent le disallow ne redirige pas, il indique seulement aux robots de ne pas suivre les liens et donc, à priori, de ne pas les indexer. Ce qui est encore différent d’un attribut nofollow, qui n’empêche pas l’indexation, mais seulement l’attribution d’une part de « notoriété » de la page qui fait le lien.

    @Yves: Je ne suis pas trop étonné. J’ai l’impression que Wikio change de stratégie pour répondre aux blogueurs et même si Jean Véronis s’en défend, il semble bien qu’ils aient décidés de centraliser les réponses et de mener les débats sur leur propre terrain.

  23. Mathias dit :

    Ma démarche, c’est d’apporter de l’information originale, créer du contenu et bloguer pour mon plaisir. Mais sans dépendre directement de Google.

    Je blogue uniquement depuis mon blogue pour profiter des options de formatage (notamment en HTML directement), et surtout contrôler le plus possible ce que je diffuse. Et c’est vrai que Ziki reprend aussi le contenu, mais étant très personnel, je pense que son pouvoir de référencement est plus faible que PaperBlog ou Wikio. (Plus de gens visitent Wiko ou PP que des pages personnelles Ziki.)

    Je ne veux pas des plateformes, je serai développeur ou webmaster, alors de ce point de vue ça fait très amateur, sans compteur le manque de liberté.

    FaceBook peut reprendre du contenu, c’est vrai, mais que en interne : il ne le diffuse pas aux non-membres.

    Cette démarche étrange est aussi une expérience de référencement : en n’étant pas dans Google, je n’ai rien à perdre. Je ne peux que être gagnant (en audience, en positionnement…).

  24. Bruno Bichet dit :

    @Mathias:

    créer du contenu et bloguer pour mon plaisir. Mais sans dépendre directement de Google.

    Certes, oui, mais rien n’empêche de créer du contenu pour ton plaisir et d’avoir des visites en provenance de google sans pour autant en dépendre. En général, si tu ne monétise pas ton contenu, etc., tu ne « dépends » pas du trafic.

    Mais je comprends un peu mieux ta façon de voir les choses maintenant ;)

  25. shao69 dit :

    Article des plus intéressants et discussion encore plus instructive !!!

    Merci à toi Bruno de nous fournir ces bons sujets de connaissances et d’échanges.

  26. Bruno Bichet dit :

    Salut à toi @shao69 ! C’est moi qui te remercie de passer me lire :)

  27. [...] classement Wikio n’arrête pas de faire parler de lui — surtout en mal : de l’ignominie du petit robot.txt jusqu’aux propositions de boycott du classement en retirant son blog de l’index, en [...]

  28. laredoute dit :

    Wow je ne savais pas qu’il fallait faire attention aux redirections 302! Merci pour l’info!

  29. [...] nouveauté, c’est que des sites indélicats commencent à faire des redirections 302 sur les liens contenus dans les billets, et ça, c’est mauvais pour la bonne santé SEO de [...]

  30. [...] → Plus d’informations sur les redirections 301 ou 302 dans l’article La redirection 301 et le petit robots.txt sont dans un bateau… [...]

Laissez un commentaire

Vous pouvez utiliser les balises HTML suivantes : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Les commentaires sont publiés sous votre pleine et entière responsabilité et ne doivent pas contrevenir aux lois et règlementations en vigueur. Les propos racistes ou antisémites, diffamatoire ou injurieux, divulguant des informations fausses, relatives à la vie privée d'une personne ou utilisant des oeuvres protégées par les droits d'auteurs ne sont pas les bienvenus et seront modérés sans modération.

Merci d'être constructif et n'oubliez pas : « sans la liberté de ramer il n'est point d'éloge flotteur ! »



Colophon

CSS & Webdesign est une publication irrégulomadaire à tendance hebdomadaire
éditée par Bruno Bichet qui carbure à WordPress et au café équitable.
Tous droits réservés © 2006 - 2011.

Contactez l'auteur du site