Robots.txt og det såkaldte Meta robots-tag er en gang i mellem fejlagtigt sammenlignet. Det er to forskellige ting, og de også ret forskellige egenskaber.

Når de store søgemaskiner gennemgår et site, spørger de altid om det er i orden at gennemgå websitet og indeksere det. Det gør de, først på baggrund af robots.txt og dernæst vha. meta-robots-tagget, som kan ligge i selve hjemmesidens kildekode. Men hvad er forskellen på de to… Mere her…

Robots.txt

Robots.txt har jeg i fordums tid vendt på bloggen. Helt kort fortalt er robots.txt en bette tekstfil, der skal ligge i domænets rod-mappe. Når google’s (og andre søgemaskiner) kommer forbi en hjemmeside, starter de med at kigge i robots.txt for at se om der er indhold på hjemmesiden, som ikke må crawles.
Robots.txt beskytter ikke direkte mod indeksering. Sider beskyttet med Robots.txt kan godt blive vist i Googles index såfremt der f.eks linkes til den pågældende side udefra. Til gengæld beskytter den helt mod crawling og vil derfor forhindre duplicate content issues.

Meta robots

Med meta robots, kan man i modsætning til robots.txt bl.a. fortælle søgemaskiner at indhold ikke må indekseres. Robots-tagget er bygget op på samme måde som f.eks. meta description og meta keywords. Dvs. at de alle har en ’name’ og en ’content’-attribut. Hos Meta Robots tagget kan content attributten udfyldes med f.eks NOINDEX og derved fortælle, at den pågældende underside ikke må tages med i søgemaskinernes indeks.

Eks:
<meta name=”robots” content=”noindex” />

Er denne kode sat ind I head-afsnittet på en hjemmeside vil den altså ikke indekseres. Dermed er meta robots en mere effektiv måde at forhindre søgemaskiner på.
Ulempen er dog, at meta robots administreres på side-niveau, og vil derfor være mere besværlige at håndtere på websites med mange tusinde sider.
Meta robots indeholder også en række andre egenskaber. Den eneste jeg vil vende udover noindex er ’nofollow’.

Eks:
<meta name=”robots” content=”nofollow” />

Helt kort og konkret fortæller dette meta-tag at søgermaskinerne ikke må følge links på den pågældende side.
Disse to (altså nofollow og noindex) kombineres ofte i samme tag, således at man både ekskluderer søgemaskiner og fortæller at ingen links på siden må følges eller kaste værdi af sig.

Eks:
<meta name=”robots” content=”noindex, nofollow” />

Jeg håber den lille artikel kan hjælpe lidt på den generelle misforståelse.

Fortsat god dag.