Hallo,

hier mal das Testergebniss:

Testergebnisse
URL Googlebot Googlebot-Mobile
http://www.altertuemliches.at/
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschr�nkungen auf.
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschr�nkungen auf.
robots.txt-Analyse
Wert Ergebnis
Zeile 20: Crawl-delay: 10 Regel wird von Googlebot ignoriert


Werde nicht ganz Schlau daraus?

Gru� Andreas


Am 01.10.2012 09:01, schrieb Cristian Livadaru:
Hi,
ich nehme mal das es sich hierbei nur um ein copy&paste fehler handelt:

User-agent: *Fehler beim Crawlen Ihrer Website

kann es vielleicht sein das die permissions nicht passen?
Versuch mal unter google webmaster tools unter Healt, Blocked URLS den Inhalt deiner robots.txt einzuf�gen und dann testen zu lassen, bzw wird die hier angezeigt ob das file �berhaupt geholt werden kann vom server.
Ich habe vom Test nur folgende Meldung bekommen:

Line 2: Crawl-delay: 10��� Rule ignored by Googlebot

Gruss, Cristian

Andreas Faerber - Altertuemliches.at wrote:
Liebe Metalab Gemeinde :-)

habe Gestern ein Mail von Google erhalten, mit folgendem Inhalt:

"Sehr geehrter Webmaster-Tools-Nutzer,

wir wissen, dass Ihnen eine gut funktionierende Website wichtig ist. Daher halten wir Sie jetzt �ber den Status Ihrer Website auf dem Laufenden und senden Ihnen automatisch �ber die Webmaster-Tools eine E-Mail, wenn wir kritische oder wichtige Probleme auf Ihrer Website feststellen.

Wir senden Ihnen nur f�r die Probleme eine E-Mail, von denen wir annehmen, dass sie erhebliche Auswirkungen auf die Funktion Ihrer Website und deren Abschneiden in den Suchergebnissen haben, und stellen Ihnen eine Anleitung zur Behebung der Probleme bereit. Wir benachrichtigen Sie beispielsweise, wenn wir Malware auf Ihrer Website finden oder einen signifikanten Anstieg der Fehler beim Crawlen Ihrer Website feststellen.

Bei den meisten Websites treten diese Probleme eher selten auf. Falls bei Ihrer Website ein Problem besteht, senden wir Ihnen nur eine begrenzte Anzahl an E-Mails innerhalb eines bestimmten Zeitraums zu, um Ihren Posteingang nicht zu �berlasten."

Laut Google Webmaster liegt das Problem bei der robots.txt da Google hier nicht zugreifen darf, daher wird auf AltertuemLiches.at das Crawling verschoben bzw. ausgesetzt?!

Anbei die robots.txt vielleicht sieht einer von euch was hierbei Falsch ist....


#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used:��� http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *Fehler beim Crawlen Ihrer Website
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
# Paths export html
Disallow: /book/export*/
User-agent: Mediapartners-Google
Allow: /



Vielen Dank f�r die Hilfe

Andreas





_______________________________________________
Metalab mailing list
Metalab@lists.metalab.at
https://lists.metalab.at/mailman/listinfo/metalab




-- 
Andreas Faerber
Rosenheim 65, A- 9805 Baldramsdorf (K�rnten)
und Wien 21, Br�nner Stra�e 175 
Tel: +43 (0) 676 5227712
Email: info@altertuemliches.at
Web: www.AltertuemLiches.at