Unterseiten aus Suchmaschinen entfernen

    Hallo,
    ich habe eine Frage die nicht AutoIt betrifft, hoffe das mir trotzdem jemand helfen kann und ich hier im richtigen Forenabteil bin.
    Ich habe eine Homepage die in Google und den anderen Suchmaschinen gelistet wird. Jedoch ist mir nun aufgefallen, dass jede Unterseite einzeln als Eintrag erscheint, wenn ich nach dieser Suche, jedoch möchte ich, dass ausschließlich die Indexseite gelistet wird. Ich habe nun begonnen nach einer Möglichkeit zu suchen, dies zu ändern und bin dabei auf die robots.txt gestoßen. Über diese soll man definieren können, welche Seiten gelistet werden dürfen und welche nicht.
    Da ich eine solche Datei zuvor noch nie erstellt habe, hat sich mir die Frage gestellt, ob ich diese so richtig aufgebaut habe:

    Spoiler anzeigen

    Dateiname: robots.txt

    User-agent: *
    Disallow: /Start.html
    Disallow: /Kontakt.html
    Disallow: /Impressum.html
    .
    .
    .


    Die Html-Dateien liegen direkt im Stammverzeichnis, der Link sieht also wie folgend aus:
    http://www.beispiel.de/Start.html

    Danke im Voraus über jegliche Art von Hilfe.

    Grundsätzlich ist das so richtig. Alle Dateien und Ordner die durch Disallow gekennzeichnet sind, werden nicht durchsucht. Google wird die Seiten allerdings trotzdem in seinen Index aufnehmen. Dabei wird dann aber nur der Seitenname und der Link gespeichert. Wenn du auch das nicht willst, dann musst du dich mit .htaccess auseinandersetzen. Einige andere (böse) Suchmaschinen ignorieren deine robots.txt sowieso komplett und crawlen fleissig weiter.

    Den selben Effekt deiner robots.txt kannst du auch über meta tags im head der einzelnen Seiten erzielen.

    HTML
    <meta name="robots" content="noindex, nofollow" />

    edit:
    Immer zu schnell beim Abschicken :rolleyes: .
    Wenn du ausschliesslich deine index.html freigeben möchtest, dann kannst du das auch ein wenig kürzer darstellen.

    Code
    User-Agent: *
Disallow: /
Allow: /index.html

    Ok vielen Dank für deine Hilfe.
    Ist es also ratsam es auf den entsprechenden Seiten zusätzlich in den meta tags einzufügen um auf Nummer sicher gehen?
    Weißt du ob es lange geht bis die Seiten wieder aus den Ergebnissen verschwinden?

    Nein, die metas sind nur eine Alternative. Wenn zu der Seite schon ein Eintrag in der robots.txt vorhanden ist, dann hat dieser Eintrag immer den Vorang. Der meta tag wird dann also sinnlos. Als doppelte Absicherung taugt es sowieso nicht. Wenn eine Suchmaschine deine robots.txt ignoriert, ignoriert sie auch die metas.

    Code
    Weißt du ob es lange geht bis die Seiten wieder aus den Ergebnissen verschwinden?


    Keine Ahnung, da musst du Google & Co. fragen.