Το αρχείο robots.txt είναι ένα απλό αρχείο κειμένου που καθοδηγεί τα bots των μηχανών αναζήτησης, ποιες σελίδες  της ιστοσελίδας σας πρέπει ή δεν πρέπει να προσπελάσουν , προκειμένου μετά  να κατατάξουν ή όχι τα περιεχόμενά τους, στα αποτελέσματα αναζήτησης . Αυτό το αρχείο τοποθετείται μέσα στον server που φιλοξενεί την σελίδα σας  δηλαδή σας  κάνει hosting. Εκεί θα βρείτε την σελίδα index.html ή index.php.

Όλες οι  μηχανές αναζήτησης  Θέλουν   24 ώρες για να σκανάρουν  μια σελίδα από την ημέρα που θα δημιουργηθεί ή θα ανανεωθεί. Υπάρχουν και τρόποι να καλέσουμε εμείς τα Googlebot σε λιγότερο από μισή ώρα για να δει τις ανανεώσεις της σελίδας μας.

Το αρχείο που θα δημιουργήσουμε θα πρέπει να  έχει σταθερή ονομασία ΄με όποιον τρόπο έχουμε κατασκευάσει το site.  Ένα καλό όνομα είναι το  robots.txt  για όλους όσους έχουν ιστοσελίδα και μάλιστα είναι ένα αρχείο που μπορεί ο καθένας να έχει πρόσβαση σε επίπεδο ανάγνωσης.Είναι ένα βασικό κομμάτι του on page seo οπότε θέλει και αυτό τον χρόνο του για να φτιαχτεί σωστά

User-Agent

Στην πρώτη γραμμή βάζουμε την  εντολή User-Agent και χρησιμοποιείται για να αναφερθεί σε κάποιο συγκεκριμένο bot που θα περάσει από την ιστοσελίδα. Για παράδειγμα η εντολή User-Agent: Googlebot αναφέρεται στο bot της Google και οτιδήποτε ακολουθεί παρακάτω αφορά εκείνο.

Allow / Disallow

Μετά  ακολουθούν εντολές που επιτρέπουν (Allow) ή απαγορεύουν (Disallow) την πρόσβαση των bots σε συγκεκριμένους φακέλους και  αρχεία της ιστοσελίδας.

Sitemap

Ακόμα  μια χρήσιμη εντολή που μπορεί να μπει στο αρχείο robots.txt είναι η Sitemap, η οποία δείχνει , τη θέση του αρχείου xml sitemap της ιστοσελίδας σας.