Robots.txt
יש לוודא שאין קבצים חסומים לבוטים של גוגל ומנועי החיפוש
קובץ robots.txt מודיע לסורקי מנוע החיפוש אילו דפים או קבצים הסורק יכול או לא יכול לבקש מהאתר. פעולה זו משמשת בעיקר למניעת עומס בקשות על האתר.
https://support.google.com/webmasters/answer/6062596?hl=iw
