Пошукові роботи не будуть індексувати сторінки, які ви закрили для доступу. Ці сторінки не потраплять у пошукову видачу, про них не дізнаються пошукові системи. Наприклад, сайт приховують від пошукових систем, коли сторінки сайту повністю чи майже повністю змінюються.
Сайт повинен бути проіндексований, щоб відображатися в пошуку Сторінки, які пройшли сканування та обробку, зберігаються в базі даних. Така база називається "пошуковий індекс". Саме в цій базі даних пошукова система шукає результатів, що відповідають на запити користувачів.
Індекс Google аналогічний картотеці, в якій зберігається інформація про всі доступні в бібліотеці книги. А в нашому індексі містяться відомості про всі веб-сторінки, про які знає Google. Коли наш робот відвідує ваш сайт, він виявляє нові та оновлені сторінки. Відомості про них заносяться до індексу Google.