Привет!
Все тексты на сайте размещены. Каждая страница проработана. Всё лишнее со страниц убрано. То есть сайт полностью готов к появлению в интернете.
Перед тем как открывать сайт для индексации лучше перепроверьте каждую страницу ещё раз. Возможно вы где-то забыли убрать левые ссылки, либо какая-то страница будет выдавать 404 ошибку.
Итак, приступаем:
1. Составляем файл robots.txt, закрывая все ненужные нам страницы через Disallow. Вот что у меня вышло:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
User-agent: Yandex
Allow: /feed/turboblog/
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat
Sitemap: https://auditguru.ru/sitemap.xml
2. В админке WordPress убираем галочку «Попросить поисковые системы не индексировать сайт» («Настройки» — «Чтение»).
3. Генерируем карту сайта sitemap.xml. Для этого есть большое число бесплатных онлайн-сервисов.
Как ускорить индексацию
- Добавьте сайт в Yandex и Google Webmaster. Гугл начинает обходить страницы в первые же дни после добавления сайта в панель Вебмастера.
- В Яндекс Вебмастере:
- Поставьте страницы на переобход.
- Также добавьте в разделе «Индексирование» — «Мониторинг важных страниц» те страницы, которые вы будете отслеживать.
- Плюс советую сразу же настроить плагин по турбо-страницам для Вордпресса и добавить получившийся RSS-канал через раздел «Турбо-страницы» — «Источники».
Сайт я открыл для роботов поисковиков 14 июля 2018 года!
Теперь начинаю ждать пока сайт проиндексируется. Посмотрим на сколько быстро это произойдет. Следите за обновлениями в блоге.
