Язык
Контакты
GitHub
Поддержка
Регистрация
Войти
Логин: Пароль: Запомнить:
Пользователи
Последние сообщения
Ответить
1 2 3

Robots.txt под Fapos CMS

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#21
это всегда можно поправить. закрыть в нофолоу например

Добавлено2011.09.22 11-52

Вот последний вариант
Code:
User-agent: *
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/
Host: fapos.net

User-agent: Yandex
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/

Директиву HOST естественно делаем свою.

Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

Ater

  • Атом-мозг
  • Юзер
  • 750
  • Репутация:15 
  • Предупреждения: 0 
  • Регистрация:
    17 Авг 2010
#22
не забываем указывать карту сайта параметром:

Code:
Sitemap: http://fapos.ru/sitemap.xml

естественно указываем ссылку на свой сайт

да и надо вынести папку files из папки sys и тогда поменьше будет написано :)

Отредактировано автором 22 Сен 2011
Все мое имхо...
------
Не флуди и не да зафлудим будешь!

Drunya

  • Man of God
  • Админ
  • 3527
  • Репутация:110 
  • Предупреждения: 0 
  • Регистрация:
    30 Ноя -0001
#23
Ater пишет:
да и надо вынести папку files из папки sys и тогда поменьше будет написано [smile]
а тебе что жалко строчек? )) Это все равно людьми не грузится

Отредактировано автором 23 Сен 2011
Я горжусь тем, что создал бесплатную CMS - AtomX. И люблю нашу команду)

LIFE-STALKER

  • Истенный Атомовод
  • Юзер
  • 363
  • Репутация:6 
  • Предупреждения: 0 
  • Регистрация:
    25 Июн 2011
#24
Что то странное!
Вот мой robots.txt
Code:
User-agent: *
Disallow: /sys/cache/
Disallow: /sys/tmp/
Disallow: /sys/logs/
Disallow: /sys/fnc/
Disallow: /sys/inc/
Disallow: /sys/plugins/
Disallow: /sys/settings/
Disallow: /admin/
Disallow: /loads/download_file/
Disallow: /forum/download_file/
Disallow: /chat/
Disallow: /search/
Disallow: /template/
Disallow: /users/
Disallow: /redirect/
Disallow: /foto/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
А в панели гугла у некоторых страниц из каталога статей высвечивается что страница запрещена к индексированию в файле robots.txt

Добавлено2011.11.25 21-26

+ можно запретить к индексированию вот эту директиву /forum/user_posts/ и /error.php

Отредактировано автором 25 Ноя 2011
1 2 3
Сейчас online: 46. Зарегистрированных: 2. Гостей: 44.