Форум веб-мастеров

Все о веб-дизайне, разработке и раскрутке сайтов
Текущее время: 15 ноя 2018, 07:13

Часовой пояс: UTC + 3 часа [ Летнее время ]





Начать новую тему Ответить на тему  [ Сообщений: 11 ] 
Автор Сообщение
 Заголовок сообщения: robots.txt и МЕТА-тэги
СообщениеДобавлено: 25 янв 2006, 13:36 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
Кучу литературы перечитал по robots.txt, но никак не могу понять, какое содержимое лучше использовать? Чтобы индексировал страницы, не индексировал. И тд. Вобщем, сайт динамический, движок на PHP, все тексты хранятся в файлах в виде переменных... в двух словах всей структуры не объяснить. Как пауки работают? Они HTML-страничку из скрипта делают и индексируют или содержимое файлов? Что посоветуете?
И еще, МЕТА-тэг ROBOTS, как с ним работать?


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 25 янв 2006, 16:31 
Не в сети

Зарегистрирован: 21 ноя 2005, 07:21
Сообщения: 112
HTML-страничку из скрипта делают не пауки, а сервер :)
Пауки - да, получают от сервера результат работы скрипта, т.е. HTML-страничку.
Про метатеги, в т.ч. ROBOTS, тут: http://www.wwwmaster.ru/article.php?nart=3
А про robots.txt тут: http://help.yandex.ru/webmaster/?id=996567

_________________
Регистрация вашего сайта в 2000+ каталогах
Заработай на продаже ссылок с внутренних страниц с SAPE и XAP


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 26 янв 2006, 14:13 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
И все же. Как лучше составить robots.txt? Запретить все? Разрешить только index.php (в нем собственно и отображаются "новости")? Разрешить только файлы с данными?
И как лучше задать МЕТА-тэг? С переходами и индексом?


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 26 янв 2006, 14:16 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
P.S. ссылки посмотрел. Я тут скорее за советом, т.к. не понимаю, как работают поисковики.


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 27 янв 2006, 09:13 
Не в сети

Зарегистрирован: 21 ноя 2005, 07:21
Сообщения: 112
Question писал(а):
И все же. Как лучше составить robots.txt? Запретить все? Разрешить только index.php (в нем собственно и отображаются "новости")? Разрешить только файлы с данными?
И как лучше задать МЕТА-тэг? С переходами и индексом?

Зачем же все-то запрещать? :)
Тогда ведь поисковики ничего не проиндексируют, и посетителей с них у вас не будет.

"Стандартный" совет в таких случаях - запрещать к индексации рекомендуется:
1. Служебную область сайта (админку и т.п.);
2. Дублирующуюся информацию, например если на разных страницах выводится одно и то же, но в разных, например, сортировках - разрешить индексировать только одну из этих страниц.

Конкретнее что-то можно посоветовать, если хотя бы вкратце опишите структуру своего сайта, какие в нем разделы и т.п.

А как лучше запрещать - через robots.txt или через МЕТА robots - это уж как вам будет проще и удобнее в реализации.
Если одинаково - имхо лучше через robots.txt

_________________
Регистрация вашего сайта в 2000+ каталогах
Заработай на продаже ссылок с внутренних страниц с SAPE и XAP


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 27 янв 2006, 14:08 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
Ну... вобщем есть страничка index.php. В него включаются данные из файлов (новости, дизайн, навигация и т.д.) и тут же выводятся.
Пример:
<?php
include("news/news1.php");
print($news1);
?>
Так вот.. разрешить индексацию папке news или не надо?
В news1.php:
<?php
$news1 = "Текст какой-то";
?>


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 27 янв 2006, 14:44 
Не в сети

Зарегистрирован: 21 ноя 2005, 07:21
Сообщения: 112
Тут важно не то, как физически организованы папки и файлы на сайте, а то, какие УРЛы они имеют.
И открывать / закрывать для индексирования надо именно УРЛы, а не файлы / папки.

У вас, правильно ли я понял, все страницы имеют УРЛы типа
site.ru/index.php?par1=1&par2=2... и т.д.?
Т.е. пользователь (и поисковики) видят только index.php и его параметры?
ЕСЛИ ТАК, то без разницы, закрывать ли папку news или нет. Поисковики и так про нее никак не узнают и соответственно индексировать не будут.

_________________
Регистрация вашего сайта в 2000+ каталогах
Заработай на продаже ссылок с внутренних страниц с SAPE и XAP


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 30 янв 2006, 16:08 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
Но ведь УРЛ - это и есть адрес файла / папки...
Так какой же robots.txt прописать? :?:


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 31 янв 2006, 07:27 
Не в сети

Зарегистрирован: 21 ноя 2005, 07:21
Сообщения: 112
Question писал(а):
Но ведь УРЛ - это и есть адрес файла / папки...

Далеко не всегда.
Особенно для динамических сайтов.
Пример:
Папка: /news
URL страницы с новостями: site.ru/index.php?newsnumber=12345

_________________
Регистрация вашего сайта в 2000+ каталогах
Заработай на продаже ссылок с внутренних страниц с SAPE и XAP


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 31 янв 2006, 07:53 
Не в сети

Зарегистрирован: 20 янв 2006, 13:53
Сообщения: 8
Тото и оно! ведь запрещаются они в виде /news


Вернуться к началу
 Профиль  
Ответить с цитатой  
 Заголовок сообщения:
СообщениеДобавлено: 11 мар 2006, 12:29 
Не в сети

Зарегистрирован: 11 мар 2006, 12:21
Сообщения: 1
Как можно ли назначить роботу время через которое он должен повторить индексацию? Если да то как?


Вернуться к началу
 Профиль  
Ответить с цитатой  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 11 ] 

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB
    liveinternet.ru: показано число просмотров за 24 часа, посетителей за 24 часа и за сегодня   Rambler's Top100   Рейтинг@Mail.ru