Все для DataLife Engine / Все для DLE / Советы по ДЛЕ / Скрытие внешних ссылок с помощью .htaccess и robots.txt

Скрытие внешних ссылок с помощью .htaccess и robots.txt



Большое количество внешних ссылок на страницах блога вызывает подозрение у поисковых систем. Такие веб-ресурсы ассоциируются у них с каталогами ссылок и другой "нечистью" с которой они пытаются бороться, что проявляется в понижении таких страниц в выдаче поисковых систем, а то и вовсе исключением из поисковой базы. Что бы подобное не случилось с вашим интернет-порталом рекомендую ознакомится со статьей.

Наличие лишних внешних ссылок сильно снижает значимость других, более важных ссылок на странице. В частности передаваемый Google Page Rank (PR) делится поровну на все ссылки присутствующие на странице независимо от атрибутов rel="nofollow" в ссылке.

Не только поисковики, но и многие другие роботы различных сервисов, таких как: биржи статей, ссылок, и т.д. учитывают количество внешних ссылок, естественно чем меньше этот показатель, тем ценнее страницы и блог в целом, тем больше рекламодателей захотят купить ссылки именно у Вас. Поэтому если Вы используете такие сервисы, то Вам необходимо снижать этот показатель.


Как в основном решают такие проблемы: данную проблему решают в основном двумя способами:

1) добавление атрибута rel="nofollow" в тег ссылки
(<a href="внешняя_ссылка" rel="nofollow">анкор</a>)

2) передача ссылки специальной странице в качестве параметра
(http://мой_сайт/redirect.php?url=внешняя_ссылка).


Страница перенаправляет пользователя (делает редирект) на переданный в параметре адрес.

1) Способ полноценно работает только в Яндекс. Google учитывает такие ссылки при распределении PR, деля PR поровну между всеми, однако, не передает PR на ссылки с параметром nofollow, и не переданная таким образом часть PR просто пропадает в никуда. Так же такие ссылки пагубно влияют на показатели в биржах ссылок.

2) Способе ссылки будут считаться внутренними, что избавляет от описанных выше проблем. Однако, обрабатывающая ссылки страница дает нагрузку на сервер. Пусть маленькую, но все же ощутимую, если ссылок, обрабатываемых ей, слишком много.

Вот другой способ решения данной проблемы : Скрытие внешних ссылок с помощью .htaccess и robots.txt

Столкнувшись с проблемой скрытия внешних ссылок я решил пойти немного по иному пути, нежели перенаправление со страницы (вариант с nofollow даже не рассматривался).

Решение было найдено с помощью htaccess и robots.txt.

В .htaccess я добавил правило:
    RedirectMatch 302 /linker/(.*)$ $1


Следуя этому правилу сервер будет перенаправлять пользователей по ссылкам, указанным после linker/, например, при запросе http://мой_сайт/linker/http://google ru сервер перенаправит пользователя на блог поисковой системы Google. Передав функцию паромщика серверу я разгрузил PHP, который теперь сможет больше времени уделить более важной работе.

Установка запрета поисковым системам индексировать ссылки на которые идет redirect (перенаправление ), нужно добавить в robots.txt следующий код:
User-agent: *Disallow: /linker/

Так сообщаем поисковым системам о том, чтобы не переходили по спрятанным ссылкам.
Яндекс воспринимает внешние ссылки за страницы интернет-портала

Upd 2011-09-06. После индексации интернет-портала Яндексом обнаружилась очень любопытная вещь. Яндекс воспринял все внешние ссылки, скрытые таким способом, за страницы моего интернет источника и учел их в статистике общего количества страниц интернет источника. Таких псевдостраниц оказалось даже больше, чем реальных на самом деле. Google ни как не отреагировал на эти ссылки чего, собственно, я ожидал от обоих поисковиков.
Скрытие внешних ссылок с помощью .htaccess и robots.txt
«Автор:»Игорь Сокольский
Источник : 2i2s ru

Предлагаем скачать DataLife Engine 9.x скрытие внешних ссылок с помощью .htaccess и robots.txt

ssylki-ot-indeksacii-google-yandeks-i-drugih-botov.rar [2,46 Kb] (cкачиваний: 143)
  • 80

Комментарии 16

dle9.com от 5 ноября 2013 21:14
Цитата: wrip
Сделал перестроение публикаций, но ничего не изменилось :( В какую именно строчку нужно добавлять код??? В самом верху или снизу, разница есть?

Разницы нет, для .htaccess желательно вначале

Обновление движка не делали ?
Посмотрите в браузере как ссылка видятся сочетании клавиш U+Ctrl
И подробно опишите, что значит второй способ, потому как ссылки там должны быть другого типа...
wrip от 5 ноября 2013 19:57
Сделал перестроение публикаций, но ничего не изменилось :( В какую именно строчку нужно добавлять код??? В самом верху или снизу, разница есть?
dle9.com от 5 ноября 2013 18:30
Цитата: wrip
... рано обрадовался, редирект перестал закрывать ссылки.что может быть?ничего не делал, проверил в htaccess все на месте и в robots тоже, а ссылки в старых новостях перестали закрываться, выглядят как сквозные, ничего не пойму?!?


Глаголы с частицей НЕ пишутся раздельно почти во всех словах с глаголами, а точнее не/делал не/пойму, кроме слов исключений.
Без обид, но школьный предмет за 2-3 класс, пишите пожалуйста без ошибок, что подчеркнуты красной волнистой линией

Что касается вашего вопроса, сохраните БД на всякий случай...
в админ панели движка есть Список всех разделов пройдите в раздел
Перестроение публикаций и сделайте перестроение всех новостей, чтобы применить ко всем старым новостям новые настройки...
wrip от 5 ноября 2013 15:09
... рано обрадовался, редирект перестал закрывать ссылки.что может быть?ничего неделал, проверил в htaccess все на месте и в robots тоже, а ссылки в старых новостях перестали закрыватся, выгледят как сквозные, ничего непойму?!?
wrip от 24 октября 2013 21:12
получилось, испробовал второй способ.добавил в htaccess и robots.txt.
Ссылки старые закрылись, которые были добавлены в новости еще год назад ) спс! Они стали выглядеть вот так: http://мой сайт/engine/go.php?url=aHR0cDovL3d3dy51bmlieXRlcy5jb20vaW5LRDdja3BxaWtMcXctVXM0U
DNVZ0JC
dle9.com от 24 октября 2013 19:53
Здесь совершенно другая реализация...
Подобную реализацию не видел, т.ч. не смогу под сказать, создайте здесь рубрику с таким вопросом
Внимание! У Вас нет прав для просмотра скрытого текста.
возможно есть решение
wrip от 24 октября 2013 16:49
dle9, помоги плиз, я немного непонял.Что именно нужно сделать чтобы ссылки с сайта имели редирект обратно на сайт:(http://мой_сайт/go.php?http://перенаправленный_сайт/) ???
dle9.com от 10 октября 2013 17:55
CTRL+U в любом браузере, найдите ссылку, посмотрите какой вид она имеет...

Все внешние ссылки должны идти после /linker/

Проверить можно только со временем, хотя данная реализация сомнений не вызывает...
ajhdfhl от 10 октября 2013 11:40
Вроде бы получилось..только как проверить работает ли данный способ или нет?
ajhdfhl от 10 октября 2013 11:21
Сделал как было сказано..не сработала, восстановил прежний .htaccess. И теперь при загрузке выдает ошибку 404 Not Found
The requested URL /zarabotok-na-sayte-v-internete/ was not found on this server.
Добавить комментарий

Оставить комментарий

    • bowtiesmilelaughingblushsmileyrelaxedsmirk
      heart_eyeskissing_heartkissing_closed_eyesflushedrelievedsatisfiedgrin
      winkstuck_out_tongue_winking_eyestuck_out_tongue_closed_eyesgrinningkissingstuck_out_tonguesleeping
      worriedfrowninganguishedopen_mouthgrimacingconfusedhushed
      expressionlessunamusedsweat_smilesweatdisappointed_relievedwearypensive
      disappointedconfoundedfearfulcold_sweatperseverecrysob
      joyastonishedscreamtired_faceangryragetriumph
      sleepyyummasksunglassesdizzy_faceimpsmiling_imp
      neutral_faceno_mouthinnocent