Скрытие внешних ссылок с помощью .htaccess и robots.txt

Раздел: DataLife Engine » Советы по DLE
Скрытие внешних ссылок с помощью .htaccess и robots.txt

Большое количество внешних ссылок на страницах блога вызывает подозрение у поисковых систем. Такие веб-ресурсы ассоциируются у них с каталогами ссылок и другой "нечистью" с которой они пытаются бороться, что проявляется в понижении таких страниц в выдаче поисковых систем, а то и вовсе исключением из поисковой базы. Что бы подобное не случилось с вашим интернет-порталом рекомендую ознакомится со статьей.

Наличие лишних внешних ссылок сильно снижает значимость других, более важных ссылок на странице. В частности передаваемый Google Page Rank (PR) делится поровну на все ссылки присутствующие на странице независимо от атрибутов rel="nofollow" в ссылке.

Не только поисковики, но и многие другие роботы различных сервисов, таких как: биржи статей, ссылок, и т.д. учитывают количество внешних ссылок, естественно чем меньше этот показатель, тем ценнее страницы и блог в целом, тем больше рекламодателей захотят купить ссылки именно у Вас. Поэтому если Вы используете такие сервисы, то Вам необходимо снижать этот показатель.


Как в основном решают такие проблемы: данную проблему решают в основном двумя способами:

1) добавление атрибута rel="nofollow" в тег ссылки
(<a href="внешняя_ссылка" rel="nofollow">анкор</a>)

2) передача ссылки специальной странице в качестве параметра
(http://мой_сайт/redirect.php?url=внешняя_ссылка).


Страница перенаправляет пользователя (делает редирект) на переданный в параметре адрес.

1) Способ полноценно работает только в Яндекс. Google учитывает такие ссылки при распределении PR, деля PR поровну между всеми, однако, не передает PR на ссылки с параметром nofollow, и не переданная таким образом часть PR просто пропадает в никуда. Так же такие ссылки пагубно влияют на показатели в биржах ссылок.

2) Способе ссылки будут считаться внутренними, что избавляет от описанных выше проблем. Однако, обрабатывающая ссылки страница дает нагрузку на сервер. Пусть маленькую, но все же ощутимую, если ссылок, обрабатываемых ей, слишком много.

Вот другой способ решения данной проблемы : Скрытие внешних ссылок с помощью .htaccess и robots.txt

Столкнувшись с проблемой скрытия внешних ссылок я решил пойти немного по иному пути, нежели перенаправление со страницы (вариант с nofollow даже не рассматривался).

Решение было найдено с помощью htaccess и robots.txt.

В .htaccess я добавил правило:
    RedirectMatch 302 /linker/(.*)$ $1


Следуя этому правилу сервер будет перенаправлять пользователей по ссылкам, указанным после linker/, например, при запросе http://мой_сайт/linker/http://google ru сервер перенаправит пользователя на блог поисковой системы Google. Передав функцию паромщика серверу я разгрузил PHP, который теперь сможет больше времени уделить более важной работе.

Установка запрета поисковым системам индексировать ссылки на которые идет redirect (перенаправление ), нужно добавить в robots.txt следующий код:
User-agent: *Disallow: /linker/

Так сообщаем поисковым системам о том, чтобы не переходили по спрятанным ссылкам.
Яндекс воспринимает внешние ссылки за страницы интернет-портала

Upd 2011-09-06. После индексации интернет-портала Яндексом обнаружилась очень любопытная вещь. Яндекс воспринял все внешние ссылки, скрытые таким способом, за страницы моего интернет источника и учел их в статистике общего количества страниц интернет источника. Таких псевдостраниц оказалось даже больше, чем реальных на самом деле. Google ни как не отреагировал на эти ссылки чего, собственно, я ожидал от обоих поисковиков.
Скрытие внешних ссылок с помощью .htaccess и robots.txt
«Автор:»Игорь Сокольский
Источник : 2i2s ru

Предлагаем скачать DataLife Engine 9.x скрытие внешних ссылок с помощью .htaccess и robots.txt
  • 80
Рубрика: Все для DLE » Советы по ДЛЕ
Ранее » Решение проблемы дублирования контента сайтов Редирект 301« Далее Устраняем подергивание кнопки Добавить в закладки
Добавление комментарияОставить комментарий
  • № :16
  • 5 ноября 2013 21:14
Цитата: wrip
Сделал перестроение публикаций, но ничего не изменилось :( В какую именно строчку нужно добавлять код??? В самом верху или снизу, разница есть?

Разницы нет, для .htaccess желательно вначале

Обновление движка не делали ?
Посмотрите в браузере как ссылка видятся сочетании клавиш U+Ctrl
И подробно опишите, что значит второй способ, потому как ссылки там должны быть другого типа...
  • № :15
  • 5 ноября 2013 19:57
Сделал перестроение публикаций, но ничего не изменилось :( В какую именно строчку нужно добавлять код??? В самом верху или снизу, разница есть?
  • № :14
  • 5 ноября 2013 18:30
Цитата: wrip
... рано обрадовался, редирект перестал закрывать ссылки.что может быть?ничего не делал, проверил в htaccess все на месте и в robots тоже, а ссылки в старых новостях перестали закрываться, выглядят как сквозные, ничего не пойму?!?


Глаголы с частицей НЕ пишутся раздельно почти во всех словах с глаголами, а точнее не/делал не/пойму, кроме слов исключений.
Без обид, но школьный предмет за 2-3 класс, пишите пожалуйста без ошибок, что подчеркнуты красной волнистой линией

Что касается вашего вопроса, сохраните БД на всякий случай...
в админ панели движка есть Список всех разделов пройдите в раздел
Перестроение публикаций и сделайте перестроение всех новостей, чтобы применить ко всем старым новостям новые настройки...
  • № :13
  • 5 ноября 2013 15:09
... рано обрадовался, редирект перестал закрывать ссылки.что может быть?ничего неделал, проверил в htaccess все на месте и в robots тоже, а ссылки в старых новостях перестали закрыватся, выгледят как сквозные, ничего непойму?!?
  • № :12
  • 24 октября 2013 21:12
получилось, испробовал второй способ.добавил в htaccess и robots.txt.
Ссылки старые закрылись, которые были добавлены в новости еще год назад ) спс! Они стали выглядеть вот так: http://мой сайт/engine/go.php?url=aHR0cDovL3d3dy51bmlieXRlcy5jb20vaW5LRDdja3BxaWtMcXctVXM0U
DNVZ0JC
  • № :11
  • 24 октября 2013 19:53
Здесь совершенно другая реализация...
Подобную реализацию не видел, т.ч. не смогу под сказать, создайте здесь рубрику с таким вопросом
Внимание! У вас нет прав для просмотра скрытого текста.
возможно есть решение
  • № :10
  • 24 октября 2013 16:49
dle9, помоги плиз, я немного непонял.Что именно нужно сделать чтобы ссылки с сайта имели редирект обратно на сайт:(http://мой_сайт/go.php?http://перенаправленный_сайт/) ???
  • № :9
  • 10 октября 2013 17:55
CTRL+U в любом браузере, найдите ссылку, посмотрите какой вид она имеет...

Все внешние ссылки должны идти после /linker/

Проверить можно только со временем, хотя данная реализация сомнений не вызывает...
  • № :8
  • 10 октября 2013 11:40
Вроде бы получилось..только как проверить работает ли данный способ или нет?
  • № :7
  • 10 октября 2013 11:21
Сделал как было сказано..не сработала, восстановил прежний .htaccess. И теперь при загрузке выдает ошибку 404 Not Found
The requested URL /zarabotok-na-sayte-v-internete/ was not found on this server.
  • № :6
  • 7 марта 2013 15:44
Мне главное что бы внешние ссылки не индексировались, а то если дать на проверку в xtool показывает ссылочный переспам.
Я не понимаю что бы это работала на каждой статье если добавлять ссылку то надо добавлять вот таком виде http://мой_сайт/linker/http://google.ru?
  • № :5
  • 6 марта 2013 19:17
rootiko,
активные ссылки(т.е. ссылки на которые можно кликом по ней перейти на страницу другого ресурса) не будут индексироваться поисковиками ( с конструкцией нофолов) а значить страница не будет терять вес, а чем меньше ссылок на странице, тем лучше индексация и она выходит в топ по поисковым запросам.

Но. для варез ресурсов это не чего не значит, не поможет, ваши журналисты на сотни сайтах добавляют одну и туже информацию, это убивает все, уникальный текст имеет большое значение.
  • № :4
  • 6 марта 2013 19:02
Объясните пожалуйста нубу как это использовать на варезах? В котором несколько десяток журналистов публикуют свои статьи с ссылками на файлообменники и иногда на картинки ссылками?
  • № :3
  • 16 января 2013 13:28
piarman,
нет не используют, зачем у меня нет много внешних ссылок, проще в ручную добавлять код внутр, я же писал
  • № :2
  • 16 января 2013 12:30
dle9, вы используете это на своем сайте?
  • № :1
  • 19 ноября 2012 02:13
Спасибо работает на 9.7... а go.php делает автоматически вид ссылки http://мой_сайт/go.php?http://перенаправленный_сайт/ только если ссылка была добавлена непосредственно в статью... а не через доп поля. У меня теперь доп поля имеют такой вид href="/linker/[xfvalue_links]". Все ок спасибо автору!