HackWare.ru
Этичный хакинг и тестирование на проникновение, информационная безопасность
Как узнать куда ведёт ссылка с редиректами: все промежуточные сайты и кукиз
Ссылки с редиректами
При клике на ссылку с редиректом вы окажитесь не на том сайте, куда ведёт эта ссылка, а на каком-то другом. Самый популярный пример таких ссылок — это ссылки, полученные на разных сервисах по сокращению ссылок, пример: http://bit.do/fbb2f
О такой ссылке мало что можно сказать пока по ней не будет сделан переход.
Ссылки с редиректом часто используются на сайтах для маскировки внешних ссылок — пользователю выводится ссылка как будто бы на внутренний ресурс сайта, например, http://hackware.ru/?goto=1, но при клике по ней выполняется переход на внешний ресурс.
Анализ ссылок с редиректом может понадобится в том числе для изучения фишинговых ссылок, либо страниц со множеством редиректов: когда вы открываете сайт в окне браузера, но затем вас перебрасывает на следующую страницу без ваших действий, затем на другую и так далее.
Как определить все редиректы страницы
Для Linux имеется специальная программа под названием Hoper — она делает именно то, что нас интересует: показывает все сделанные редиректы.
В Kali Linux программа устанавливается следующим образом:
Вполне возможно, что в другие дистрибутивы Linux также удастся выполнить установку этим же способом.
В BlackArch команда устанавливается так:
но в данный момент она не работает в BlackArch (хотя раньше работала):
Использование программы простейшее:
У программы hoper имеется ряд проблем — главная из них: она показывает не все переходы, которые делает ссылка.
- требует Ruby
- не работает в BlackArch
- не показывает кукиз
Как говориться, если хочешь, чтобы что-то было сделано хорошо — то сделай это сам!
Программа для определения всех редиректов
Задача кажется довольно простой — нужно перейти по ссылке, посмотреть куда она ведёт, перейти туда, посмотреть куда ведёт следующая ссылка и так по кругу.
Но имеются следующие трудности:
- относительная переадресация: ссылка может быть абсолютной, например https://hackware.ru/, а может быть относительной, например «/blog» или «/». По относительной ссылкам нельзя просто перейти — нужно правильно составить абсолютную ссылку (видимо, Hoper не умеет этого)
- разные коды ответов: имеется несколько HTTP кодов ответов с редиректами, они имеют вид 3xx. Это нужно учитывать при написании парсера. При этом нельзя ориентироваться на код ответа 200 для прекращения обхода ссылок, поскольку код ответа 404 или 403 и другие также означают, что нужно остановиться
- переадресация с кукиз: некоторые сайты устанавливают кукиз и действуют исходя из них
- некоторые сервисы активно противодействуют ботам
- редиректы могут выполняться не только с помощью HTTP заголовков, но и методами JavaScript и HTML.
Пример редиректа с помощью <meta http-equiv='refresh':
Пример редиректа с помощью JavaScript:
Пример редиректа с помощью JavaScript и с дополнительной обфускацией:
Первые три проблемы я решил в своём скрипте, четвёртая решена только частично. Пятая также решена частично — можно добавить больше паттернов для поиска редиректов, но окончательно побороть обфускацию невозможно. Кстати, если вы хотите дополнить примеры редиректов для добавления их в этот скрипт, то пишите в комментариях.
Чтобы использовать скрипт создайте файл dest-finder.sh:
И скопируйте в него:
Ссылки рекомендуется помещать в кавычки, поскольку они могут содержать символы, имеющие специальное значение для оболочки Bash.
Теперь нам показаны все четыре редиректа:
Как просмотреть кукиз, которые устанавливают сайты при редиректах
Я задался вопросом, как узнать, какие кукиз установились во время редиректа? Как я уже упомянул, для обработки некоторых редиректов нужно учитывать кукиз, которые устанавливают сайты. Поэтому предыдущий скрипт сохраняет и отправляет кукиз. Поскольку это в любом случае уже делается, то для тех, кому это интересно, в конце работы скрипта показываются кукиз, которые были получены.
Если вам хочется сделать так, чтобы кукиз выводились после каждого редиректа, то вы сможете это сделать немного отредактировав приведённый выше скрипт.
Кстати, если вам просто хочется посмотреть, какие кукиз устанавливает сайт (даже если на странице нет редиректа), то предыдущий скрипт также сработает:
Онлайн сервис, который показывает куда ведёт ссылка и кукиз сайтов
Выше дан исходный код простого скрипта, который не требует установки и работает без зависимостей. Если вам хочется онлайн сервис, чтобы не возиться даже с запуском скрипта, то вот он: https://suip.biz/ru/?act=hoper
Раньше этот сервис работал на основе Hoper, но теперь он использует мой скрипт.
То есть, он вам подойдёт если:
- нужно узнать все промежуточные страницы редиректа
- нужно просто посмотреть кукиз, которые устанавливает веб-страница (даже если на ней нет редиректа)
В общем, пользуйтесь, — если найдёте ошибки в работе, то пишите здесь в комментариях — обязательно поправлю.
Связанные статьи:
-
(59.1%) (59.1%) (59.1%) (59.1%) (59.1%) (RANDOM — 51%)
Рекомендуется Вам:
4 комментария to Как узнать куда ведёт ссылка с редиректами: все промежуточные сайты и кукиз
"некоторые сервисы активно противодействуют ботам"
Добрый день. Не подскажете о чем речь? Какие есть способы эффективного противодействия ботам? Напрмиер для снижения нагрузки на сервер и отсечения ненужного трафика.
Alexey :
Приветствую! Очень много разных решений для отсечения ботов. Из очень популярных, например, reCAPTCHA от Google (статья «Как добавить на сайт reCAPTCHA v3 для защиты от парсинга и спама»), у CloudFlare есть подобное. А также самые разнообразные решения — например, можно на GitHab'е найти готовые варианты с открытым исходным кодом.
Не работает ваш сайт, который использует Ваш скрипт. Толку от него ноль.
Попробуйте сократить на vkcc и проверить.
Alexey :
Приветствую! Дайте, пожалуйста, примеры ссылок — я не могу их сократить сам, так как нет аккаунта в VK.
Сегодня добавлен второй метод следования по ссылкам, в нём улучшена поддержка редиректов выполняемых с помощью JavaScript и HTML — попробуйте, возможно, это решит проблему с этими ссылками.
Куда направляет ссылка
Онлайн сервисы на основе HackWare.ru
Составление диапазонов IP
Узнать информацию о себе
Сбор информации
Извлечение информации из кэша и веб архивов
IP калькуляторы
Обход запрета показа исходного HTML кода, обход социальных блокировщиков
Продвинутое использование поисковых систем
Работа с кодировками
Инструменты противодействия CloudFlare
Изображения и метаданные
Информация о номерах телефонов
Сканеры уязвимостей веб-сайтов
Сканеры уязвимостей, открытых портов и запущенных служб веб-серверов
Субдомены и скрытые файлы
Получение информации по MAC-адресам
Анализ работы веб-сервера
Работа с хешами
Анализ электронных писем
Анализ файлов
Конвертация
Служебные страницы
Лучший хостинг Рунета:
- Заказать хостинг
- Регистрация доменов
- Тарифы на хостинг
Онлайн сервис следует по URL и определяет конечный пункт назначения, куда ведёт ссылка.
Если вы хотите узнать куда ведёт ссылка, которая перенаправляет через один или несколько редиректов (например, т.н. сокращённые ссылки), то вам поможет этот сервис. Он пройдёт по всем промежуточным пунктом и покажет вам как конечный пункт назначения, так и весь путь, который пришлось пройти.
- http://hackware.ru/?goto=1
- http://suip.biz/link.php?link=feedback
- https://m.do.co/c/52bf4857e82c
- https://bit.ly/3dHB2SA
Вас также могут заинтересовать сервисы:
If you want to contribute, you can make donation for adding new services:
Как узнать или проверить, куда перенаправляется ссылка или URL
Интернет
Веб-сайт может потерять не только посетителей, но и рейтинг в поисковых системах, если поисковая система не может отслеживать URL-адреса этого сайта. Поэтому важно правильно установить перенаправления. Эти инструменты могут помочь вам определить, перенаправляют ли ссылки или URL-адреса в нужное место.
Большое количество генераторов коротких URL-адресов используются для сокращения длинных адресов веб-сайтов просто для того, чтобы избавить людей от необходимости набирать длинные URL-адреса. Тем не менее, в этом и заключается внутренняя опасность, которая заключается в том, чтобы найти, куда именно указывают эти ссылки. С другой стороны, иногда вы можете даже проверить и подтвердить, действительно ли обычный URL-адрес идет к желаемому месту назначения или нет. Ненадежные могут заставить людей перенаправить на вредоносные сайты, которые все настроены для установки вредоносных программ на ваш компьютер.
Проверьте, куда URL перенаправляет на
Редирект Детектив
Этот веб-сайт позволяет отслеживать перенаправление URL. Перенаправления имеют два основных типа:
- Перенаправления, указанные в заголовках HTTP
- Перенаправления, указанные в источнике HTML
RedirectDetective.com способен обнаруживать перенаправления HTTP. Если перенаправление указывает на другую страницу, которая, в свою очередь, указывает на то, откуда она появилась, это приводит к бесконечному циклу перенаправления. Redirect Detective может обработать до 10 переадресаций перед тем, как повесить трубку.
Wheregoes.com
Используя этот веб-сайт, можно определить, ведет ли весь путь перенаправлений и метаобновлений к желаемому месту назначения. В дополнение к этому, он позволяет выполнять тщательную проверку, диагностировать сложные проблемы со ссылками и устранять неисправности ссылок.
Webconfs
Этот инструмент поможет вам определить, является ли созданное вами перенаправление дружественным для поисковой системы или нет. Просто скопируйте и вставьте URL, перенаправление которого вы хотите проверить, и нажмите кнопку «Отправить».
Проверка перенаправления
Этот сайт довольно прост по своей функции. Он отображает пустое поле, в котором пользователь может ввести URL-адрес и отследить его. Заголовки каждого перенаправления становятся видимыми под введенным адресом.
Используйте эти инструменты, если хотите проверить, куда ведет сокращенный URL-адрес, или если вам необходимо подтвердить реальное назначение обычных, но сомнительных ссылок.