Как защитить сайт от тотального скачивания.
Бывают такие случаи, когда владелец сайта не желает, или не может, отдавать свой сайт целиком своим посетителями. Приведем простой пример:
У вас есть сайт, на котором, вы публикуете обои для рабочего стола. Общий объем сайта — 500Mb, посещаемость 7 000 хостов в сутки, примерный трафик — 300Гб в месяц или 10 Гб в день.
Добавим к этим посетителям еще 20 человек, скачавших ваш сайт целиком. Получаем увеличение трафика на 10Гб или в два раза. Или другими словами 0.28% посетителей создали 50% трафика. Не совсем честно, особенно если вы оплачиваете трафик.
Способы защиты сайта от скачивания
1. Запрет по User Agent
User Agent — так называются данные, которые каждый броузер передает серверу. Эти данные могут содержать в себе такую информацию, как тип броузера, операционная система, список плагинов и многое другое.
Это наиболее простой, но наименее эффективный способ. Его преимущество в том, что ни кого лишнего вы не запретите, а недостаток в том, что практический каждый Download агент может маскироваться под стандартные браузеры.
if ( strpos ( $agent , "DISCo Pump" ) ||
strpos ( $agent , "Offline Explorer" ) ||
strpos ( $agent , "Teleport" ) ||
strpos ( $agent , "WebZIP" ) ||
strpos ( $agent , "WebCopier" ) ||
strpos ( $agent , "Wget" ) ||
strpos ( $agent , "FlashGet" ) ||
strpos ( $agent , "CIS TE" ) ||
strpos ( $agent , "DTS Agent" ) ||
strpos ( $agent , "WebReaper" ) ||
strpos ( $agent , "HTTrack" ) ||
strpos ( $agent , "Web Downloader" ) ) {
die ( "Access Denied" ) ;
}
2. Ограничение по количеству просмотренных страниц за определенный промежуток времени.
Тоже достаточно спорный метод. Но надо понимать, что нормальный человек не может просмотреть 60 страниц за 1 минуту. Но с другой стороны и Download агент может делать паузы между скачиванием страниц.
Даже если вы не заблокируете Download агент совсем, то по крайней мере, сильно затрудните скачивание.
3. Запрет с помощью скрытой ссылки.
Наверное, один из самых правильных методов. Вы должны сделать скрытую ссылку на странице, по которой «живой» человек не перейдет, а Download агент и прочие роботы сделают это. IP адрес с которого производится просмотр скрытой страницы блокируется, скажем, на 3 минуты.
Главный недостаток — это то, что вы, таким образом, блокируете поисковых роботов. Бороться с этим можно двумя способами:
- Проверять $HTTP_USER_AGENT. Для этого вам необходимо будет знать то, каким образом подписываются все поисковые роботы. Кроме того, при таком способе Download агент сможет замаскироваться под поискового робота. (см. пример 2)
- Запрещать IP адрес можно не по факту загрузки скрытой страницы, а по факту загрузки картинки, установленной на скрытой странице. Поисковые роботы обычно не запрашивают изображения размещенные на страницах, а Download агенты обычно делают это.
Выводы.
Как видите, метода, который бы работал на сто процентов, нет, и вам придется что-то (или кого-то) приносить в жертву. Ниже приведен код PHP класса, который реализует защиту от скачивания, описанную в третьем методе.
Пример PHP класса
<?
class Flooders {
var $filename ; /* Имя файла, в котором хранится список */
/* запрещенных IP адресов */
var $timeout ; /* Время, на которое производится бан IP */
/* адреса. По умолчанию — 600 (10 минут) */
var $log ; /* Имя лог-файла. */
var $AGENTS ; /* Массив — список разрешенных агентов */
/* */
/* Конструктор — в параметрах можно указать основные настройки */
/* */
/* $filename — имя файла, в котором хранится список */
/* забаненных адресов. */
/* $timeout — время, в секундах, на которое банится IP. */
/* */
/* Пример: $f=new Flooders("ban.txt",3600); */
/* */
function Flooders ( $filename = "flooders.txt" , $timeout = 600 ) {
$this -> filename = $filename ;
$this -> timeout = $timeout ;
$this -> AGENTS = Array ( ) ;
$this -> log = "" ;
}
/* */
/* Задает имя лог-файла. Если имя файла пустое, то лог-файл */
/* не испольщуется */
/* */
function SetLogFileName ( $filename ) {
$this -> log = $filename ;
}
/* */
/* Проверка IP адреса на нахождение в бан-листе. */
/* */
/* Если $http_errror==0, то возвращает true, если IP адрес */
/* забанен, и false, если IP адрес разрешен. */
/* */
/* Если $http_error==404 и IP адрес забанен, то выводится */
/* стандартная страница 404 сервера Apache */
/* */
/* Если $http_error==403 и IP адрес забанен, то выводится */
/* стандартная страница 403 сервера Apache */
/* */
function Check ( $http_error = 0 ) {
GLOBAL $HTTP_SERVER_VARS ;
$ip1 = $HTTP_SERVER_VARS [ "REMOTE_ADDR" ] ;
$ip2 = $HTTP_SERVER_VARS [ "HTTP_X_FORWARDED_FOR" ] ;
$ip1 = str_replace ( ":" , "_" , $ip1 ) ;
$ip2 = str_replace ( ":" , "_" , $ip2 ) ;
$d =@ file ( $this -> filename ) ;
if ( ! is_array ( $d ) ) { print "Ошибка чтения из файла "" . $this -> filename . ""." ; return ( false ) ; }
$found = false ;
for ( $i = 0 ; $i < count ( $d ) ; $i ++ ) {
$e = explode ( " : " , $d [ $i ] ) ;
if ( $e [ 1 ] == $ip1 && trim ( $e [ 2 ] ) == $ip2 && $e [ 0 ] + $this -> timeout > $curtime ) { $found = true ; break ; }
}
if ( $http_error == 404 && $found == true ) {
header ( "HTTP/1.0 404 Not Found" ) ;
die ( "<!DOCTYPE HTML PUBLIC \" -//IETF//DTD HTML 2.0//EN \" > \n <HTML><HEAD> \n <TITLE>404 Not Found</TITLE> \n </HEAD><BODY> \n <H1>Not Found</H1> \n The requested URL " . $HTTP_SERVER_VARS [ "REQUEST_URI" ] . " was not found on this server.<P> \n <HR> \n " . $HTTP_SERVER_VARS [ "SERVER_SIGNATURE" ] . " \n </BODY></HTML>" ) ;
}
if ( $http_error == 403 && $found == true ) {
header ( "HTTP/1.0 403 Forbidden" ) ;
die ( "<!DOCTYPE HTML PUBLIC \" -//IETF//DTD HTML 2.0//EN \" > \n <HTML><HEAD> \n <TITLE>403 Forbidden</TITLE> \n </HEAD><BODY> \n <H1>Forbidden</H1> \n You don’t have permission to access " . $HTTP_SERVER_VARS [ "REQUEST_URI" ] . " \n on this server.<P> \n <HR> \n " . $HTTP_SERVER_VARS [ "SERVER_SIGNATURE" ] . " \n </BODY></HTML>" ) ;
}
return ( $found ) ;
}
/* */
/* Добавления IP адреса в бан-лист */
/* */
function Ban ( ) {
GLOBAL $HTTP_SERVER_VARS ;
$agent = " " . $HTTP_SERVER_VARS [ "HTTP_USER_AGENT" ] ;
for ( $i = 0 ; $i < count ( $this -> AGENTS ) ; $i ++ ) {
if ( strpos ( $agent , $this -> AGENTS [ $i ] ) ) return ;
}
$ip1 = $HTTP_SERVER_VARS [ "REMOTE_ADDR" ] ;
$ip2 = $HTTP_SERVER_VARS [ "HTTP_X_FORWARDED_FOR" ] ;
$ip1 = str_replace ( ":" , "_" , $ip1 ) ;
$ip2 = str_replace ( ":" , "_" , $ip2 ) ;
$d =@ file ( $this -> filename ) ;
if ( ! is_array ( $d ) ) { print "Ошибка чтения из файла "" . $this -> filename . ""." ; }
$fw =@ fopen ( $this -> filename , "wt" ) ;
if ( ! $fw ) { print "Ошибка записи в файла "" . $this -> filename . ""." ; return ; }
4 программы для скачивания сайтов
Эти четыре программы помогут вам загрузить практически любой сайт к себе на компьютер. Очень полезно, если вы боитесь потерять доступ к любимым статьям, книгам, инструкциям и всему остальному, что могут удалить или заблокировать.
1. HTTrack
HTTrack позволяет пользователям загружать сайт из интернета на жесткий диск. Программа работает путем копирования содержимого всего сайта, а затем загружает все каталоги, HTML, изображения и другие файлы с сервера сайта на ваш компьютер.
При просмотре скопированного сайта HTTrack поддерживает исходную структуру ссылок сайта. Это позволяет пользователям просматривать его в обычном браузере. Кроме того, пользователи могут нажимать на ссылки и просматривать сайт точно так же, как если бы они смотрели его онлайн.
HTTrack также может обновлять ранее загруженные сайты, а также возобновлять любые прерванные загрузки. Приложение доступно для Windows, Linux и даже для устройств на базе Android.
2. SiteSucker
Если вы твердо придерживаетесь экосистемы Apple и имеете доступ только к Mac, вам нужно попробовать SiteSucker. Программа, получившая такое название, копирует все файлы веб-сайта на жесткий диск. Пользователи могут начать этот процесс всего за несколько кликов, что делает его одним из самых простых в использовании инструментов. Кроме того, SiteSucker довольно быстро копирует и сохраняет содержимое сайта. Однако помните, что фактическая скорость загрузки будет зависеть от пользователя.
К сожалению, SiteSucker не лишен недостатков. Во-первых, SiteSucker — платное приложение. На момент написания этой статьи SiteSucker стоит $4.99 в App Store. Кроме того, SiteSucker загружает каждый файл на сайте, который может быть найден. Это означает большую загрузку с большим количеством потенциально бесполезных файлов.
3. Cyotek WebCopy
Cyotek WebCopy — инструмент, позволяющий пользователям копировать полные версии сайтов или только те части, которые им нужны. К сожалению, приложение WebCopy доступно только для Windows, но зато оно является бесплатным. Использовать WebCopy достаточно просто. Откройте программу, введите целевой URL-адрес и все.
Кроме того, WebCopy имеет большое количество фильтров и опций, позволяющих пользователям скачивать только те части сайта, которые им действительно нужны. Эти фильтры могут пропускать такие вещи, как изображения, рекламу, видео и многое другое, что может существенно повлиять на общий размер загрузки.
4. GetLeft
Этот граббер с открытым исходным кодом существует уже давно, и на это есть веские причины. GetLeft — это небольшая утилита, позволяющая загружать различные компоненты сайта, включая HTML и изображения.
GetLeft очень удобен для пользователя, что и объясняет его долговечность. Для начала просто запустите программу и введите URL-адрес сайта, затем GetLeft автоматически анализирует веб-сайт и предоставит вам разбивку страниц, перечисляя подстраницы и ссылки. Затем вы можете вручную выбрать, какие части сайта вы хотите загрузить, установив соответствующий флажок.
После того, как вы продиктовали, какие части сайта вы хотите зазрузить, нажмите на кнопку. GetLeft загрузит сайт в выбранную вами папку. К сожалению, GetLeft не обновлялся какое-то время.
Спасибо, что читаете! На данный момент большинство моих заметок, статей и подборок выходит в telegram канале «Левашов». Обязательно подписывайтесь, чтобы не пропустить новости мира ИТ, полезные инструкции и нужные сервисы.
Респект за пост! Спасибо за работу!
Хотите больше постов в блоге? Подборок софта и сервисов, а также обзоры на гаджеты? Сейчас, чтобы писать регулярно и радовать вас большими обзорами, мне требуется помощь. Чтобы поддерживать сайт на регулярной основе, вы можете оформить подписку на российском сервисе Boosty. Или воспользоваться ЮMoney (бывшие Яндекс Деньги) для разовой поддержки:
Заранее спасибо! Все собранные средства будут пущены на развитие сайта. Поддержка проекта является подарком владельцу сайта.
Как скопировать веб-страницу если там установлена защита от копирования
Как скопировать веб-страницу, если на странице установлена защита от копирования? Многие из нас посещали сайты в Интернете, на которых нам не удавалось скопировать содержимое страницы сайта привычным способом.
Для копирования контента, выделяем содержимое веб-страницы правой кнопкой мыши, чтобы потом скопировать выделенное, но таким способом сохранить веб-страницу не получается. На этом сайте, возможно, установлена программа или плагин для защиты от копирования.
Плагин блокирует использование выделения при помощи мыши. Многие веб-мастера таким образом, хотят защитить свою интеллектуальную собственность для защиты контента от копирования.
Некоторые не очень добросовестные владельцы сайтов копируют содержимое чужих статей на других сайтах, а затем публикуют скопированные статьи под своим именем.
Большинство из тех, кто копирует статьи на страницах сайтов, все-таки добросовестные люди. Они копируют содержимое страниц сайта только для того, чтобы не потерять нужную информацию. Адреса нужных сайтов теряются, не всегда можно вспомнить, на каком сайте была размещена информация, которая теперь стала необходима.
Самый простой способ это конечно простое списывание текста со страницы сайта, но это довольно трудоемкий процесс. Отдельную веб-страницу или сайт можно добавить в закладки своего браузера, но это не копирование.
Есть еще несколько способов копирования, и о них я хочу вам рассказать. Вы узнаете, как скопировать веб-страницу, даже если на сайте установлена защита контента от копирования.
Скриншот веб-страницы
Второй по простоте способ: сделать скриншот всей страницы или участка конкретной статьи.
При помощи средства операционной системы Windows, при нажатии на клавишу клавиатуры «Print Screen», происходит копирование открытой страницы сайта. После копирования в буфер обмена, мы можем открыть страницу в графическом редакторе, например, во встроенном в операционную систему графическом редакторе Paint.
В редакторе Paint нажмите на вкладку «Главная», а потом на кнопку «Вставить». После вставки изображения, вы можете его отредактировать, если это необходимо, а потом сохранить в нужном графическом формате.
Минусы этого способа — это то, что копия сохраняется как графический файл, в нем нельзя будет отредактировать текст, не вся страница может попасть на изображение, если она не полностью помещается на экране монитора.
У тех пользователей, на компьютерах которых установлены операционные системы Windows Vista и Windows 7 (в старших редакциях), установлена хорошая программа для снятия скриншотов — Ножницы.
С помощью приложения можно скопировать не только всю страницу, но и отдельную часть статьи или только саму статью, если она небольшого размера. Это можно сделать также и при помощи других программ для снятия скриншотов, а также с помощью соответствующих дополнений (расширений) браузеров.
Как сохранить веб-страницу как веб-документ или веб-архив
Рассмотрим вопрос, как копировать веб-страницу в самых популярных браузерах.
В браузере Internet Explorer нужно будет войти в меню «Сервис» => «Файл» => «Сохранить как…» (или одновременное нажатие клавиш «Ctrl» + «S» на клавиатуре). После этого, откроется окно Проводника.
В окне Проводника, после выбора места сохранения, предлагается на выбор несколько вариантов для сохранения файла.
Если вы выбрали варианты: «Веб-страница полностью» или «Веб-страница, только HTML», то тогда после сохранения страницы, рядом с файлом — «HTML-документом», будет сохранена папка с содержимым страницы сайта.
Сохранить страницу вы можете и как текст. Сохраненный файл будет открываться в Блокноте. Сохранить веб-страницу можно также одним файлом — «веб-архивом MHT».
После открытия веб-архива, у вас открывается сохраненная страница сайта, откуда вы можете скопировать обычным способом всю страницу, или только статью, или часть статьи для дальнейшего редактирования или сохранения, например в программе Word из состава Microsoft Office.
Сохранить, а, в дальнейшем, хранить на компьютере веб-страницу можно и в файле веб-архива.
В браузере Opera необходимо нажать на кнопку «Opera», далее «Страница» => «Сохранить как…», далее следует выбрать вариант сохранения, аналогично как в браузере Internet Explorer.
В браузере Mozilla Firefox нужно нажать на кнопку «Firefox» => «Сохранить как…», далее выбрать нужный вариант сохранения веб-страницы. Сохранение в веб-архиве в браузере Mozilla Firefox возможно, если установить в браузер Firefox соответствующее расширение.
Для копирования веб-страницы, в браузере Google Chrome следует нажать на кнопку «Настройка и управление Google Chrome» => «Сохранить страницу как…», далее необходимо выбрать способ сохранения из двух вариантов: «Веб-страница полностью» или «Веб-страница, только HTML».
Сохранение веб-страницы в PDF с помощью виртуального принтера
Виртуальный принтер позволяет конвертировать любой документ или изображение, из программы, которая поддерживает печать, в формат PDF.
Для того, чтобы использовать виртуальный принтер в браузерах Internet Explorer, Mozilla Firefox, Opera, необходимо установить на компьютер программу — виртуальный принтер, например, PDFCreator.
На данном примере, я использую бесплатную программу — виртуальный принтер Bullzip PDF Printer.
Установка программы стандартная, и она происходит на русском языке. Программа устанавливается в операционную систему как виртуальный принтер. После установки на компьютер, Bullzip PDF Printer появляется в списке установленных принтеров и факсов.
После того, как вы зашли на страницу сайта, которую вам нужно сохранить, то в настройках браузера необходимо нажать на пункт «Печать».
В открывшемся окне, потребуется выбрать из списка установленных принтеров, виртуальный принтер Bullzip PDF Printer. После этого нужно нажать на кнопку «ОК».
Происходит сохранение страницы на ваш компьютер, и вы, в окне Проводника, должны выбрать место для сохранения PDF файла.
Сохранение страницы сайта в PDF на онлайн сервисе
Сохранить веб-страницу в PDF в удобном для чтения и печати виде можно с помощью онлайн сервиса Print Friendly & PDF, а также с помощью одноименных расширений (дополнений) к браузерам Google Chrome и Mozilla Firefox.
Сохранение страницы в PDF в браузере Google Chrome
При использовании браузера Google Chrome, есть возможность сохранять страницы сайта как файл PDF, без использования постороннего виртуального принтера. Виртуальный принтер встроен в браузер Гугл Хром.
Для этого нужно нажать на сочетание клавиш «Ctrl» + «P» на клавиатуре. В открывшемся окне «Печать», во вкладке «Целевой принтер следует выбрать пункт «Сохранить как PDF».
Далее необходимо нажать на кнопку «Сохранить», а затем выбрать в открывшемся окне Проводника место для сохранения файла, а затем нажать на кнопку «Сохранить».
Веб-страница будет сохранена в формате PDF.
Расширение RightToClick для Mozilla Firefox
Установив это расширение к браузеру Mozilla Firefox, вы сможете снимать защиту от использования правой кнопки мыши, для выделения нужного содержимого на сайте, для дальнейшего его копирования.
Для установки дополнения RightToClick, необходимо нажать на кнопку «Firefox» => «Дополнения» => «Получить дополнения». В поле «Поиск среди дополнений» нужно ввести выражение — «RightToClick». На открывшейся странице расширения RightToClick нужно нажать на кнопку «Добавить в Firefox», а потом на ссылку «Установить сейчас» => «Перезапустить сейчас».
На панели браузера Mozilla Firefox (вверху или внизу), будет находится значок расширения RightToClick, в виде стрелки.
Теперь, для того, чтобы скопировать текст или изображения с веб-страницы, на которой заблокировано действие правой кнопки мыши, достаточно нажать на значок расширения RightToClick.
После этого, у вас появиться возможность копировать содержимое веб-страницы, с помощью выделения, используя для этого правую кнопку мыши.
Выводы статьи
Существует несколько способов при помощи которых можно скопировать веб-страницу на компьютер с помощью виртуального принтера, веб-документа, расширения для браузера.