?

Log in

No account? Create an account
Previous Entry Share Next Entry
Xrumer 7.0 + Hrefer 3.3 как источник уникального контента
смотреть фильмы онлайн бесплатно, фильмы онлайн, смотреть фильмы онлайн, онлайн фильмы бесплатно, смотреть фильмы онлайн бесплатно без рег
kinoimpulse

Конкурсная работа от Pegas для BotmasterRu.com

Вебмастеры частенько сталкиваются с проблемой поиска уникального контента для своих сайтов, практически все варианты являются затратными и не всегда соответствуют требованиям. Я предлагаю рассмотреть метод бесплатного получения уникального контента используя программный комплекс XRumer 7.0 Elite + Hrefer:

Ежедневно в интернете создаются и погибают тысячи сайтов! Задумывались ли вы куда девается контент сайта, который внезапно прекратил свое существование? В большинстве случаев данный контент уходит в небытие. Почему бы нам не дать ему второе рождение?

Итак, сайт прекращает свое существование когда владелец прекращает оплачивать либо хостинг, либо домен. Первое поймать вряд ли удастся, а вот второе…

Видеопрезентация:



Приступим!

Для начала нужно определиться с тематикой контента, который нам нужен. Для примера я возьму тематику строительства, причем контент мне нужен на английском языке. Подбираем запросы по которым будем искать сайты, я возьму 1 запрос: construction.

Отправляемся в Hrefer 3.3:

Для Words Database я буду использовать числа, допустим от 1 до 40000 (список можно легко сделать с помощью Excel).

Для Additive words database я буду использовать мой запрос: construction, причем я хочу, чтобы данный запрос встречался именно в заголовке сайта, а не где-нибудь в футере в виде продажной ссылки. Поэтому оставляю запрос:  intitle:"construction".

Фильтровать мне нечего, поэтому sieve-filter я отключаю в настройках.

Отключаем sieve-filter

Язык выдачи: English
Зона домена: .com

Парсим!


Обрабатываем базу:

Итак, мы собрали базу сайтов необходимой тематики. Для проверки домена, нам нужно только его имя и зона, поэтому преобразуем базу:

1. Открываем ее в блокноте и методом замены, меняем .com/ на .com?/
2.
Открываем Хрумер -> Настройка -> Настройка инструментов -> Обрезать ссылки до «?»
3. Делаем пост-обработку нашей базы (Инструменты -> Пост-обработка ссылок…), там-же можно Удалить повторные ссылки… (наверняка они есть в нашей базе).

Получаем базу вида:

база 1


Теперь нам требуется сервис, который бы смог проверить WHOIS наших сайтов, я возьму

http://ip-whois.net *

При проверке домена мы попадаем на страницу, адрес которой:
http://ip-whois.net/whois.php?whois=домен.com

Дата окончания аренды домена выглядит так:
Expiration Date: 01-sep-2011 **

Нам вновь требуется преобразовать базу, дабы привести ее к виду:
http://ip-whois.net/whois.php?whois=домен.com

Делаем это простой заменой:
Убираем www. , так как с www проверка не состоится, а затем заменяем
http:// на
http://ip-whois.net/whois.php?whois=
В итоге получаем:

Готовая база


Анализируем нашу базу:

Наша база полностью готова, отправляемся в Хрумер и подвергаем анализу нашу базу.
Будем искать сайты у которых завтра (12.07.2011) заканчивается аренда:
Expiration Date: 12-jul-2011

Анализатор базы ссылок

Для примера использовалась не большая база, поэтому в результате мы получили всего 4 сайта.
Теперь остается только полностью скачать полученные сайты на ваш ПК (существует множество способов и программ, способных скачать сайт целиком) и ждать следующего дня для проверки на выживание данных сайтов.
Таким образом ежедневно проверяя базу вы сможете получать не ограниченное количество контента!


Данный способ очень прост и не занимает много времени, единожды собрав базу вы можете не обновлять ее в течении года.

Дополнение:
Данный способ можно использовать не только для получения уникального контента, но также и для отслеживания освобождающихся доменов. Например воспользовавшись замечательной тулзой Hrefer 3.3:
"Sort current links database by PR" можно отсортировать базу по весу PR, а затем наблюдать за доменами, в ожидании когда они освободятся.
Или же в конце концов, можно не дробить сайт на его составляющие, а просто напросто возродить его в первозданном виде со всем его контентом и родным доменом, навешать своей рекламы и пожинать плоды чужих трудов.

Вспомогательный софт:

Offline Explorer Pro - позволяет загружать как весь сайт целиком, так и отдельные его части (доступна маска файлов). Сохраненные копии файлов, скриптов, изображений и фотографий после скачивания доступны для просмотра в режиме оффлайн. Кроме того, загруженные с помощью программы файлы можно записывать на оптические диски, экспортировать в удобном формате.

Offline Explorer Pro позволяет скачать сайт целиком по протоколам Web, HTTPS и FTP, сохранять потоковое видео и аудио по таким протоколам как RTSP, PNM, MMS и NSV. Загруженные веб-страницы можно редактировать, по закачанным сайтам можно организовать полнотекстовый поиск. Для удобства использования в программе есть специальный Мастер создания новых проектов, который облегчит старт работы с Offline Explorer Pro.

Если вас не устроит данный софт, вы можете использовать : Teleport Pro.

Teleport Proодин из самых известных и востребованных оффлайн-браузеров. Скачать сайт целиком с помощью этой программы можно быстро и удобно. Интерфейс программы интуитивно понятен, пользователю доступны различные настройки режима и глубины скачивания. Например, есть возможность скачать полную копию сайта с сохранением структуры каталогов, скачать отдельные файлы и т.д.

Teleport Pro поддерживает многопоточную закачку, может быть интегрирован в интернет-браузеры Internet Explorer, Opera. При скачивании сайта есть возможность задать маску файлов и тем самым скачивать или не скачивать только файлы определенного типа. Поддерживается возможность скачать сайт целиком по расписанию, возможность ограничить массовое скачивание во избежание бана на сайте.

Для проверки на уникальность контента, рекомендую воспользоваться старой доброй Advego Plagiatus - программа поиска в интернете частичных или полных копий текстового документа с интуитивным интерфейсом. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL.

В качестве блокнота я использую Bred3.
Bred3 - представляет собой многофункциональный текстовый редактор, предназначенный для замены стандартного Блокнота Windows. Этот редактор вы можете наблюдать на видео, а так-же на скринах в данной статье.
Список возможностей нового Bred-3 включает в себя поддержку наиболее распространенных кириллических кодировок (ANSI, KOI8, OEM, юникод) с возможностью преобразования текста между ними "на лету", возможность работы с файлами неограниченного размера, поддержку плагинов, подсветку синтаксических конструкций и многое другое.

_________________________________
* Данный сервис используется в качестве примера, вы можете использовать любой другой сервис, который проверяет WHOIS домена без каптчи и без ограничения использования.
**
Expiration Date: 01-sep-2011 - окончание срока аренды для доменов зоны: .COM, .NET, .EDU
Для доменов зоны: .RU, .SU окончание срока аренды будет выглядеть следующим образом: paid-till:  2011.09.01

Статья предоставлена пользователем Pegas, специально для третьего конкурса статей посвященному
раскрытию новых возможностей программного комплекса XRumer 7.0 Elite + SocPlugin + Hrefer.
С подробностями, а так-же с условиями конкурса вы можете ознакомиться на официальном сайте XRumer.

Tags: ,