Данный показатель не очень точен, но на данный момент это практически единственный инструмент, который может дать хоть какое-то представление о весе страницы. У этого тулбара есть несколько ограничений. Вот они:

1. Иногда этот инструмент определяет весь совсем приблизительно. К примеру, если вы откроете страницу, которая отсутствует в индексе Гугла, но если есть страница, которая близка по своему содержанию к данной странице, то тулбар покажет свое предположение о PageRank этой страница. Получиться как бы склеивание веса страница, которая в индексе и которая не в индексе. Есть способ выяснить реальный вес ли показывает тулбар или он просто склеил значение с другой страницей. Нужно ввести в поисковую форму адрес страницы, у которой вы определяете PageRank, если страница появиться, то, следовательно, вес показывается реальный, а если нет, то это выдумки тулбара.

2. Тулбар дает представление о реальном весе. Сам показатель PageRank, но на тублабаре он показывается в виде нелинейной диаграммы.

Когда-то давно на заре рассвета такой поисковой системы как Google понятие ссылки можно было трактовать точно как рекомендацию. С тех пор много воды утекло и это утверждение уже не так актуально как ранее. Объясню почему. Есть две ключевые причины:

1. Интернет существенно поменялся. Сегодня ссылка это как связь с другим сайтом, ответная услуга при обмене ссылками или вообще лицензионное требование.

2. Как только создается поисковый механизм, который дает существенный вес ссылке как рекомендации, то сразу же находятся люди желающие манипулировать этим механизмом, т.е. покупать их и прочее.

Отсюда следует, что надежность информации такого фактора как внешняя ссылка постепенно становиться меньше и меньше. Это и является причиной того, что важность PageRank как одного из факторов ранжирования становиться все слабее и слабее.

Однако у PageRank есть одно оправдывающее его свойство. На этот показатель в алгоритме ранжирования труднее всего влиять из вне. Из всего изложенного следует, что наличие хорошего показателя PageRank есть возможность дать вам преимущество перед вашими конкурентами, но только в сочетании с другими факторами ранжирования. Предупреждаю вас. Коротких путей тут нет. Вам предстоит досконально изучить понятие PageRank, иначе вы будете тратить свое драгоценное время попросту впустую.

2. Если на вашем сайте есть текст, который не несет в себе ни какой смысловой нагрузки. Т.е. сгенерированный автоматически и специально для поискового робота.

3. Специальный сайт, который оптимизирован под конкретное ключевое слово и цель этого сайта перенаправить посетителя на другой сайт. Среди вебмастеров это носит название «дорвей».

4. За неправильное представление сайта. Если сайт во многих местах представляется как ресурс о рыбалке, а при попадании на него там написано что это сайт о каком-то ресторане.

В заключение этого краткого перечня хочу пожелать всем начинающим вебматерам удачи в создании полезных и качественных сайтов.

Пост я хотел посвятить небольшим советам по парсингу поисковиков. Последние недели две я периодически писал скрипт, отсеивающий сайты по разным критериям. Соответсвенно, нужно было очень часто обращаться к поисковым системам и не словить от них бана. Всем известно, что помочь с этим могут прокси, играющие роль посредника между клиентом и сервером и берущие бан на себя Общая скорость работы будет в основном определяться скоростью прокси.

Но есть несколько других методов, которые могут помочь существенно увеличить скорость парсинга в промышленном масштабе. Об этом пойдет речь. В качестве бонуса – разговор с чат-ботом.

Возможные методы обхода бана поисковиками при парсинге:

1. Использование датацентров. Я делал такое для получения Google Pagerank, но думаю, что и с Яндексом можно попробовать. Идея состоит в том, чтобы по очереди соединяться с датацентрами по IP, а не использовать просто доменное имя. Скорость при этом, как минимум, на порядок выше, чем при обращении к серверу по имени. Разрешение имен на своем сервере, распределение нагрузки по серверам поисковой системы – все это кажется не особо существенным, но в больших масштабах играет роль. К тому же вероятность словить бан уменьшается. “Много помалу – много”. Вам нужно всего лишь найти IP-адреса.
2. Использование партнеров поисковиков. Существует немало сервисов, которые просто напросто используют выдачу известных ПС, работая с ними через API. Поэтому получать выдачу нужного поисковика можно не только у него, но и у партнера.

Теперь о том, что заставило меня написать пост раньше А это эмоции и приятное удивление от “общения” с зачатками искуственного интеллекта в виде программы-чата. Зовут ее A.L.I.C.E.

Очень давно, лет 7 назад, еще будучи школьником я также игрался с каким-то ботом, но тот был заметно глупее и часто отвечал невпопад. Элис приятно поражает. Вот цитата с баша, которая заинтересовала меня и я решил посмотреть на Элис:

Human: All robots are stupid
ALICE: I don’t think so.
Human: you have another opinion?
ALICE: What makes you think I have it?
Human: you don’t believe that all robots are stupid
ALICE: Do you believe that all robots are stupid? I can’t say I believe it, but I believe you.
Human: are you robot?
ALICE: How did you know I am a machine?. Really.
Human: all robots are stupid and you are a robot, that means you are stupid
ALICE: Hey, I’ll tell my other robot friends you called me stupid.
Human: I still think robots are stupid.
ALICE: I will remember you said that when robots take over the World.
Human: O_o

Оказывается, программисты и ученые, занимающиеся созданием ИИ, разработали AIML – диалект XML для создания таких вот интересных ботов. Когда будет время, обязательно познакомлюсь поближе с этой темой.

А пока просто приятно поиграться с Элис во время перерывов например, когда ждешь окончания работы парсера.

Я вспомнил о Яндексе, когда мне понадобилось парсить его выдачу Сегодя я немного подумал и решил, что монополизм – это плохо. Это раз. А два – это немного параноидальная, но уже привитая специальностью (я безопасник) мысль: такой мощный инструмент как поиск наверняка будет интересен тем, кто ведет информационную войну. На миг представьте, что вас начнут чуть подталкивать туда, куда им надо… через ваш поисковик.

Да, ресурсоемко. Но теоретически возможно. Да, информационная война давно идет. Но от еще одного мощного инструмента воздействия никогда не откажутся.

В общем, хорошо бы иметь всегда свой отечественный продукт для поиска.

Но от теории к практике – Поиск в Яндексе из браузера.

Хотя использую я и поиск Гугла почти в таком же объеме, и сервисы вроде почты, ридера для новостей… Остается надеяться, что момент начала зомбирования я не пропущу. Шутка.