Что такое поисковый робот? Функции поискового робота "Яндекса" и Google. Как работают роботы-сапёры

Роботы поисковой системы

Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler) - это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?

Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.

Как работают роботы поисковой машины?

Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.

Когда, зайдя на страницу "Submit a URL", вы регистрируете очередную web-страницу в поисковике - в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.

Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.

Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.

"Остроумность" в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.

Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google"s "Googlebot". Другие более скрытые, как, например, Inktomi"s "Slurp". Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.

Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.

Как они читают страницы вашего web-сайта?

Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы «играющих роль». Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.

После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.

Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.

Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.

Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).

В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.

Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.

Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.

По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.

Назад

Слово робот происходит от чешского слова «робота», что означает «каторжный труд» или «работа». Сегодня мы используем слово «робот», чтобы обозначить любую искусственную машину, которая может выполнять работу или иные действия, обычно выполняемые людьми, либо автоматически, либо с помощью дистанционного управления.

Что делают роботы?

Представьте себе, если ваша работа состоит в том, чтобы закручивать один винт на тостере. И вы делаете это снова и снова, день за днем, в течение нескольких недель, месяцев или лет. Такая работа лучше подходит роботами, чем людям. Большинство роботов сегодня используются для выполнения повторяющихся действий или работ, которые считаются слишком опасными для человека. Например, робот идеально подходит для разминирования бомб. Роботы также используются на заводах, чтобы производить такие вещи, как автомобили, конфеты и электронику. Роботы в настоящее время используются в медицине, в военной технике, для обнаружения объектов под водой, или для исследования других планет и т.д. Роботизированные технологии помогли людям, потерявшим руки или ноги. Роботы являются отличным помощниками всего человечества.

Зачем использовать роботов?

Причина использования роботов достаточно проста и понятна. Дело в том, что использовать роботов часто бывает дешевле, чем людей. Для роботов проще оборудовать рабочие места, а иногда внедрение роботов является единственным возможным способом решения некоторых задач. Роботы могут исследовать изнутри топливные резервуары, вулканы, путешествовать по поверхности Марса или в других местах, слишком опасных для людей. Роботы могут делать одно и то же снова и снова, и им не станет скучно. Они могут сверлить стены, варить трубы, красить машины, обращаться с токсичными веществами. А в некоторых ситуациях роботы намного более точны и могут сократить издержки производства из-за человеческих ошибок. Роботы никогда не болеют, им не нужно спать, они не нуждаются в пище, обходятся без выходных и, что лучше всего, они никогда не жалуются!

Из чего состоят роботы?

Роботы могут быть сделаны из различных материалов: металл, пластмасса и многое другое. Большинство роботов состоят из 3-х основных частей:

Контроллер или «мозг» робота, работающий с помощью компьютерной программы. Здесь хранятся алгоритмы, с помощью которых робот выполняет различные манипуляции.
Механические части: двигатели, поршни, механизмы захвата, колеса и шестеренки, благодаря которым робот способен двигаться, перемещать предметы, поворачиваться и т.д.
Датчики преобразует полученную информацию в удобную форму для дальнейшей передачи. Датчики позволяют роботу ориентироваться на местности, определить размеры, форму, расстояние между объектами, направление и другие характеристики и свойства веществ. Часто на роботы устанавливают датчики давления, которые могут определять величину давления, необходимую для того, чтобы схватить предмет не повреждая его.

Искусственный интеллект

Изначально искусственный интеллект разрабатывался с целью воссоздания человеческого разума, однако в настоящее время большое количество исследований сфокусировано на так называемом роевом интеллекте - особом типе разума, который проявляется в совместной деятельности насекомых или в работе большого числа простых роботизированных механизмов. Принципы роевого интеллекта могут быть использованы, например, при создании нанороботов.

Ограничения роботов

К сожалению, роботы не могут, как в кино, думать или принимать решения. Роботы - это машины с запрограммированными движениями, которые позволяют им перемещаться в определенных направлениях с заданной последовательностью действий. ИИ позволяет роботам обрабатывать полученную информацию и даже обучаться. Но они все еще имеют существенные ограничения, так как способны понимать лишь определенные типы информации, и выполнять лишь ограниченный набор функций, заложенный в них при создании.

Тем не менее многие из нас не имеют ни малейшего представления о том, как их делают, из чего, с какими проблемами сталкиваются инженеры и как их преодолеть. В этой статье мы подробно разберем, как устроены роботы и как они работают. На самом базовом уровне люди состоят из пяти основных компонентов:

структура тела;

система мышц, которая движет телом;

система органов чувств, которая получает информацию о теле и окружающей среде;

источник энергии, питающий мышцы и органы чувств;

мозговая система, которая обрабатывает информацию от органов чувств и дающая указания мышцам.

Конечно, у нас есть ряд нематериальных атрибутов вроде интеллекта и морали, но на чисто физическом уровне список выше включает это. Роботы делаются из аналогичных компонентов. Обычный робот обладает подвижной физической структурой, электродвигателем определенного рода, системой сенсоров (датчиков, органов чувств), блоком питания и компьютерным «мозгом», который контролирует все эти элементы. По существу, роботы - это техногенные версии животной жизни. Это машины, которые копируют поведение людей и животных. Джозеф Энгельбергер, пионер промышленной робототехники, однажды заметил: «Я не могу дать определение роботу, но я точно узнаю его, когда увижу». Если вы задумаетесь обо всех возможных машинах, которые люди называют роботами, вы поймете, что невозможно придумать всеобъемлющее определение. У каждого есть свое представление о том, что представляют собой роботы. Вам наверняка известны эти роботы:

R2D2 и C-3PO: умные говорящие роботы с ярко выраженной индивидуальностью из фильмов серии «Звездные войны»

AIBO от Sony: собака-робот, которая обучается в процессе взаимодействия с людьми

ASIMO от Honda: робот, который может ходить на двух ногах

Промышленные роботы: автоматизированные машины, работающие на сборочных конвейерах

Дейта : почти человекоподобный андроид из «Звездного пути»

Роботы-саперы

Марсоходы NASA

HAL : бортовой компьютер из «Космической Одиссеи 2001 года» Стэнли Кубрика

MindStorm : популярный роботизированный комплект от LEGO

Все вышеперечисленное можно назвать роботами. Роботом, как правило, называется то, что люди считают роботом. Большинство робототехников (людей, которые делают роботов) использует более точное определение. Они указывают, что роботы обладают перепрограммируемым мозгом (компьютером), который движет тело. Согласно этому определению, роботы отличаются от других подвижных машин вроде автомобилей, поскольку у них есть компьютерный элемент. У большинства новых автомобилей есть бортовой компьютер, но в него можно внести не так много нового. Вы управляете большинством элементов в автомобиле непосредственно при помощи механических устройств разного рода. Роботы отличаются от обычных компьютеров по своей физической природе - у обычных компьютеров нет физического тела, они могут существовать и без него.

Основы роботов

У подавляющего большинства роботов действительно есть общие черты. Прежде всего, почти у всех роботов есть подвижное тело. Некоторые обладают только моторизованными колесами, у других есть десятки подвижных сегментов, как правило, из металла или пластика. Как кости в вашем теле, отдельные сегменты соединяются вместе с помощью суставов. Колеса робота и поворотные суставные сегменты активизируются при помощи приводов разного рода. Некоторые роботы используют электродвигатели и соленоиды в качестве актуаторов (приводов); некоторые используют гидравлическую систему; некоторые - пневматическую систему (на основе сжатых газов). Роботы могут использовать все эти типы приводов. Робот нуждается в источнике питания, чтобы управлять этими приводами. Большинство роботов либо оснащены батареей, либо работают от розетки. Гидравлическим роботам нужен насос для создания давления в гидравлической системе, а пневматическим роботам нужен воздушный компрессор или баллоны со сжатым воздухом. Все приводы подключаются к электрической цепи. Цепь напрямую питает электродвигатели и соленоиды, что активизирует гидравлическую систему при помощи электрических клапанов. Клапаны направляют сжатую жидкость через машину. Для перемещения гидравлической ноги, например, оператор робота должен открыть клапан, ведущий от жидкостного насоса к поршневому цилиндру, закрепленному на ноге. Жидкость под давлением будет двигать поршень, толкая ногу вперед. Чтобы двигать конечностями в обоих направлениях, роботы используют поршни, которые могут толкаться в обе стороны. Компьютер робота управляет всем, что подключено к цепи. Чтобы передвигать робота, компьютер активирует все необходимые двигатели и клапаны. Большинство роботов можно перепрограммировать, чтобы изменить поведение - достаточно просто ввести новую программу в компьютер. Не у всех роботов есть система сенсоров, и лишь некоторые обладают способностью видеть, слышать, чувствовать запах или вкус. Самая распространенная способность робота - способность ходить и наблюдать за своим перемещением. Стандартная конструкция использует колеса с щелью в суставах робота. Светодиод на одной стороне колеса пускает луч света через щель, чтобы подсветить датчик света на другой стороне колеса. Когда робот движет определенным суставом, колесо с щелью крутится. Щель разбивает луч света по мере вращения колеса. Световой датчик считывает поведение светового луча и передает данные на компьютер. Компьютер точно может сказать, как вращается сустав в определенной модели. По тому же принципу работает компьютерная мышь. Это основы робототехники. Робототехники могут комбинировать эти элементы в бесконечное число способов создания роботов неограниченной сложности.

Роботизированный манипулятор

Термин «робот» пришел к нам от чешского слова «robota», что означает буквально «принудительный труд». В принципе, это слово отлично описывает большинство роботов. Чаще всего роботы делают тяжелую работу, монотонно трудятся на производстве. Также они решают задачи, которые сложны, опасны или скучны для людей. Наиболее распространенный вид робота - это роботизированный манипулятор. Типичный манипулятор состоит из семи металлических сегментов, соединенных шестью суставами. Компьютер управляет роботом, вращая отдельные шаговые двигатели, подключенные к каждому суставу (некоторые крупные манипуляторы используют гидравлику или пневматику). В отличие от обычных двигателей, шаговые двигатели двигаются точными шажками. Это позволяет роботу перемещать руку очень точно, в точности повторяя одно и то же движение снова и снова. Робот использует датчики движения, чтобы убедиться, что совершает движения правильно. Промышленный робот с шестью суставами напоминает человеческую руку - у него есть подобия плечу, локтю и запястью. Как правило, плечо установлено на неподвижной базовой структуре, а не на подвижном теле. У такого типа робота есть шесть степеней свободы, то есть он может поворачиваться в шести разных направлениях. Для сравнения, человеческая рука имеет семь степеней свободы. Задача вашей руки - перемещаться с места на место. Аналогичным образом, задача манипулятора - перемещать концевой эффектор с места на место. Вы можете оснастить манипулятор разными концевыми эффекторами, предназначенными для конкретных задач. Один из распространенных эффекторов - упрощенная версия руки, которая может хватать и переносить разные объекты. Манипуляторы часто обладают встроенными датчиками давления, которые предписывают компьютеру, с какой силой захватывать конкретный объект. Это позволяет роботу не ломать все, что он хватает. Другие конечные эффекторы включают паяльные лампы, дрели и распылители порошка или краски. Промышленные роботы предназначены для того, чтобы делать одни и те же вещи, в контролируемой среде, снова и снова. Например, робот может закручивать колпачки на тюбиках с зубной пастой. Чтобы научить робота делать это, программист описывает порядок движения, используя ручной контроллер. Робот записывает последовательность движений в память и делает это снова и снова, когда новый продукт поступает на конвейер. Большинство промышленных роботов работает на конвейерах, собирая автомобили. Роботы делают это более эффективно, чем люди, поскольку более точны. Они всегда сверлят в одном и том же месте, затягивают болты с одной и той же силой, независимо от того, сколько часов проработали. Сборочные роботы также важны для компьютерной отрасли. Весьма сложно точно собрать крошечный микрочип силами человека.

Мобильные роботы

Манипуляторы весьма просто собрать и написать для них программу, поскольку они работают в ограниченном пространстве. Но все становится немного сложнее, если вы отправляете робота в мир. Первое препятствие заключается в том, чтобы дать роботу рабочую систему передвижения. Если робот будет двигаться только по гладкой земле, колеса или гусеницы будут лучшим вариантом. Колеса или гусеницы также могут работать на грубой земле, если будут достаточно большими. Но чаще всего робототехники задумываются о ногах, поскольку их легче адаптировать. Строительство роботов с ногами также помогает ученым понимать естественное движение - полезное упражнение для биологов. Как правило, гидравлические или пневматические поршни перемещают ноги робота вперед и назад. Поршни крепятся к разным сегментам ног так же, как мышцы крепятся к разным костям. Но заставить все эти поршни работать должным образом - сложная задача. Когда вы были ребенком, ваш мозг пытался выяснить, как нужно точно двигать мышцами, чтобы стоять на двух ногах и не падать. Аналогичным образом, конструктор робота должен определить правильную комбинацию поршневых движений, участвующих в ходьбе и запрограммировать эту информацию в компьютер робота. Многие мобильные роботы оснащены встроенной системой баланса (набором гироскопов, например), которая подсказывает компьютеру, когда нужно исправить движение. Прямохождение (ходьба на двух ногах) - довольно нестабильно, поэтому ему сложно научить роботов. Чтобы создать стабильного робота-ходока, конструкторы часто наблюдают за миром животных, особенно насекомых. Шестиногие насекомые обладают невероятно хорошим балансом и адаптируются к широкому набору местностей. Некоторые мобильные роботы управляются дистанционно - человек говорит им, что делать и когда. может осуществляться с помощью провода, радио или инфракрасных сигналов. Роботы с удаленным управлением часто называются кукольными роботами, и они полезны для работы в опасных или труднодоступных условиях - например, в глубокой воде или в жерле вулкана. Некоторые роботы управляются дистанционно лишь отчасти. Например, оператор может отправить робота в определенное место, а обратно робот уже сам найдет дорогу. Как видите, роботы чертовски похожи на нас.

Ежедневно в интернете появляется огромное количество новых материалов: создаются сайты, обновляются старые веб-страницы, загружаются фотографии и видеофайлы. Без невидимых поисковых роботов невозможно было бы найти во всемирной паутине ни один из этих документов. Альтернативы подобным роботизированным программам на данный момент времени не существует. Что такое поисковый робот, зачем он нужен и как функционируют?

Что такое поисковый робот

Поисковый робот сайтов (поисковых систем) - это автоматическая программа, которая способна посещать миллионы веб-страниц, быстро перемещаясь по интернету без вмешательства оператора. Боты постоянно сканируют пространство находят новые интернет-страницы и регулярно посещают уже проиндексированные. Другие названия поисковых роботов: пауки, краулеры, боты.

Зачем нужны поисковые роботы

Основная функция, которую выполняют поисковые роботы, - индексация веб-страниц, а также текстов, изображений, аудио- и видеофайлов, находящихся на них. Боты проверяют ссылки, зеркала сайтов (копии) и обновления. Роботы также осуществляют контроль HTML-кода на предмет соотвествия нормам Всемирной организации, которая разрабатывает и внедряет технологические стандарты для Всемирной паутины.

Что такое индексация и зачем она нужна

Индексация - это, собственно, и есть процесс посещения определенной веб-страницы поисковыми роботами. Программа сканирует тексты, размещенные на сайте, изображения, видео, исходящие ссылки, после чего страница появляется в результатах поиска. В некоторых случаях сайт не может быть просканирован автоматически, тогда он может быть добавлен в поисковую систему вручную веб-мастером. Как правило, это происходит при отсутствии на определенную (часто только недавно созданную) страницу.

Как работают поисковые роботы

Каждая поисковая система имеет собственного бота, при этом поисковый робот Google может значительно отличаться по механизму работы от аналогичной программы "Яндекса" или других систем.

В общих чертах принцип работы робота заключается в следующем: программа «приходит» на сайт по внешним ссылкам и, начиная с главной страницы, «читает» веб-ресурс (в том числе просматривая те служебные данные, которые не видит пользователь). Бот может как перемещаться между страницами одного сайта, так и переходить на другие.

Как программа выбирает, какой Чаще всего «путешествие» паука начинается с новостных сайтов или крупных ресурсов, каталогов и агрегаторов с большой ссылочной массой. Поисковый робот непрерывно сканирует страницы одну за другой, на скорость и последовательность индексации влияют следующие факторы:

внутренние : перелиновка (внутренние ссылки между страницами одного и того же ресурса), размер сайта, правильность кода, удобство для пользователей и так далее;
внешние : общий объем ссылочной массы, которая ведет на сайт.

Первым делом поисковый робот ищет на любом сайте файл robots.txt. Дальнейшая индексация ресурса проводится, основываясь на информации, полученной именно от этого документа. Файл содержит точные инструкции для "пауков", что позволяет повысить шансы посещения страницы поисковыми роботами, а следовательно, и добиться скорейшего попадания сайта в выдачу "Яндекса" или Google.

Программы-аналоги поисковых роботов

Часто понятие «поисковый робот» путают с интеллектуальными, пользовательскими или автономными агентами, "муравьями" или "червями". Значительные отличия имееются только по сравнению с агентами, другие определения обозначают схожие виды роботов.

Так, агенты могут быть:

интеллектуальными : программы, которые перемещаются от сайта к сайту, самостоятельно решая, как поступать дальше; они мало распространены в интернете;
автономными : такие агенты помогают пользователю в выборе продукта, поиске или заполнении форм, это так называемые фильтры, которые мало относятся к сетевым программам.;
пользовательскими : программы способствуют взаимодействию пользователя со Всемирной паутиной, это браузеры (например, Opera, IE, Google Chrome, Firefox), мессенджеры (Viber, Telegram) или почтовые программы (MS Outlook или Qualcomm).

"Муравьи" и "черви" больше схожи с поисковыми "пауками". Первые образуют между собой сеть и слаженно взаимодействуют подобно настоящей муравьиной колонии, "черви" же способны самовоспроизводиться, в остальном действуют так же, как и стандартный поисковый робот.

Разновидности поисковых роботов

Различают множество разновидностей поисковых роботов. В зависимости от назначения программы они бывают:

«Зеркальными» - просматривают дубликаты сайтов.
Мобильными - нацелены на мобильные версии интернет-страниц.
Быстродействующими - фиксируют новую информацию оперативно, просматривая последние обновления.
Ссылочными - индексируют ссылки, подсчитывают их количество.
Индексаторами различных типов контента - отдельных программ для текста, аудио- и видеозаписей, изображений.
«Шпионскими» - ищут страницы, которые еще не отображаются в поисковой системе.
«Дятлами» - периодически посещают сайты, чтобы проверить их актуальность и работоспособность.
Национальными - просматривают веб-ресурсы, расположенные на доменах одной страны (например, .ru, .kz или.ua).
Глобальными - индексируют все национальные сайты.

Роботы основных поисковых систем

Существуют также отдельные роботы поисковых систем. В теории их функциональность может значительно различаться, но на практике программы практически идентичны. Основные отличия индексации интернет-страниц роботами двух основных поисковых систем состоят в следующем:

Строгость проверки. Считается, что механизм поискового робота "Яндекса" несколько строже оценивает сайт на соответствие стандартам Всемирной паутины.
Сохранение целостности сайта. Поисковый робот Google индексирует сайт целиком (в том числе медиаконтент), "Яндекс" же может просматривать страницы выборочно.
Скорость проверки новых страниц. Google добавляет новый ресурс в поисковую выдачу в течение нескольких дней, в случае с "Яндексом" процесс может растянуться на две недели и более.
Частота переиндексации. Поисковый робот "Яндекса" проверяет наличие обновлений пару раз в неделю, а Google - один раз в 14 дней.

Интернет, конечно же, не ограничивается двумя поисковыми системами. Другие поисковики имеют своих роботов, которые следуют собственным параметрам индексации. Кроме того, существует несколько "пауков", которые разработаны не крупными поисковыми ресурсами, а отдельными командами или веб-мастерами.

Распространенные заблуждения

Вопреки распространенному мнению, "пауки" не обрабатывают полученную информацию. Программа только сканирует и сохраняет веб-страницы, а дальнейшей обработкой занимаются совершенно другие роботы.

Также многие пользователи считают, что поисковые роботы оказывают негативное воздействие и «вредны» интернету. Действительно, отдельные версии "пауков" могут значительно перегружать сервера. Имеет место и человеческий фактор - веб-мастер, который создавал программу, может допускать ошибки в настройках робота. Все же большинство действующих программ хорошо спроектированы и профессионально управляются, а любые возникающие неполадки оперативно устраняются.

Как управлять индексацией

Поисковые роботы являются автоматическими программами, но процесс индексации может частично контролироваться веб-мастером. В этом значительно помогает внешняя и ресурса. Кроме того, можно вручную добавить новый сайт в поисковую систему: крупные ресурсы имеют специальные формы регистрации веб-страниц.

Недавно в Японии открылся отель Henn-na (Henn-na Hotel), в котором 90% работ выполняют роботы и 10 человек справляются с оставшимися 10% всех дел. Роботов, выпущенных компанией Kokoro, называют актроидами. Они умеют приветствовать и заселять гостей, устанавливая с ними зрительный контакт и реагируя на движения. Некоторые могут общаться на иностранных языках.

Отель Henn-na, что дословно переводится с японского на английский как «странный отель», использует и других роботов, кроме актроидов, например человекоподобных роботов Нао (NAO) и Пеппер (Pepper) от компании Aldebaran Robotics. Роботы встречают гостей у входа и на стойке регистрации, помогают им снять пальто и относят сумки, убираются в комнатах.

Отель Henn-na не единственный в своём роде. В Нью-Йорке существует YOTEL, в котором роботы заботятся о вещах гостей, делают кофе, приносят бельё, убирают номера и выполняют ещё много другой работы.

А в прошлом году гостиничный гигант Starwood представил роботов, которых назвал Botlrs. Обслуживая гостей, эти роботы могут передвигаться по отелю и в лифтах без человеческой помощи. С 1992 года роботы помогают в больницах: разносят подносы с едой и лекарствами, стирают постельное бельё, выкидывают мусор. В сети гипермаркетов Lowe’s робот OSHbot помогает покупателям отыскать нужный товар.

Amazon использует более 15 000 роботов на своих складах, чтобы вовремя доставлять заказы. Даже армия США планирует заменить десятки тысяч солдат роботами. В прошлом году в Бирмингемском университете появился первый робот-охранник Боб высотой 1,8 метра, который сканирует комнаты и сигнализирует, если видит что-то необычное. Если Боб где-то застревает, он может позвать на помощь, а если разряжается - самоcтоятельно отправляется на подзарядку.

Роботы способствуют повышению продуктивности удалённых работников. В бизнес-школе Массачусетского технологического института те сотрудники, которые работают из дома, могут «разгуливать» по офису и общаться с коллегами при помощи роботов.

Как повсеместное внедрение роботов повлияет на нас

Роботы всё чаще появляются рядом с нами на работе, так не отнимут ли они совсем рабочие места? Некоторые считают, что из-за повсеместного внедрения роботов люди могут оказаться на улице. В 2013 году в Оксфорде провели исследование, согласно которому 47% существующих ныне работ повышенного риска будут вскоре автоматизированы. В течение 20 лет люди на этих местах будут заменены роботами.

Однако существует и другое мнение: отдав машинам тяжёлую работу, люди смогут посвятить себя более интересным и высокотехнологичным занятиям. Так считает и Дэвид Канн, глава Double Robotics, компании, которая создала роботов, используемых в Массачусетском технологическом институте.

Роберт Аткинсон, экономист аналитического центра Фонда технологического развития и инноваций, утверждает: выводы о том, что роботы отнимут рабочие места, основаны на крайне поверхностном анализе ситуации. По сути же происходит обратное: внедрение роботов снижается. Аткинсон объясняет это падение двумя причинами:

Тридцать лет назад США гораздо активнее инвестировали в развитие роботостроения и программного обеспечения, нежели сейчас.
Низко висящие фрукты вроде автоматов регистрации в аэропорту уже сорваны.

Третьей причиной, по мнению Аткинса, можно назвать то, что в США не существует политики развития продуктивности.

Они могли сделать многое, чтобы повысить уровень производительности в стране, но ничего даже не планируют. В отличие, например, от Австралии, где есть Национальная комиссия по повышению производительности, работа которой заключается в выявлении возможностей роста. А мы только предполагаем, что должно произойти…

А компаниям выгоднее нанимать людей с низкой заработной платой, нежели автоматизироваться. Стимула для замены сотрудников роботами нет никакого. Вот если бы людям нужно было платить больше, тогда компании задумались бы о роботизации.

Допустим, если большинство представителей низкооплачиваемых профессий потребуют повышения зарплаты, как это сделали в Нью-Йорке работники заведений фастфуда, тогда процесс автоматизации ускорится.

Вот что говорит по этому вопросу Гарри Матиасон, президент юридической компании Littler Mendelson, которая специализируется на вопросах трудового права в связи с роботизацией.

Прогресс есть. В Нью-Йорке работники фастфуда уже добились того, что минимальная зарплата теперь будет $15 в час. Вскоре работодателям будет экономически выгодно перекладывать часть работы на роботов. Соответственно, это ускорит процесс повсеместной автоматизации. Таким образом, увидеть роботов повсюду в ближайшие пять лет мы сможем, если будем сами проявлять экономическую активность.

Гарри Матиасон

Роботы могут отнять нашу работу, но это не плохо

Как и Аткинсон, Матиасон считает, что причин для беспокойства нет. Он объясняет, что автоматизация 47% рабочих мест повышенного риска не имеет ничего общего с безработицей.

Начнётся перемещение людей на те должности, которых нет сейчас, но они появятся в будущем. Если мы обратимся к истории, то увидим, что подобная ситуация уже была. Тогда всё происходило не так стремительно, как сейчас, но тем не менее прецеденты имелись. К слову, в 1870 году сельским хозяйством зарабатывало 70–80% населения, а сейчас всего 1%.

И, кстати, снова обращаясь к истории, можно увидеть, что при появлении новых технологий на производстве безработица всегда оставалась на прежнем уровне или даже уменьшалась. Мне очень хочется посмотреть, что произойдёт в течение ближайших 10 лет: для людей на первом месте будет стоять не угроза безработицы, а возможность научиться чему-то новому. И если человек 10 лет выполнял одну низкоквалифицированную работу, так, возможно, необходимость карьерного роста будет ему только в радость.

Гарри Матиасон

Матиасон обещает, что нас ждут увлекательные времена. Придётся вносить поправки в Трудовой кодекс, отвечая на вопросы, связанные с взаимодействием людей и роботов. Например, как регулировать распространение личной информации, ведь роботы будут записывать то, что слышат.

Несмотря на то что неизвестно, насколько быстро проникнет роботизация во все сферы, нет никаких сомнений в том, что это случится. И пока одни продолжают бояться потерять рабочее место, другие мечтают о том, как это улучшит экономику в целом и благосостояние каждого человека. Производительность компаний будет расти, они будут больше зарабатывать и смогут больше платить работникам.

Однако один из споров до сих пор не разрешён: каково это, когда на ресепшене отеля тебя встречает актроид, который жутко похоже имитирует человеческие жесты…