Оказалось, что Сеть еще больше чем, мы думали

Согласно новым исследованиям, Интернет настолько огромен, что сложные поисковые механизмы только скользят по поверхности обширного информационного бассейна сети.
Об этом свидетельствуют отчет на 41 страницу, подготовленный компанией из штата Южная Дакота, США, которая создала новое программное обеспечение, помогающее погрузиться в глубины Интернета. Исследователи считают, что сеть в 500 раз больше, чем это представляют популярные поисковые системы типа Yahoo, AltaVista и Google.com.
«В наши дни поисковые системы подобны погоде: каждый считает своим долгом пожаловаться на их работу», -- говорит Дэнни Салливан, редактор SearchEngineWatch.com, анализирующий поисковые системы.
В течение нескольких лет, неотмеченная на карте территория сети была дублирована «невидимой сетью».
Компания BrightPlanet запустила проект Sioux Falls, который описывает Интернет как «глубокую сеть» в отличии от той поверхностной информации, которую предоставляют поисковые системы Интернета.
«Интернет больше не будет невидимой сетью», --сказал Тан Паулсен, генеральный директор BrightPlanet.
Многие исследователей подозревали, что неохваченное киберпространство представляет собой существенный кусок Интернета, но никто, кажется, не исследовал проселочные дороги сети так экстенсивно как BrightPlanet.
Тестируя новое программное обеспечение, созданное за последние пол года, BrightPlanet оценил количество документов, хранящихся в сети, приблизительно в 550 миллиардов.
Все вместе Интернет поисковые системы могут найти 1 миллиард страниц. Одна из первых поисковых систем Lycos в середине 1994 года имела адреса 54,000 страниц.
В то время как механизмы поиска очевидно прошли длинный путь начиная с 1994, они не индексируют даже большую часть страниц.
Потому что увеличивающееся количество информации запасено в гигантских базах данных, основанных правительственными агентствами, университетами и корпорациями.
Поисковые системы полагаются на технологию, которая опознает «статические» страницы скорее, чем «динамическую» информацию, хранящуюся в базах данных.
Это означает, что движки поисковых систем общего назначения будут вести пользователей к домашнему сайту, который размещает огромную базу данных, но выяснение, что в них находится, требует дополнительных запросов.
BrightPlanet полагает, что это привело к новому решению с программным обеспечением по имени «LexiBot».
С отдельным запросом поиска, технология не только ищет страницы, пронумерованные традиционными поисковыми движками, но и роется в базах данных Интернета, выуживая информацию в них.
Создатели из BrightPlanet считают, что LexiBot предназначено не для каждого пользователя. С одной стороны, программное обеспечение стоит денег -- $ 89.95 после 30-дневного бесплатного испытания. Во-вторых, поиск LexiBot не быстр. Типичный запрос будут занимать от 10 до 25 минут, чтобы выдать результат, но может потребоваться и 90 минут для наиболее сложных случаев.
«Это не для бабушек, которые ищут рецепты шоколада в Интернете», заявил один из разработчиков системы.
Частная компания ожидает, что LexiBot будет особенно популярным в академических и научных кругах. Она также планирует продавать свою технологию и услуги бизнесам.
BrightPlanet считает, что приблизительно 95 процентов информации, запасенной в глубокой сети -- бесплатно. Несколько ветеранов Интернета, которые протестировали разработку BrightPlanet, были заинтригованы. Но они предупредили, что программное обеспечение компании может быть слишком громоздким.
«Всемирная Паутина становится такой огромной, что вы нуждаетесь в специализированных движках. Централизованный подход подобно этому не будет успешным», -- предсказывает Карл Маламуд, соучредитель компании Invisible Worlds.
Подобно BrightPlanet, Invisible Worlds также пробуют извлекать большее количество данных, скрытых от поисковых движков, настраивая определенным образом поисковую систему. Маламуд называет этот процесс «предоставление контекста к содержанию».
Общее мнение многих экспертов таково: никто еще не придумал что-то подобно LexiBot. Однако, когда разработчики из BrightPlanet получили эту информацию относительно глубины сети, они оказались перед необходимостью показать людям, где нырнуть. Иначе, люди будут только тонуть.

Читайте "Газету 2000"
http://www.news2000.com.ua