четверг, 30 декабря 2010 г.

Как решить проблемы современного поиска?

ABSTRACT

Статья рассматривает проблемы современного поиска и организации информации, причины их появления, а также предлагает пути их разрешения.


ЧТО ПОИСК МОЖЕТ СЕГОДНЯ

Сегодня поиск может найти миллионы страниц контента, однако вместе с правильными результатами мы можем получить и ненужную информацию. "Столица Франции" может извлечь 35 миллионов страниц вместо всего одного слова. Пока пользователи мирятся с данным положением дел, но все больше и больше зреет необходимость в чем-то более искушенном, чем просто догадка, основанная на сложных математических/статистических методах для поиска слов в базе данных миллиардов страниц. Но проблема не только в поиске, но и в том, как информация организована, что видно из следующих примеров:

1. Поиск.

- Запрос "опера" дает ссылки на (а) браузер, (б) статьи об опере как виде искусства, (в) оперные театры, (г) отель "Опера".
- Запросы "Европейский Союз" и "ЕС" дают разные результаты и включают информацию не только о самом ЕС, но и близких по значению темах, таких как делегация ЕС или поездки в ЕС.
- Запрос "Германия Испания" дает ссылки в основном на матч чемпионата мира 2010, однако, не все интересуются футболом (а отношения между Испанией и Германией не ограничиваются только этим матчем, даже внутри футбольной темы)
- Запрос "Германия Испания 2010 футбол" дает ссылки на чемпионат мира 2010 года в общем (хотя этот запрос, напротив, конкретизирует смысл)
- Запрос "Как проехать в Арагон", по сути, не дает результатов вообще (хотя он дает множество ссылок, которые не имеют отношения к запросу)
- Запрос "Арагон" неоднозначен, т.к. мы можем хотеть или (а) идентифицировать слово, т.к. не знаем, что такое Арагон вообще, или (б) детализировать слово, нам же поиск дает множество неотсортированных ссылок, которые пытаются покрыть все возможные цели запроса
- Запрос "Арагон Наварра" неоднозначен, т.к. мы можем хотеть узнать (а) как слова обобщаются, например, что они являются частью современной Испании, (б) как слова связаны, например, какие отношения между Арагоном и Наваррой существуют сейчас или в прошлом, или как проехать из Арагона в Наварру и т.п.
- Запросы "Арагон Испания" и "Арагон Сарагоса" неоднозначны, т.к. включают в себя понятие, который является частью другого понятия

2. Помощь к поиску.

Давайте посмотрим на советы, которые поисковики предлагают пользователям:
- Запросы должны быть простыми.
- Подумайте, какие слова присутствуют на странице, которую вы ищете.
- Опишите, что вам нужно, используя как можно меньше слов.
- Подбирайте более информативные слова.
По существу, всё верно. Однако, как это далеко от реальной жизни, в которой хочешь-не хочешь, а люди отвечают на сложные запросы, не предугадывая, какой результат они увидят, не думая о том, сколько и какие слова использовать для описания. Если же мы посмотрим на советы к расширенному поиску, то они включают в себя уже инструкции по использованию специального языка для поиска, что малоприменимо для большинства пользователей. Наличие answer-сайтов (сайтов ответов) также подтверждает существование проблем у поисковых систем. Хотя оно также подтверждает, что многие люди не будут себя утруждать чтением советов для поиска, т.к. на многие вопросы с этих сайтов дают ответ даже простейшие запросы.

3. Обобщения, ключевые слова.

http://gazeta.ru/science/2010/10/12_a_3427805.shtml
Страница озаглавлена как "Есть ли жизнь под Марсом", подзаголовок гласит "Жизнь на Марсе может существовать на глубине нескольких километров", другой подзаголовок раскрывает тему еще больше: "Жизнь на Марсе может существовать на глубине нескольких километров. Такое предположение сделали ученые, ознакомившись с новыми данными, полученными станцией Mars Reconnaissance Orbiter (MRO)". Какой из заголовков правильный? Какой наиболее точно передает содержание страницы? Теги содержат следующие слова: Жизнь на Марсе, Mars Reconnaissance Orbiter, карбонаты, гидротермальные ископаемые. Почему "Жизнь на Марсе" и почему не просто "Марс"? Почему "карбонаты"? Относится ли эта страница к теме карбонатов или же к теме карбонатов на внеземных объектах? Сама статья, в соответствии с URL классифицирована, как относящаяся к "Науке", внутри страницы мы еще находим ссылку на тему "Космический обзор". Почему "Космический обзор", а не "Космос"?

Если мы посмотрим на html, то увидим еще множество параллельных определений (которые включают заголовки разных типов и стандартов):
<link rel="alternate" type="application/rss+xml" title="Газета.Ru - двадцать строк о науке" href="http://www.gazeta.ru/export/rss/science_20.xml">
<link rel="alternate" type="application/rss+xml" title="Газета.Ru - Наука. Новости" href="http://www.gazeta.ru/export/rss/science_more.xml">
<meta name="keywords" content="Жизнь на Марсе, Mars Reconnaissance Orbiter, карбонаты, гидротермальные ископаемые">
<meta name="description" content="Жизнь на Марсе может существовать на глубине нескольких километров. Такое предположение сделали ученые, ознакомившись с новыми данными, полученными станцией Mars Reconnaissance Orbiter (MRO).">
Так какой из заголовков правильный?

4. Классификации.

Как размещается информация на порталах, можно увидеть на примере одной утилиты, которая оказалась в следующих категориях на разных сайтах:
- Система
- Системная информация
- Софт / Сетевые утилиты / Мониторинг сети
- Home > Windows > Network Tools > Network Information
- Home > Windows Software > Utilities & Operating Systems > System Utilities
- System > Power Tools

http://www.bbc.co.uk/nature/species/Common_Goldeneye
Страница использует множество произвольных, по сути, классификаций (можно представить еще пару подобных: Nature -> Birds -> Goldeneye или Birds -> Goldeneye):
1. Внутри URL: Nature -> Species -> Common Goldeneye
2. На странице: Wildlife Finder -> Animals -> Goldeneye
3. Animals -> Vertebrates -> Birds -> Anseriformes -> Ducks, geese and swans -> Bucephala -> Goldeneye

5. Локальная информация.

Страницу из предыдущего примера мы можем положить в C:\Downloads\Animals\Goldeneye.html (хотя браузеры предлагают даже более интересное имя файла: "BBC - Wildlife Finder - Goldeneye facts, pictures & stunning videos"). Если после этого вы нашли еще и видео файл, но на диске C нет места, то вы сохраните его как D:\Video\Animals\Duck_geye.avi. Как позже найти оба файла? Запустить локальный поиск? Один раз это имеет смысл, но, если вы будете работать с ними несколько раз, то желательно иметь их под рукой всегда. Библиотеки файлов? У них свои ограничения: вы должны вручную их создавать, а если их станет совсем много, то вам опять придется использовать поиск уже внутри этих библиотек. В реальности же, получается так, что мы многократно проделываем одну и ту же операцию (поиск ли это или следование пути, используя каталоги или библиотеки).

6. XML, Семантический Веб, микроформаты.

Семантический Веб уходит от акцента на представлении информации (что делает гипертекст) и обращается к смыслу (семантике) информации. Например, данные о конкретном человеке в нем представляются так:


<?xml version="1.0"?>
<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
xmlns:contact="http://www.w3.org/2000/10/swap/pim/contact#">

<contact:Person rdf:about="http://www.w3.org/People/EM/contact#me">
<contact:fullName>Eric Miller</contact:fullName>
<contact:mailbox rdf:resource="mailto:em@w3.org"/>
<contact:personalTitle>Dr.</contact:personalTitle>
</contact:Person>

</rdf:RDF>


Конечно, едва ли мы сможем пользоваться таким представлением, которое, очевидно, ориентировано на машинную обработку данных. Микроформаты реализуют ту же идею (работы со смыслом), используя гипертекстовые элементы. Пример данных о домашнем телефоне:


<span class="tel">
<span class="type">home</span>:
<span class="value">+1.415.555.1212</span>
</span>


Однако, тогда возникает другая проблема: чтобы поддерживать, например, визуализацию номера телефона, браузер должен специальным образом обрабатывать каждый микроформат, что затрудняет их поддержку.


ПРОБЛЕМЫ СОВРЕМЕННОГО ПОИСКА И ОРГАНИЗАЦИИ ИНФОРМАЦИИ

Как вы можете видеть, мы сталкиваемся с множеством проблем, так как поисковые системы:
- ищут слова, а не смысл (запрос "ЕС" об именно ЕС, а не обо всем, что относится к ЕС)
- не понимают всех синонимов ("ЕС" и "Европейский Союз")
- не пытаются уточнить, что вы имели ввиду ("опера" - это браузер или музыкальное произведение)
- не пытаются понять цель запроса (идентифицируем мы слово или детализируем, и т.п.)
- информация не всегда упорядочивается (например, группировка схожей информации)
- предоставляют слишком избыточные ответы (миллион страниц вместо одного слова)
- не понимают сложных отношений между словами
- последния события имеют большую релевантность (только потому что они чаще упоминаются в новостях и дискуссиях), но это не всегда так для того, кто ищет
- требуют дополнительного времени для уточнения запроса (что часто нарушает одно из правил GUI, что любая цель должна быть достигаема за 3 клика)
- удовлетворительный результат обычно получается, если мы ищем либо определения термина (тогда, здесь нет сложных отношений и слово запроса обычно совпадает с заголовком страницы в словаре), либо типичную информацию (которая представлена на множестве страниц, которые используют разные синонимы, что увеличивает шансы угадать их в запросе)

Советы для поиска только подтверждают наличие этих проблем:
- запросы должны быть простыми, т.к. поисковые системы не справляются со сложными отношениями
- вы должны предугадать, какие слова будут в ответе, т.к. поиск не может использовать похожие термины
- требование использовать как можно меньше слов иногда имеет смысл и в реальной жизни (краткость ведь сестра таланта), но с другой стороны абсурдно: ведь чем больше слов вы используете, тем более вы детализируете объект, например, "машина" хуже описывает предмет, чем "красная спортивная машина"
- совет подбирать более информативные слова (т.е. слова, которые добавляют что-то новое к содержанию и не пересекаются по смыслу с другими словами) имеет смысл, если вы хорошо понимаете, что же это такое , однако, что мешает поисковым системам исключать неинформативные?

Но ведь существуют еще и проблемы упорядочивания и использования информации:
- идентификация предметов реального мира недоступна (поэтому смысл слов доступен только людям)
- классификации произвольны (относится ли статья к "животным" или "хордовым"?)
- некоторые классификации (как каталоги файлов) позволяют упорядочивать информацию, но не запрещают неправильно отклассифицированную информацию (например, вы можете положить файл музыки в каталог с фильмами и т.п.), т.к. не делают явными критерии классификации (например, если вы не знаете, кто такой Верди, то вы не сможете понять, что означает путь "Музыка/Опера/Верди")
- зафиксированные критерии классификации ухудшают вероятность повторного нахождения информации (вы можете поместить фильм в каталог "Фильмы/2010", но после забыть в каком году фильм был выпущен) и разделяемость информации (копирование части дерева каталогов может быть весьма трудоемко, т.к. оно охватывает вовлеченные ветви дерева полностью, а нам нужны только их части, например, если вам нужно скопировать три файла из разных подкаталогов, с сохранением имен каталогов)
- существующие классификации (включая разнообразные таксономии и онтологии) используют множество отношений для определения своих элементов, что затрудняет их использование (а часто понятно только экспертам в семантике)
- обобщение или абстрагирование (которое обычно представлена заголовком, т.е. кратким содержанием статьи) тоже произвольно: заголовки часто состоят из метафор или других элементов, которые засоряют понимание какой контент скрывается за ним (например, заголовок может включать название сайта, но вы даже можете не подозревать, что это название сайта), иногда они заменяются ассоциациями, ключевыми словами и тегами (например, "Жизнь на Марсе может существовать на глубине нескольких километров" раскрывает смысл статьи, а ассоциации "карбонаты" или "гидротермальные ископаемые" понятны только специалисту)
- обобщение дублируется (и частично становится противоречивым) внутри заголовка ссылки, внутри заголовка страницы, в дополнительных тегах, ключевых словах, в заголовках ссылок, которая указывает на эту страницу и т.п.
- URL трудно запомнить (т.к. используются аббревиатуры, а разделители естественного языка не используются по назначению)
- ссылка указывает на один ресурс, тогда как в естественном языке ссылка (слово) является обобщающей ссылкой (слово "фильм" может указывать на любой фильм)
- не у каждого предмета или явления есть соответствующий компьютерный ресурс, а если и есть, то он может устареть или быть удаленным
- гипертекст жестко интегрирует разнородную информацию, что приводит в результате к "контентовому кошмару" (невозможно понять, где граница между разным контентом, между контентом и не-контентом)
- во многих случаях мы работаем с простым текстом потому, что существующие приложения работают либо с заранее структурированной информацией, либо с неструктурированной информацией вообще
- интеграция информации, во многих случаях, практически отсутствует, т.к. мы используем текстовые идентификаторы без привязки к смыслу (т.е. если даже файл назван "Храброе сердце" - то это не означает, что файл связан с фильмом, или с каким-то другим содержанием, которое вы решили назвать так)
- обмен информацией затруднен вследствие необходимости явного использования определенных средств (электронной почты, сайтов и т.п.)
- использование информации затруднено, т.к. не существует простых способов совместного использования классифицирующей информации (т.е. каждый пользователь должен классифицировать информацию заново) и фильтрации информации (т.е. пользователь должен заново фильтровать информацию практически при каждом обращении к ней)
- проблема доступа к информации не решена прозрачно, поэтому ее либо игнорируют вообще, либо ставят столько барьеров, что пользование информации становится проблематичным

У Семантического Веба (его создатели называют его еще "Вебом данных") свои недостатки и проблемы репрезентации знаний вообще:
- ориентирован на обработку машинами
- рассматривает упорядоченные данные и приложения и представляет собой универсальный формат данных для интеграции больших массивов данных и приложений, но пока нет общепринятого представления для людей
- работать с ним могут эксперты (которые могут иметь дело с его стандартами)
- проблема идентификация предметов и событий реального мира не раскрывается полностью (иначе бы мы уже бы пользовались ею)
- в нем отсутствует механизм поддержки детализации/обобщения (который является одним из важнейших механизмов интеллекта)
- семантика представляется в виде триплетов "подлежащее-сказуемое-дополнение" (subject-predicate-object), игнорируя все богатство естественного языка
- для него актуальна квалификационная проблема (для любого обобщающего определения существует множество исключений) и проблема большого количества взаимосвязанных фактов


ОТКУДА БЕРУТСЯ ЭТИ ПРОБЛЕМЫ?

Данные недостатки появляются т.к. поиск рассматривает тексты как набор символов (подобно тому, как мы видим текст на неизвестном нам языке). Естественно, что не понимая смысла текста, можно только угадывать что ищут пользователи, благодаря совпадению слов. Советы для поиска, более изощренные математические методы могут помочь увеличить вероятность успешного совпадения, но не более того. И только понимание текста может вывести поиск на качественно новый уровень, что означает, что поиск должен рассматривать не текст, а смысл.

Например, в чем смысл фильма "Храброе сердце"?
- фильм как (1) последовательность кадров, (2) видеокассета, диск или файл, (3) актеры, декорации, сцены
- в самих исторических событий, которые имели место несколько веков подряд
- (1) в описании этих событий, (2) интерпретация этого описания в фильме, (3) описании того, как снимался фильм
- идеи, мысли, чувства и эмоции, которые (1) вложены в эту интерпретацию, (2) испытывали реальные актеры при съемке, (3) испытывает конкретный зритель

Этому смыслу соответствует следующие идентификаторы:
- название "Храброе сердце", которое уникально идентифицирует этот фильм (хотя это название не уникально, т.к. в 1925 году уже выходил такой фильм, поэтому более точное название будет "Храброе сердце (1995)")
- слово "фильм" или "исторический фильм", которыми мы подчеркиваем сходство с другими фильмами, обобщая его свойства и игнорируя детали
- слова, которые описывают сюжет фильма
- слова, которые описывают наши чувства и впечатления от фильма
- кадры, которые и есть фильм, тоже могут считаться описанием (изображение - это тоже язык, но визуальный)

Давайте, попробуем разобраться по порядку, что же мы здесь видим (и что, собственно говоря, и составляет понятие смысла):
- предметы и явления реального мира (здесь, это исторические события)
- чтобы уменьшить сложность предметов и явлений до уровня, достаточного для восприятия, субъект познания трансформирует их в символы и идентификаторы (визуальные и другие представления, буквы и слова естественного языка, цифры, и т.п.)
- идентификаторы, отделенные от реального мира (т.к. они остаются внутри субъекта познания), начинают жить своей собственной жизнью, образуя систему идентификаторов / абстрактный мир со своими предметами и явлениями (здесь, это описание исторических событий и их интерпретация в фильме, а также идеи, мысли, чувства как самого фильма, так и зрителей)
- идентификаторы используются для ссылки на объекты ("Уильям Уоллес"), на действия ("битва на Стерлингском мосту"), на отношения, т.е. объекты абстрактного мира ("отец Уильяма Уоллеса", где "отец" - это отношение, которое обозначает факт родства, но которое не может быть воспринято в реальности напрямую, т.к. факт родства может быть только зарегистрированным или подтвержденным анализом ДНК), на временные отношения, т.е. абстрактные действия (сам фильм и фраза "если бы Уильяма Уоллеса не казнили", где действия не являются частью реальности), и на смешанные структуры ("я смотрел Храброе сердце", где "я" и "смотрел" являются частью реальности, тогда как сам фильм - смесью реляционных объектных и временных структур)
- в общем случае, чем больше идентификаторов мы используем для описания, тем более конкретным (детальным) оно является, и более абстрактным (обобщенным), в обратном случае (например, "Храброе сердце, кинотеатр М города Н, 20:00 26 октября 2010 года" указывает на сеанс конкретного фильма, фраза "фильм в октябре 2010 года" указывает на все фильмы, которые где-либо проходили в октябре 2010 года, а слово "фильм" указывает на любой фильм вообще, хотя в фразе "я смотрел вчера фильм" оно указывает и на конкретный сеанс)
- чтобы уменьшить количество идентификаторов ("человек, который боролся за независимость Шотландии в 13 веке") мы можем использовать уникальный идентификатор (например, "Уильям Уоллес"), которые могут образовывать собственные системы идентификаторов (система личных имен, названия стран, база данных, и т.п.)
- так как система идентификаторов независима от реального мира (мы должны, но не всегда поддерживаем верифицируемость), то смысл идентификатора может зависеть как от обстоятельств, предметов и явлений (смысл фразы "я был в кино" зависит от того, где и когда была сказана эта фраза), так и от субъекта и его представлений ("я был в кино" зависит еще и оттого, зачем и почему фраза была сказана), так и от самой системы идентификаторов (не понимая русского языка, нельзя понять, что означает слово "фильм")
- перевод идентификаторов из одной системы в другую (из представления в язык, из языка в язык, между идентификаторами одного языка) может быть основан на идентичности (если существует однозначное соответствие идентификаторов, как между "Уильям Уоллес" и "William Wallace") или же на схожести, т.е. частичной идентичности (как между "Уильям Уоллес" и "герой Шотландии", где сходство между идентификаторами достигается за счет идентичности только части из критериев, входящих в описание этих идентификаторов)

Но причины существующих проблем еще и в том, что смысл должен рассматриваться шире:
1. Чтобы рассматривать смысл как можно точнее, мы должны брать во внимания все системы идентификаторов, которые при этом используются. А они включают в себя как сам текст (как результат поиска), так и запрос (которому уделяется недостаточно внимания, даже учитывая советы по поиску). Сейчас поисковая система пытается удовлетворить сразу все направления поиска, которые возможны теоретически, оставляя выбор на усмотрение человека. Однако, такой подход будет проблемой, если мы будем использовать сложные запросы, которые будут включать подзапросы (т.е. для которых выбор будет предоставляться не человеку, а машине).
2. Интерфейс тоже должен рассматриваться как часть семантики. Что, по меньшей мере, подразумевает некоторую синхронизацию между интерфейсом и семантикой (например, если вы в данный момент оказались в окне программы регистрации фильмов, то все запросы, сделанные из этого окна, должны быть фильмами, и т.п). То есть, результат работы интерфейса или поиска должен являться контекстом (основой) для дальнейшей работы с информацией.
3. Проблема идентификации сильно недооценена: например, вместо определения всех деталей информации (определения ее связей, отношений, и т.п.) часто достаточно уточнить ответ на вопрос "Что это такое?" Так, даже простой пользователь, может идентифицировать какое вино он купил по этикетке, но только эксперт может сказать к каким классам оно принадлежит, как связано с другими объектами и т.п. Детальная же информация является уже производной от идентификации: если вы знаете, что смотрите именно "Храброе сердце" 1995 года, то этого достаточно, чтобы найти, на какой студии выпущен, кто в нем играет, и т.п.
4. Локальный поиск рассматривают как аналог поиска в Интернете, хотя его задача звучит скорее как "Где оно находится?", чем "Что это такое?", поэтому просто неэффективно запускать каждый раз полнотекстовый поиск для нахождения потерявшегося файла (содержание которого вы даже может помнить лучше, чем его месторасположение на диске).

Вообще говоря, человек всегда пытается передавать обобщенный и не до конца определенный смысл, стараясь сократить объем информации, т.к. он не обладает необходимыми ресурсами и временем, чтобы полностью описать вещь или явление, а как читатель не всегда имеет желание читать слишком уж детализированное описание. Опущенную же информацию мы часто можем восстановить только задав вопросы самому носителю информацию (например, из фразы "я вчера был в опере" нельзя извлечь, кто такой я, когда было вчера и в какой опере он был). Следовательно, поиск заведомо обречен на неудачу, покуда он не может восстановить всю информацию.


КАК РЕШИТЬ ПРОБЛЕМЫ ПОИСКА И ОРГАНИЗАЦИИ ИНФОРМАЦИИ?

Можно ли разрешить противоречие между стремлением обобщить информацию и необходимостью предоставлять точную информацию? Противопоставление детализации и обобщения вытекает из самой природы интеллектуальной активности, в общем, и абстрагирования, в частности: чем больше информации у нас имеется в распоряжении, тем более точно мы можем описать явление, но и тем больше ресурсов и времени нам требуется для этого. Для описания мы можем использовать как одну фразу, так и целую книгу, так как краткость (обобщение) будет эффективной в одной ситуации, а точность (детализирование) в другой. Мы вынуждены всегда балансировать между размером информации и скоростью на ее обработку (типичный дуализм для программирования, аналогичный принципу непротиворечивости Гёделя). Нельзя отдавать предпочтение одной или другой стороне, поэтому разрешение противоречия состоит в том, что мы должны иметь возможность для детализации, обобщения, идентификации, и связанности.

Если мы посмотрим на развитие компьютерных технологий, в общем, и развитие Веба, в частности, мы можем увидеть, что и здесь мы сталкиваемся с тем же дуализмом. С одной стороны, точные приложения, с другой стороны - необходимость предоставить интерфейс людям, которые предпочитают гибкость и обобщения. Этот дуализм проявляется и в двух Вебах: обычном и Семантическом ("Веб данных"). Изначально обычный Веб был создан именно для людей, что хорошо проявляется в его особенностях:
- гипертекст связывает разнородный контент, используя достаточно простой язык (до этого для этих целей использовались технологии и форматы, которыми можно было пользоваться только используя сложный инструментарий, тогда как гипертекст можно редактировать в любом текстовом редакторе)
- гипертекст обладает хорошей выживаемостью (он функционирует даже при неполных данных, т.е. неполностью загруженный или неправильный гипертекст во многих случаях, не утрачивает информативности)
- гипертекст допускает неопределенность (слова) и определенность (конкретные ссылки) одновременно
В то время Семантический Веб (и отчасти XML) ориентированы прежде всего на машины:
- они представляют собой набор форматов для универсального представления данных, что, в общем-то, недалеко от бинарных форматов, которые существовали и десятилетия до этого (сама универсализация данных стала более насущной в силу существования Интернета и необходимости совместимости между данными из различных источников)
- как и любой машинный формат, он должен быть точным и подчиняться определенным правилам, что не всегда приемлемо для людей

И здесь опять возникает тот же вопрос: а не можем ли мы объединить достоинства обеих подходов? С одной стороны, мы должны упростить использование семантики, чтобы она была доступна даже для неопытного пользователя. С другой стороны, мы должны не терять точность, которая так необходима машинам. С третьей стороны, мы должны иметь возможность восстанавливать опущенную или игнорируемую информацию. Это и подразумевает, что новый подход должен:
- точно идентифицировать информацию
- обобщать/детализировать информацию и контекст работы с ней
- связывать информацию в пространственно-временные-реляционные комплексы

Кроме того, он подразумевает, что:
- противоречия в идентификаторах должны разрешаться как можно раньше (т.е. если мы вводим в строке поиска "опера", то мы должны решить какую оперу мы ищем еще до того, как запустить поиск)
- использование идентификаторов должно быть ненавязчивым (например, пользователь должен иметь возможность использовать естественный язык для обобщенного описания, как он это и делает всегда, но также и иметь возможность уточнять смысл, если он того хочет)
- семантическая ссылка, в общем случае, должна указывать не на информационный ресурс (который является частным случаем абстрактного понятия, которое описывает что-то), а на смысл (т.е. на то, что описывается и при помощи чего мы описываем и который включает в себя и информационные ресурсы)
- дополнительная упорядочивающая информация (как классификация, ассоциация и т.п.) должна быть подразумеваемой, т.к. она может быть легко извлечена из самого идентификатора
- идентификаторы должны быть транслируемы, т.к. люди используют разные системы идентификаторов (языки), а также т.к. существуют синонимы
- идентификаторы должны быть делегируемы, т.к. идентификаторы могут менять смысл, в зависимости от субъекта, который их употребляет, и т.к. таким образом мы можем улучшить масшатабируемость (делегировав нагрузку) и распределенность (разделив запрос на специализированные подзапросы)
- обобщающая информация должна иметь приоритет над детализированной (например, статья с заголовком "Арагон" имеет больший приоритет над информацией, в которой упоминается Арагон)
- смысл должен быть интегрирован с любой информацией (файлы, текст, и т.п.) и совместно использоваться
- использование смысла, а также обмен им должны быть упрощены (интеграция в интерфейс, фильтрация)

Компромисс между точностью и гибкостью может быть достигнут только на стыке технологий, которые их предоставляют. В отношении смысла, такими технологиями выступают машинно-ориентированный XML (стандарты Семантического Веба отчасти являются продолжением идей XML) и человечески-ориентированный HTML. Микроформаты уже используют эту идею, с несколькими "но": (а) это опять же "форматы", т.е. опять же ориентированы на машины (люди способны работать с форматами тоже, но только до определенной степени сложности), (б) это именно микро-форматы, т.е. возникает проблема их фрагментированности, (в) они используют теги class, rel, rev и title, которые уже имеют другой смысл и которые не могут обеспечить всех возможностей, но об этом ниже. Так как же сделать решение дружественным и для людей, и для машин, но и чтобы присутствовали все необходимые возможности?


ИДЕНТИФИКАЦИЯ

Прежде чем манипулировать чем-то, мы должны узнать что это. А для этого нам нужны идентификация. И идентифицирующий протокол. Почему именно протокол? Естественного языка (который выступает таким идентифицирующим протоколом в реальной жизни) нам недостаточно, в силу его двусмысленности. Зачем же нужен протокол, можно видеть на примере гипертекстового протокола, который нужен, чтобы установить соответствие между URL и информационными ресурсами. Точно также идентифицирующий протокол нужен, чтобы установить соответствие между идентификаторами, и между любым идентификатором и предметами и действиями реального мира, понятиями и т.п. Для этого, собственно говоря, уже существует URN, но он не нашел своего развития в силу ограничений:
- говоря о различиях между URN и URL, первый сравнивают с "именем адресата", а URL с "адресом", утверждая, что они дополняют друг друга
- URN включает в себя NID (идентификатор пространства имен), которые должны регистрироваться (подобно именам доменам)
- URN включает в себя NSS (строка пространства имен), который не учитывает особенности построения идентификаторов в естественном языке
Эти ограничения существенно сдерживают применения URN, т.к.:
- на самом деле, URL - частный случай URN, т.к. представляет собой частный случай идентификатора, который указывает на информационный ресурс в Интернете
- существующая вялотекущая регистрация NID-ов потенциально грозит той же коррупцией, которая сложилась с доменами и коллизиями вокруг имен; разумеется, что регистрация сама по себе необходима, чтобы исключать конфликты между пространствами имен, но она должна быть децентрализирована и распределенной
- NSS представляют собой трудно запоминаемые идентификаторы (например, urn:isbn:0451450523 для книги или urn:isan:0000-0000-9E59-0000-O-0000-0000-2 для фильма), вместо них желательно использовать сложные идентификаторы на естественном языке (но и транслируя их за сценой в более точные идентификаторы, если это неоходимо)

Например, возьмем наш случай со словом "опера", при помощи URN мы можем представить отдельные значения как:
- urn:browser:Opera
- urn:art:opera
- urn:hotel:Opera (Madrid)
- urn:English:opera
- urn:Russian:опера
Вообще говоря, существует бесконечное количество NID-ов (включая (а) личные, например urn:PetrovVasiliy:я, который укажет, что идентификатор "я" связан с конкретной личностью, (б) для организаций: urn:Моя компания:Здание 1, Офис 220 или urn:Моя компания:Проект 1, Приложение, Окно настроек, (в) внутри абстрактного мира, например, фильма: urn:Braveheart:Bruce Wallace, который указывает на образ, созданный в этом фильме), которые относятся либо к различным системам идентификаторов (языки, протоколы, и т.п.), либо к субъектам, в рамках которых складывается своя система идентификации (личности, организации, науки, и т.п.). Отдельного упоминания заслуживают цифры, которые представляют собой бесконечный ряд идентификаторов, изменяющихся по определенным правилам. Они тоже нуждаются в субъекте (который меняет их смысл), который должен представлять (1) систему исчисления, (2) формат разделителей, (3) единицу измерения.

По сути же NID представляет собой субъект, в рамках которого идентификатор получает субъективную ассоциацию с предметом или понятием. Но идентификаторы могут менять смысл не только из-за субъекта, но и в силу следующих факторов:
- предыдущего контекста (например, "Я видел сегодня фильм А и фильм Б. Этот фильм - лучший", где слово "фильм" в последнем предложении может принимать два значения)
- времени высказывания ("Я видел фильм", сказанное вчера и сегодня, может указывать на разные фильмы)
- субъекта высказывания ("Я видел фильм", сказанное разными людьми, может указывать на разные фильмы)
- субъективного времени (выражающиеся в модальных глаголах и различных временах: "Я мог видеть этот фильм" или "Я посмотрел бы этот фильм")
Больше того, эти факторы могут пересекаться (субъект может предоставлять смысл, для идентификаторов внутри какой-либо темы: urn:Моя Компания:Предметная Область:термин), и отсутствовать вообще (если вы знаете термин, но не знаете к какой категории он принадлежит).


СМЫСЛ (АБСТРАГИРОВАНИЕ, СВЯЗЫВАНИЕ)

Главная цель идентифицирования: сделать сравнение точным. В простейшем случае - это сравнение двух идентификаторов: т.е. если у нас есть запрос "Смотрел ли ты Храброе сердце?" и текст "Я смотрел Храброе сердце", где обе фразы "Храброе сердце" указывают на "urn:movie:Braveheart(1995)", то мы сможем сравнить их более точно, чем это возможно сейчас. Но, ведь запрос и текст не ограничивается только простыми идентификаторами. Система URN может дать базу для элементарных идентификаторов, но она не может охватить все возможные их сочетания и то, как эти сочетания образуют все более сложные структуры, балансируя между краткостью и точностью. Для этого нам и нужен гипертекст.

Представьте, что у нас есть следующий XML (на его месте может быть любой другой формат), который соответствует стране и ее характеристикам:


<Country> <!-- Страна -->
<Name>Бутан</Name> <!-- Название -->
<Area>38,8 кв. км.</Area> <!-- Площадь -->
</Country>


Вроде эта структура довольно понятна для человека (знакомого с английским языком), но с ростом количества полей и информации, вам трудно будет разобрать эту информацию даже в иерархии. А названия полей? Во-первых, предпочтительно использовать не только латиницу, во-вторых, даже, если название состоит из двух слов, мы вынуждены их соединять в один идентификатор (например, "LastName") или заменять пробел другим разделителем, а иногда они вообще представляют собой аббревиатуры (например, "LName"). А можно ли представить ту же самую структуру внутри HTML?


<span s-id="urn:Страна"> <!-- urn:* задает префикс по умолчанию для данного субъекта -->
<span s-id="Название" s-id="urn:country:Bhutan">Бутан</span>
<span s-id="Площадь">38,8 кв. км.</span>
</span>


Тоже самое мы можем сделать и с любой другой структурой, например, таблицей:


<table s-id="urn:Страна">
<th s-id>Флаг</th>
<th s-id>Название</th>
<th s-id="urn:Площадь:кв.км.">Площадь</th> <!-- у единиц измерения площади собственное подпространство имен -->
<tr s-id="urn:country:Bhutan" s-id="#bh"> <!-- #bh - локальный идентификатор -->
<td><img src="bhutan.jpg" /></td>
<td>Бутан</td>
<td>38,8</td>
</tr>
</table>


<p>Королевство <span s-ref="#bh">Бутан</span> - государство в Азии в Гималаях, расположенное между Индией и Китаем.</p>

где:
- s-ref="#bh" связывает второе упоминание Бутана с локальным идентификатором
- вложенность тегов является естественной возможностью для выражения обобщения/детализации (Страна -> Название -> Бутан)
- логика соответствия полей и значений может отличаться в разных тегах ("Название" может быть аттрибутом тега, а может быть и отдельным тегом)
- пустой аттрибут необходим для исключения избыточности (в примере это означает, что значение внутри тега используется как s-id)

Или же не используя вложенные теги:
<s-of="#3" s-id="#1">Площадь</s-of> <s-id="#2">страны</s-id> <s-id="urn:country:Bhutan" s-id="#3" s-is="#2">Бутан</s-id> - <s-of="#1">38,8 кв. км</s-of>.

где:
s-of=#3 связывает "площадь" и "Бутан"
s-is="#2" связывает "Бутан" и "страна"
s-of="#1" связывает "38,8 кв.км" и "площадь"

или
<s-id="#1" s-has="#4">Площадь</s-id> <s-id="#2">страны</s-id> <s-id="urn:country:Bhutan" s-id="#3" s-is="#2" s-has="#1">Бутан</s-id> - <s-id="#4">38,8 кв. км</s-id>.

где:
s-has=#4 связывает "площадь" и "38,8 кв.км"
s-has="#1" связывает "Бутан" и "площадь"

Итак, зачем нам нужны вышеупомянутые теги?
- s-id: связывания идентификаторов естественного языка и элементов гипертекста с другими идентификаторами
- s-is: абстрагирование (в нашем случае, это "Бутан", абстрагируемый в "страна", но это может быть и краткое содержание статьи или книги)
- s-of: обобщение в виде части общего (например, "площадь Бутана")
- s-has: детализирование
- s-ref: связывание

Нужно ли размечать весь гипертекст при помощи идентификации и семантических тегов? Использование уже существующего html позволяет производить разметку по мере необходимости (в первую очередь, она может затронуть краткое содержание страниц, как наиболее важную часть контента).

Достаточно ли этих тегов? Здесь предлагается упрощенный набор тегов, использование которых будет достаточно для простейшого абстрагирования и связывания. Аналогично этому, в естественном языке, нам достаточно одних лишь пробелов и знаков пунктуации (набор которых ограничен), чтобы выразить все связи между словами.

Но ведь есть же еще глаголы, прилагательное, наречия. Как быть с ними? На самом деле, мы можем использовать естественный язык и без того, чтобы знать является ли слово глаголом или нет. В конце концов, если мы точно идентифицируем слово, то компьютер и сам может точно сказать глагол это или нет (а чаще и без этой подсказки). Но возможно нам нужно очевидно сказать, что глагол является глаголом? Освещение данной темы выходит далеко за пределы этой статьи. Вкратце же можно заметить, что необходимость дополнительной идентификации видна на примере вопросов:
- Где находится Бутан? (вопрос относится именно к пространству)
- Когда буддизм проник в Бутан? (вопрос относится именно ко времени)
- Какого цвета флаг Бутана? (вопрос относится к характеристики флага)
- Как проехать в Бутан? (вопрос относится к отношениям, которые подходят для проезда и которые можно установить между вашим домом и Бутаном)
- Почему в Бутане было запрещено телевидение? (вопрос относится к причинно-следственным связям, которые ведут к запрету телевидения)
- Могу я попасть в Бутан? (вопрос относится к возможностям)
С другой стороны, мы опять же можем заметить, что принадлежность тех или иных слов к пространству или прилагательному может быть установлено и на основе идентификации.

Нужна ли нам вообще система семантических тегов? Можно заметить, что, например, в программировании пример выше выражается как: "Бутан" как объект класса "страна", "площадь" - свойство или поле, которое может принимать какое-то значение (какого-то типа). В Семантическом Вебе, данный пример выражался бы как "Бутан" как подлежащее-субъект, "иметь площадь" как сказуемое-предикат, и его значение как дополнение-объект. Так, зачем нам еще одна система идентификаторов? Проблема в том, что программирование недостаточно гибко, чтобы легко оперировать превращениями объектов в свойства и значения, и наоборот. Т.е. если вы изначально не сделали "Бутан" объектом (решив, что будет достаточно, оставаться ему строковым значением), то потом переделка его в объект отнимает множество времени и ресурсов. Кто-то скажет, что всё должно быть объектом, кто-то скажет, что это проблема дизайна. В этом-то всё и дело: такие предположения хорошо делать для приложения, которое должно быть оптимизировано для той задачи, для которой оно предназначено. Но негибко делать подобные предположения для смысла, где "Бутан" может быть связан с другим смыслом как угодно. Триплеты Семантического Веба помимо того, что также недостаточно гибки, имеют и другой недостаток: они заставляют представлять данные в виде тернарных связей, тогда как ежедневно работаем с бинарными связями, которые абсурдно превращать в тернарные.


ПОИСК

Итак, что же меняется с точки зрения поиска информации? Например, что найдет запрос "Какая площадь Бутана?"? Любой вопрос имеет дело с неизвестным, для чего нам нужен свой идентификатор: urn:_. Таким образом этот вопрос "Какая площадь Бутана?" должен представляться как (впрочем явное использование идентификатора для неизвестного может быть излишним, т.к. список вопросительных слов довольно ограничен, а следовательно может использоваться автоматически)
<s-id="urn:_" s-of="#1">Какая</s-id> <s-id="#1" s-of="#2">площадь</s-id> <s-id="urn:country:Bhutan" s-id="#2">Бутана</s-id>

тогда как искомая фраза как
<s-of="#3" s-id="#1">Площадь</s-of> <s-id="#2">страны</s-id> <s-id="urn:country:Bhutan" s-id="#3" s-is="#2">Бутан</s-id> - <s-of="#1">38,8 кв. км</s-of>

Таким образом, запрос сводится к нахождению одинаковых связей (между "площадью" и "Бутаном"), игнорированию нерелевантных (связь между "страной" и "Бутаном"), а также сравнению искомого в запросе (между "площадью" и неизвестным) и тексте (между "площадью" и "38,8 кв. км").

Но, использование urn:_ не ограничивается одними только запросами. Так, например, сервис, предоставляющий географические данные о странах, может не индексировать все свои запросы, а предоставлять данные в виде связанности с неизвестным, например: <s-id="#1" s-of="#2">Площадь</s-id> <s-id="#2" s-id="urn:country">стран</s-id> <s-id="urn:_" s-of="#1" />. Тогда, при поиске "Какая площадь Бутана?" мы можем воспользоваться данным сервисом, если мы используем абстракцию Бутана как страны.

Но, конечно же, поиск не будет ограничиваться только простейшими запросами. А более сложные запросы могут включать (а) похожую, (б) подразумеваемую информацию. Например, запрос "Бутан - большая страна?" подразумевает, что запрос должен найти значение площади Бутана и сравнить ее с понятием "большая страна", что возможно только примерно, т.к. не существует общепризнанной классификации площадей государств. Или возьмем еще более неоднозначный вопрос "Тепло ли в Бутане?" и попробуем его соотнести с фразой "На севере Бутана — круглогодичный снег, на западе — сильные муссонные дожди, в восточной и центральной части — сухой климат, на юге — влажный субтропический климат." Здесь нельзя найти точного соответствия между отношениями между "тепло" и словами для описания климата. Однако, можно заметить, что "тепло" и "субтропический климат" схожи, в таком случае, если точное соответствие не найдено, мы можем использовать похожие идентификаторы, явно указав критерий схожести: "Тепло на юге Бутана, где субтропический климат" (естественно, что мы взяли только одну фразу как ответ, но в реальной жизни, ответ должен быть расширен при помощи дополнительных фактов).

Если же запрос ("Что такое Бутан?") дает нам больше, чем один ответ, то к ответам необходимо применить рекурсивно основные операции:
- идентификации ("Бутан" как страна, "бутан" как газ)
- детализации (сведения о Бутане, карты и т.п.)
- обобщения ("Бутан и туризм", "Бутан и горы" и т.п.)
- связи ("Как проехать в Бутан", "Как получить визу в Бутан" и т.п.)

В свете вышесказанного, то, как находится информация должно еще больше волновать создателей информации. Ведь теперь, успешность нахождения созданной информации будет зависеть не только от алгоритма поискового сервиса, а и от более точных и универсальных правил, которые должны быть эквивалентны для любого приложения. Задача создателя информации должна состоять не только в точной идентификации содержимого и установлении связей внутри информации, но и в последующем тестировании, находится ли ваша информация соответствующими запросами. Напротив, задача классификации информации должна стать менее значимой: ведь классификация представляет собой набор обобщений, относящихся к информации. Но при наличии идентификации они не нужны: т.к. один и тот же идентификатор доступен, как для создателя, так и для потребителя информации, а все возможные обобщения могут быть выведены из самого идентификатора (и о которых создатель информации может даже не подозревать). Например, если вы определили Бутан, как страну, то из этого можно легко вывести, что это слово имеет отношение к географии, Земле, горам, и т.п.


ОРГАНИЗАЦИЯ ИНФОРМАЦИИ

Проблемы организации информации не менее важны, чем проблемы поиска и смысла. По сути же, они взаимосвязаны друг с другом, и их нужно решать в комплексе. Ведь эти проблемы затрагивают информацию, которая не может быть структурирована в виде гипертекста, а также способов, которыми информация и субъекты (которые ее хранят и ищут) взаимодействуют между собой.

* Как искать информацию в бинарных файлах?
У бинарных файлов есть только имя (в которое можно добавить не так уж и много структурированной информации, а если и добавите, то только в неизвестном для других формате, как "Bravehear_1995_Gibson") и так называемая метаинформация (которая, впрочем, существует не для всех видов информации, а формат метаинформации ограничен). В силу этого, нам нужно другое решение: гипертекст должен описывать информацию и иметь возможность быть присоединенным к файлу. Таким образом, каждое копирование файла должно подразумевать, что получатель получит также и присоединенную обертку файла, которая его описывает и (возможно) идентифицирует.

Но для этого, нам необходим еще маленький шаг: семантическая форма гипертекста. На самом деле, она, возможно не так уж необходима, но это делает цель использования гипертекста более очевидной: то ли мы используем его для представления информации и тогда используем тег body, то ли он используется только для семантики и тогда мы используем тег semantics. Например, видеопоток может быть описан так:


<semantics>
<s-id="urn:movie:Braveheart(1995)" s-has="urn:movies:trailer" />
</semantics>


Список файлов (URL) могут быть описаны так:


<semantics>
<s-id="urn:file://c:/movies/braveheart.html" />
<s-id="http://youtube.com/watch?v=vBXBtORI7pE" />
</semantics>


Подобное представление также может использоваться для цитирования (которое может являться внешней разметкой информации, т.е. которая сделана не создателем информации):


<semantics>
<s-id="http://mysite.com/blog/braveheart.html">
Мое мнение.
</s-id>
</semantics>


То есть, работая с уже описанными файлами, вам не нужно будет заново идентифицировать их, что упрощает дальнейшее использование: вам не нужно думать, куда его сохранять и как его найти в будущем (т.к. он будет встроен в вашу локальную систему на основе идентифицирующей и классифицирующей информации в описании). Например, вместо "c:/movies/braveheart.html" (путь и имя файла гарантируют уникальность этого идентификатора внутри вашей системы, но он будет отличаться на других системах) вы сможете использовать "urn:movie:Braveheart(1995)" как глобально уникальный идентификатор (которые мы и так используем в реальной жизни), так и классифицирующую информацию, которая ассоциируется с этим идентификатором (а не фиксированную классификацию в виде иерархии каталогов).

Таким образом, вся информация на компьютере будет представлять собой единую сеть взаимосвязанных фактов (которые могут храниться как гипертекст, так и в специфических форматах, чье содержание должно быть описано в виде гипертекста). А получение информации будет сводиться к определению границ необходимой информации и извлечению содержимого внутри этих границ (что может включать как множественные файлы, так и быть ограниченным лишь частью гипертекста).

* Как взаимодействуют информация и субъекты?
Наши современные возможности для запроса, передачи и доставки информации искуственно сдерживаются существующим программным обеспечением. Например, представьте, что вы ничего не можете найти необходимую информацию и проделываете следующие действия: (1) вы спрашиваете это, например, при помощи электронной почты, (2) друг ищет файл, (3а) прикрепляет его к письму и посылает вам ответ, или, как вариант, (3б) шарит файл и посылает вам ссылку, (4) если файл был обновлен, то процедура повторяется. Мы вынуждены совершать подобные действия, т.к. (1) мы не можем запросить информацию напрямую, (2) мы должны знать, где информация должна быть найдена, (3) работа с версиями и обновлениями информации доступна только в специализированных программах, (4) способ обмена информации отделен от самой информации.

Чтобы решить проблему взаимодействия информации и субъектов, учавствующих в ее круговороте, мы должны:
- представлять компьютерные ресурсы (сети компьютеров, сами компьютеры, приложения, и даже отдельно взятые файлы) как провайдеров информации
- провайдеры могут использовать маршрутизацию запросов
- провайдеры могут сравнивать версии информации, имеющейся у другого провайдера, а также обновлять ее и уведомлять об изменении
- субъект коммуникации тоже представляет собой провайдера информации (где настройки протокола указывают ссылку на источник информации)

Соответственно, в нашем примере, вместо того, чтобы просить друга и обмениваться файлами, вам необходимо будет всего лишь сменить провайдера информации, и тогда система, которую использует ваш друг, сама может предоставить ответ (а если его или ее компьютер выключен, то она может выбрать такой способ передачи запроса-ответа, который гарантирует доставку даже в таком случае, например, электронная почта).

Отдельно стоит отметить, что маршрутизация запросов должна включать в себя несколько аспектов:
- трансляция идентификаторов из одной системы в другую (перевод слов, соответствие синонимов, и т.п.)
- делегация сложных идентификаторов, когда часть идентификатора указывает на другую систему идентификаторов (например, идентификатор отеля может включать в себя и идентификатор города, т.к. одно название не обеспечивает уникальность)
- делегация подзапросов (например, запрос о фильме о средневековой Шотландии может быть разделен на подзапросы о географии Земли, историческом делении эпох, и о видах искусства)
- делегация соответствия идентификаторов и ресурсов, т.к. на каждом уровне (работник - отдел - компания - мир) могут быть разные соответствия (т.е. для работника "Проект 1" может означать один набор документов, а для внешнего мира - совсем другой)
- делегация вычислений, когда запросы могут распределяться между ресурсами
- делегация неполных идентификаторов (вы можете использовать идентификатор без указания NID-а, особенно это актуально для запросов, которые сами должны найти соответствующий NID).

То есть, провайдеры информации могут использовать довольно сложную маршрутизацию запросов (например, вы можете использовать компьютеры А и Б как провайдеры информации по проекту 1, а компьютеры А и В по проекту 2), которая должна быть скрыта от пользователя. А, например, если вы ищете "Спецификацию проекта 1", то запрос за кулисами может пройти по следующему маршруту:
1. Искать документ в данном приложении (если не найден, то перенаправить запрос на уровень выше)
2. Искать документ в данном компьютере
3. Искать документ в данном домене сети (если не найден, то перенаправить запрос на провайдера внутри домена)
4. Искать документ в компьтере А
5. Искать документ в приложении 1 компьютера А
В итоге вы можете получить документ по пути \\computerA\app1\doc1.doc, даже не подозревая о том, где находится документ.


РАСШИРЕННОЕ ИСПОЛЬЗОВАНИЕ

Крестьянину нужно перевезти через реку волка, козу и капусту. Но лодка такова, что в ней может поместиться только крестьянин, а с ним или один волк, или одна коза, или одна капуста. Но если оставить волка с козой, то волк съест козу, а если оставить козу с капустой, то коза съест капусту. Как перевез свой груз крестьянин?

Что у нас есть:
1. Крестьянин, волк, коза, капуста, река, лодка.
2. Лодка перевозит крестьянина и (волка или козу или капусту).
3. Волк ест козу, коза ест капусту.
4. Вопрос: как перевез свой груз крестьянин?

Что подразумевается:
4. У реки два берега.
5. "перевозить" подразумевает перемещение предмета (при помощи лодки) с одного берега на другой.
6. "груз" подразумевает волка, козу и капусту.
7. "перевезти груз" подразумевает, что вначале волк, коза и капуста были на одном берегу, то в конце они будут на втором.
6. "перевезти лодкой" означает, что крестьянин и один предмет помещается в лодку на одном берегу, а потом этот предмет извлекается на другом берегу.
7. "оставить" подразумевает, что крестьянин находится в лодке с одним предметом, а слова, связанные с "оставить" находятся на одном из берегов.
8. "ест" подразумевает, что второй предмет уничтожается.

Возможно ли решить данную задачу разметив данный текст при помощи семантических тегов? Задача включает как начальные условия (то есть, то, что мы можем идентифицировать непосредственно), так и подразумевающиеся условия (выводимые, при помощи детализации и обобщения), причем каждое из условий представляет собой идентификаторы, связанные между собой. То есть, эти условия вполне покрывается описанными выше операциями. Но возможно ли создать решение на основании полученного гипертекста? Решение, с точки зрения, задачи, подразумевает "будущее" (в виде причинно-следственных связей) для условий, то есть, на основе описанной ситуации и возможных действий, мы должны создать действия, которые произойдут в этом маленьком абстрактном мире задачи. Отличается ли принципиально создание решения от прочей информации? Нет, ведь создание "будущего" задачи, основывается точно на ее условиях:
- крестьянин берет волка в лодку, коза есть капусту, капуста уничтожается -- крестьянин не может перевезти груз, т.к. он включает и капусту
- крестьянин берет козу в лодку, волк не ест капусту, коза оказывается на другом береге, крестьянин перевозит себя на первый берег и т.п.


ЗАКЛЮЧЕНИЕ

Итак, решает ли предложенное решение проблемы поиска и организации информации? По крайней мере, некоторые из них. По крайней мере, они позволяют запрашивать информацию так, как это удобно пользователю, а не так, как к этому принуждают советы для поиска. Запросы могут быть любыми по сложности и по содержанию. Нам можно будет не задумываться как будет выглядеть информация, которую мы ищем. Кроме того, мы можем быть уверены в том, что мы ищем именно то, что и хотели искать. Это составляет разительный контраст с тем, как поиск работает сегодня. Следовательно нам остается только одно: воплотить это в жизнь.

пятница, 1 октября 2010 г.

What can and what cannot searching find?

Nowadays, searching can find millions pages of content. "Capital of France" query dumps 100 millions pages instead of one word. Realize, a student gives such an answer in a school, trying to guess millions words or proposing millions books where this answer can be found. Seemingly, search engines are starting to exhaust own capabilities and we need something more sophisticated than just a guess based on complex mathematical/statistical methods for words in flat database of millions pages. Consider the following examples:

Example 1. Queries.

- "Opera" query gives links to (a) browser, (b) articles about opera as piece of art, (c) specific opera theatres, (d) "Opera" hotel. But, in fact, we do not want to know about all implications of given word.
- "European Union" and "EU" queries give different results, and include even "Delegation of the European Union to the USA".
- "set icon to application" gives less correct results than "change icon of application", and "application change icon" gives all possible results without trying to refine a query at once.
- "England Germany" query mostly gives references about the game of FIFA World Cup 2010.

Example 2. http://www.bbc.co.uk/nature/species/Common_Goldeneye

The page uses several (arbitrary) classifications:
1. Inside URL: Nature -> Species -> Common Goldeneye
2. At the page: Wildlife Finder -> Animals -> Goldeneye
3. Animals -> Vertebrates -> Birds -> Anseriformes -> Ducks, geese and swans -> Bucephala -> Goldeneye
As you can see these classifications use shortcuts (eg, Animals -> Goldeneye instead of all links between them as in item 3) and are generally arbitrary (we can devise more classifications: Nature -> Birds -> Goldeneye or Birds -> Goldeneye)

Abstraction is no less arbitrary:
1. Title HTML tag is "BBC - Wildlife Finder - Goldeneye (videos, sound files, facts, photos and news stories)"
2. Meta description is "Watch Goldeneye video clips from the BBC's natural history archive and learn about how and where they live."
3. Visible page title is "Goldeneye (Bucephala clangula)"

Example 3. http://www.bbc.co.uk/news/business-11256738

The page is represented as "China imports in surprise surge" at the main page. Inside we see "China imports in surprise August surge". Inside HTML, description is : "China reported a surprise surge in imports during August, leading to a fall in its trade surplus to $20bn."

The title at the main page is abridged (evidently because of design reasons). The content is better represented inside but important details are missed: (1) imports relate to China economy in general, (2) August 2010 implied, etc. Also, the content is not linked with relations, therefore, it is not evident for search engines that "fall in trade surplus" relates to "China". Therefore, "Сhina surge august" leads to this page, whereas "Сhina fall in trade surplus" leads not.

Example 3. http://edition.cnn.com/2010/BUSINESS/09/10/tequila.mexico.china/index.html?hpt=Sbin#fbid=qHeQ5geks3w&wom=false

The title is "Will China say 'salud!' to tequila?", whereas the description in HTML is "When Armando Rojas and a group of tequila entrepreneurs founded a boutique distillery for premium tequila in 2008, their sights were set on high-rolling neighbors to the north to snatch up their exclusive $70-a-bottle brand.".

This is good example of the title which tries to attract you but does not reflect the content (and brief content is not visible at all).

Example 4. http://www.euronews.net/2010/09/09/oecd-warns-of-slowing-global-recovery/

The title is "OECD warns of slowing global recovery", the title inside HTML is "OECD warns of slowing global recovery - OECD : business, economy | euronews", the description in HTML is "OECD - OECD warns of slowing global recovery. euronews : International and European business news, available as video on demand", HTML keywords are "OECD", and tags are "Economy, Growth, OECD".

The title includes the name of the site, but description is even more littered: "euronews : International and European business news, available as video on demand", the keyword partially relates to the content (it is more possible, that given page will be searched by users which are interested in economy or the current recession), tags are arbitrary: (1) Economy is the example of classification, but why not Global Economy? the article is namely about it, (2) Growth is not adequate here (if you follow the link you find pages as "Growth: UN confims global recession", "German businesses less confident", "Slowdown of global growth in wages", "US economy grows for third quarter in a row", "Shell predicts new growth after earnings rise"), that is, you understand why it is used here intuitively but why namely this word? how it relates to other pages? is it about the current recession or about economic growth in general?



As you may see we have a lot of problems with search engines which:
- do not try to specify what we mean ("Opera" as a browser or a piece of art);
- do not understand all synonyms (as "EU" and "European Union");
- look for words not meaning (the query is about namely EU, but not about anything which relates to EU);
- do not understand complex relations, especially, if a query includes words which usually does not occur in one phrase (as with queries about application icons);
- nowadays events by default have more relevancy (because they more often mentioned by news and discussions), but not everyone is interested with football (relations of England and Germany evidently not restricted with the single sport event);
- though you can find other information by specifying more words or by using related searches, but they require additional time/clicks (one of UI rule is a goal should be reached within 3 clicks).

In general, the contemporary search is satisfactory if we search for:

- Definition of a term which is unknown for us (then, we have no complex relations and the word usually coincides with a title of a page in a dictionary or an encyclopedia).
- Typical information (represented with a lot of pages, which use different synonyms).

No less problems with attempts to classify information:
- the most of classifications are arbitrary;
- abstraction (a brief content of a page) is arbitrary too and their definition comes from multiple sources;
- titles often consist of metaphors, all other elements misused and littered with keywords, which may give no notion about the content;
- all elements have a lot of implicit meaning, which cannot be extracted by search engines;
- no general understanding of how correctly use titles, descriptions, keywords, and tags.

At last, we have problems with URLs:
- difficult to remember;
- path inside URL should classify a resource (as directory path in file system) but it has all shortcomings of any classification as described above .

This results in the situation when search engines may not and can not search information adequately. Full analysis of natural language could resolve all our problems, but we cannot even predict when it will be available. Semantic Web tries to solve similar tasks, however, it is oriented for ordered data, applications, and experts (which could deal with its standards). But what is about unordered data (for example, user Web pages) and ordinary users? Actually, there is still no solution which could organize information appropriately.



As you may see we have several levels of abstraction:
- computer identifiers (eg, URLs which includes implications of domain and file systems) which uniquely identify resources with information;
- search systems which establish correspondences between natural language words and computer identifiers (more efficient when applied to large volume of unknown information like in Internet); classifications and associating system which establish correspondence between hierarchy/path of words and computer identifiers/natural language words (more efficient when applied to small volume of known information like at local computer);
- natural language which establish correspondences between words and real world things and abstract conceptions.
All three levels have own shortcomings:
- usage of computer identifiers is quite restricted (optimal when used some computer techniques like copy-paste);
- linking between ambiguous natural language and unambiguous computer identifiers will be ambiguous by default;
- natural language is ambiguous by itself, at least, because words map to real world with the help of abstraction which reduces information.
Considering this state of things, whatever search technology is used, we will be always restricted due to ambiguities of natural language (plus shortcomings of each lower level).

Can we avoid or alleviate ambiguities of natural language? For that information should be identified more precisely. Now, identification often is either implied or misused. Directory and file names are often misused (like "rep_32.doc"), information inside files often can be identified only with processing application, information which is represented as a text cannot be identified fully due to restrictions of natural language. Methods which purposed to help identifying is misused too (titles use metaphors, classifications and keywords are arbitrary). The bottom line: identification is underrated.



More precise identification implies that:
- Query input should include term identification (in our example, we should identify if "opera" is browser or art piece, etc), ideally, original pages should contain such identifiers, because anyway a search engine is not able to separate such terms by a page context in all cases, whereas information creator knows for sure if "opera" is a browser or art.
- Synonyms and even similar words should be mutually replaceable, but an user should be warned on what similarity criteria is. That is, identifiers should be translated into each other (it could involve translation of synonyms, of different language identifiers, of similar things and conceptions, of subjective understanding like "favourite book").
- Search results should be grouped by equality/similarity (for example, to sort by different types of opera), grouping/classifying/associating information should be implicitly present in identifier (that is, instead of defining explicit hierarchy, identifier should only imply such information).
- Page topic (which should summarize the content of a page) may not coincide with a title (which can use metaphors for focus). Topic of a resource should have more priority in searching than a set of words/objects of a resource. That is, a page about EU should has more priority than a page where EU is mentioned. If a query and a page topic are equal, a search could be considered completed.
- To understand complex relations, search engines should understand meaning (things, conceptions, and relations between them behind words) not just words. Some frequently used complex relations should have identifiers too (for example, "world in 1800" or "final of FIFA World Cup 1966" identifies one layer of history and one event respectively).

To have this we need world-wide approach to identification (unfortunately, implemented in one application, it won't work), because:
- Identifiers should be shared (currently available applications allow to define identifiers restricted with own boundaries or with boundaries of an user system). Once defined, accepted everywhere: a document marked as "opera (browser)" will mean the same at any computer and any language.
- Translation should be shared (because we can't predict all possible translations) and delegated (because one system could maintain only part of all possible translations of identifiers).
- Classifying/associating information implied behind identifier should be shared and delegated too.
- Identifiers should be supported by UI (ideally, with native support of OS or browser). Only in this case, usage of identifiers can be easy.
- Support of contexts (as filtering) is necessary.

For example:
- "Opera (browser)" is the identifier for Opera browser, "Opera (art)", "Opera (theatre)", "Opera (hotel)" are identifiers for other entities. Specific opera theatre can have identifier like "Opera (theatre)/London".
- "Opera (art)" could correspond to "Opera" as English word and "Oper" as German word.
- "Opera (browser)" can be a part of many classifications and associations: "Internet", "Surfing", "Computer", "Windows", "Linux", etc.
- If you created a document which relates to "Opera (browser)", usually it means that you already used this identifier frequently, therefore, instead of identifying what opera is by millions users and request, your responsibility as a creator is to find the correct identifier only once, maybe spend on this some time, but your advantage is your information will be easier to find.
- To restrict information, we need filtering. For example, context of "Opera (art)" should include information and entities (applications, objects, actions, etc) which relates only to this identifier.



Resolving ambiguities of natural language and abstraction is condition sine qua non for searching. Unfortunately, nowadays search engine only tries to enhance algorithms of searching, instead of managing the root cause of failed searches.

четверг, 19 августа 2010 г.

Identification, abstracting, meaning

ABSTRACT

Growth of information volumes becomes one of main problems of contemporary computer world. This article considers the way in the past to this situation, but also proposes the solution. Key feature of this solution is to solve problems of identifying, abstracting, and meaning. The solution implies creation of new level of abstraction over user level, and of semantic protocol over HTTP. Such measures should hide computer-dependent information (file names, menu, dialogs, URLs) and converts such information into identifiers (natural language words, numbers, symbols, etc), which could be recognized by humans. Given approach is necessary, because an user should search for information (not for files), utilize application functions (not menus and dialogs), use words and clauses (not URLs).

INTRODUCTION

Internet is big information dump. Though, with constant attempts to sort and order it. But even the most successfull sorting machine for the simplest queries dumps million references (which, evidently should be considered as a sign of successfull sorting, as if a librarian would tell you "yes, we have million books on this topic, please search there..."). Well, we should rely on own abilities and additionally sort out what was proposed by a search engine. Quite naturally, usually we process of dozens, hundreds references, and if nothing found, a search is considered as failed. Of course, sorting machines are doing enormous job: calculations show that now there is about 1 trillion (10^12) unique pages, general query usually gives about 100 millions (10^8) pages, less general query gives dozen millions, etc. But, in real life similar queries should give not more than dozens, hundreds, or even only one reference. For example, "the host of Olympic games 2012" query has to result in only one answer, "cats" query has to give sites and pages, which dedicated to cats, but not all pages, where they mentioned somehow. No surprise that search engines try to guess what you want, to propose better filtering, to rely on human-enabled sorting, which assumes humans are the best in sorting of small information dumps.

The situation with personal computers is different. It contains from hundreds thousands up to several millions files, however, unlike Internet, where we can predict where content is located, searching through local files can be easily restricted: at least, it is not worthy to look for personal information in applications directories. Hereto, if information identification for somebody's else files is just meaningless, because it is more probable we won't use them again, then identification for our own files is more appropriate, because we use them often, therefore precise identification will find them quicker, than repetitive full search. But once identification is provided, abstracting (which involves approximated identification, ie comparing by similarity) should be granted too. But then also we should think about semantics (ie, relations between identified information). And if this will work locally, then we need single identification mechanism, which will allow to jointly use already classified information. Unfortunately, contemporary computers do not provide such possibilities.

In the beginning nobody even thought about such problems. The first computers were quite awkward, therefore information accumulated quite slow. Fortunately or not, but computer technologies gradually advanced more and more. Text interface, operating systems, high-level programming languages, data formats, graphical interface, Internet, at last. Each of these enhancements (even not considering hardware enhancements) facilitated input and processing of information, which lead to its volume and made searches more difficult. Internet made things even worse: when computers were not linked in one big net, rare bird took pleasure to dump own thoughts and emotions on hard drive, but emergence for thousands and even millions of readers became the trigger of exponential information growth.

Could we resolve the problem of overflowing information? Now we have a lot of promising technologies, which intend to tame information volumes: collaboration, social network services, Semantic Web, but also virtual reality, augmented reality, 3D interface, image and language recognition, etc. Some of them are not enough mature, some of them are quite effective esthetically, but not so useful in practice. Unfortunately, none proposed overall solution which would satisfy everyone. Could we understand what at least theoretically could cope with this problem? At first, we can browse through revolutions of the past and understand why this or that invention became breakthrough.

REVOLUTIONS OF THE PAST

* Text (console, command-line) interface. Appeared because of necessity to communicate with computer with human-recognizable language. Conditions which required for that: (1) possibility to identify computer entities (eg, a disk or a copying operation), (2) possibility of abstracting (ie, expressing of a set of objects or actions with one identifier, eg usage of copying operation as an abstraction of copying bytes from one place of hard drive to another). Side-effect: (3) possibility of reusing of identifiers. There were a lot of attempts to use natural language for the same goal, but they failed not only because full analysis of syntax and grammar is quite complex operation (though simplified analysis is quite possible), but also because special language is more suitable for operating with computer entities. In fact, any human activity uses own slang or specific abstract language (as mathematics), which abstract entities of the activity area better than natural language.
* High-level programming languages, programming interfaces, data formats. The same situation as with text interface, but with richer possibilities, because of available additional abstractions, which could compose more complex solutions. Data formats are, in fact, abstract languages (which is not so evident as binary, but more evident as text) for ordering and restricting information.
* Operating system. Environment, which helps software and an user to use hardware. It provides an abstraction layer which hides low-level entities of hardware, also allows software to build own abstraction layer which provides a set of entities, which could be recognized by an user.
* File system. It provides atomic element of information storage (file) and directory hierarchy to order files. File contents theoretically should abstract into its names and a restricted set of attributes. File lists theoretically should abstract into a directory name. But, in fact, abstracting principles often violated, because file names transforms into a meaningless set of letters, and a directory chosen arbitrarily. Moreover, information on directory (which theoretically should classify a file) is lost when a file is copied. File contents often is hidden by a processing application, therefore information inside file could not be reused (unless provided by the processing application).
* Applications. They are abstract layer between operating system and an user. Provide determinated set of actions for predefined user reactions. Encode original meaning (how an user sees a domain) as abstractions (by architects, then by developers), to decode eventually these abstractions into meaning, which could be understood by an user in UI. Naturally, in many cases, meaning becomes distorted just because passed through several transformations.
* Graphical interface. Its advantages come not only from the fact a human absorbs visual information better (a human mind processes space abstractions quicker than logic or language ones, possibly the very abstracting originates namely in visual perception). But it also represents and restrict information (eg, you see all commands at once, but not recall them; possible values are represented as a list, etc), and links it (one element correspond to another elements, like in the case when there is a linke between some objects and actions, provided by a menu). However, big amount of elements makes us again to use natural language (with manuals, instructions, etc). Moreover, some elements needed to be hidden with ordering them into hierarchies (menu, trees, nested dialogs, etc). This restricts context (which is better for understanding a separate area, but many nested levels hide application features, which results in these features are rarely used and difficult to be found. At last, one more problem is GUI elements and data are linked implicitly (for an user), which disallows to reuse such interface (ie, to refer to GUI elements). Graphical interface, even though considered better than text one, is always supported by natural language. The root of the problem is the fact visual elements are not always could be easily understood, but humans learn natural language during many years. You should notice that icons do not differ from letters (which are icons too), but when composing of complex actions is required, this could be done easier either with natural language (eg, as an instruction), or with abstract language of scripting, but not using graphical interface. In general, though GUI is very efficient, it could not represent any information (eg, sound or complex abstraction), therefore only symbol interface could be universal.
* Internet. Its benefits come from the indivisible joint of two unions: of computers into global net and of information inside hypertext (which represents a container with text and other medias). Both factors taken separately could not make a revolution: you can just realize Internet without hypertext (with only ftp) or you can imagine existence of only some advanced format, which allows links texts, but only at your hard drive. Naturally, one comes from another, and appearance of global net led to appearance of all Internet technologies.
* Hypertext, Web, Web 2.0, domain system. In own turn, they represent a symbiosis of following factors: resource linking, data formatting, and resource dynamics (both client with JavaScript, plugins, and server with forms, GUI elements). Later, formatting and dynamics were considered more attentively, than linking. Therefore, many still miss its shortcomings: hypertext linking allows a link only one-to-one, which makes sense, when you refer to an unique resource or to a part of the whole (like inside boundaries of one site). But if we refer to arbitrary resource of arbitrary site (eg, to news which duplicated at many other resources), then such reference is restricted and subjective. Web 2.0 advances dynamics of resources, adding more features for client side (but here we again face shortcomings of GUI in general). Domain system is an analogue of Internet "file system", where domain and its components theoretically should identify an information provider and meaning. Practically, domain names often misused (intentionally or not) like file names, which encourages corruption around domain names.
* Personal pages, email, chat, instant messaging, blogs, microblogs, social networks, commenting, collaboration sites. Internet became a trigger for information accumulating. In pre-Internent time, personal information usually distributed only as a curriculum vitae. After we see again symbiosis of two factors: information publishing and distributing. "Personal page" was the first buzzword. Blogs make personal pages obsolete, because they provide almost the same features with less efforts for design and support, adding embedded ability of message exchanging (which could be saved and which exposed globally). Microblogs is simplified development of the same tendency. Additionally, today many sites provide commenting, which for many visitors is a sort of microblogs (because their comments often could drift away of the a site topic). The same concerns social networks. Collaboration sites (unlike social networks of subjective information exchange) deal with objective information (where a role of person ideally should be minimal). Though having many shortcomings, Wikipedia became de-facto a standard of reference on different subjects.
* Portals, search engines. Initiallly, portals considered as a solution for ordering Internet. But they have certain shortcomings: (a) any hierarchy is partially subjective, therefore it is not always evident where concerned subject is located inside it, (b) any hierarchy though orders information with branching but also hides information this way, (c) they used manual update of references, though many portals could be updated by everyone, which makes them similar to collaboration sites. Though portals have also searching, but standalone search engines eventually made portals obsolete. Search line (like command line of OS) is the entry point for any information in Internet, with constant updating. Of course, search engines as any artificial thing made by humans have own shortcomings. The main one is their benefit too: representing of all information in Internet as one big "flat" database. We can consider the world in similar way, then continents, cities, humans, animals could be represented as "flat" database of atoms. Naturally, such representation is partially absurd (because it matters which structures formed by atoms). Creators of search engines understand this quite well, therefore they provide additional tools: relevancy/ranking of words/queries, collaboration tools to increase relevancy, etc. Search engine has the best result only when a word or a group of words completely corresponds to a meaning behind them.
* XML, Semantic Web. The idea of linking everything and representing in one universal format was the base of HTML, looking further, but even of SGML (though if look even more further, this idea was discussed by many thinkers many centuries ago). XML came to the solution closer, because it had the consensus on universal format. But it missed meaning. Semantic Web is going to add meaning (and is a potential candidate for new revolution) but it has certain shortcomings. The main is it is oriented for processing by automated agents, not by ordinary users. And this processing concerns mainly data, which already ordered. Moreover, there are doubts if ubiquitous usage of "subject-predicate-object" triple is expedient for abstracting everything with it. Of course, there is no doubts you could represent everything with this format, but is it expedient? This triple is similar to natural language constructs, where such triples symbolizes dualism of space-time and the fact, that any action occurs between two things. But triple is not obligatory in natural language (object could be missed), and it is complemented with adverbial modifiers, etc. Of course, adverbial modifiers could be represented as triples too, but it could be expedient only if subject, predicate, and object are roles, but not meaning. For example, in this case, verb-action and verb-relation could have a role of predicate, both noun and adjective could have a role of an object (but an adjective rarely is an object, but usually is an attribute of an object). Favorite example of Semantic Web: "sky is blue", where subject is "sky", predicate is "has color", and object is "blue". We see there is no action by meaning, but only relation (or attribute). Given example shows that original dualism of space-time (like in "I go") represented in an abstract form, where a predicate and an object are only roles (that is, abstractions isolated from reality). Moreover, evident shortcoming of obligatory ternary representation is the most of data is organized as N-ary (this is especially evident in computer world, where data could be linked by many arbitrary references, but it is true for natural language too). Ontologies of Semantic Web introduces new level of complexity and are the continuation of data formats and XML schemas, which allow to represent metadata. In general, we see that Semantic Web (at least, now) is oriented of experts, which restricts collaboration on the base of it. There is no doubts that Semantic Web is useful for certain tasks, but as any tool it is restricted which is even fixed in its specification which states that "Much of this meaning will be inaccessible to machine processing and is mentioned here only to emphasize that the formal semantics described in this document is not intended to provide a full analysis of 'meaning' in this broad sense; that would be a large research topic." [RDF Semantics, Patrick Hayes, Editor, W3C Recommendation, 10 February 2004, http://www.w3.org/TR/2004/REC-rdf-mt-20040210]

IDENTIFYING, ABSTRACTING, MEANING (SINE QUA NON)

Thus, a work with computer is the work with abstractions, which expressed with abstract, graphical, and natural languages, formats, protocols, representations. Which, in own turn, are sets of identifiers, linked between each other with rules and relations (in particular, with separators expressed either by specific symbol or by empty identifier of boundary or linking relation). Before Internet, all revolutions were intended to build higher levels of abstractions over hardware and machine code. The highest peak of it is graphical interace (which theoretically should be closer to an user). Internet revolution gave linking between computers and of information inside hypertexts. All other innovations are either consequences of these causes (social networks as one more way for communicating), or shortcomings of original standards (as dynamics of hypertext), or ways for overcoming of certain problems (search engines and Semantic Web). In general, we see that each step related to three main aspects: identifying, abstracting, and meaning.

* Identifying
Identifying problem is ideally solved in programming. No surprise, because this is condition sine qua non of the process (because everything should be identified to be reused later). For the rest of the world, identifying problem is still actual (though this problem exists in programming too, when we need identifying of objects which is not included into an application directly). Text interface made identifying more difficult by introducing thousands of abbreviations to be remembered or to be found. Graphical interface alleviated the problem by showing some identifiers explicitly, but which are not available for reusage anyway (for example, to refer to some GUI element or change its state). File system introduces one more level of identifying, because it is necessary to remember file names and pathes. Domain system forces us to remember domain names and URLs. In general, any remembering is good memory traning, but in the result we have a big dump of million meaningless identifiers. Such situation is explainable when using identifiers of other people, but even our own identifiers lose meaning with the course of time.

* Abstracting
Abstracting problem is more or less solved in programming. No surprise, because it is sufficient condition of the process (because programming constantly deals with abstractions which corresponds to other abstractions or real world objects). There is small problem: when passed through several stages of abstracting (eg, "user-architect-developer-user" chain) abstraction does not always correspond to original abstraction. Discarded information either implied (by architect, developer, etc) or just ignored. The problem looks different outside of programming world: there is abstracting is absent at all. Why? Mainly, because there is no formal algorithm of abstracting. However, abstracting is available partially with identifying (contents corresponds to an identifier, which abstracts; it is especially evident when identifier uses natural language). No surprise here, because identifying is "ideal" abstracting, when similarity of a source and a result of abstracting is full.

* Meaning
Meaning problem is partially solved in programming. What is meaning? The simplest definition is: a set of identifiers are similar by meaning, if corresponding objects, actions, and relations are similar too. For example, a set of identifiers could include: (1) a picture of reality where grass is green and the sun is shining, (2) a prose about this part of reality, (3) just "grass is green, the sun is shining" sentence, (4) "spring comes, plants revived, warm and dry again" sentence. Of course, there is no full equivalency between these sets, because (1) is the result of camera abstracting (or by a human eye), (2), (3), and (4) are results of a human mind abstracting, and (3), (4) could be an abstraction of (2). Full identical abstracting of various abstracting tools (human mind, eye, camera, etc) is achievable only in ideal conditions. Therefore, we should set boundaries, inside of which such sets considered as similar. In our case, meaning is abstracted in objects of grass and sun, which are green and shining correspondingly (actions, relations). Abstracting allows us to ignore that the grass is not fully green, and the sun is not shining always. Such restrictions allow eventually considering sets as similar. In programming, each object of real world corresponds to either a variable, or an object, or a set of objects, etc. What is missed in programming is: (a) classification of meaning elements (objects, actions, relations, etc), (b) linking with real world objects. The same concerns Semantic Web, which tries to order information with new standards, but does not solve neither the problem of classification (though tries with ontologies, etc), nor the problem of linking with real world (though tries with URI/URN).

It is necessary to underline that identifying, abstracting and meaning problems are resolved in natural language. It refers to things, actions, and conceptions with simple (words) and complex identifiers (sentences, paragraphs, texts). A reference could concrete (the simplest case when we have 1:1 relation, eg "Everest") and abstract (when we have N:M relation, eg "favorite activity"). However, all identifiers balanced (with the help of abstracting) between concrete and abstract, thus, "Everest" could refer to an organization or a metaphor of big achievement, and "favorite activity", already pronounced by a person and linked with his or her favorite activity, becomes more concrete. Meaning, in this case, is what we referred to.

CHALLENGES OF THE PRESENT

These three aspects are conditions sine qua non of solving of big volumes of information. Identifying allows to accelerate sorting, abstracting decreases volume of needed sorting, whereas meaning can make sorting more precise. But except of that, we have many other challenges, which needed to be solved too (some of them were already mentioned above):

* Numerous computer identifiers (file and directory names, site and domain names, long instructions for opening GUI elements) which impossible to remember.
* Computer identifiers is not natural (words of natural language often represented as not recognizable abbreviations, separators are either missed or replaced by other separators) and difficult to remember (URL). For example, equalsIgnoreCase is used for comparing equality ingoring letter case, it is equivalent to "equals ingoring case" in natural language, or to computer identifier "equals(boolean ignoreCase)". As we see, computer identifiers changed mainly because of ignoring separators of natural language (which is used for other purposes), and because a part of meaning becomes statis not dynamic (as a parameter).
* Usual identifiers (eg, of natural language) used for GUI elements, but are unseparable from these elements (ie, unavailable for reuse).
* Elements of interface, file, document, application and site are unseparable from each other, which makes reuse more difficult.
* Contents and a list of contents of an archive or a file is hidden by managing application (therefore, sometimes it is impossible understand what is inside of file without opening it).
* Hypertext fixedly integrates information, which leads to "content hell", which means (a) not clear boundary between content and non-content, (b) content is only sequences of symbols/words, but not meaning, (c) subjective and objective are mixed, etc.
* Hypertext link refers a word (abstract) to a resource (concrete)
* It is impossible to create and classify information without mediator between information and an user (eg, to create a note, which relates to some aspect of a project, you should either to create a separate document or to use a separate application for creating notes)
* It is impossible to markup information with identifiers or meaning, without intrusion into file contents or application
* It is impossible to use jointly classification of files (eg, an author classifies a file as "document of project A" and this classification automatically available for everyone), use jointly information without mediator (eg, to transfer files to a friend, you should use either email application, or browser, etc), to request information without mediator (eg, to ask some project document without asking this in message exchange, searching the documents, and explicit transferring).
* There is almost no possiblity to save "snapshots" of information, which you worked with (eg, the last query to a database or a site) and be able to update it later.
* It is impossible to receive precise answer for search (instead, you receive millions references)
* It is almost impossible to guide application by goals (though we represent them when working), but only by instructions (eg, instead of setting "send documents to Mr. N" as a goal, we should divide our goal into separate commands, which includes selection of documents, searching for Mr. N in address book, and sending with the help of some application)
* Some actions should be done manually (eg, to change files after installation, or change some options) only because there is no method of information identification inside containers and for GUI elements, but methods of identification inside programming interface is too difficult (therefore not implemented)
* It is almost no time relations (possibility, necessity, etc) but they often implied
* There is principal restriction of any graphical interface. It is better suited for conditions, when a human could remember the whole set of necessary action to automatically reproduce it later. Unfortunately, it badly represents complex actions, because a human "optimized" for graphical system of natural language and it is difficult for him or her to remember all details of graphical systems, provided by applications and operating systems. To build simple GUI is possible for simple tasks (it is the good example that everything should be simple but not simpler than necessary), many interfaces intentionally simplified to achieve esthetical effect but deteriorating their possibilities.
* Problems of unordered interface or content shifted to an user ("read the manual" or "search in Internet"), which partially relates to the problem of any hierarchy (by filtering it hides a part of information), eg, to look for information in several levels of menu and dialogs or in several levels of site map is the task which requires not so much skills as time, but sometimes even just luck.
* Associations (keywords, tags, etc) often replace abtractions (reduced or generalized information). Though, in general, information can have many associations, but only one abstraction.
* Applications are determinated and could not work with unforeseen situations.
* While there is no filtering, which could restrict a searching area.
* Abstracting during application or content development usually implies or ignores a part of meaning, which leads to not corresponding of desirable and real.
* Semantic Web proposes to use URI for identifying any objects, but there is no way to separate identifiers of real world objects from ones of http objects.
* Semantic Web proposes to define semantics as ontologies, without linking ontologies between each other.
* Already created taxonomies and ontologies use numerous relations for defining own elements, which makes difficult their usage (and often could be understood only by semantics experts). But any definition is only one of answers for the question "what is x?", identifying of an object is more important (which could be done by a human which is domain not semantics expert).
* This is paradox but computer world is not ready to recognize natural language, ie even if such recognition would work tomorrow, then recognition of separate words could accelerate information input, but not revolutionize a work with computer. There is no general scheme how to link natural language phrases to GUI, therefore contemporary applications are not ready to work even with simple phrases. Meaning recognition is even impossible, because there is no general understand what it is.

SOLUTION

What approach could confront all these challenges? Today, there is a lot of partial solutions for each of them, but if general approach is possible? Ideally such approach should solve problems of image and language recognition, abstracting, storing, processing, and retrieving of information, undeterminated behavior (like intellect). Unfortunately, such ideal is unreachable technically (by these or those reasons). But could we at least be prepared for the moment when such approach starts to work? At this moment, we have no even possibility to define approximately meaning of phrases or abstraction of some information. Considering it in more general aspect, we have no abstraction level, at which we could operate only with terms which used in real life, but not with files, menus, dialogs, browsers, addresses, etc. Of course, usage of computer terms is explainable, because any domain uses own dictionary (because any new term saves time for explaining some additional meaning comparing with full explanation, eg "browser" instead "application, which allows to work in Web", etc). But if computer terms are necessary to work with information? Is it possible to make an user to be unaware about low-level computer abilities (like today we unaware about sectors of hard drive)? Should we know which button or menu allows to launch necessary function?

In general, we work with computer with following steps:
1. We have some representation on some thing or conception.
2. Transformation into computer form is transformation into identifiers of natural language (words) or into data, using application identifiers. That is, we encode information.
3. When necessary, we transform identifiers of natural language or data back into some representation. That is, we decode information.
4. When searching, we should guess which identifiers were used on encoding.

Problems:
* Each encoding and decoding changes information.
* We should guess which identifiers were used.

Possible solution is new level of abstraction which can hide computer related details. This can alleviate side effect of encoding-decoding, because information integrity will be supported at this new level, and integration violation can be easily traced, prevented, or avoided as soon as possible. This new level should be a link between usage of computer and real-world identifiers. Unfortunately, natural language could not be used fully today. But we can use its identifiers. This tendency is evident in GUI (its elements uses natural language words as labels), but it does not use own potential fully. Let's consider the whole solution in details:

* General approach: loose integration
- Minimum intrusion in status quo. We should use a form, which will obey to data (not to the contrary). Using "wrappers" for files, which will provide additional information (identifiers, abstracting, meaning) on files, this additional markup will be visible for all applications and globally (eg, information which is marked as "project document" goes to this project context at other machines too). Also such "wrapper" could be used as container, which can unite files and some other elements (like hypertext, but without formatting). It is required to have composite union of identifiers, abstracting, and meaning.
- Define new semantic protocol (possibly with usage of URN) over http, which uses computer identifiers for resources; instead of that, semantic protocol should make correspondences between information and identifiers (of natural language, of database, of URL, etc), eg, any word in html could be a semantic link which refers to multiple corresponding resources; in fact, such protocol already used verbally, maybe you have heard a phrase "type in search engine ..."?
- Information space should be "transparent" for an user, ie, information could be requested from both global and local sources (see delegation below).
- Soft concretization, ie, possibility to set not fully detailed relations, because an user has no expert knowledge and because full detailization is not always required (eg, a car engine is a car attribute or should be a subobject inside a car? instead, we can simply define that engine is inside of car, that's all), also we could not use a system of base relations for other relations (because there is no consensus if we can define them in principle).
- Possiblity to work with identifiers, linked in arbitrary graphs (as the alternative to triples, ontologies, etc of Semantib Web), which will make semantics accessible for non-experts and will be closer to natural language.

* Identifying
- Identifying of all meaning elements and translation of identifiers (eg, "plane" and "avion" should have one language-independent identifier in general case; in particular "plane" could be translate to both specific plane and plane as conception), such identifier could translate to local identifier of database for specifying vehicles, or to GUI element, which used for editing vehicles (it could allow user-defined application compatibility).
- Identification should be done preferrably on information creating (it is assumed a information creator is acquaint with related domain, and contexts are used, which can facilitate identification). Once identified, there is no need in complex calculations required for recognition (which done today by applications, whose results are not always correct).
- Identification of application elements should include not all elements, but only meaningful ones (otherwise, we can confront "identifiers hell").
- Translation of identifiers and abstractions (with similarity criteria), eg, a car model could be different in other country, with some modifications, in this case, identifier translation is impossible, therefore identifier can be only "approximately" translated into other. Opposite to keywords, tags, associations, "related" topics, such translation implies evident definition of similarity (abstracting) criteria, ie, typization.
- Translation of identifiers into resources (hypertext links, files, etc), unlike hypertext reference which links a word and a resource, such translation should link a word with an identifier(s) which would have links to resources.
- Translation of identifiers can lead to calls of actions/services/methods (with parameters), like natural language sentences (eg, "I write a letter to my friend by pen" implies a call of "write" with "a letter", "my fried", and "pen" parameters, or of "writeLetter" with two parameters, or "writeByPen"). Such translation allows (1) to refer to different identifiers, resources, depending on parameters, (2) to link actions more flexible (eg, a page can have "write a letter" identifier, without linkin with specific service or application), (3) to use identifiers for help (eg, an instruction like "go to menu, check radio button, press OK" can be represented as executable identifiers), etc.
- Translation of identifiers should be delegated implicitly of explicitly (eg, at first to an user computer, then to higher network levels: project, departament, company, city, country, globally; or to higher application levels: library, application, suite, OS, etc; or to higher context levels, ie using abstracting). Thus, (1) translation is done at the level which able to do this, (2) translation can provide different understanding from various levels, (3) server networks could be used for specific identifier sets (eg, only of biology or sports, etc), (4) it can simplify information exchange (eg, you send "project document" identifier to your colleague, he or she try to open it, because a document is not available locally, corresponding level process a request and provides a document).

* Abstracting
- Explicit representation of abstracting results (eg, an article about production of model A of car B should be abstracted to "productin of model A or car B" phrase, which consists of "production", "model A", and "car B" identifiers, which linked into one phrase, where "model A" is a part of "car B"). Typical example of "identifier + abstraction" representation is "ID + name" pair which used in many applications, where ID is computer identifier, and name is identifier in natural language.
- Abstraction of language forms (some of them are historical or used for join different forms in a sentence), eg "sun rises" or "rising sun" could be represented with two the same identifiers, because "rising" is used only when we need to use one more verb like "rising sun shines".
- Any search should use at first abstraction (eg, if "model A" word occurs in "production of model A of car B" phrase, it is more important, than if such word occurs in an article about all products of a company, in own turn, this is more important if this word occurs in a book on cars, but only if a book not about "model A").
- Any search should abstract results, grouping them based on abstract comparing (eg, searching by "model A" should result in "problems with model A" and "shops selling model A" groups), which is done already by some search engines but not always regularly. Such grouping is similar to hierarchy, but is more arbitrary which is more natural. Similar grouping used in texts, when we group text into chapters, paragraphs, lists, etc, which underlines that meaning of such groups is different, also it allows to concentrate similar meaning in one place.
- Any search should use importance criteria, which based on the way of information abstracting and filtering (contemporary GUI uses sorting and filtering for this purpose; bold text is another example of importance usage).

* Meaning
- Semantics should be explicit and compatible for different applications (which is supported by identifier compatibility and translation). Information can be ordered into structures like lists, tables, graphs, hierarchies. It can use different relations 1:1, 1:N, M:1, M:N (which corresponds to different structures). It can use objects, actions, and relations (space ones, time ones, possibility, planning, goals, etc), which used in natural language, but not always explicitly in computer world.
- Association of information with attributes, categories, etc (today it is done with tags and keywords) should be replaced by linking with identifiers which behind curtains could be linked with other identifiers (eg, if you link a picture with "vacation" identifier, you should not link it with "rest" identifier, because it will be done implicitly). Such link implies only itself (eg, "vacation picture" relates only to vacation pictures, but to documents which mention vacation and/or pictures).
- Any identifier is the result of abstracting, an abstract identifier uses similarity and usually corresponds to a type (eg, "car" relates to multiple things), a concrete one uses identity and usually corresponds to a variable or a value (eg, "my machine" is an unique identifier). That is, unlike in programming, there is no strict boundary between a type and a variable, we can consider only a balance between abstract and concrete (usually, the more identifiers used the more conrete is contents).
- Any exception should use either additional identifiers ("car but with two wheels"), or more abstract identifier ("this is not car, but just transportation"). Such additional definitions and even redefinitions express a balance between determined and possible, which could occur to any information.
- Any thing is static and dynamic simultaneously, only abstraction can change a balance to one of two sides. This could be explicitly defined for any identifier (eg, "model A prices" could be a request to dealer site, which returns current prices, or a fixed data, which were received in some moment of time; both forms could be linked between each other, to update information or receive notifications on updates; for documents such dualism could be expressed in a composite form, which developed through time, and versions, which fix "snapshots" of a document; version should be one of base property of "wrapper" described above).
- Any information is both subjective and objective. Objective character is a criterion of bigger abstracting (ie, the more subjective consensus, the more objectivity; even more precise criterion of objectivity is verifiability, but it can't be applied always, especially to information which relates to not precise areas or pure abstractions). A subject (a person or a site) considers own opinion as "objective", therefore it is important not only to separate objective and subjective (eg, an article and comments), but also to indicate who's author of opinion (then objective information could be classified as subjective, when it goes out of boundaries of a subject).
- Any information can be atomic (eg, separation by files) or closed (eg, all necessary values are available inside an application or a site), but also consistent with other information. More important, that information should be ready to break own links, when going outside of closed system, and be ready to be a part of the whole and acquire links when being a part of other closed system.

* Interface
- Any interface is an abstraction which hides implementation (actions, data, etc). Therefore, everything said about abstraction could be applied to it too. It is necessary to use mixed approach, which will unite advantages of both text and graphical interfaces, and will add something new, which will unite advantages of hierarchies (like in GUI and portals) and one entry point (like in command line and search engines).
- Identification is one of the most imporant element of interface, which should provide identifiers not globally (eg, contemporary search engines provides all identifiers availalbe), but restricted with contexts. Context for information filtering, which defined by a set of identifiers, will restrict information visibility (eg, graphical context will show only graphical applications and files). Similar restrictions now done by file types, and by applications and sites themselves, which implicitly restricts visibility. Contexts should replace contemporary desktop, providing multiple entry points to a system. Contexts should be provide ability to increase/decrease visibility, to intersect them, etc.
- Information should be available with meaningful identifiers (eg, instead of 124.sub file, information should be vislble as "subtitles of movie A", where "subtitles" and "movie A" are separate identifiers, which could be reused for further searching/filtering).
- Application elements should be linked in one entity (files, settings, etc). This would facilitate recognition of file application ownership and manipulating with application (eg, saving settings to move them to another computer).
- Access to interface with meaningful identifiers (eg, access to "car model" field could be done with "car model" identifier, which could be reused; you could save a form of all car fields, fill it outside of an aplication, and then load it when an application will be available; we can create "shortcuts" for some dialogs are used multiple times with the same values, such "shortcuts" are similar to "macros", but they will be available in all applications; also, this could help with remote and virtual machines, when operating with GUI will be operating with identifiers, which is quicker in such cases).
- Options/parameters should be linked with functionality (eg, on activation of this function, we can see which options affect it).
- Any interface element can be represented in following aspects: (1) declarative (identifiers), (2) imperative (related to actions or changes), (3) referring, (4) interrogative. These aspects can help how given element can (1) be used and reused, (2) change and be changed, (3) linked with other elements, (4) can be linked with other elements (necessary when information is incomplete).
- A sort of command line (but not for OS, but for applications and sites) with meaning restrictions, hints, linking, etc. (eg, if a product list can be defined only after an order created, then on typing of "add product", such command line should show that an action is possible only when an order is defined, therefore it should propose either "add to order" or "create order"). Possibility to operate with interface not only with fixed forms (like in contemporary GUI) but also with dynamic forms (an action is represented as an identifire with relating parameters as placeholders, which marked as necessary or not, restricted with visibility, etc).
- Context filtering can be a security tool, restricting application visibility and declaring what is could be affected by an application (which is simpler than when it is done by users, because application visibility declared once by an application creator).
- Possibility to manipulate with non-linear text (which additionally to linear text, has references to other information). Non-linear text is a further development of hypertext idea (which has no simple way to create text, add links or comments, without formatting). Such task could be done today with text editors, but they do not use identifiers, relations, etc.

EXAMPLES

Thus, how this will work together? Of course, not only identification, abstracting, and meaning which matter, but also interface, which facilitate the solution.

Example 1. Pictures from vacation

1. Open picture context (where only graphical applications and picture files available).
2. Load pictures from camera. Classification inside this context is proposed on load. You type "vacation", but you already have "vacation 2009 seashore" identifier, therefore new identifier is proposed (because file attributes belong to 2010 year, and geotags is far away from seashore), proposed name is "vacation 2010 Paris" (because you use only year for specifying time, and geotags are abstracted into the largest geographical entity, ie into Paris, if you have more geotags for Versailles, then they are abstracted into Ile-de-France). Further classification could use "I" and "wife" identifiers (which means specific persons at this computer), "best" (which applied only for certain pcitures).
3. Classification is ready. "Best pcitures from Paris" now imply only best pictures, not all documents which has these words. "me at pictures" returns all my pictures, including pictures from Paris.
4. You need to send best pictures from Paris to your friend. For that you need just apply "send" to "best pictures from Paris", also you may (or may not) choose a type of transfer. Further actions depends on different factors: (a) if your friend is available, then he or she should confirm transferring (if it is not always allowed), your computers establish available connection (email, http, ftp, IM, p2p, etc) and copy pictures. (b) if you friend is not available, then he or she is just notified about transfer, which should be confirmed, your computer receives confirmation when your computer is turned on, after that files transferred to some relaying server, and when your friend will turn on computer again, relaying server will copy files. After that, files available in the same context (which you defined) at your friend computer (though it could be changed).

How it differs from today situation? (1) Identifiers mean what they should mean, seashore is not just word but can include coordinates, "Paris" is France capital, 2009 is not just a number but an year (because you defined it). (2) Identifiers available not only for the application which created them (like EXIF information), but globally (including file transferring). (3) You haven't to know where pictures stored at your hard drive, usage of contexts, classifying, and abstracting guarantee you can find them (file libraries are restricted, because they are only a list of files without identifying and meaning, which means they could not be created automatically). (4) You work with computer with goals (send), not with instructrions (open application, find pictures, attach them, send). (5) Identifiers translated into each other, therefore "I" means you for you, and it would "my friend" for your friend, therefore you can use different identifiers for the same person. (6) Identifiers are abstracted, therefore "Louvre" is inside "Paris", which can be calculated (not necessary at your machine, which could not have all facts).

Example 2. Screen locking
You want to disable screen locking. Today, you have to find an answer in Internet and modify registry. Could such task be simplified? It is also interesting what percentage of users know screen can be locked manually? How many know it could be done with keyboard shortcut? How many know this locking can be disabled? And why such knowledge is not available for all?

Usage of locking can be described by following items: (1) locking is necessary to prevent access to computer, when an user is absent, (2) locking is turned on after inactivity period, (3) locking can be turned on manually, (4) locking can be used to set not available status in IM. To describe such facts in meaningful way we need necessary relations: (a) goal (to prevent access..., to set status....), (b) possibility (can be turned on manually or after inactivity period; or disabled at all), (c) cause-result (turned on after inactivity period), (d) after (in this case "after" coincides with "cause-result", but generally "after" does not mean "because of").

Why an user does not know screen can be locked manually? Screen locking dialog should notify about it. The same concerns keyboard shortcut. Goal relation can be used in security notification, to inform that screen can be locked to prevent access. Also IM can inform about relation with screen locking. Possibility relation can be used when locking was turned on automatically, but an user should be also informed about ability to turn on manually and about disabling. Cause-result relation can be used after inactivity period, which did not result in locking, to inform such locking is possible. All listed cases do not mean additional implementation, but only linkage between GUI elements and meaning.

The situation with disabling is a little more difficult: manual modifying of registry does not warn that screen locking disabling is not quite secure. But how an user can use such ability even ignoring warnings? Today, he or she has to follow instructions or modify registry manually, or launch .reg file (which without understanding the contents is unsafe operation), or to use some utility (but which should be installed, and where you need to find concerned item in dump of settings and menus). But there is an alternative way: for example, OS could provide a service with "add registry key", "change value" identifiers, etc. "Wrapper" which links disabling/enabling of screen locking with such identifiers should be loaded to some certified site. You can find it directly from screen locking dialog, because here context is restricted with screen locking. Also, you should link "disable" namely with "screen locking", which prevents from finding pages, which have "screen locking", but "disable" relates to control panel.

Comparing with the current situation, we significantly decrease time, required for developers to implement some features, which are not included into regular utilities, and which does not require complex design and implementation.

Example 3. Orders
You work with orders (which have some identifiers inside registring application, which unfortunately has no web access). During work you need to discuss orders with colleagues, and sometimes with clients. In communication, you usually refer to identifier of an order, or copy-paste its contents, etc.

Similar routine can be and should be improved with the help of more flexible operations with identifiers and order forms. Order identifier should be available for reference which means: (1) you can directly access an order data (ie, referring to an identifier can open corresponding application, and follow to informatin which corresponds to an identifier), (2) you can receive data "snapshot" for an order and store it locally (though data is outdated, but you know "version" or date of fixing), which could be updated when necessary, (3) an order components are available for referring, ie, you can add back-references and markup which entities refer to an order (eg, discussion of availability of products, included into an order, can refer to this order), (4) if an order has not some field/attribute in the system (eg, you need own classification by custom attribute), you can create your own, referring to orders by an identifier (which will guarantee data integrity).

You can notice that similar tasks can be solved with programming even now. But they require addtional effort, resources, and time. Identification, support of static and dynamic forms, and other features can make them a routine with additional effort at user-side.

Example 4. Application
You develop an application which sums numbers.

1. An user sets the task in simple phrase: "sum numbers" (which consists of two separable identifiers).
2. An architect specify the task more precisely: numbers are restricted with two 2-byte integers, which is input, sum operation process them, and there is one 2-byte integer as output. An user can check that such model corresponds to his or her expectations (that is, checks for correspondence between "number" and "integer", etc).
3. A developer builds an user interface and links "integer" identifiers with two text fields, and "sum" with "+" button, and "result" with the third text field (also he or she links identifiers with code). An architect can check correspondence with own model, and an user with own understanding.

Of course, this is simplified example, but which shows that semantic links are not broken, meaning integrity is supported when information transferred between different persons, in the case of problem you can check correspondence, an user comments can be instantly available in corresponding places of model, specification, code and interface.

Example 5. Discussion
Everyone are familiar with the situation when a dicussion accumulates details, quotes, sub-topics, sometimes generates parallel topics. Management of such discussions is quite difficult. How proposed solution can cope with it?

Let's consider an example with orders:
- What's happened with order #12345? (this question refers to indicated order, possibly, an order linked with this discussion too; as soon as discussion starts we can automatically switch to this order context)
- I've talked with Mr. N and see no problem (this answer refers to discussion with Mr. N)
- Well, what with #12346? (this question refers to different order; so context can switch automatically to other order context, which even hide previous questions as unrelated)
- I will request company C (this answer at once can have linked TODO note, or unfilled request, which will launch corresponding application and will process it)
- I've looked at your discussion with Mr. N and see we have problems (this statement can refere to a part of the discussion with Mr. N where problems found)
- You know him, he asks for impossible, but after rolls back everything, if explained. Do you need a reference to his whims of the past?
- No, thanks, this cannot be attached to an order. Which means, discuss with him again, prove him everything needed.
- Yep. Have you seen pictures of the last corporate event?
- No, not yet.
...

As we see we can refer to everything: (1) questions-answers inside this discussion (this is evident and made in almost all communication applications), (2) other discussion (this is done in email, but usually absent in other communicating or available with web reference), (3) data inside applications (available today only with web-access, which should be created), (4) from data inside applications, (5) application interface. The very discussion flows from one subtopic to another, but parts of discussion remain linked with specific contexts, therefore context of order #12345 include two parts of discussion (in the beginning and in the middle). Subjective opinion on Mr. N is not included into an order context (but theoretically, a company can have context of clients to be available for new employees or which worked with other clients). Today, all such references are present in discussion too, but not available for reuse.

Example 6. Search
There is one example of Semantic Web critics (which given to show Semantic Web cannot cope with such query): "Is the Pope Catholic?" (question is rhetoric, but taken literally the only answer is "yes")

Proposed solution on typing "Is the Pope Catholic?" can solve this way:
a. "Pope" can be identified as either the Catholic Pope or a part of name (eg, Alexander Pope) or other meanings.
b. Adding of "catholic" already could resolve the ambiguity and concentrate on the first meaning. Though it could happen even automatically, being in context of church or theology, etc.
c. Further, a link between "Pope" and "Catholic" should be found (by delegating this query), which should return "yes".

Contemporary search engines on "pope" query dump pages with possible definitions of the word (but which are unorderd and duplicates themselves several times), "pope catholic" naturally gives pages on the Catholic Pope, but slightly different "church pope" gives "Lake Tahoe's Santa Claus slams Catholic Church..." as the fourth result, "pope catholic rome" gives "The World Seen From Rome" as the fourth result. Of course, "is the pope catholic" gives exact matches for pages on this phrase though not answers to the question. Which proves that contemporary search engines give correct answers only when natural language identifiers coincide with meaning. A little different query and results are already far from correct, which shows that identification of words and relation identification is required.

Example 7. Semantics
This example is considered in Semantic Web OWL specification): wine agent. This example shows how Semantic Web works, when choosing wines and meals.

What do we need if using the proposed solution? We can use already available information and markup it with identifiers, recognizing specific wine or meal. We don't need to specify full set of relations. It could be done by applications or specialized sites, which would return delegated answers for wine details or matching with meal.

Semantic Web makes the task more complext (no surprise, because it is assumed it would be solved by experts). For that, we need to define ontology, which will be used by a reasoner. In the process, ontology:
- uses computer identifiers like "pasta-with-spicy-sauce", which meaningless for natural language and make reuse of its parts impossible (unless parsed);
- uses fixed hierarchy, which assumes, for example, that "wine" is "potted liquid", but wine could classified in hundreds ways ;
- defines which fields and restrictions wine should have (which is good, because it does the same what GUI does when disallow input of meaningless values); however, a field set is determined and concrete, though, in particular cases, fields can be undetermined and abstract;
- queries to reasoner do not look as easily recognizable by a human;
- etc.

That is, in general, Semantic Web has similar shortcomings as contemporary applications have.

CONCLUSION

What we have in result? This is a sort of a compromise between areas of "ordinary user" and areas which usually belongs to experts only (they were just unavailable for users, and detached from reality for professionals). Could such compromise cope with information garbage? At least, identification, abstracting, and meaning can alleviate sorting significantly. Quite naturally, we can confront with another problem of huge number of references. But this problem of not sorting, but rather of performance. This requires possible different approaches to computer architecture, a sort of cloud-computers (do not confuse with cloud-calculations). Could proposed solution be implemented? In particular, similar approaches are implemented long ago. But also we need global consensus on semantic protocol and globally available identifiers. Is it possible? Hopefully yes, because proposed approach can save efforts, time, and resources both globally and locally.