Семантическая сеть онлайн

Информационные интеллектуальные сети и Семантический Веб

Информационные интеллектуальные сети, Семантический Веб, Веб 3.0, ИИ… Эти слова все чаще стали появляться в нашем обиходе.

Целая эпоха универсального Интернета заканчивается. Она начинает сменяться до того, как мы начинаем это ощущать. На смену едва оформившемуся термину Web 2.0 уже приходит другой, непонятный и загадочный на первый взгляд — Web 3.0, или же просто «Семантический Веб».

О том, что это такое и куда движется наш интернет, я хотел поговорить в этой статье.

Сейчас сеть становится персональной. «Интернет все больше знает о нас». Отчасти, мы сами способствуем этому, раздавая свою персональную информацию в социальных сетях, пользуясь поисковыми системами, будучи авторизованными.

Это означает, что скоро, вводя в строку поиска «Хочу постричься недорого», пользователь получит ответ в виде ближайшей парикмахерской к его местоположению в виде четкого ответа на четкий вопрос – нам не надо будет переходить по 10, 20, 50 ссылкам из поисковой выдачи разных поисковиков, расстраиваясь в очередной раз, что очередная открытая вкладка – это очередной дорогой салон, продвигаемый силами SEO специалистов.

Это касается различных сфер жизни и деятельности человека – начиная от бытовых и заканчивая более глобальными. Например, покупка автомобиля или квартиры, поиск работы и другие.

Более того, поисковая система сможет определить, какой именно автомобиль нужен пользователю на основе информации о том, какими тест-драйвами он больше всего интересуется и какие автомобильные сайты посещает, в каком районе и в каком ценовом диапазоне вы хотите найти квартиру, не голодны ли вы, какую еду предпочитаете и так далее.

С развитием семантического веба после сбора определенных данных о пользователе технологии позволят составить его социально-демографический портрет. Собранные пользовательские данные компьютеры будут понимать уже как портрет личности.

Во многом такой динамике способствует стремление упростить сервисы и сделать упрощенный доступ пользователей к контенту. Ставшая модной в последняя время, авторизация через социальные сети (Вконтакте, Facebook), специальные сервисы (OpenID, OAuth), комментирование через виджеты социальных сетей.

Наши сотовые сети завязывают на себя персональную информацию.

Информация – вот что будет играть решающую роль в будущем интернете!

Продвигаемая крупными игроками рынка технология NFC – предоставляющая возможность совершать покупки, используя мобильный телефон (в том числе, оплачивать проезд в метро, например), все больше связывает наши сим-карты, телефоны, банковские карты, стягивая нашу персональную информацию в единую точку.

Попробуем во всем разобраться, но пока начнем по порядку с малого. Для начала давай-те вместе с вами рассмотрим интеллектуальные информационные системы (ИИС).

Информационные интеллектуальные системы

ИИС (intelligent information system) – это информационная система, которая основана на концепции использования базы знаний для генерации алгоритмов решения задач различных классов в зависимости от конкретных информационных потребностей пользователей.

Особенности и признаки интеллектуальности ИС

Любая информационная система (ИС) выполняет следующие функции:

воспринимает вводимые пользователем информационные запросы и необходимые исходные данные;
обрабатывает введенные и хранимые в системе данные в соответствии с известным алгоритмом и формирует требуемую выходную информацию.

С точки зрения реализации перечисленных функций ИС можно рассматривать как фабрику, производящую информацию, в которой заказом является информационный запрос, сырьем — исходные данные, продуктом — требуемая информация, а инструментом (оборудованием) — знание, с помощью которого данные преобразуются в информацию.

Коммуникативные способности ИИС характеризуют способ взаимодействия (интерфейса) конечного пользователя с системой.

Интеллектуальными считаются задачи, связанные с разработкой алгоритмов решения ранее нерешенных задач определенного типа

Интеллект представляет собой универсальный алгоритм, способный разрабатывать алгоритмы решения конкретных задач.

Если в ходе эксплуатации ИС выяснится потребность в модификации одного из двух компонентов программы, то возникнет необходимость ее переписывания. Это объясняется тем, что полным знанием проблемной области обладает только разработчик ИС, а программа служит “недумающим исполнителем” знания разработчика. Этот недостаток устраняются в интеллектуальных информационных системах.

Недостатки ИС и их устранение в ИИС

Классификация ИИС

I класс: системы с интеллектуальным интерфейсом (коммуникативные способности):

II класс: экспертные системы (решение сложных задач):

III класс: самообучающиеся системы (способность к самообучению):

Интеллектуальные БД

Интеллектуальные БД – отличаются от обычных возможностью выборки по запросу информации, которая может явно не храниться, а выводиться из имеющейся БД (например, вывести список товаров, цена которых выше отраслевой).

Естественно-языковой интерфейс предполагает трансляцию естественно-языковых конструкций на машинный уровень представления знаний. При этом осуществляется распознавание и проверка написанных слов по словарям и синтаксическим правилам. Данный интерфейс облегчает обращение к интеллектуальным БД, а также голосовой ввод команд в системах управления.

Гипертекстовые системы предназначены для поиска текстовой информации по ключевым словам в базах.

Системы контекстной помощи – частный случай гипертекстовых и естественно-языковых систем.

Системы когнитивной графики позволяют осуществлять взаимодействие пользователя ИИС с помощью графических образов.

Семантический Веб

HTML-страница описывает как представить информацию визуально в Веб-браузере и трудно поддаётся смысловому анализу компьютерами. Для неё невозможно автоматизировать даже такие тривиальные задачи, как нахождение людей, проектов, программ в Интернете.

Технология Семантический Веб (Semantic Web) позволяет компьютеру интерпретировать информацию в Вебе наравне с людьми, для чего разработана графовая модель описания ресурсов RDF (Resource Description Framework), которая является спецификацией W3C.

С помощью RDF можно создавать любые утверждения о любых ресурсах.

Графовая модель RDF

Утверждения о ресурсах в модели RDF состоят из троек.

Ресурсы и свойства представляются в виде URI, а литералы в формате Unicode. URI позволяет уникальным образом идентифицировать ресурсы в Вебе, а Unicode решает проблему мультиязычности.

RDF схема – это не XML схема

RDF схема описана в утверждениях RDF.
В отличие от XML схемы определяет ресурсы (термины) предметной области, а не ограничивает структуру RDF.

За ресурсами RDF схемы в спецификации W3C закреплена семантика.

Пример RDF схемы, описанной с помощью RDF

Семантика данных – что это такое?

Под семантикой данных будем понимать возможность формального описания смысла передаваемых данных, делая их независимыми от приложений. Это особенно важно в контексте рассматриваемых нами перспектив развития Интернета – побеждает тот, у кого есть данные. Может быть очень много приложений, сайтов, сервисов, но сами по себе они будут очень мало чего значить. Будут выигрывать те, кто сможет предоставлять свой контент в любом, удобном пользователю контенте.

Какие данные можно использовать независимо от сервисов, в которых они используются сегодня: данные из баз данных, XML-документы, приложения в социальных сетях? Нет, потому что их семантика зашита в логике программы и/или неформально в спецификациях. Только данные снабжённые явной семантикой можно сделать действительно независимыми от приложений!

Зачем нужен RDF? Чем плох XML?

Вложенность тегов XML несет только синтаксис, но не несёт никакой семантики. Если мы рассмотрим различные возможные формы представления утверждения “Иван Петров преподает курс информатики” в формате XML:

Приложение, которое использует первый формат, не сможет понять два других формата и наоборот. Поэтому, XML хорош только как формат (синтаксис) для обмена данными, но не как модель описания семантики данных! Это же можно сказать и про другие популярные форматы (JSON, например).

Где в RDF семантика?

На уровне модели RDF семантика появляется благодаря использованию онтологий OWL (Ontology Web Language), благодаря которым компьютер может понимать, как известный ему ресурс или свойство связано с другим, неизвестным ему ресурсом или свойством соответственно и производить другие логические выводы над утверждениями RDF.

Онтологии основываются на математическом аппарате формальной логики (description logic, DL), малое подмножество которого охвачено RDF схемой. DL является вычислимым подмножеством логики первого порядка.

Пример использования семантики

Как проинтерпретирует следующие утверждения приложение, которое понимает только ресурсы словаря foaf?

Оно поймёт, что Pugofka: semantic #Lector является foaf:Person и выведет новое утверждение:

Семантические хранилища

Предполагается, что большие объёмы RDF данных будут храниться в семантических хранилищах и для доступа к ним использоваться язык запросов SPARQL – аналог SQL.

Пример запроса “вывести все проекты, созданные Pugofka” на SPARQL:

В качестве примеров развития направления можно привести создание новых проектов. Так, например, компания «Clark&Parsia» (http://clarkparsia.com/) уже имеет несколько серьезных проектов в сфере Семантического Веба, и на первые числа Апреля назначен старт бета-тестирования RDF-базы данных под названием StarDog.

Уровни Семантического Веба

Эволюционный подход

Семантический Веб это не замещение существующего интернета, а всего лишь его эволюционное развитие. RDF/XML либо внедряется внутрь HTML или доступен по URL.

По этому принципу уже широко используются в WWW RDF-данные с использованием словарей RSS, FOAF (Friend Of A Friend), DOAP (Description Of A Project).

Пример кода FOAF на странице пользователя LiveJournal

Семантический веб – цели, задачи, примеры

Технология Семантический Веб успешно решает следующие задачи:

независимость данных от приложений;
семантическая интеграция данных;
создание основы для повсеместного использования компьютерных агентов (сервисов);
Data Mining;
Экспертные системы;
Проблемы единой авторизации*.

Читать еще: Стим нагрузка на сеть 0

*Если есть ресурс с несколькими возможными способами авторизации, и учетная запись на сайте, к которой привязываются сторонние аккаунты (VK, FB, Twi, OpenID, Oauth…), то мы можем научиться уникально идентифицировать, что это все один и тот же пользователь и связывать всю имеющуюся о нем информацию.

Семантический Веб создан не на пустом месте. В него заложены фундаментальные основы:

Технологии, которые задействованы в Семантическом Вебе

Примеры программной поддержки технологии

Направления исследования

Задачи и проблемы Семантического Веба:

Заключение

Семантический Веб – это динамичная, постоянно развивающаяся концепция, а не набор комплексных, работающих систем.

Веб 3.0 – очень многогранное и, на текущий момент, до сих пор не сформированное понятие. Его можно рассматривать с разных точек зрения.

Например, с точки зрения машинной обработки данных – Семантический веб – это идея хранить данные такие образом, чтобы они были определенными и связанны, а также существовала возможность их дальнейшей автоматизированной обработки, интеграции и многократного использования в различных сервисах, приложениях и т.п.

С точки зрения интеллектуальных агентов, то целью будет являться более «машиноориентированный» Веб,
с тем, чтобы можно было наиболее эффективно использовать поисковых пауков (агентов) для поиска и обработки информации.

С точки зрения распределенных баз данных, баз знаний, то концепция Семантического Веба заключается в описании, добавлении дополнительной мета информации, которая позволяет однозначно идентифицировать и сопоставить информацию.

Концепция Веб 3.0 подразумевает наличие целой инфраструктуры.

С точки зрения обслуживания пользователей (потребителей контента) – идея Веб 3.0 заключается в минимизации действий пользователю и выдаче в качестве ответа на его запрос непосредственного ответа на его запрос, который будет учитывать не только его запрос, но и всю его историю, особенности (социально–психологический портрет), вкусы, интересы и многие другие факторы.

С точки зрения качества поиска – реализация поиска не только по ключевым словам или контексту, но и по контенту. Выдача точного ответа на запрос пользователя. Во многом, использование поисковой системы, как экспертной системы.

С точки зрения веб-сервисов Семантический Веб обеспечивает доступ не только к существующим статическим сайтам, но и к динамическим, приложениям, сервисам и другим ресурсам, содержащим полезный контент.

Легендарные семантические ядра

Для информационных сайтов

Аудит семантического ядра

Очень дотошная проверка Вашего семантического ядра на предмет канибализации, мусора, недопарсинга и тд

Цена 1.5 рубля за каждое ключевое слово в передаваемом файле

Сбор и ручная кластеризация

Глубокое погружение в тематику, сбор ключей из всех доступных источников, их чистка, фильтрация, полностью ручная разбивка нашим специалистом и несколько уровней проверки, включая экспертную.

Цена 4.5р за ключевое слово

Время работы с 10:00 до 18:00

Система скидок

От 10000 ключевых слов

От 15000 ключевых слов

От 20000 ключевых слов

Для постоянных клиентов так же имеется накопительная система скидок

Как мы работаем?

Видео

Отзывы

Сотрудничаю с семантика.онлайн уже больше года. Не могу сказать, что у них все идеально (бывают проблемы со сроками, иногда приходится отправлять на мелкие доработки). Но на мой взгляд они сейчас единственные на рынке, кому можно доверить делать семантику для информационных сайтов практически по любой тематике. И при этом они могут выдавать адекватное качество даже на очень больших объемах.
Поэтому по своим сайтам семантику отдаю только им и надеюсь на долгосрочное взаимовыгодное сотрудничество.
Отдельное спасибо лично Вадиму Захарову за ответственность и готовность дорабатывать ядра до нужного результата.

Эмиль Кабанов — Золотой марафонец, победитель командного участия 2017.

Раньше мы самостоятельно делали семантику, т.к. все существующие сервисы выдавали не тот результат, который был нужен. Но в какой-то момент я понял что для быстрого роста необходимо этот процесс отдать на аутсорс. В 2016 году мы решили заказать у Семантика Онлайн одно ядро на пробу, т.к. до этого ходили неоднозначные отзывы. Я обсудил с Вадимом список наших требований к ядру, он сказал что это не проблема. Через месяц получили довольно качественное ядро, полностью раскрывающее нишу. После этого заказали еще порядка 10 ядер. Если нам что-то не нравится, то СО всегда идет навстречу и дорабатывает ядро до того состояния, которое нам нужно.

Майк — Золотой марафонец, победитель командного участия 2017.

Работаю с семантикой онлайн с начала 2016 года, заказ более 10 ядер, работой доволен, в отличии от других компаний по сбору СЯ, СО всегда идет на контакт, подстраивает ядро под чек-лист заказчика, добавляет нужные данные к ключевым словам, если какие-то группы меня не устраивают и я обоснованно объясняю почему, СО дорабатывает ядро. Я даже как-то сравнивал ядра Семена ядрена и СО, по одной и той же тематики, оказалось что несмотря на то, что ядро у СО дороже на 30% в итоге из-за сильного разбиения групп у Семена я бы переплатил за контент 60 000 рублей, а это еще 2 дополнительных ядра! Рекомендую данную компанию всем знакомым, кто ценит качество и заботу о клиенте!

Роман Абрамов — Золотой марафонец, победитель командного участия 2017.

Я пробовал работать с Вадимом Захаровым еще до того, как появилась компания Семантика Онлайн. Честно говоря, тот опыт был не удачным, т.к. полнота ядер и группировка оставляли желать лучшего.
Второй раз вернулся к работе с ними уже где-то через полтора года, когда уже услышал много положительных отзывов, в основном от учеников Романа Ширяева и от него самого. Тогда у меня в штате был уже свой семантик, и я отдал часть работ, которые он явно не успевал сделать. Качество полученного ядра превосходило то, что делали мы. В лучшую сторону отличалась полнота групп, было намного меньше ошибок в разгруппировке.
В тот момент появилось понимание, что для качественной работы с семантикой внутри компании нужно выстроить более сложные процессы (как минимум найм и обучение нескольких сотрудников, полноценный контроль качества) и больший бюджет. Было принято решение отдать парсинг и разгруппировку запросов полностью на аутсорсинг Семантике Онлайн. Сбор ключевых слов для парсинга мы оставили за собой, т.к. считаю, что обладаем большей компетенцией в этом вопросе (штат экспертов).
Аутсорсинг семантики позволил лично мне сконцентрироваться на других, не менее важных вопросах. Отчасти, благодаря этому, появилось время на работу с монетизацией сайта, что вылилось в создание сервисов slash-cash.ru и переформатированию tizerdivision.ru.
В планах на следующий год полностью интегрировать работу Семантики Онлайн с нашим SEO отделом. Т.е. со своей стороны мы будем развивать только компетенцию заказчика и приемки работ.
Если оценить работу, то есть как преимущества, так и недостатки.
Плюсы:
• Минимальные ошибки в разбивки по группам
• Практически отсутствуют «канибализирующие» группы
• Отсутствие «мусора» в ядрах
• Первичная разгруппировка по темам
• Возможность проговорить необходимые моменты (мин частотность, глубина парсинга, размеры групп, что нужно и что не нужно парсить и т.д.)
Минусы:
• Скорость (некоторые ядра готовятся 2-3 месяца). Мы решаем это правильным планированием работ на своей стороне.
• Необходим контроль на полноту ядер с точки зрения задаваемой темы
• Пока не выработан механизм полноценной работы с сезонными запросами
• При желании ядра можно еще дополнять на 10%-15%
P.S. Процесс работы с сайтами достаточно многогранен. Кроме того, во всех сферах происходят постоянные изменения. Из-за этого достаточно сложно поддерживать нужные компетенции во всех направлениях.
Мы решили, что в pimac.ru мы концентрируемся на качестве контента и сервисов. В том числе исходя из этих соображений работает не только редакция, но и SEO отдел, программисты и дизайнеры. Семантику, технические вопросы и монетизацию мы отдаем на аутсорсинг, также как крупные компании отдают IT интеграторам. Все понимают, что компания добывающая уголь должна думать о том, как добыть уголь, а не как правильно настроить свои компьютеры или написать код на компьютере. Мы здесь ничем не отличаемся. Пусть профессионалы занимаются своим делом.
Владелец pimac.ru
Совладелец slash-cash.ru
Совладелец tizerdivision.ru

Величкин Павел — Золотой марафонец, победитель командного участия 2017.

Заказал у Семантика.Онлайн 11 семантических ядер за полгода разного объема. К слову, информационными сайтами занимаюсь более 6 лет и за это время кому только не пытался аутсорсить этот процесс. С 11 заказов я только один завернул на небольшую доработку. Его быстро переделали. С учетом моего прошлого опыта для себя сделал вывод, что это лучший вариант. Только не для тех, кому ядро нужно на завтра, или уже «на вчера». Но я согласен ждать, потому что ребята делают даже лучше, чем я сам для себя (заказывал по тарифу сбор + ручная кластеризация) по приемлемой для меня цене. Резюмируя — буду заказывать дальше!

Читать еще: Вконтакте соц сеть моя страница

Пользуюсь сервисом второй год — очень доволен качеством исполнения заказанных ядер — собраны грамотно и соответствуют заданию — если нужно — могут расширить — все как говорится под желания заказчика. Лично Вадим как организатор да и как менеджер по продаже всегда очень вежлив и терпелив с заказчиком — все что нужно объяснит и посоветует. Рекомендую.

Заказывал ядро для марафонского сайта, все было сделано качественно и в срок. Тематика специфичная, поэтому ядро, можно сказать, было повышенной сложности. Сейчас на сайте уже 8000 уникальных посетителей на 250 информационных статей (прошло 10 месяцев). Работой остался полностью доволен и заказал еще несколько ядер, которые еще не успел выписать целиком, поэтому сказать о результатах не могу. Обязательно закажу ядро под новый марафон.

Заказывал 4 ядра у семантика.онлайн и результатом остался доволен. Собирают хорошую семантику плюс ко всему учитывали все мои пожелания при сборе. Если что не так быстро исправляли по моей просьбе. Индивидуальный подход к клиенту радует.
Для меня семантика долгий, нудный процесс и я предпочитаю заказать ядро, тем более если уверен, что сделают хорошо.
Это экономия времени, если есть возможность свое время купить за деньги надо это делать. Одним словом, рекомендую и буду заказывать еще.

Легендарные семантические ядра

Для информационных сайтов

Аудит семантического ядра

Очень дотошная проверка Вашего семантического ядра на предмет канибализации, мусора, недопарсинга и тд

Цена 1.5 рубля за каждое ключевое слово в передаваемом файле

Сбор и ручная кластеризация

Цена 4.5р за ключевое слово

Время работы с 10:00 до 18:00

Система скидок

От 10000 ключевых слов

От 15000 ключевых слов

От 20000 ключевых слов

Для постоянных клиентов так же имеется накопительная система скидок

Как мы работаем?

Видео

Отзывы

Эмиль Кабанов — Золотой марафонец, победитель командного участия 2017.

Майк — Золотой марафонец, победитель командного участия 2017.

Роман Абрамов — Золотой марафонец, победитель командного участия 2017.

Величкин Павел — Золотой марафонец, победитель командного участия 2017.

Читать еще: Расширенная сеть петри позволяет

Семантические сети и обработка естественного языка

Семантические сети широко используются при обработке естественного языка, однако здесь с успехом применяется и машинное обучение. Когда же следует воспользоваться семантическим ресурсом, а когда достаточно статистических методов?

Машинное обучение вторглось в области, где до недавнего времени господствовали лишь семантические сети. Однако в задачах обработки естественного языка, построения инвентаря значений слов и связывания языковых ресурсов семантические сети по-прежнему позволяют достигать высокой точности.

Ранние системы обработки естественного языка, возникшие в конце 1940-х годов, были ориентированы на решение задачи машинного перевода и использовали множество правил, составленных вручную. В конце 1960-х развитие компьютерной лингвистики серьезно замедлилось из-за пессимистичного отчета Наблюдательного комитета по автоматической обработке языка (Automatic Language Processing Advisory Committee, ALPAC), в котором заявлялось о низкой результативности исследований. Это привело к резкому снижению финансирования, но, несмотря на кризис завышенных ожиданий, исследования продолжались — для обработки естественного языка стали использовать статистические модели, построенные средствами машинного обучения на основе больших коллекций документов, или корпусов текстов.

С ростом популярности Всемирной паутины возникла необходимость в каталогизации и систематизации информации, представленной в Сети. Появились поисковые машины, сформировался рынок контекстной рекламы, что способствовало повышению требований к способности поисковой машины учитывать информационные запросы пользователя. Широкое проникновение информационных технологий в повседневную жизнь привело к возникновению вычислительных задач, для решения которых требуются знания об окружающем мире. Стали востребованы: информационный поиск, оценка семантической близости слов, разрешение лексической многозначности и т. д. Например, смысл предложения «Он видел их семью своими глазами» зависит от того, является ли слово «семью» именем существительным или числительным. Известно, что люди воспринимают окружающий мир как иерархию понятий, связанных отношениями общего и частного. Скажем, если человек знает, что канарейка — это птица, то он сможет предположить, что у нее есть крылья. Это привело к созданию специализированных языковых ресурсов — семантических сетей.

В литературе термины «семантическая сеть» и «онтология» встречаются в достаточно близких контекстах, связанных с инженерией знаний. Однако они означают два разных понятия. Онтология задает предмет описания, то есть формальную спецификацию концептуализации, в то время как семантическая сеть определяет способ представления знаний. Семантическая сеть — это размеченный ориентированный граф, вершины которого соответствуют некоторым сущностям (понятиям, событиям, характеристикам или значениям), а ребра выражают отношения между этими сущностями.

Семантические сети не накладывают ограничений на структуру знаний или конкретную предметную область до тех пор, пока эти знания можно представить в виде ориентированного графа. Среди известных онтологий следует отметить онтологию Cyc, включающую в том числе онтологии нескольких предметных областей, и онтологию SUMO, составленную из общих понятий. В задачах обработки естественного языка особенно популярна семантическая сеть WordNet, построенная на основе формализации человеческого восприятия окружающего мира: понятия (синсеты) представлены в виде вершин, а направленные ребра показывают отношение от частного к общему (гиперонимия), от части к целому (холонимия) и т. д. Такие ресурсы, как WordNet для английского языка и «РуТез» для русского языка, построены коллективами лексикографов-экспертов.

Основная сложность при построении семантических сетей связана с большим объемом работы, которую приходится выполнять для их создания. Применение автоматизированных подходов [1, 2] сокращает этот процесс, но повышает требования к контролю качества [3]. Немалую сложность вызывает также необходимость формирования и следования определенной концепции ресурса. Нужно учитывать: актуальность представленной лексики, наличие неологизмов и архаизмов; выявление синонимии и иных семантических отношений; степень внимания к уровням онтологии; наличие определений понятий и примеров их употребления; формат словарных статей; другие особенности целевого языка и используемые допущения о его строении.

Достаточно важной проблемой является техническая и лицензионная доступность семантических сетей. С одной стороны, не все ресурсы доступны для использования. Например, создатели тезауруса RussNet на сегодняшний день опубликовали только часть имеющихся данных. С другой стороны, существуют высококачественные семантические сети, распространяющиеся на условиях открытой лицензии. К ним относятся «РуТез» и BabelNet [3], но их коммерческое применение ограничивается. Другие ресурсы, такие как Russian WordNet, по всей видимости, утрачены безвозвратно. Все это затрудняет как решение прикладных задач, так и создание производных ресурсов.

Развитие методов машинного обучения и обработки Больших Данных привело к тому, что ряд задач, ранее решавшихся с помощью семантических сетей, стали решаться без них. Появление в 2013 году word2vec — семейства методов построения векторных представлений слов в пространстве низкой размерности (word embeddings) — позволило свести задачу оценки семантической близости слов к вычислению косинуса угла между векторами этих слов. Векторы, построенные на крупном неразмеченном корпусе текстов, дают лучшие результаты, чем классические методы на основе расстояний между словами в семантических сетях [4]. Сегодня подобные векторы широко используются как для автоматического построения и расширения семантических ресурсов, так и в качестве числовых признаков в системах машинного обучения при решении задач классификации, кластеризации и проч.

Появление на массовом рынке недорогих графических ускорителей вычислений позволило сократить время обучения нейронных сетей, что привело к созданию большого количества улучшенных методов решения классических задач обработки естественного языка с использованием глубинного обучения. К числу этих задач относятся синтаксический разбор предложения, автоматическое реферирование документа, анализ тональности текста и др. Задача машинного перевода, в которой ранее широко применялись онтологии предметной области в виде семантических сетей, уже достаточно успешно решается при помощи нейронных сетей (например, Google Translate).

Сегодня заметна тенденция разработки методов обучения без учителя для автоматического формирования понятий и связей между ними. С одной стороны, это вызвано высокой популярностью семантических ресурсов, построенных при помощи краудсорсинга («Википедия», «Викисловарь»). С другой, обусловлено ростом интереса к дистрибутивным тезаурусам — сетям семантически близких слов, близость которых оценивается при помощи векторов слов. В таких ресурсах имеется большое количество слабоструктурированных данных, которые легко поддаются фильтрации и кластеризации. Это позволяет автоматически определять связи между объектами окружающего мира. Результат работы таких методов обучения без учителя уступает по точности полноценным онтологиям, созданным экспертами-лексикографами, но простота их построения и полнота лексического покрытия за счет включения неологизмов и устойчивых выражений позволяют быстрее адаптироваться к изменениям в целевом языке. Интересен пример многоязычной семантической сети BabelNet, доступной на 271 языке, в том числе русском, построенной путем интеграции качественных исходных данных с материалами слабоструктурированных словарей.

Несмотря на успехи машинного обучения, высококачественные семантические сети по-прежнему остаются важным языковым ресурсом: они незаменимы тогда, когда требуется высокая точность, пусть даже достигаемая за счет сужения лексического покрытия. Основная задача, в которой семантические сети, построенные экспертами, до сих пор вне конкуренции, — разрешение лексической многозначности (word sense disambiguation), состоящей в определении конкретного значения каждого употребленного слова в заданном тексте. В этом случае в качестве инвентаря значений слов (sense inventory) используются семантические сети наподобие WordNet.

Критически важны семантические сети при оценке методов и систем автоматической обработки естественного языка и различных языковых ресурсов. Здесь эти сети используются в качестве «золотого стандарта», с которым осуществляется сопоставление по некоторой заданной системе измерений.

Еще одна задача, где пока нельзя обойтись без семантической сети, — создание производных лексико-семантических ресурсов, таких как BabelNet. В этом случае семантическая сеть WordNet, построенная коллективом лексикографов-экспертов, используется в качестве базового (pivot) ресурса для связывания с другими ресурсами.

Семантические сети по-прежнему незаменимы и в других задачах, не имеющих непосредственного отношения к обработке естественного языка, — например, при разметке объектов на изображениях. Так, в проекте ImageNet объекты на изображениях выделены рамкой, каждая из которых ссылается на соответствующее понятие в онтологии WordNet. Семантические сети с устоявшейся системой идентификаторов удобно использовать для связывания данных между собой. Кроме того, интересным применением семантических сетей является объектный или семантический поиск, когда на странице результатов поиска представляется фактографическая информация, имеющая отношение к поисковому запросу (например, Google Knowledge Graph).

Несмотря на то что методы машинного обучения вторглись в области, где до недавнего времени господствовали лишь семантические сети, последние остаются актуальными для решения таких задач, как оценка методов обработки естественного языка, построение инвентаря значений слов, связывание языковых ресурсов и семантический поиск.

0 0 голоса

Рейтинг статьи