Обработка естественного языка (настроение, ключевые слова, именованные сущности, высокоуровневые концепции)

Что такое НЛП?

Обработка естественного языка (NLP) - это область на стыке информатики, искусственного интеллекта и лингвистики. Цель состоит в том, чтобы компьютеры обрабатывали или “понимали” естественный язык для выполнения таких задач, как языковой перевод и ответы на вопросы.

С появлением голосовых интерфейсов и чат-ботов НЛП является одной из важнейших технологий информационного века, важнейшей частью искусственного интеллекта. Полное понимание и представление значения языка - чрезвычайно сложная цель. Почему? Потому что человеческий язык совершенно особенный.

Область искусственного интеллекта всегда предполагала, что машины способны имитировать функционирование и способности человеческого разума. Язык считается одним из наиболее значительных достижений людей, которые ускорили прогресс человечества. Поэтому неудивительно, что проводится большая работа по интеграции языка в область искусственного интеллекта в форме обработки естественного языка (NLP). Сегодня мы видим, как эта работа проявляется в таких приложениях, как Alexa и Siri.

НЛП в первую очередь включает в себя понимание естественного языка (от человека к машине) и генерацию естественного языка (от машины к человеку). В последние годы наблюдается всплеск неструктурированных данных в форме текста, видео, аудио и фотографий. NLU помогает извлекать ценную информацию из текста, такую как данные социальных сетей, опросы клиентов и жалобы.

Что особенного в человеческом языке?

На самом деле несколько вещей:

• Человеческий язык - это система, специально сконструированная для передачи смысла говорящего / пишущего. Это не просто сигнал из окружающей среды, а целенаправленная коммуникация. Кроме того, в нем используется кодировка, которую маленькие дети могут быстро освоить; она также меняется.
• Человеческий язык - это в основном дискретная / символическая / категориальная сигнальная система, предположительно из-за большей надежности передачи сигналов.
• Категориальные символы языка могут быть закодированы как сигнал для общения несколькими способами: звуком, жестом, письмом, изображениями и т.д. человеческий язык способен быть любым из них.
• Человеческие языки неоднозначны (в отличие от программирования и других формальных языков); таким образом, существует высокий уровень сложности в представлении, изучении и использовании лингвистических / ситуационных / контекстуальных / словесных / визуальных знаний по отношению к человеческому языку.

Зачем изучать НЛП?

Существует быстро растущая коллекция полезных приложений, полученных из этой области исследований. Они варьируются от простых до сложных. Ниже приведены некоторые из них:

• Проверка орфографии, поиск по ключевым словам, нахождение синонимов.
• Извлечение информации с веб-сайтов, такой как цена продукта, даты, местоположение, люди или названия компаний.
• Классификация: уровень чтения школьных текстов, положительное / отрицательное отношение к более длинным документам.
• Машинный перевод.
• Системы устного диалога.
• Ответы на сложные вопросы.

Действительно, эти приложения широко использовались в отрасли:

• от поиска (письменного и устного) до подбора рекламы в Интернете;
• от автоматического / вспомогательного перевода до анализа настроений в маркетинге или финансах / торговле;
• от распознавания речи до чат-ботов / диалоговых агентов (автоматизация поддержки клиентов, управление устройствами, заказ товаров).

Как работает NLP?

NLP работает посредством включения множества различных техник, от методов машинного обучения до алгоритмических подходов, основанных на правилах. Необходим широкий спектр задач, поскольку текстовые и языковые данные сильно различаются, как и разрабатываемые практические приложения. Рассмотрим чат-бота или цифрового голосового помощника в качестве примера.

Чтобы понять запрос, компьютеру необходимо:

• получать данные в понятном формате
• распознавайте отдельные слова и анализируйте их на предмет "намерения" или действия
• преобразуйте намерение в задачу, которая понятна для выполнения
• выполните задачу
• примите результаты и сообщите о них таким образом, чтобы человек понял

Самые лучшие системы NLP идут дальше и учатся на взаимодействиях. Чат-бот может научиться общаться на новые темы, например, в рамках своего взаимодействия с людьми.

На техническом уровне задачи NLP разбивают язык на короткие, машиночитаемые фрагменты, чтобы попытаться понять взаимосвязи между словами и определить, как каждый фрагмент объединяется для создания смысла. Большая база данных с метками используется для анализа в процессе мышления машины, чтобы выяснить, какое сообщение пытается передать входное предложение. База данных служит словарем компьютера для определения конкретного контекста.

Уровни обработки естественного язык

Проблемы NLP

Несмотря на свою исключительную мощь, модели NLP также могут быть сложными в построении из-за динамичной и нюансированной природы человеческих языков. Некоторые из этих проблем включают:

• Человеческий язык чрезвычайно динамичен. Значение слов со временем неуловимо меняется, и в обиход постоянно вводятся новые слова. Это означает, что модели NLP должны следовать словесным тенденциям и понимать, как они связаны с концепциями и сообщениями.
• Человеческий язык имеет множество нюансов. Сложные характеристики человеческих языков, такие как сарказм и суффиксы, создают проблемы для NLP. Высокоуровневые эмоциональные конструкции, такие как сарказм, являются тонкими и абстрактными для восприятия машиной. Простые задачи, такие как суффиксы, могут быть немного проще для расшифровки машиной, но все еще представляют трудности, поскольку машина может путать варианты одного слова со сокращениями или окончаниями другого.

Даже с учетом этих проблем существует множество мощных компьютерных алгоритмов, которые можно использовать для извлечения и структурирования текста.

Приложения обработки естественного языка

НЛП используется в различных областях. Некоторые наиболее популярные приложения NLP:

• Анализ настроений - Анализ настроений заключается в определении настроения или ощущения текста. Анализ настроений помогает определить, вызывает ли текст положительные или отрицательные чувства. Короче говоря, анализ настроений распознает различные чувства из текста. Вы можете выполнять анализ настроений в твитах или в сообщениях Facebook.
• Чат-бот - Когда у вас возникает какой-либо запрос по какому-либо продукту, вы обращаетесь с жалобой в службу поддержки клиентов. Итак, когда вы отправляете сообщение с вашим запросом, вы получаете ответ в течение нескольких секунд. Как вы думаете, кто отвечает на ваш запрос?. Это чат-бот. Чат-бот понимает ваш язык посредством обработки, а затем отвечает на ваш запрос. Все это происходит с помощью NLP.
• Распознавание речи - Это самое популярное приложение NLP. Вы знаете о помощнике Google, Amazon Alexa, Siri от Apple и Cortana.Итак, процесс, стоящий за всем этим, основан на НЛП. Когда вы даете им какие-либо голосовые команды, они обрабатывают их на вашем языке и пытаются дать наилучший ответ на ваш вопрос.
• Машинный перевод- Многие из нас используют Google Translation для перевода с одного языка на другой. И это возможно благодаря NLP.
• Некоторые другие приложения NLP включают проверку орфографии, поиск по ключевым словам, извлечение информации и сопоставление рекламы.