Способен ли искусственный интеллект распознавать положительную или отрицательную тональность энциклопедического текста? Одинаково ли разные языковые модели оценивают одно и то же содержание? Эти вопросы рассматриваются в научной статье «Evaluating Multilingual Sentiment Classifiers Using an LLM-Annotated Wikipedia Benchmark». Исследование было представлено на конференции ACL 2026 в Сан-Диего, которая проходила со 2 по 7 июля 2026 года.

Почему анализ тональности Википедии представляет особую сложность?

Анализ тональности (англ. sentiment analysis) — одно из направлений обработки естественного языка (NLP), целью которого является автоматическое определение положительной, отрицательной или нейтральной окраски текста. Эта технология широко применяется для анализа отзывов клиентов, рецензий на товары, комментариев в интернете и публикаций в социальных сетях.

Однако анализ тональности статей Википедии представляет собой более сложную задачу. Энциклопедические материалы должны соответствовать принципу нейтральной точки зрения (англ. Neutral Point of View, NPOV), который предполагает беспристрастное изложение информации и отказ от необоснованных субъективных оценок. Поэтому положительная или отрицательная тональность в таких текстах зачастую выражена значительно менее явно, чем в материалах, содержащих личные мнения.

Дополнительная сложность заключается в необходимости различать тональность высказывания и характер описываемых событий. Например, сообщение об успехе, конфликте или катастрофе само по себе не означает, что автор выражает положительное или отрицательное отношение. Для правильной интерпретации необходимо учитывать контекст, формулировки и тонкие языковые особенности.

Пять языков и три большие языковые модели

В исследовании были проанализированы тексты из пяти языковых разделов Википедии: английского, немецкого, испанского, польского и русского. Материал был сформирован на основе отобранных энциклопедических статей, охватывающих различные области знаний, включая науку, историю, географию и биографии. Анализ проводился на основе вводных разделов статей, в которых кратко излагаются основные сведения о рассматриваемых темах.

Всего было собрано более 75 тысяч предложений, которые подверглись автоматическому анализу тональности. Для этой цели использовались три современные большие языковые модели (LLM): GPT-5.2 (OpenAI), Gemini 3.1 Pro (Google) и Claude Opus 4.6 (Anthropic).

Каждая модель оценивала одни и те же предложения трижды, что в общей сложности составило девять запусков анализа для каждого предложения. Такой подход позволил установить не только то, насколько схожие оценки присваивают разным предложениям различные модели, но и насколько стабильны ответы одной и той же модели при повторном анализе идентичного текста. Это особенно важно, поскольку даже современные системы искусственного интеллекта не всегда интерпретируют один и тот же текст одинаково. Расхождения могут быть связаны как с особенностями отдельных моделей, так и с неоднозначностью анализируемых высказываний.

Многоязычный бенчмарк для оценки моделей

Одним из основных результатов исследования стала разработка многоязычного бенчмарка — эталонного набора данных, предназначенного для систематического сравнения результатов моделей анализа тональности.

В бенчмарк были включены только те предложения, которым все три большие языковые модели присвоили одинаковую категорию тональности во всех девяти запусках анализа. В результате был сформирован набор данных, содержащий более 55 тысяч предложений из пяти языковых разделов Википедии.

Столь строгий критерий согласованности был направлен на снижение влияния случайных колебаний в ответах моделей и повышение внутренней согласованности эталонного набора данных. При этом важно учитывать, что совпадение оценок разных моделей не гарантирует их объективной правильности. Таким образом, разработанный бенчмарк служит основой для дальнейших исследований, а не окончательным инструментом определения нейтральности текста.

Затем авторы использовали этот набор данных для сравнения двух многоязычных классификаторов тональности, основанных на архитектурах семейства BERT: modBERT и mulBERT. Это позволило выяснить, в какой степени специализированные классификационные модели воспроизводят оценки, сформированные на основе согласованных результатов больших языковых моделей.

Что показали результаты?

Результаты исследования показали, что в большинстве рассмотренных тематических категорий преобладают предложения с нейтральной тональностью. Особенно отчетливо эта тенденция проявляется в статьях, посвященных науке, технологиям и другим областям знаний, где доля предложений, классифицированных как нейтральные, нередко превышала 90%.

В то же время были выявлены существенные различия между тематическими категориями. Например, в некоторых категориях, связанных с биографиями, доля предложений с положительной тональностью достигала или превышала 45%. Относительно высокая доля положительных оценок также наблюдалась в отдельных статьях географической тематики.

Значительные различия были обнаружены и между исследуемыми классификаторами. Модель modBERT чаще присваивала предложениям положительную или отрицательную тональность, тогда как mulBERT демонстрировала выраженную склонность классифицировать текст как нейтральный. Хотя такой подход нередко обеспечивал высокий процент совпадений с эталонными оценками, одновременно он ограничивал способность модели распознавать более тонкие различия в тональности.

Например, для предложений на русском языке доля совпадений результатов modBERT с бенчмарком составила 23%, тогда как для mulBERT этот показатель достиг 82%. Однако высокий общий процент совпадений не обязательно означает, что модель одинаково хорошо распознает все категории тональности. Когда большинство предложений являются нейтральными, классификатор, часто выбирающий именно эту категорию, может демонстрировать внешне высокие результаты, несмотря на трудности с распознаванием положительных и отрицательных высказываний.

Авторы также рассмотрели два способа определения общей тональности статьи на основе оценок отдельных предложений. Первый метод предполагал простое голосование большинством, при котором каждое предложение имело одинаковый вес. Второй основывался на взвешенном голосовании, учитывающем длину предложений. Сравнение этих подходов позволило исследовать, как различные способы объединения оценок отдельных предложений влияют на определение тональности статьи в целом.

Таким образом, исследование показывает, что для надежного анализа тональности необходимо учитывать не только используемую модель и язык текста, но и его тематику, а также методы интерпретации и объединения полученных результатов.

Исследовательские данные в открытом доступе

Еще одним важным результатом работы стала публикация исследовательских данных в открытом доступе на платформе Kaggle. Опубликованные материалы включают результаты анализа тональности текстов из пяти языковых разделов Википедии, в том числе оценки, содержащиеся в бенчмарке, и результаты исследуемых моделей. В наборе также представлены данные, связанные с двумя методами объединения оценок отдельных предложений для определения общей тональности статей. Благодаря этому другие исследователи могут использовать опубликованные данные для тестирования новых моделей анализа тональности, сравнения результатов между языками и тематическими категориями, а также разработки дальнейших методов автоматического анализа энциклопедических текстов.

Публикация вносит вклад в развитие многоязычной обработки естественного языка, демонстрируя как возможности современных систем искусственного интеллекта, так и ограничения их применения к текстам, требующим особенно точной интерпретации. Полученные результаты также подчеркивают, что автоматический анализ тональности не равнозначен комплексной оценке нейтральности энциклопедической статьи. Тем не менее он может служить полезным инструментом для выявления фрагментов текста, заслуживающих более подробного изучения.

Полный текст научной статьи находится в открытом доступе на платформе ACL Anthology. DOI: 10.18653/v1/2026.gem-main.63