KES 2024: ГенИИ и проверка фактов

На 28-й Международной конференции по интеллектуальным информационным и инженерным системам на основе знаний (KES 2024) были представлены два доклада: «Изучение проблем и потенциала генеративного ИИ: выводы из эмпирического исследования» и «Поддержка процесса проверки фактов с помощью ИТ-инструментов». Конференция прошла 11–13 сентября 2024 года в гибридном режиме.

Изучение проблем и потенциала генеративного ИИ: выводы из эмпирического исследования

В рамках доклада «Изучение проблем и потенциала генеративного ИИ: выводы из эмпирического исследования» был проведен эксперимент для выяснения того, в какой степени контент, сгенерированный GAI, можно считать надежным (не содержащим ложной информации) и легко ли убедить GAI генерировать ложную информацию.

Основанный на моделях GPT (Generative Pre-trained Transformers), ChatGPT является примером инструмента генеративного искусственного интеллекта (ГенИИ). ChatGPT набрал первый миллион пользователей менее чем за неделю и достиг 100 миллионов пользователей за два месяца. ChatGPT относится к более широкой группе инструментов, называемых большими языковыми моделями (LLM). Такие инструменты на основе огромных текстовых корпусов могут генерировать контент, который идеально имитирует способ, которым люди используют естественный язык для передачи информации. Многие люди начали использовать эти инструменты для получения информации в качестве альтернативы традиционным поисковым системам в Интернете.

Однако инструменты ГенИИ работают иначе, чем простые поисковые системы. Они уже имеют закодированные знания и вместо поиска текстов по ключевым фразам предоставляют знания в виде хорошо построенных ответов, адаптированных к ситуации, на основе заданных вопросов. В связи с этим исследователи задаются вопросом: может ли ИИ служить инструментом проверки информации и содержит ли сгенерированный текст только правдивую информацию?

В рамках эксперимента группе студентов было поручено подготовить эссе с использованием генеративных инструментов ИИ. Эссе должны были быть написаны на польском языке, содержать определенное количество символов и касаться заранее определенных тематических областей. Помимо «генерации» эссе, необходимо было также написать его собственную критическую оценку в соответствии с определенными критериями. Во-первых, студенты должны были оценить достоверность текста, сгенерированного ИИ, т. е. проверить, содержит ли текст какую-либо ложную или неверную информацию. Во-вторых, их попросили побудить ГенИИ включить вымышленные утверждения в сгенерированный текст, т. е. сгенерировать фейковые новости.

На момент проведения эксперимента было известно, что большие языковые модели могут быть подвержены так называемым галлюцинациям, т. е. спонтанно генерировать ложный контент. Поэтому студентам требовалось обнаружить и исправить такие ошибки. Это позволило оценить, могут ли имеющиеся инструменты ГенИИ потенциально использоваться для задач, связанных с проверкой информации и обнаружением фейковых новостей.

Авторы статьи: доктор Милена Стружина, профессор Кшиштоф Венцель, доктор Петр Столярский, Эвелина Ксенжняк, Мартин Савиньский, доктор Владимир Левоневский, профессор Витольд Абрамович.

Поддержка процесса проверки фактов с помощью ИТ-инструментов

В статье «Поддержка процесса проверки фактов с помощью ИТ-инструментов» представлен подробный анализ процесса проверки фактов, основанный на обзоре литературы и интервью с организациями, специализирующимися в этой области. Это объединило теоретические знания с практическим опытом экспертов, что позволило выявить пробелы в исследованиях и проблемы в современных методах проверки информации.

Дезинформация и так называемые «фейковые новости» представляют серьезную угрозу для общества, влияя на общественное мнение, политические решения и нашу повседневную жизнь. Поэтому исследование процесса проверки фактов чрезвычайно важно. Первоначально проверка фактов заключалась в проверке всей информации в статьях в прессе перед их публикацией, что является основной обязанностью журналистов. В настоящее время этот термин также относится к анализу контента после его публикации, особенно в Интернете. Все чаще проверка фактов осуществляется людьми и организациями, не связанными с автором проверяемой информации.

В статье представлен комплексный процесс проверки фактов вместе со списком потенциальных ИТ-инструментов, которые могут его улучшить. На основе проведенного анализа была разработана эталонная модель фактчекинга, описывающая основные этапы процесса, что позволяет лучше понять и стандартизировать действия в борьбе с дезинформацией. Работа также включает обзор доступных ИТ-инструментов, поддерживающих процесс верификации, что также послужило выявлению технологических пробелов.

Ключевым элементом работы является описание инструмента SocialScan, который был разработан в рамках проекта OpenFact и позволяет идентифицировать потенциальные фейковые новости в социальных сетях. Этот инструмент был создан для того, чтобы помочь проверяющим факты быстрее и эффективнее выявлять информацию, требующую верификации. Следовательно, он может способствовать ограничению распространения фейковых новостей.

Авторы статьи: Мартин Савиньский, д-р Милена Стружина, д-р Владимир Левоневский, д-р Петр Столярский, проф. Кшиштоф Венцель, Эвелина Ксенжняк, проф. Витольд Абрамович.

OpenFact

В настоящее время кафедра информационных систем реализует исследовательский проект OpenFact под руководством профессора Витольда Абрамовича. В рамках этого проекта разрабатываются инструменты для автоматического обнаружения фейковых новостей на польском языке. В июле 2024 года результаты проекта OpenFact второй год подряд получили наивысшую оценку Национального центра исследований и разработок.

Проект OpenFact финансируется Национальным центром исследований и разработок в рамках программы INFOSTRATEG I «Передовые информационные, телекоммуникационные и мехатронные технологии».

Участие в конференции стало возможным благодаря финансированию по конкурсу на финансирование конференц-поездок «RIGE – конференции». Поддержано средствами, предоставленными Министром науки Республики Польша в рамках Программы «Региональная инициатива для совершенства» на реализацию проекта «Познаньский университет экономики и бизнеса для экономики 5.0: Региональная инициатива – Глобальные эффекты (RIGE)».

Источники: kie.ue.poznan.pl, ue.poznan.pl

Polski
English
Русский