«Речь, мимика и жесты не могут лгать»

Хоменко Анна Юрьевна

Хотите узнать, выдает ли собеседника дрогнувший голос или случайный жест? В нижегородской Вышке создают алгоритм, который анализирует мультимодальный текст — речь, мимику и жесты — и определяет правдивость информации с точностью 92%. Проект востребован и в судебной экспертизе, и в банковском рекрутинге, и в фундаментальной науке. Руководитель группы Анна Хоменко, старший научный сотрудник Центра языка и мозга факультета гуманитарных наук НИУ ВШЭ в Нижнем Новгороде, рассказывает, как студенты и ученые совместно создают корпус видеозаписей, обучают классификатор и готовятся к внедрению компьютерного зрения. Спойлер: окончательное решение всегда остается за человеком, но надежный инструмент у него скоро появится.

Этот материал продолжает рассказ о проектах новых научно-учебных групп (НУГ) НИУ ВШЭ.

 

— Как возникла идея проекта?

— Проект «Речь, мимика и жесты не могут лгать. Определение правдивости информации методами психолингвистики» — продолжение прошлогоднего проекта «Правда или ложь? Определение достоверности/недостоверности информации по мультимодальному тексту». Идейным вдохновителем первого этапа проекта выступила студентка образовательной программы «Фундаментальная и прикладная лингвистика» нижегородской Вышки Ева Патракова. Она занималась разработкой методик судебно-психологической экспертизы для отечественной юрислингвистики и пришла к выводу, что в этой области существует лакуна, которую и взялись восполнять своими исследованиями члены нашей НУГ.

В 2025 году наша команда на основе предыдущих отечественных и зарубежных исследований создала модель анализа правдивости высказываний и протестировала ее на ограниченной выборке. На тестовом материале модель работает с точностью 92%. Сейчас идет процесс регистрации РИД на созданную модель.

— Какие задачи у вашего нового проекта?

— В этом году мы дорабатываем алгоритм, проверяем точность его работы на большем объеме данных и разрабатываем интерфейсное решение. Основная цель проекта этого года — создание автоматизированной (а в перспективе полностью автоматической, с применением компьютерного зрения) модели распознавания достоверной и недостоверной информации по речи, мимике и жестам говорящего. Для создания такой модели в течение года мы должны собрать корпус видеозаписей с правдивой и ложной информацией общей длительностью не менее 1000 минут; разметить в нем речь, мимику и жесты говорящих в соответствии с протоколом дискурсивной разметки; высчитать статистически значимые речевые, миметические и кинесические характеристики; дообучить классификатор на этой выборке и создать для алгоритма интерфейсную оболочку, пригодную для применения внешним пользователем. На данный момент мы уже дообучаем классификатор и готовы перейти к созданию интерфейса для нашей модели.

— В чем актуальность проекта?

— Запрос на разработку такого алгоритма существует в нескольких областях знания — как фундаментальных, так и практико-ориентированных.

Для фундаментальных исследований важно изучить русскоязычный дискурс продуцирования ложной информации в устной речи. Для русского языка существуют корпусы письменных текстов, содержащих ложные высказывания, но устный корпус еще ждет своей разработки.

С практической точки зрения наше исследование может быть применимо как в области судебной психолого-лингвистической экспертизы, так и в области досудебного следствия (при анализе показаний). Заинтересованность в разработке уже выразили органы внутренних дел. Разработкой активно интересуются психологи и психиатры, для которых она может стать базой скрининговой диагностики, в том числе людей с зависимостями.

Коммерческие организации, в частности крупные банковские экосистемы, проявляют интерес к исследованию с перспективой использования его в рекрутинговых процедурах (на собеседованиях с будущими сотрудниками).

Но важно понимать, что никакой алгоритм ни в какой из указанных сфер на современном этапе развития науки, техники и законодательства РФ не принимает итогового решения о том, лжет человек или говорит правду. Любой автоматический или автоматизированный комплекс лишь инструмент, призванный помочь человеку увидеть и проанализировать материал.

— Какие результаты вы рассчитываете получить?

— Помимо интерфейсного алгоритма определения достоверности/недостоверности информации по речи, мимике и жестам, важным результатом наших исследований становится размеченный корпус мультимодальных текстов. Этот корпус позволяет установить языкоспецифичные (связанные с русским языком и ментальностью его носителей) характеристики продуцирования ложной и правдивой информации, а также маркеры правдивости/ложности высказывания в русской речи. Такие знания о русскоязычном дискурсе можно отнести к фундаментальным.

На следующем этапе (в 2027 году) мы рассчитываем получить гранты от коммерческих партнеров и государственных фондов, с тем чтобы внедрить в нашу модель системы компьютерного зрения с последующей полной автоматизацией скринингового алгоритма.

— Ваша научно-учебная группа называется «КомпЛинг v.2»? Как это расшифровывается? Можете прокомментировать это название?

— «КомпЛинг» — это аббревиатура словосочетания «компьютерные лингвисты», а v.2 обозначает вторую итерацию работы в составе научной группы. Это название было придумано по образу и подобию названия коллектива «КорпЛинги» (корпусные лингвисты), созданного в 2012 году замечательными учеными Ольгой Ляшевской и Верой Сибирцевой. Можно сказать, что «КомпЛинги» продолжают традиции научной школы, основанной коллективом ученых Москвы и Нижнего более десяти лет назад.

— С какими трудностями вы столкнулись или предполагаете столкнуться?

— В исследованиях устной речи, особенно в нескольких модальностях (помимо речи, еще мимика и жесты на видеозаписях), есть трудности, связанные со сбором и обработкой материала. Во-первых, надо решать проблемы хранения и обработки персональных и биометрических данных, а во-вторых, преодолевать сложности операционализации (разработки протоколов и автоматических систем) анализа многопоточных данных. Все эти проблемы решаемы в рамках правового и научного поля. В их решении нам активно помогают административные и научные службы Вышки, за что им огромное спасибо!

— Как подбирались участники проекта? Расскажите о ключевых участниках.

— Подбор участников проекта мотивирован двумя основными принципами: наличие нужных компетенций и умение работать в команде.

Мы с Евой Патраковой разрабатываем методики анализа речевого, жестового и миметического материала. Полина Жилина создает способы транскрибирования устной речи автоматическими алгоритмами. Мария Худякова и Артем Микулинский занимаются созданием протоколов разметки материала для корпуса. Руслана Зобнина, Анна Воронцова и Наталья Ефименко размечают корпусный материал. А Анастасия Комратова облекает все созданное нами в компьютерную программу и занимается разработкой классификационных алгоритмов.

В нашем проекте занято довольно много студентов бакалавриата и магистратуры. Для них НУГ — возможность поработать со старшими коллегами и перенять их опыт и знания. Но дело не только в этом. Разрабатываемые нами технологии базируются в том числе на том, что уже на входе может принести каждый участник. Полина Жилина, например, до проекта несколько лет занималась автоматическими моделями распознавания устной речи, и ее знания подтолкнули нас к тому, чтобы улучшать эти модели для наших специфических задач. Студенты Вышки обладают очень большим объемом компетенций, которые осваиваются как в рамках учебных дисциплин, так и в ходе производственных практик и профессиональной деятельности (многие из них уже во время учебы работают по специальности). И это дает возможность в ходе решения реальных производственных задач полагаться на них как на профессионалов. У каждого свои задачи, соответствующие имеющимся у него компетенциям, каждый нужен на своем месте, и без любого из нас проекта не случилось бы.

Конечно, все мы активно пишем научные статьи и участвуем в конференциях с целью популяризации того, что делаем. Последняя и, возможно, наиболее важная конференция, для которой мы подготовили материал, — «Цифровая индустрия промышленной России», проходившая с 18 по 21 мая. И мы надеемся, что это мероприятие поможет нам найти новых партнеров.

— Какие перспективы у вашего проекта?

— У нашего исследования есть академические и коммерческие перспективы.

Что касается фундаментальной науки, то все новые теории, гипотезы и разработки строятся на уже имеющихся. И здесь важно, что, с одной стороны, молодые участники групп приобщаются к уже существующей теоретической базе, а с другой — сами создают новую. Ведь, чтобы разработать некоторый научный продукт, нужно сначала заложить его фундаментальную основу.

Те исследования, которые мы уже провели в рамках проекта, прямо встраиваются в академические курсы по психолингвистике, коммуникативистике и т.п., активно используются молодыми участниками проекта в их выпускных квалификационных работах и кандидатских диссертациях.

Кроме того, все проекты НУГ — это отличный старт для научной деятельности молодых участников — студентов и аспирантов. Они учатся вести коммуникацию внутри научного сообщества, выступать на научных семинарах, писать тезисы и статьи, участвовать в конференциях. НУГи предоставляют для этого финансовые возможности и стимулы. Это прекрасный инструмент, который погружает в науку через действительно интересные разработки, имеющие социально значимый вес. Что касается коммерциализации наших исследований, то мы находимся в активной фазе переговоров с партнерами из государственной и коммерческой сферы для создания кастомизированных (заточенных под конкретные цели заказчика) алгоритмов определения (не)достоверной информации на основании речи, мимики и жестов. Также мы открыты к диалогу с новыми академическими и коммерческими партнерами для последующей разработки новых решений в смежных сферах.

26 августа