Первый Робот-Политолог

Нейромания и ее ограничения

Нейромания захватила информационную повестку не только в сфере технологий, но стала вырываться за пределы привычных аудиторий техногиков. В начале 2023 года о нейросетях стали говорить в самых разных отраслях: от медицины до политической аналитики, а эксперты начали обсуждать, какие профессии первыми станут жертвами быстрого прогресса в развитии нейросетей.

Согласно материалам исследования ученых из Принстона, Пенсильвании и Нью-Йорка, профессия политологов входит в  топ-20 отраслей, которым развитие искусственного интеллекта, в частности модели, похожей на ChatGPT, угрожает в наибольшей степени.

В целом ChatGPT уже сейчас проявляет себя как эффективный инструмент для решения широкого круга задач. ChatGPT действительно удивляет при формировании общих задач и промтов. Однако сегодня на рынке наблюдается повышенный спрос на модели, специализирующиеся на узконаправленных областях, требующих доступа к специфическим наборам данных.

Основная проблема GPT-4 для узких специалистов заключается в том, что, несмотря на высокий потенциал для генерации текста, модель обучалась на текстовых данных, собранных не позднее 2021 года — она не знает о событиях, случившихся впоследствии, что создает проблему для работы с современной повесткой.

Более того, модель избегает обсуждения многих политических тем — она рассматривает их как чувствительные. В противном случае, освещение некоторых из них имеет место быть в односторонней перспективе. Данные ограничения представляют проблему для использования современных языковых моделей политическими экспертами.

«Первый Робот-Политолог» (ПРП) может стать решением проблемы и заложить основы для развития использования искусственного интеллекта (ИИ) в области политической экспертизы. Наш бот использует потенциал GPT-моделей для генерации текста, но формулирует ответы на основе современных российских политологических работ и актуальных комментариев экспертов.

Описание проекта

«Первый Робот-Политолог» (ПРП) — Q&A бот, реализованный на базе Telegram наподобие модели RETRO (Retrieval-Enchanced TRansfOrmer). Данная модель подразумевает использование:

1) существующих трансформеров в совокупности с собственными данными для нахождения релевантной информации в тексте.

2) функционала GPT-семейства для формулирования ответов на основе найденной информации.

В качестве данных используются 2 типа источников: академические и экспертные. В первом случае бот обращается к содержанию выпусков журнала «Гражданин. Выбор. Власть» (ГВВ), опубликованных после 2018 года. Ограничение по времени используется для сохранения актуальности знаний, которые использует бот для ответа. Обращение к ГВВ в качестве академического источника позволяет сделать фокус на теме выборов, которая актуализируется по мере приближения электорального цикла. Мы разбили текст каждого выпуска на набор равных фрагментов, состоящих из 800 символов, — среди этих фрагментов бот ищет ответ на запрос пользователя.

Второй тип источников — экспертные оценки. В этой части данных используются интервью, статьи, колонки и комментарии (от 2018 года и позже) российских политических экспертов Алексея Чеснакова, Валерия Федорова, Константина Симонова и Михаила Виноградова. Все они в разные годы возглавляли Центр политической конъюнктуры, именно ко дню рождения центра мы готовили данный проект.

Функционирование бота после получения вопроса от пользователя происходит на двух уровнях:

1) Семантический поиск. После получения вопроса бот находит среди текстов, подготовленных в качестве данных, те фрагменты, которые семантически ближе всего к поставленному вопросу. Семантическая близость измеряется как косинус угла между векторами, которыми представлены текстовые фрагменты — эти вектора («эмбеддинги») сконструированы так, что в многомерном пространстве они будут близки друг другу, если представляют схожие по смыслу фрагменты текста. В качестве модели для конструирования «эмбеддингов» использовалась « paraphrase-multilingual-mpnet-base-v2».

2) Формулирование ответа. Следующий этап — конструирование запроса («промпта») к ChatGPT (в рамках бота используется модель «text-davinci-003»), подразумевающего ответ на вопрос с использованием предлагаемого контекста. В качестве контекста в запрос включаются фрагменты, определенные на первом этапе как наиболее соответствующие вопросу, до тех пор, пока их объем не будет превышать 2 000 токенов (для русского языка: 1 токен ~ 1 символ). Это сделано для того, чтобы не превышать лимиты использования API от OpenAI — всего на запрос и ответ вместе взятые разработчики предоставляют 4 097 токенов, следовательно, ограничивая контекст ~2 000 токенами, возможно задать рамки ответа модели в 2 000 токенов. 

Запрос конструируется по следующему принципу:

«Ответь на вопрос как можно правдивее, используя предоставленный контекст.

Контекст: <фрагменты текста, выбранные как наиболее соответствующие вопросу (макс. 2 000 токенов)>

Вопрос: <вопрос пользователя>

Ответ: »

Далее модель предлагает ответ, который соответствовал бы контексту, извлеченному на этапе семантического поиска.

Примеры

ПРП способен отвечать на вопросы о выборах по широкому спектру тем. Ниже приведены примеры ответов на разные вопросы.

1) О рисках вмешательства в выборы

- Какие существуют риски вмешательства в российские выборы?

- Существует большая вероятность использования Западом института международного наблюдения в лице ОБСЕ для воздействия на внутриполитические процессы, оказания влияния на свободное волеизъявление избирателей и делегитимацию итогов голосования путем обнародования заявлений, дискредитирующих выборы, на которых де-факто даже не присутствовали наблюдатели этой организации. Кроме того, Комиссия Совета Федерации по защите государственного суверенитета выделила десять видов вмешательства извне в избирательную кампанию, в том числе: вмешательство путем проведения на территории России несанкционированных исследований социологического характера в интересах зарубежных госструктур; противоправное и публичное навязывание извне конкретных кандидатов в президенты России; ведение из-за рубежа на русском языке и языках народов России целенаправленной систематической и массированной пропаганды за счет иностранного государственного финансирования.

- Как бороться с иностранным вмешательством в выборы?

- Борьба с иностранным вмешательством в выборы должна происходить на двух уровнях: законодательном и правоприменительном. На законодательном уровне необходимо установить правовые ограничения на участие иностранных лиц в выборах и специальное регулирование правовых условий реализации избирательных прав. На правоприменительном уровне необходимо обеспечить соблюдение установленных правовых ограничений иностранного участия в выборах и правовых условий реализации прав лиц, имеющих определенную связь с иностранными субъектами.

2) О месте России на международной арене

- Каково место России на международной арене?

- Россия позиционируется как ключевой игрок во внешней политике, но ее место на международной арене ограничивается глобальными тенденциями, такими как усиление попыток дискредитации государственного суверенитета и кризис глобализма. Также Запад начинает просматривать возможность глобальной делегитимизации России и ограничения ее возможностей в активной политике.

- Какое место занимает российская экономика в мире?

- Российская экономика занимает важное место в мировой экономике. Россия является одним из крупнейших экспортеров нефти, газа, угля, сельскохозяйственной продукции и удобрений, а также цветных металлов. Кроме того, за последние десятилетия Россия восстановила свою военную мощь и в некоторых областях технологически превзошла США.

3) О санкциях

- Чем опасна санкционная политика Запада?

- Санкционная политика Запада может привести к образованию новых межгосударственных альянсов, использующих друг против друга не только традиционное военно-политическое давление, угрозы применения оружия и его применение, но и глобальные экономические санкции и «культуру отмены», практики изоляции и остракизма. Также санкционная политика Запада может привести к формированию новой «социальности войны», политико-экспансистской в природе, и к глобальной делегитимизации России как ключевого игрока во внешней политике. Это может привести к ограничению возможностей дальнейшей активной политики России и к преобразованию этнополитических концепций в ксенофобные националистические соображения.

- Были ли санкции Запада против России эффективными?

- Санкции Запада против России были частью гибридной войны и представляли собой инструмент стратегического давления. Они привели к заморозке и изъятию российских финансовых активов, а также к вынужденному выходу из совместных проектов транснациональных корпораций. Однако их эффективность в долгосрочной перспективе остается под вопросом.

4) Об искусственном интеллекте

- Какие перспективы у развития искусственного интеллекта в России?

- Развитие искусственного интеллекта в России представляет собой важную перспективу для развития экономики, достижения внутреннего национального и межнационального единства, реформирования общества и государства, а также для повышения качества жизни граждан. Искусственный интеллект может помочь России в предотвращении военных угроз, а также в защите национальных интересов и боеспособности Вооруженных Сил. Также искусственный интеллект может помочь России в продвижении ее ценностей, символов и образов, а также в противостоянии Западу, в геокультурной и ментальной борьбе.

- Какие есть риски применения искусственного интеллекта в политике?

- Применение искусственного интеллекта в политической сфере может привести к разработке и применению дезинформации злоумышленниками, стремящимися посеять социальную рознь, а также к изменению перспектив свободного общества и даже свободы воли. Также может привести к утрате восприимчивости и замедлению фундаментальной аналитической рефлексии в политической науке

Комментарии экспертов

В силу технических ограничений и риска чрезмерной нагрузки на бота мы предоставили в режиме закрытого бета-тестирования доступ к ПРП для четырех экспертов, которые в разные годы занимали пост директора ЦПК: Валерию Федорову, Михаилу Виноградову, Константину Симонову и Алексею Чеснакову, который на данный момент возглавляет Центр.

Мы попросили экспертов попробовать воспользоваться ботом и высказать свое мнение как о работоспособности нашего прототипа, так и о перспективах развития ИИ в политической сфере.

Валерий Фёдоров: 

Бот мне, в принципе, понравился. Такого рода бот, робот-политолог, может быть полезен на двух стадиях аналитической работы. Первая — сбор материала. Он помогает не тратить слишком много усилий на первичный подбор данных. Вторая стадия — это когда уже готов продукт, и перед финальной обработкой думаешь, что не учел, что можно было бы еще добавить. На этой стадии тоже было бы полезно попользоваться услугами робота.

Но если все передоверять, то на выходе получатся банальные истории студенческого, непрофессионального уровня. Я бы рекомендовал его использовать тем, кто ставит на поток аналитические задачи, чтобы экономить время. То, что раньше можно было давать стажеру, сейчас можно пробовать роботом-политологом. Сейчас это робот стажер-политолог. В нем точно не надо искать креатив. Создание креатива — это пока компетенция человека-политолога. Что меня радует — значит, что наши дети будут есть хлеб с маслом.

Михаил Виноградов:

Я думаю, что сейчас — время экспериментов с искусственными интеллектами, ботами, это вполне естественно. Всегда есть риск быть чато/ИИ-сектантом или, наоборот, скептиком — но обе эти модели тупиковые. Поэтому попытаюсь найти и хорошее, и плохое. Позитивный факт — само появление сервиса. Это позволяет скорректировать стереотипы о том, что профессии экспертов теперь отомрут. Сам диалог с чатом показывает, что навык формулирования вопросов и интерпретации ответов на сегодня востребован, поэтому те из экспертов, кто освоит этот формат (кажется, у этого есть теперь название «промпт-инжиниринг») даже получит новые возможности. Ведь эксперт часто ценен не столько ответами (в гуманитарных науках у них часто условная степень точности), сколько способностью задавать неожиданные вопросы и предлагать парадоксальные гипотезы. Что касается минусов, то сервис показался мне избыточно «ботаническим». Ищущим правильный ответ на вопрос, подобно студенту-отличнику. В то же время ниша политического эксперта — это не просто правильные ответы на правильные вопросы. Это — «социальный дизайн», позволяющий предъявлять политический мир более интересным и упорядоченным, чем он есть на самом деле. Это — не просто анализ и экспертиза, но и проектирование, разработка стратегий; отделение главного от второстепенного в потоке новостей. Эти скилы сервису ЦПК еще предстоит развивать. Надеюсь, что получится.

Константин Симонов:

Надо сказать, что когда мы, представители политического анализа, начинаем пробовать искусственный интеллект и различные чат-боты, мы испытываем двойственные чувства. С одной стороны, я пропитан общим ужасом, который нагнетается на тему того, что искусственный интеллект заменит нас и оставит без работы. И в этом плане, когда пробуешь чат-бот, то, конечно, начитавшись этого, ты проверяешь, заменит ли или еще есть время, т.е. пробуешь с тревожностью. В нашем случае чат-бот, в том числе основанный на моих текстах, что, конечно, является комплиментом для меня, но все равно опасения сохраняются. Пробуя чат-боты, не отпускает тревога по поводу того, способен он тебя заменить или нет. Но с другой стороны, опять же понимаешь, что все-таки чат-бот мог бы стать хорошим подспорьем, информационным, прежде всего инструментом. Как подсказчик. В этом плане я так думаю, что процесс донастройки искусственного интеллекта должен на первом этапе привести к тому, чтобы создатели чат-ботов сделали бы нам хорошего информационного помощника. Этот этап и будет самым полезным для аналитиков, который позволит сэкономить время и усилия. Только после этого возможно создание чат-ботов, которые бы смогли качественно заняться самым сложным — анализом и качественным политическим прогнозированием. Сейчас очевидно, что это самая востребованная часть политического анализа. До этого пока очень далеко.

Сейчас мы, аналитики, можем спать спокойно, потому что чат-боты еще до этой вершины не доросли. Пока они не доросли до информационных вершин. На данный момент мы не видим качественного информационного помощника, не говоря про хорошего аналитического собеседника, который смог бы с нами вести сократические беседы на политические темы. Это касается и того чат-бота, который я тестировал. На данный момент он «сыроват». На роль аналитика и прогнозиста он еще не годится, пока он совершает достаточно серьезные информационные ошибки. Я его пробовал в качестве прогнозиста, аналитика и информационного подспорья. Его нужно серьезно докручивать, даже по фактуре. В него нужно загружать больше текстов, я даже уверен, что они есть в том формате, в котором чат-бот заявлен. Здорово, что мы этим начинаем заниматься. Появляются профильные чат-боты, потому что понятно, что за этим будущее, хотя пока это и выглядеть как элемент развлечения. Пока чат-бот не годится на роль прогнозиста-аналитика и как информационный помощник он не дотягивает, нужно докручивать.

Алексей Чеснаков:

Среди сильных сторон работы «Первого Робота-Политолога»:

— оперативность;

— грамотно сформулированные общие оценки.

Среди сторон, требующих доработки:

— ответы на конкретные запросы;

— необходимость очень четкой формулировки запросов.

Такую тщательность в отношении к словам в реальной жизни заказчик или журналист редко допускают. В целом интересный опыт, который требует погружения, расширения и поиска будущей ниши на экспертном рынке.

Вместо выводов. Ограничения и перспективы технологии

1. Пока только помощник.

В силу особенностей архитектуры, подобный бот не справляется с выполнением креативных задач. Тем не менее, эксперты отмечают потенциал функционала ПРП в сфере информационного сопровождения. На данном этапе бот не может заменить набор знаний и умений эксперта, однако он может представить инструментарий для облегчения работы последнего.

2. Технология является перспективной.

Благодаря векторному представлению текста, бот за несколько секунд способен находить ответ среди большого объема неструктурированных данных. Высокий уровень развития нейросетей, генерирующих текст, позволяет представлять найденный ботом ответ в лаконичном виде. Тем не менее, существующая система также может совершенствоваться. В перспективе гибкая архитектура ПРП даёт возможность дополнять функционал новыми нейросетями и достижениями в сфере ИИ.

3. Данные — ключ к успеху

Развитие бота в роли информационного помощника требует от нас большей работы с данными — для качественной информационной поддержки в следующих версиях требуется включить в базу больше политологических изданий, книг, экспертных колонок, интервью и постов. Это позволит существенно расширить спектр знаний ПРП и снизить риск фактических ошибок в ответах.

Если вы являетесь политическим экспертом и хотите протестировать нашего бота, направьте заявку по адресу politologrobot@gmail.com с указанием ФИО и места работы.

Дисклеймер: эксперты, на базе материалов которых обучался бот, не несут ответственность за его заключения.

Теги: нейросети, робот, искусственный интеллект