Политические эксперты в Telegram

от 16 января 2023

Рейтинг влиятельности авторов на повестку и качество контента

1. Введение 

Влиятельность авторских Telegram-каналов экспертов-политологов растет. Причем отмечается увеличение как количества каналов, так и размера аудитории, которая интересуется их контентом. Если раньше на площадке доминировали анонимные авторы, а основной контент политического Telegram на первых этапах появления функционала каналов сводился к спекуляциям вокруг различных якобы инсайдов и сливов, то теперь все большую роль играют аналитические материалы.

Такое изменение фокуса внимания свидетельствует о росте спроса на ответственную аналитику. Многочисленные анонимы не рискуют репутацией, так как не подписываются под своими рассуждениями. За авторским же каналом стоит конкретный человек с определенной репутацией и профессиональным бэкграундом. Все чаще Telegram выступает не площадкой для обсуждения разных вбросов и проведения информационных кампаний, а полем для борьбы интерпретаций. И в вопросах интерпретаций бОльшим весом обладают эксперты с именем.

Поэтому в данном исследовании мы проанализировали контент авторских политических Telegram-каналов, которые ведутся общепризнанными экспертами. Для определения пула таких экспертов мы провели серию полуформализованных интервью с представителями отрасли.

Большинство актуальных исследований и метрик фокусируются на простых количественных показателях каналов: подписчики и просмотры. При этом подобный подход в условиях наличия ботов и накруток крайне неинформативен и требует добавления качественных показателей влияния на повестку.

Важность данного исследования обуславливается приближением большого электорального цикла 2023-2024, который будет включать в себя как важные региональные кампании (выборы мэра Москвы и др.), так и ключевую кампанию — выборы президента в марте 2024 года.

Очевидно, что авторские Telegram-каналы будут играть важную роль не только в генерации контента, но и определенной калибровке политической повестки. Практика функционирования политического Telegram показывает, что эксперты зачастую выступают в роли субъектов формирования новых поворотов и интерпретаций внутри формируемого информационного потока.

Кроме того, наличие качественных показателей и непосредственный анализ текстов постов, а также кластерный анализ Telegram-сеток распространения контента каждого автора, позволит фиксировать спланированные информационные кампании и вбросы.

Данный мониторинг станет регулярным, чтобы фиксировать динамику развития Telegram-каналов экспертов-политологов, а также отслеживать структурные изменения в политическом Telegram.

2. Эксперты

Центр политической конъюнктуры в предыдущих исследованиях на тему экспертных сообществ уже отмечал проблему формирования квалифицирующих признаков, позволяющих отнести того или иного субъекта публичного дискурса, во-первых, к экспертам, а во-вторых, экспертам нужного нам профиля.

Нами было сформулировано и апробировано на практике следующее определение эксперта:

«Эксперт — лицо, обладающее специальным набором знаний, навыков и опытом в определенной отрасли, которые позволяют ему давать квалифицированные оценки относительно процессов, протекающих внутри и вокруг этой отрасли».

Для того, чтобы сформировать список экспертных авторских Telegram-каналов о политике, необходимо определить набор качеств, которым должны соответствовать авторы. Мы разделили эти качества на базовые (безусловные) и опциональные (условные):

Набор качеств
Infogram

Соответствие базовым квалифицирующим факторам является обязательным для попадания в основной блок экспертов. Соответствие опциональным условиям может повлиять на включение экспертов в дополнительный пул экспертов, которые могут попасть в основной перечень в будущих мониторингах.

Список экспертов
Infogram

3. Основные результаты

Первое место в рейтинге занял Telegram-канал ‘Политолог Орлов’, набрав 58 баллов из 80 возможных.

Сервис Telemetr указывает на признаки использования накруток у Telegram-канала ‘Политджойстик/Politjoystic’. Сервис Tgstat выявил схожие признаки у Telegram-канала ‘Политбюро 2.0’. Что привело к снижению оценки.

Общие тренды. Политолог — животное информационное

Неравномерность активности авторов. Эксперты привязаны к актуальной повестке, что доказывает доминирование функций интерпретаторов, а не генераторов информационного потока.

Заметные скачки публикаций пришлись на март и сентябрь 2022 года, начало СВО и частичной мобилизации соответственно. После каждого из подъемов активность авторов снижалась, и количество ежемесячно публикуемых постов падало с 5 — 5.5 тысяч до примерно 3.5 тысяч. Тем не менее до минимума, наблюдаемого до февраля (~2.5 тысячи), показатели ни разу за год не опускались.

Quantity of Posts
Infogram

Демонстративная объективность. С точки зрения эмоциональной окраски, посты в среднем на 60% нейтральные или безэмоциональные, что характерно для риторики экспертного сообщества. При этом негативная тональность заметно преобладает относительно положительной — средний показатель в 20% против среднего, равного менее 5%.

Sents
Infogram

Фокус на внутреннюю повестку. Несмотря на общее внимание к украинскому кризису (‘Украина’, ‘война’), активное обсуждение регионов, областей, губернаторов и выборов сигнализирует о том, что основное внимание экспертного сообщества в 2022 году было приковано к событиям и процессам внутренней политики.

Наиболее обсуждаемым актором стал президент России В. Путин, ему уступают как российские политики, так и главы других стран (Д. Байден, Э. Макрон, О. Шольц, В. Зеленский и др.).

Эксперты также активно затрагивали тему экономических последствий внешнеполитических процессов («экономика», «санкция», «рубль»).

WC
Infogram

Аудитория и охваты

Базовым количественным показателем является число подписчиков на канале эксперта. Наибольшая аудитория зафиксирована у Telegram-канала Екатерины Шульман* — около 450 тысяч подписчиков.

Топ-3 рейтинга замыкают экспертные каналы ‘Железная логика’ (около 200 тысяч) и ‘Белковский’ (163 тысячи).

Впрочем, количество подписчиков хоть и является наиболее популярной и простой метрикой определения востребованности автора, учитывая экономику внимания Telegram, она не является определяющей.

Куда важнее считается вовлеченность аудитории — EER (Engagement Rate by Reach), отношение средних показателей охвата постов к количеству подписчиков.

Наиболее высокие результаты зафиксированы у канала ‘Homo Politicus. Мария Сергеева’ — 459,4% аудитории читают посты эксперта (т.е. почти в 5 раз больше, чем фактическое число подписчиков).

Высоких показателей также добились каналы ‘Старовойтов о политике’ и ‘Gleb Pavlovsky’ — 363.3% и 158.8% соответственно.

Индекс цитирования отражает, насколько экспертный канал популярен не у публики, а среди коллег — чем чаще на эксперта ссылаются, тем выше будет данный показатель.

Наиболее цитируемым стал Telegram-канал ‘Политджойстик/Politjoystic, — его индекс равен 2 889.

Второе и третье место занимают Telegram-каналы ‘The Гращенков’ (922) и Telegram-канал ‘Чеснаков’ (804) соответственно.

Количество и качество

Больше всего постов за изучаемый период времени — у Telegram-канала ‘Блог Олега Матвейчева’. Более 8.5 тысяч авторских публикаций — это примерно 1/6 от общего числа анализируемых постов.

В топ-3 также входят каналы ‘Белковский’ и ‘Политджойстик’ (5 865 и 5 234 постов соответственно).

Средний показатель по публикациям для политэксперта — 1609 постов, медианный — 697.

Во многом активный темп публикации объясняется сравнительно меньшим размером постов у ‘рекордсменов’. Самые ‘объемные’ публикации принадлежат каналам ‘Политолог Орлов’, ‘The Гращенков’ и ‘Vladimir Pastukhov' (311, 224 и 208 слов соответственно).

В среднем пост политических Telegram-каналов состоит из 88 слов, медианный показатель — 36.

Словарь политического эксперта

Использование метрики TF-IDF позволяет выявить риторику, специфичную для каждого канала, учитывая не только высокую частоту упоминания слов автором, но и принимая во внимание тот факт, что эти слова должны относительно редко встречаться в текстах остальных экспертов. Таким образом выявляется специфическая риторика, присущая каждому каналу.

Основываясь на данной метрике, были созданы облака слов для каждого автора.

WC TF_IDF
Infogram

Политическая наука — в массы

Даже если эксперт не обладает базовым политологическим образованием или соответствующей ученой степенью, обсуждение политической действительности предполагает использование специфического политологического лексикона. Активное обращение к общепринятой терминологии — один из индикаторов компетентности автора, а также способ демонстрации причастности к экспертному комьюнити.

Активнее всего политологической лексикой пользуются авторы каналов ‘АСАФОВ’ (22.4%), ‘Политесса Кислицына’ (19.5%) и ‘Старовойтов о политике’ (19%).

Несмотря на то, что отличия среди каналов в сравнительной перспективе присутствуют, разброс значений довольно небольшой — всего 12% (минимальный показатель ~10%, максимальный — 22%, средний и медианный — 15%). Это может сигнализировать о попытках политологов писать на понятном широкой аудитории языке.

Уникальность контента

Обзор и аналитика схожего пула новостей сказывается на том, что авторы используют одни и те же слова, термины, концепты. В подобных условиях становится важным сохранить свою уникальность, выделяться на фоне коллег. Для каждого автора мы определили топ-3 канала, контент которых больше всего похож на его или её посты.

CS_TOP3
Infogram

Затем для каждого автора было посчитано среднее значение косинусного сходства, что и стало показателем уникальности текста — чем значение ниже, тем меньше сходство с остальными текстами, а значит, тем контент и оригинальнее.

Впрочем, показатель определяет не идейную уникальность контента, а скорее тематическую и лексическую. Чем больше узконаправленных тем касается и чем более оригинальный язык использует автор, тем больше он или она выделяется на общем фоне.

Можно заметить закономерность — многие из каналов, публикующие наибольшее количество постов, в контексте уникальности контента уступают место коллегам. Обилие информации рано или поздно сказывается на том, что эта информация начинает ‘перекликаться’ с тем, что транслируют другие каналы.

Объективность оценки

Важным показателем, влияющим на уровень доверия к оценкам эксперта, является объективность. Измерение феномена объективности напрямую не представляется возможным, однако за счет косвенного признака, а именно эмоциональной вовлеченности автора, можно сделать вывод о том, насколько беспристрастно, спокойно и профессионально он оценивает те или иные события.

Наиболее нейтральные в эмоциональном плане тексты у канала ‘АСАФОВ’ — в среднем, комментарии эксперта с вероятностью 76% нейтральны.

Второе место занимает ‘Политолог Орлов’ - 72.5%, на третьем — ‘Политесса Кислицына’ с показателем 72.1%.

Экспертные кластеры

Кластерный анализ сетей распространения контента экспертных каналов позволяет выделить 8 сообществ, объединённых общей аудиторией. В контексте данного исследования, под определение аудитории понимаются каналы, ссылающиеся на экспертов из нашего списка и имеющие не менее 10 тысяч подписчиков. Подобное ограничение было взято в учет, так как граф, построенный на всех каналах, упоминающих или ‘репостящих’ экспертов в 2022 году, был бы менее читаем и, соответственно, менее информативен.

Важно отметить, что кластерный анализ не позволяет выявить наличие или отсутствие скрытых договоренностей, финансовых или иных мотивов авторов, состоящих в одном кластере. Этот метод позволяет показать общность контента и аудитории Telegram-каналов, попадающих в один кластер.

1) Наибольший кластер — «красный».

Эксперты, попавшие в него: ‘Политджойстик/Politjoystic’, ‘Что-то знаю / Павел Данилин’, ‘Политген’, ‘Чисто для фиксации’. 

Чаще всего на них ссылались каналы ‘Украина. Спецоперация. Мониторинг СВО’, ‘Асфальт’, ‘Незыгарь’, ‘Политический анархист’, ‘Novosti Новости СМИ’, ‘Темы. Главное (ГлавМедиа)’, ‘Новый век’, ‘Русинформ’.

2) Второе по величине сообщество — «синий» кластер.

Его формируют эксперты ‘Екатерина Шульман’, ‘Белковский’, ‘Аббас Галлямов’, ‘Gleb Pavlovsky’ и ‘Vladimir Pastukhov’.

Самые крупные узлы в этом сообществе: ‘Живой гвоздь’, ‘Московская Прачечная’, ‘Политрук 2.0’, ‘СВЕЖЕСТИ’.

3) «Зелёный» кластер занимает третье место по объему аудитории.

Его представляют экспертные каналы ‘ЧАДАЕВ’ и ‘Логика Маркова’.

Относительно выделяющийся канал кластера — ‘Русские грамоты’.

4) В «жёлтый» кластер были объединены эксперты ‘Stanovaya Тяга’, ‘Как бы Mikhail Vinogradov’, ‘Старовойтов о политике’, ‘Александр Сайгин’, ‘Калачев-пост’, ‘The Гращенков’, ‘Kynev’.

Каналы, чаще всего упоминающих данных экспертов: ‘BRIEF’, ‘Неудаща’, ‘Т34’

5) «Фиолетовый» кластер: схожесть аудитории была выявлена у ‘Homo Politicus. Мария Сергеева’, ‘Политбюро 2.0’, ‘Политолог Орлов’, ‘Политесса Кислицына’.

Крупные узлы сети: ‘URALNEWS’, ‘Замгубернатора’, ‘Тайны Ленинградского двора | Мобилизация’

6) «Оранжевый» объединил каналы ‘Чеснаков’, ‘Железная логика’ и ‘Блог Олега Матвейчева’.

Среди каналов, ссылающихся на экспертов: ‘ДОКТОР СОСНОВСКИЙ’, ‘СОЛОВЬЕВ’, ‘ВЕСЕЛОВСКИЙ’

7) «Бирюзовый» кластер состоит из одного экспертного канала — ‘АСАФОВ’.

Крупные узлы аудитории: ‘Говорит Москва’, ‘ИЗОЛЕНТА live’, ‘Радио Sputnik’.

8) Отдельно от всех каналов стоит «светло-зелёный» кластер. Его формирует экспертный Telegram-канал Владимира Гельмана, на который чаще всего ссылается Константин Сонин.

Если рассматривать межкластерные связи, то следует отметить близость аудиторий «красного», «жёлтого» и «фиолетового» кластеров. Отчасти с ними связаны «зелёный», «оранжевый» и «бирюзовый» кластера. В меньшей степени представлена связь с «синим» кластером (она есть благодаря преимущественно связям с экспертными каналами ‘Белковский’ и ‘Аббас Галлямов’). Со «светло-зелёным» кластером у остальных сообществ никаких пересечений нет.

4. Выводы и прогнозы

1. Ставка на интерпретацию. Анализ показал, что большинство авторов среди существующих экспертных форматов в Telegram (интерпретация, исследования, доклады, отчеты) предпочтение отдают именно интерпретации. С одной стороны, это объясняется спросом, так как читателям больше всего интересны горячие инфоповоды. С другой — спецификой самой площадки, подразумевающей поиск различных версий происходящего.

2. Субъектность важнее объективности. Следствием концентрации экспертов на повестке, а также их непосредственное участие в дискуссии «здесь и сейчас», превращает их из сторонних наблюдателей, фиксирующих происходящее, в непосредственных субъектов политического процесса. Эта специфика будет оказывать значительное влияние на контент авторских Telegram-каналов в электоральный период.

3. Максимизация аудитории влияет на язык. Большинство авторов не прибегают к использованию сложных академических понятий для взаимодействия с широкой аудиторией. С одной стороны, это расширяет потенциальную аудиторию канала, с другой — упрощает как сам анализ, так и выводы, сделанные на основе данного анализа.

4. Эксперты — на любой вкус. Несмотря на то, что большинство авторов интерпретируют одни и те же события, наблюдается высокая стилистическая и лексическая вариативность. У потенциальных потребителей политического контента большой выбор авторов.

5. Происходит атомизация экспертного сообщества. Кластерный анализ продемонстрировал, что большинство экспертов не обладает ярко выраженной сеткой дистрибуции контента, что отличает их от сетевых анонимных Telegram-каналов. Ключевым вопросом позиционирования экспертов в преддверии старта большого электорального цикла является то, заручатся ли они информационной поддержкой со стороны крупных игроков рынка политического Telegram.


5. Методика

Итоговый рейтинг авторских Telegram-каналов формируется посредством анализа качественных и количественных параметров канала, которые отражают две основные характеристики: влияние на повестку и качество контента

Перечень параметров1
Infogram

Каждый из параметров переведен в 4-балльную шкалу: если показатели эксперта больше 75-ого процентиля (т.е. больше, чем 75% показателей выборки) или равны ему, то он или она получает 4 балла по данной метрике; если больше 50-го процентиля или равны ему, но меньше 75-го, — 3 балла; если больше 25-го процентиля или равны ему, но меньше 50-го — 2 балла; если меньше 25-го процентиля — балл.

Ресурс1.png

Учитывая, что все параметры имеют разное значение в итоговой оценке влиятельности и качества контента, каждому из показателей присвоен свой вес. Итоговый балл рассчитывается по формуле:

ERR * 4 + Индекс цитирования * 3,5 + Степень уникальности * 3 + Использование профессиональной лексики * 2,5 + Публикационная активность автора * 2 + Объем постов * 1.5 + Аудитория * 1 + Эмоциональная сдержанность * 0,5

Вес
Infogram

Таким образом, чем больше число, на которое умножается показатель, переведенный в 4-балльную шкалу, тем выше его значимость в контексте итогового рейтинга (от большего к меньшему). Максимально возможный итоговый балл — 80.

Дополнительно мы проверили каждый из каналов на предмет замеченных ранее нечестных способов продвижения (например, накрутка подписчиков) с помощью сервисов TGStat и Telemetr. Для каналов, использовавших подобные инструменты, итоговый балл уменьшается на 10% от максимально возможного, т.е. на 8 баллов.

Описание параметров

Влиятельность на повестку

1. Средний охват одной публикации — ERR (Engagement Rate by Reach). Устойчивая метрика для анализа охватов, которая считается по формуле: среднее количество просмотров / подписчики × 100. Для всех экспертов считается среднее количество просмотров. Впоследствии, данные автора о просмотрах делятся на количество подписчиков и умножается на 100 — в результате получается ERR — процент аудитории канала, вовлечённой в просмотр его контента.

2. Индекс цитирования. Показатель отражает, насколько часто эксперт упоминается в других каналах (‘репосты’ также учитываются). Данные собираются с помощью публичного сервиса TGStat.

3. Публикационная активность автора. Общее количество уникальных постов автора за анализируемый период.

4. Аудитория. Данные о количестве подписчиков, актуальные на 1 января 2023 года.

Качество контента

1. Степень уникальности (оригинальности). Для сравнения содержательной составляющей публикаций используется векторное представление текстов. Данный процесс состоит из 4-х этапов. 

• Первый. Для всех слов, содержащихся в текстах экспертов, рассчитывается TF-IDF — показатель, позволяющий определить ‘важность’ слова для каждого из каналов. Чем выше этот показатель для слова в документе N, тем чаще слово встречается в N и тем реже — в коллекции документов, в которую входит N. В нашем случае документ N — это единый текст, в который объединены посты канала N, коллекция документов — это корпус, состоящий из объединенных текстов для каждого из каналов, попавших в выборку. 

• Второй. Каждый документ преобразовывается в вектор, на месте ‘координат’ которого находятся показатели TF-IDF для каждого из слов, упомянутых в коллекции (если слово упоминалось в коллекции, но не упоминалось в этом документе, то его показатель будет равен 0). 

• Третий. Для каждого из документов (каналов) рассчитывается косинусное сходство с остальными документами (каналами), т.е. косинус угла между текстами-векторами (0 — ничего общего, 1 — полное совпадение, не учитывая порядок слов). 

• Четвертый. Определяется степень уникальности канала как его среднее значение косинусного сходства.

2. Использование профессиональной (экспертной) лексики. Расчет доли политологических терминов относительно общего количества слов в публикациях. Сами термины взяты из источника ‘Политология: Словарь-справочник’ (изд. «Гардарики», 2001 год).

3. Объем постов. Анализируется количество слов в каждом опубликованном посте. Параметр позволяет понять, насколько развернуто доносится экспертная интерпретация.

4. Эмоциональная сдержанность экспертов. Для определения тональности текстовой составляющей используется библиотека Dostaevsky. Модель, предварительно обученная на размеченных данных RuSentiment, выявляет эмоцию, которая транслируется в тексте с наибольшей вероятностью (neutral, positive или negative, классы skip и speech мы не рассматриваем). На основе предсказаний модели для каждого эксперта высчитывается средняя вероятность нейтральной окраски постов.

Кластерный анализ

Заключительным этапом исследования, который не влияет на рейтинг, однако позволяет лучше проанализировать связи между каналами, а также выявить определенные взаимосвязи между экспертами и другими крупными каналами (интерпретационными хабами), является кластерный анализ.

Граф строится на основе того, какие Telegram-каналы чаще всего ссылаются на экспертов из рейтинга. С помощью автоматической кластеризации графа мы выявляем определенные группы среди целевой аудитории и как они друг с другом взаимодействуют. В граф берутся каналы с аудиторией более 10 тыс. подписчиков.

Данные

Из каждого Telegram-канала, отобранного для анализа, были выгружены посты, опубликованные в период с 1 января 2022 года до 31 декабря 2022 включительно. В ходе сбора учитывались только авторские посты; ‘репосты’ сторонних материалов были исключены. В итоге для анализа было подготовлено 50 239 постов, общее количество слов – 4 383 194. В качестве малоинформативных, но часто встречающихся стоп-слов, удаляемых для частотного анализа, был взят расширенный список для русского языка (за исключением слов ‘Москва’ и ‘война’), опубликованный в рамках проекта Stopwords ISO. Также, из текстов были автоматически удалены хэштеги и ссылки.

*Внесена Минюстом РФ в реестр СМИ-иноагентов

Теги: Telegram, эксперты

Другие материалы раздела

Предметный разговор Предметный разговор
от 30 января 2023

Как изменилась риторика депутатов осенью 2022 года

Госдума на марше Госдума на марше
от 23 января 2023

Как голосовали депутаты Госдумы в рамках осенней сессии 2022 года.

Говорящие депутаты Говорящие депутаты
от 31 августа 2022

Анализ выступлений парламентариев в рамках весенней сессии 2022 года.