PR-агентство Идеи&Решения провело эксперимент – соревнование человека и ИИ в создании заголовков для кампаний продвижения продуктов. Участвовал специалист по связям с общественностью и две самые известные в России нейросети — YandexGPT и ChatGPT. Условием поединка стала генерация 30 заголовков новостей для гипотетического производителя фасадных красок. Забегая вперёд, скажем: человек победил, вопрос в том, как долго он сможет сохранять свое преимущество?
События на арене
По условиям от всех участников требовалось выдать как можно больше заголовков на заданную тему. Ниже определённого количества идей нельзя было опускаться, однако общее их число критерием успеха не являлось. Результат поединка выглядит так:
— YandexGPT — 18 идей за одну минуту;
— ChatGPT — 27 идей почти за две минуты;
— человек — 26 идей за 30 минут.
Критерием адекватности стали внутренние стандарты качества новостей PR-агентства Идеи&Решения, которые успешно применяются на практике с 2006 года. Было использовано два ключевых критерия:
1. Заголовок, предложенный соревнующимся, должен отвечать на вопрос: «Что случилось?», а также быть информативным и не рекламным. Качественный вариант получал 1 балл, не соответствующий критерию — 0;
2. Новостные идеи участников оценивались по «силе» по пятибалльной шкале, где 5 — новость, которую могут принять ведущие СМИ.
Идеи, представленные анонимно, оценивала судейская коллегия из 11 опытных специалистов компании. Вот что получилось в результате:
По скорости с огромным отрывом победил искусственный интеллект, которому для генерации нужно было не более пары минут. Человеку понадобилось полчаса.
По качеству с разгромным счётом победил специалист — свыше 90 % вариантов от нейросетей жюри забраковало. Человек выдал 86 % рабочих идей.
Почему так произошло
Ни одна нейросеть пока не считается интеллектом в человеческом понимании. На сегодня любой их результат — текст или рисунок — является более-менее осмысленной компиляцией интернет-контента, а не собственным творчеством. В специфических формах работы с текстом, таких как хедлайнинг, это ведёт к потере качества, то есть перестаёт соответствовать требованиям СМИ.
Между различными жанрами деловых текстов (новость, информационное сообщение, пресс-релиз и пострелиз) существует разница, формализовать которую трудно. На практике даже человека с профильным образованием сложно научить видеть нюансы, а наработка навыка требует времени — несколько недель, а то и месяцев под руководством опытного специалиста.
Крайне затруднительно объяснить ИИ различия между подачей заголовков, принятой в разных СМИ, которые человек воспринимает на интуитивном уровне. Скажем, фирменным стилем «Коммерсанта» давно стала игра слов на грани фола, а вот «Ведомости» или «Российская газета» предпочитают сухие и информативные варианты.
Против ИИ в сочинении заголовков играют лингвистические особенности русского, который не имеет жёсткой грамматической конструкции, облегчающей токенизацию лексем и последующее обучение. Формализовать язык, где множество смыслообразующих флексий и знаков препинания, затруднительно — нейросети практически невозможно объяснить, какой смысл имеет заголовок «Казнить нельзя помиловать».
А ключевым препятствием для того, чтобы ИИ полностью вытеснил человека из специфичной сферы хедлайнинга, является, что парадоксально, сам источник существования нейросети — интернет. AI учится на неисчерпаемом количестве контента, наполняющем Всемирную паутину, однако 90 % заголовков, на которых её натаскивают, в лучшем случае рекламны, в худшем — бессмысленны. И чем больше производство такого контента, генерируемого большими языковыми моделями (LLM), тем ниже общее его качество.
Об этом говорит свежее кембриджское исследование, которое доказывает, что многократное применение сгенерированных LLM текстов для обучения нейросетей ведёт к необратимым дефектам в конце концов — контент быстро теряет смысл.
Илья Шумайлов, один из авторов работы, рассказал, что даже если 10% исходных данных для обучения ИИ является творчеством человека, модель всё равно терпит крушение в ближайших итерациях, хотя и с меньшей скоростью, чем если нейросеть учится только на сгенерированных текстах. И так как темпы «искусственной» генерации контента растут экспоненциально, эта грань (10% человеческого творчества) либо уже перейдена, либо это произойдёт в ближайшем будущем.
Что с этим всем делать
Работать. Решение задач генерации текста выше среднего уровня искусственному интеллекту пока не по зубам, а к этому классу относится всё нестандартное, в том числе те же PR-заголовки. Однако в сфере примитивных решений (а потребность рынка в этом велика) нейросети уже обладают рабочим функционалом и, вероятно, уже совсем скоро вытеснят «живых» конкурентов с этого поля.
Если говорить о грамотности, то продукт ИИ практически не уступал заголовкам, написанным живым автором, многие идеи можно назвать адекватными, однако не соответствующими задаче: написать заголовок релиза. Ключевое отличие — высокая рекламность заголовков от нейросетей, но этим отличается не только искусственный интеллект, но и начинающие пиарщики.
Об авторе: Сергей Пархоменко, управляющий партнёр коммуникационного агентства Идеи&Решения