Псевдонимный разработчик создал то, что он называет «эвалюацией свободы слова», SpeechMap, для искусственного интеллекта, управляющего чатботами, такими как ChatGPT от OpenAI и Grok от X. Цель состоит в том, чтобы сравнить, как различные модели обращаются к чувствительным и спорным вопросам, разработчик рассказал журналу TechCrunch, включая политическую критику и вопросы о гражданских правах и протесте.
Компании по искусственному интеллекту сосредотачивают свое внимание на том, как их модели обращаются с определенными темами, поскольку некоторые сторонники Белого дома обвинили популярных чатботов в излишней 'просветленности'. Многие близкие соратники президента Дональда Трампа, такие как Илон Маск и криптовалютно- искусственный интеллектуальный 'царь' Дэвид Сакс, утверждали, что чатботы цензурируют консервативные точки зрения.
Хотя ни одна из этих компаний по искусственному интеллекту не ответила на обвинения прямо, несколько из них пообещали настроить свои модели так, чтобы они менее часто отказывались отвечать на оспариваемые вопросы. Например, для своих последних моделей Лама Meta заявила, что подстроила модели так, чтобы не поддерживать 'некоторые точки зрения больше, чем другие', и отвечать на более 'обсуждаемые' политические моменты.
Разработчик SpeechMap, который использует имя пользователя 'xlr8harder' на X, сказал, что его мотивацией было помочь в информировании дебатов о том, что модели должны, и не должны, делать.
'Я считаю, что эти обсуждения должны происходить публично, а не только в корпоративных офисах', - сказал xlr8harder журналу TechCrunch по электронной почте. 'Вот почему я создал сайт, который позволяет любому исследовать данные самостоятельно'.
SpeechMap использует модели искусственного интеллекта, чтобы оценить, соответствуют ли другие модели заданному набору тестовых промптов. Промпты касаются целого ряда тем, от политики до исторических повествований и национальных символов. SpeechMap записывает, соответствуют ли модели 'полностью' запросу (т. е. отвечают на него без уклонения), дают 'уклончивые' ответы или прямо отказываются отвечать.
Xlr8harder признает, что тест имеет недостатки, такие как 'шум' из-за ошибок поставщика модели. Также возможно, что 'судейские' модели содержат предвзятости, которые могут повлиять на результаты.
Но предполагая, что проект был создан добросовестно и что данные достоверны, SpeechMap раскрывает некоторые интересные тенденции.
Например, по данным SpeechMap, модели OpenAI с течением времени все чаще отказываются отвечать на запросы, связанные с политикой. Новейшие модели компании, семейства GPT-4.1, немного более снисходительны, но все же поправка от модели, выпущенной компанией OpenAI в прошлом году.
В феврале OpenAI объявила, что будет настраивать будущие модели так, чтобы они не занимали редакторскую позицию и предлагали несколько точек зрения по спорным вопросам - все это с целью придать своим моделям более 'нейтральный' вид.
Самой снисходительной моделью из всех является Grok 3, разработанная стартапом по искусственному интеллекту Илона Маска xAI, согласно бенчмаркингу SpeechMap. Grok 3 подает питание для нескольких функций на X, включая чатбота Grok.
Grok 3 отвечает на 96,2% тестовых запросов SpeechMap, по сравнению со средним мировым 'процентом соответствия' в 71,3%.
'Хотя модели OpenAI становятся все менее снисходительными с течением времени, особенно в отношении политически чувствительных запросов, xAI движется в противоположном направлении', - сказал xlr8harder.
Когда Маск объявил о Grok примерно два года назад, он представил модель иссеченной, нефильтрованной и анти-'просветленной' - в общем, готовой отвечать на спорные вопросы, на которые другие системы искусственного интеллекта не ответят. Он сдержал часть этого обещания. Попросите быть вульгарным, например, Grok и Grok 2 с радостью подчинятся, выплевывая красочный язык, который вы, вероятно, не услышите от ChatGPT.
Но прежние модели Grok до Grok 3 уклонялись от политических тем и не пересекали некоторые границы. Фактически, одно исследование показало, что Grok расклонялся к политической левой стороне в вопросах, таких как права трансгендеров, программы разнообразия и неравенство.
Маск винит эту структуру в обучающих данных Grok - публичных веб-страницах - и пообещал 'перевести Grok ближе к политически нейтральному'. За исключением громких ошибок, таких как кратковременная цензура некрасивых упоминаний президента Дональда Трампа и Маска, кажется, что он мог бы достичь этой цели.
