Лучшие модели нейросетей: как выбрать модель под задачу без рейтинга
Лучшие модели нейросетей меняются быстрее рейтингов. Как выбрать модель под задачу: скорость или глубина, проверка на своём запросе и что сравнивать в ответах.
Д
Денис
Продакт LibraChat
7 мин чтения
Рейтинг меряет модели на чужих задачах, а выбирать тебе на своей. Лучшие модели нейросетей поэтому выбирают пробой. Сначала решаешь, что задаче нужнее, скорость или глубина рассуждений. Потом проверяешь самую простую модель и меняешь её, только если ответа не хватило.
Я проверил это на двух бытовых расчётах. С бюджетом поездки базовая модель справилась без единой ошибки. С тремя кредитами выбрала верно, но в платежах ошиблась на 5 и 14 рублей, а в переплате — на сотни. По этой разнице и видно, когда простой модели мало.
Реши, что нужнее задаче: скорость или глубина
Модель — это версия нейросети со своим характером: одна отвечает быстро и коротко, другая дольше думает и лучше держит длинную цепочку рассуждений.
Если без названий, видов три. Быстрые подходят для коротких бытовых дел: переписать, объяснить, придумать. Рассуждающие нужны для расчётов, решений с условиями и длинных документов. И есть отдельные модели для картинок. Их сравнивают так же, на одном описании: что из описания соблюдено, нет ли кривых надписей, как вышли лица и руки. Дальше в статье речь о текстовых задачах.
Рейтинги моделей меряют их на наборах тестовых задач и по голосам людей, которые сравнивают ответы вслепую. Лидер там меняется часто: выходят новые версии. Из рейтинга я бы брал не вердикт, а два-три кандидата, которых потом проверяешь своим запросом.
Для многих бытовых дел скорость важнее глубины. Попроси переписать сообщение соседу повежливее, и с этим обычно справляется самая простая модель. Глубина нужна, когда в задаче много условий или шагов:
расчёт с несколькими числами и промежуточными итогами;
решение, где надо взвесить плюсы и минусы при твоих условиях;
длинный документ, который нужно разобрать целиком, а не по кусочку;
задача, где одна ошибка в середине портит весь результат.
Есть и простой признак глубокой задачи: ты сам сидел бы над ней с листком бумаги, а не ответил бы сразу. Если твоё дело не похоже ни на один пункт, начинай с самой простой модели и не трать время на выбор.
Лучшие модели нейросетей проверяются на твоём деле
Самый честный тест — твоя собственная задача с понятным правильным ответом. Я взял расчёт, который могу проверить на калькуляторе:
Помоги распределить бюджет поездки на море для двоих на 7 дней: всего 120 000 рублей, билеты туда и обратно 38 000 на двоих, жильё 4 500 рублей за ночь, ночей 6. Сколько остаётся в день на еду и развлечения на двоих? Покажи расчёт по шагам и скажи, какой запас ты бы оставил на непредвиденное.
Суммы и число ночей замени своими. Для проверки подойдёт и бесплатный доступ: в LibraChat базовую модель открывают без карты, и срока у неё нет. Модель для текста там выбирается кнопкой в строке ввода, а у картинок свой выбор модели в разделе «Изображения».
Ответ разложил расчёт по строкам, и каждую можно проверить отдельно:
Жильё: 4 500 ₽ × 6 ночей = 27 000 ₽.
Остаётся: 120 000 – 65 000 = 55 000 ₽.
На 7 дней на двоих: 55 000 ÷ 7 ≈ 7 857 ₽ в день.
Я пересчитал. Всё сходится. Совет про запас тоже здравый:
Я бы оставил запас 5 000–7 000 ₽ на непредвиденное (медицина, перенос рейса, мелкие траты).
С таким запасом на день выходит от 6 857 до 7 143 рублей на двоих: 48 000 и 50 000 делим на семь. В ответе это округлено до 6 800–7 100, разница несущественная. Пересчитывать дневную сумму с учётом запаса я, кстати, не просил, а спрашивал только, какой запас оставить. Модель досчитала сама. Для такой задачи искать модель посильнее незачем.
Обрати внимание на просьбу «покажи расчёт по шагам». Именно она делает ответ проверяемым на любой модели: каждую строку можно сверить отдельно, а не верить одной итоговой цифре.
Когда ответа не хватает, поменяй модель или глубину
Теперь задача потруднее, где самая низкая ставка не значит самый дешёвый кредит:
Сравни три предложения по кредиту на 500 000 рублей на 3 года с ежемесячными равными платежами: банк А — 18% годовых без комиссий, банк Б — 16% годовых и страховка 30 000 рублей разово, банк В — 17% годовых и комиссия 1% от суммы при выдаче. Посчитай ежемесячный платёж и полную переплату по каждому с учётом страховки и комиссии, покажи расчёт и скажи, какое предложение дешевле.
Суммы и условия замени теми, что предлагают тебе. Это разбор своих цифр, а не финансовый совет: решение и условия договора остаются за тобой. Вывод ответ сделал верный:
Банк В — самое дешёвое предложение.
Так и есть. У банка Б ставка ниже всех, но разовая страховка съедает выгоду. А вот в цифрах нашлись неточности. Разницу между банками ответ оценил так:
Банк В выгоднее остальных на 3,7–16,5 тыс. рублей.
По формуле аннуитета выходит около 4,0 и 16,1 тысячи. Платёж в банке А по формуле 18 076 рублей, а в ответе 18 071. В банке Б 17 579 против 17 593. Для выбора банка это неважно. Для точного графика платежей — уже да.
Вывод верный, а точности не хватает: дальше либо глубже, либо калькулятор банка. Признаки, по которым такое видно:
цифры не сходятся при пересчёте;
ответ не учёл одно из условий запроса;
на уточнение приходит тот же ответ другими словами;
в длинном документе разобрано начало, а конец забыт.
Начинать стоит с самого запроса. Иногда слабый ответ лечится не моделью, а формулировкой: допиши условия, пример, нужный формат.
Если запрос уже хороший, первый рычаг — глубина рассуждений. В LibraChat она переключается только в браузере и только у части моделей. Режимов четыре, от «Быстро» до «Максимально», а между ними «Продуманно» и «Глубоко». В приложении переключателя нет, как и у части моделей в браузере: тогда сразу переходи к следующему шагу.
Следующий шаг — другая модель. Список моделей со временем меняется, поэтому перечислять их здесь нет смысла. В LibraChat часть моделей отмечена замком: они открыты только на тарифах выше, такое бывает и на платном тарифе.
И главное правило — менять что-то одно за раз. Сменил сразу и модель, и глубину, и формулировку запроса — и уже не поймёшь, что сработало. А для денежных расчётов есть проверка надёжнее любой модели: сверить итог с калькулятором банка или формулой.
Сравнивай лучшие модели нейросетей на одном запросе
Сравнение имеет смысл, только если запрос тот же самый, слово в слово. Скопируй его, отправь в другой модели или с другой глубиной и положи ответы рядом. Смотреть стоит на четыре вещи:
верны ли расчёты и факты, которые можно проверить;
соблюдены ли рамки: длина, формат, всё, о чём ты просил;
сколько правок нужно, чтобы результат можно было использовать;
нет ли в ответе того, чего ты не говорил.
Первым я проверяю последний пункт. Выдумку заметить труднее всего: она звучит так же уверенно, как правда, и в пересчёте её не поймаешь.
Сравнивать лучше на двух-трёх своих задачах, а не на одной. Модель может отлично считать и посредственно писать письма. С людьми ведь бывает так же.
Если по всем четырём пунктам ответы равны, бери ту модель, что быстрее, или ту, что доступна бесплатно. Если различаются, сначала отбрось ответ с ошибкой в расчётах или с выдумкой, то есть по первому и четвёртому пунктам. Из оставшихся бери тот, что держит рамки. Так и выбирается лучшая модель: не по рейтингу, а по тому, сколько правок осталось после неё.
Сделай одно сравнение на своей задаче
Возьми запрос, на котором тебя однажды подвёл ответ: путаный расчёт, длинное письмо, разбор документа. Допиши к нему «покажи по шагам», отправь базовой модели и отметь, справилась ли она. Если нет, повтори тот же запрос с другой глубиной или моделью и сравни по четырём пунктам. Если расчёт касается поездки или семейных денег, пригодятся статьи про поездку с нейросетью и семейный бюджет. А если записывать, какая модель справилась с какой задачей, через пару недель у тебя сложится свой рейтинг, точнее любого чужого. Попробуй начать с одного такого сравнения на этой неделе.
лучшие модели нейросетейбыт и личноевыбор нейросетимодели
