@NeuralProfit · личные тесты

Сравнение моделей на живых задачах

Один промпт для всех, одна попытка, без подсказок. Ниже живые дашборды, которые собрала каждая модель: переключай вкладки и сравнивай. Таблица к посту про GPT-6.2 Sol, GPT-6.1 Sol и Qwen3.8-Omni-Flash.

Обновлено 18 ноября 2026 Моделей в таблице: 7 Тестов: 2
Тест 1 · главный

Почему продажи растут, а прибыль падает

Что за задача и как считаю баллы

Я собрала отчеты выдуманного магазина на маркетплейсе за август, сентябрь и октябрь: продажи, возвраты, реклама, остатки, тарифы, себестоимость, акции. 7 файлов, больше 3 000 строк, внутри 5 спрятанных причин. Задание: найти причины, посчитать потери, сделать дашборд одним HTML-файлом и письмо, что делать первым. За каждую причину 1 балл, если нашла, и еще 1, если примерно верно посчитала потери. Максимум 10.

Дашборды живые: переключай вкладки и листай прямо тут. Это ровно то, что модель выдала с первой попытки, без правок.

Сводная таблица

МодельБаллыВремяЦенаПропажу 1 120 шт.ДашбордКоротко
Claude Opus 5.5приложение Claude, агент 10/10 7:49 ≈ $2,70 по API нашел открыть Самый быстрый. Завысил цифру потерь в шапке дашборда
Claude Sonnet 5.5приложение Claude, агент 10/10 10:44 ≈ $2,45 по API нашел открыть Самый наглядный: график по неделям и план до кнопок в кабинете
Kimi K3.1 ProClaude Code в терминале, API Moonshot 9,5/10 ≈ 21:00 ≈ $1,70 не заметила открыть Стильный дизайн, но не выделила размер S у худи. Дважды упиралась в дневной лимит
Qwen4-MaxQwen Studio, режим агента 10/10 20:00 бесплатно
60% недельного лимита
нашел открыть Прибыль по месяцам совпала с ключом до тысячи. Смешивал языки («Что happend») и сам исправлял
GPT-6.2 Sol новоеCodex, уровень High, тариф Plus 10/10 13:00 1% недели
6% 5-часового лимита
нашел открыть Прибыль по месяцам до рубля. В письме завысил потерю от скидки на футболку: 802 тыс. вместо примерно 300
GPT-6.1 Sol новоеCodex, уровень High, тариф Plus 10/10 12:00 1% недели
9% 5-часового лимита
нашел открыть Прибыль по месяцам и доплату за логистику (346 880 ₽) посчитал до рубля
Qwen3.8-Omni-Flash новоеQwen Studio, режим агента, 5 файлов* 10/10 26:00 бесплатно
30% недельного лимита
не заметила открыть Самая медленная, но единственная разобрала, куда ушли деньги со счета: 3,98 млн заморожено в остатках
5 из 7заметили пропажу 1 120 органайзеров, которую я не прятала
12 и 13 минGPT-6.1 Sol и новая GPT-6.2 Sol: по скорости и баллам разницы нет
0 ₽стоили прогоны обеих Qwen на бесплатном тарифе

* В чате Qwen Studio у Flash можно прикрепить не больше 5 файлов, поэтому тарифы, себестоимость и акции я сложила в один файл. Данные те же.

Тест 2

Договор на рекламу с 8 ловушками

Договор блогера с рекламодателем на 60 000 ₽. Внутри 8 ловушек: бесконечные правки, пост нельзя удалить никогда под штраф 300 000 ₽, все права на контент и лицо навсегда, эксклюзив на год по всему ИИ, маркировка целиком на блогере, оплата без срока, урезание цены по «прогнозу» заказчика, несимметричные штрафы. Плюс 5 нормальных пунктов, чтобы поймать модель на выдуманных рисках. Обычный чат, файл .docx вложением.

МодельЛовушкиВремяЛимитВыдуманные рискиКоротко
Qwen4-MaxQwen Studio, «Мышление» 8/8 6:00 бесплатно
4% недельного лимита
0 Самый подробный: статьи ГК, штрафы за маркировку. Сам ходил в интернет, снова смешал языки («за THEIR»)
Claude Opus 5.5приложение Claude, размышления High 8/8 3:30 1% недели, тариф Pro 0 Короче всех, сразу с планом торга и предоплатой
Claude Sonnet 5.5приложение Claude, размышления High 8/8 2:10 1% недели, тариф Pro 0 Самый быстрый и структурный, добавил лимит ответственности блогера
GPT-6.2 Sol новоеCodex, уровень High 8/8 4:00 1% недели, Plus 0 Самый длинный и «юридический»: к каждому пункту готовая редакция и ссылки на законы
GPT-6.1 Sol новоеCodex, уровень High 8/8 4:00 1% недели, Plus 0 Со ссылками на законы и расчетом оплаты при отмене кампании
Qwen3.8-Omni-Flash новоеQwen Studio, «Мышление» 8/8 5:00 бесплатно
0% недельного лимита
0 Таблицей с готовыми формулировками. Смесь языков: «Теoretically», «unilateral’но»
Раньше в канале

Первое сравнение на этой задаче

Kimi, Opus и Sonnet с разбором и видео: пост в канале.