Anthropic выпустила новую модель Fable 5 — самую умную модель в мире, построенную на новой архитектуре. Мы протестировали её на пяти тестах и сравнили с Opus 4.8.
Обзор модели Fable 5 ⏱ 0:00
•Fable 5 — это часть класса Mith, представленного в апреле компанией Anthropic.•Mith был доступен только государственным компаниям, сейчас выпущена урезанная версия Fable 5.•У Fable 5 ограничены функции кибербезопасности, серые темы автоматически переключаются на Opus 4.8.•Примеры возможностей: миграция 50 млн строк кодовой базы за один день (агентно), прохождение игры Pokémon без подсказок.•Fable 5 превышает Opus 4.8 по бенчмаркам, в два раза дороже и потребляет в два раза больше токенов.•Агентность выросла примерно на 20%.•До 22 июня модель можно использовать бесплатно (включена в план), после — оплата долларами. Доступна только в веб-решении и коворке, не в Claud-коде.Тест 1: Создание одностраничного сайта ⏱ 5:20
•Оба создали рабочие сайты, но Fable 5 сделал более анимированный и кликабельный результат.•Opus 4.8: футер красивый, есть кликабельная менюшка.•Fable 5: более задизайненный, анимированный, но кнопочка наехала.•Оба файла в описании.Тест 2: Написание игры «Змейка» ⏱ 5:33
•Opus 4.8: сразу запуск без старта, есть пауза (Space), змейка растёт и ускоряется.•Fable 5: более красивый интерфейс, есть Game over экран, рекорд сохраняется, змейка растёт.•Скорость выполнения примерно одинаковая (±10-15 секунд).Тест 3: Вёрстка по скриншоту (дизайн с Behance) ⏱ 7:33
•Opus 4.8: скопировал некоторые элементы, но не идеально (не вмещается, тени не все, отсутствуют фильтры).•Fable 5: более точная копия, лучше переданы цвета, границы мелких чисел.•Fable 5 закончил вёрстку почти в два раза быстрее Opus 4.8.Тест 4: Кибербезопасность — аудит уязвимостей ⏱ 9:37
•Fable 5 автоматически переключила запрос на Opus 4.8 из-за ограничений безопасности.•Переключившаяся модель нашла 22 уязвимости: 10 критических, 7 высоких, 4 средних, 1 низкий.•Opus 4.8 (запущенный напрямую) нашёл 23 уязвимости: 11 критических, 7 высоких, остальные объединены.•Opus 4.8 работал почти в два раза дольше.Тест 5: 3D-симуляция закона Кулона ⏱ 12:42
| Характеристика | Opus 4.8 | Fable 5 |
|---|
| Время создания | ~15 минут | ~2 минуты |
| Функции | Добавление зарядов, регулировка величины и знака, визуализация линий и векторов, пробные частицы, скорость времени, FPS 60-61 | Добавление зарядов, регулировка величины и знака, линии поля, частицы, удаление зарядов |
| Физическая корректность | Заряды не поглощаются, всё вращается, можно детально смотреть | Частицы поглощаются зарядами, стрелочек направления поля нет |
| Дизайн | Скромнее | Более красивый |
Ключевые выводы
•Fable 5 — урезанная версия Mith, доступная бесплатно до 22 июня, затем платная.•Fable 5 дороже Opus 4.8 в два раза и потребляет в два раза больше токенов.•Fable 5 превосходит Opus 4.8 по скорости выполнения (например, вёрстка и 3D-симуляция), но не всегда по качеству.•В тесте на кибербезопасность Fable 5 переключилась на Opus 4.8, что может ухудшить результат.•В тесте с 3D-симуляцией Fable 5 создал более красивый, но физически менее корректный симулятор по сравнению с Opus 4.8.Заключение
Модель выпущена, но по качеству написания кода она не выигрывает у Opus 4.8 в два раза, как заявлено. Агентная система, возможно, улучшена, но протестировать её не удалось.
