БЕГЕМОТІВ НЕМА

Thread Rating:
  • 0 Vote(s) - 0 Average
  • 1
  • 2
  • 3
  • 4
  • 5
у Штрауба - теперь станет на 70% больше токенов !!! на 70% больше бегемото-травли.
#1
у Штрауба - теперь станет на 70% больше токенов !!!
на 70% больше бегемото-травли. 



Новий спосіб заощадження до 70% лімітів і витрат на токенах Claude Fable 5 полягає у конвертації великих обсягів тексту (системних промптів, документації та логів коду) у звичайні зображення (формату PNG) перед відправкою моделі. [1, 2]
Розробник під ніком teamchong виклав на GitHub безкоштовний інструмент під назвою pxpipe, який автоматизує цей процес. Завдяки специфіці тарифікації компанії Anthropic, цей трюк дозволяє перетворити умовний рахунок у $100 приблизно на $41, а для окремих великих запитів — зменшити його до $28. [1, 2]
## ? Чому цей лайфгак працює?
Модель Claude Fable 5 є мультимодальною (чудово розпізнає зображення). Головний секрет криється в особливостях обчислення токенів Anthropic: [2, 3, 4]

*
* Текстовий формат: Великі масиви тексту, коду, структурованого JSON або виводів термінала зчитуються посимвольно й швидко спустошують дорогоцінне контекстне вікно моделі. [2]
* Графічний формат: Картинка фіксованої роздільної здатності (наприклад, завширшки 1568 пікселів) оцінюється у фіксовану (і порівняно невелику) кількість токенів. [2]
* Щільність даних: Якщо «запакувати» щільний дрібний текст у графічний файл, модель зчитає його за допомогою своїх OCR-можливостей (розпізнавання тексту), але вартість обробки за тарифом зображення буде в рази меншою, ніж за тарифом звичайного тексту. [1, 2]
*

## ⚙️ Як працює утиліта pxpipe?
Инструмент діє як локальний проксі-сервер для інтерфейсів на кшталт Claude Code: [2]

  1. Він перехоплює системний промпт, супутню документацію чи застарілу історію контексту.
  2. Автоматично рендерить цей текст у компактні зображення.
  3. Надсилає нові (поточні) повідомлення користувача у звичайному текстовому вигляді, а важку "базу знань" додає як картинку. [1, 2]

## ⚠️ Головні підводні камені та критика
Попри вражаючі цифри економії, ШІ-інженери застерігають користувачів від надмірного захоплення цим методом через наступні нюанси: [5, 6]

*
* Обнулення Prompt Caching: Сучасні моделі Anthropic використовують розумне кешування промптів (Prompt Caching), яке надає знижку до 90% на повторне читання незмінних системних інструкцій у тексті. Динамічно згенерована картинка щоразу сприймається моделлю як абсолютно новий об'єкт. Через це в деяких сценаріях замість економії можна навпаки отримати більший рахунок. [6, 7]
* Ризик галюцинацій та втрати деталей: Хоча зір у Fable 5 чудовий, ШІ все ж може пропустити дрібний символ (наприклад, крапку з комою ; або дужку в коді) під час розпізнавання тексту з картинки, що критично для програмування.
*

## ? Альтернативні методи економії на Fable 5
Якщо ви не хочете ризикувати з картинками, розробники рекомендують інші перевірені способи знизити витрати: [8]

*
* Маршрутизація архітектури (Оркестрація): Використовувати супердорогу Fable 5 лише для високорівневого планування та архітектури (як Advisor чи Orchestrator), а написання безпосереднього рутинного коду доручати значно дешевшій моделі Claude Sonnet.
* Використання MarkItDown: Для великих PDF-файлів замість прямого завантаження (де кожна сторінка кодується як важке зображення) використовувати плагіни від Microsoft на базі репозиторію [MarkItDown GitHub](https://github.com/microsoft/markitdown). Вони миттєво переводять документ у легкий Markdown-текст, заощаджуючи до 70% токенів без втрати кешу. [9, 10, 11, 12]
*

Чи використовуєте ви Claude Code для розробки, і які саме обсяги контексту найчастіше спалюють ваші ліміти? Можу допомогти налаштувати правильне кешування промптів або підібрати оптимальні плагіни для стиснення логів. [8, 13]

[1] [https://ua.linkedin.com](https://ua.linkedin.com/posts/pasha-lysy...67200-QzXx)
[2] [https://habr.com](https://habr.com/ru/news/1055444/)
[3] [https://dou.ua](https://dou.ua/forums/topic/59994/)
[4] [https://habr.com](https://habr.com/ru/news/1045642/)
[5] [https://x.com](https://x.com/doucommunity/status/2075882849836667111)
[6] [https://www.facebook.com](https://www.facebook.com/andriy.bilous.7...090391046/)
[7] [https://www.anthropic.com](https://www.anthropic.com/claude/fable)
[8] [https://automationconsulting.com.au](https://automationconsulting.com.au/tech...d-methods/)
[9] [https://www.instagram.com](https://www.instagram.com/reel/Da8P5V6MYcf/)
[10] [https://www.instagram.com](https://www.instagram.com/reel/Da9ZKslkgyQ/)
[11] [https://www.instagram.com](https://www.instagram.com/p/Da-sXzIyRbj/)
[12] [https://www.instagram.com](https://www.instagram.com/reel/Da-sXzIyRbj/)
[13] [https://www.mindstudio.ai](https://www.mindstudio.ai/blog/reduce-cl...settings-2)
Reply


[-]
Quick Reply
Message
Type your reply to this message here.

Image Verification
Please enter the text contained within the image into the text box below it. This process is used to prevent automated spam bots.
Image Verification
(case insensitive)

Forum Jump:


Users browsing this thread: 1 Guest(s)