AI Fusion — моят личен AI хъб
Собствен AI хъб, през който минават всички AI заявки на моите приложения — обединява десетки безплатни API ключове от 5 доставчика зад един OpenAI-съвместим адрес.
Защо съществува
По едно време имах четири приложения, всяко със собствена логика за AI заявки: собствени ключове, собствени ретраи, собствени бъгове около лимитите. Реших, че искам да реша проблема веднъж — и после никога повече.
Така се роди AI Fusion: един адрес, един токен, а зад тях — десетки безплатни API ключове от пет различни доставчика, всеки със собствени лимити и настроения.
Как работи
Клиентът казва например „дай ми бърз безплатен модел“. Хъбът превръща това в подреден списък от опити: кой доставчик, кой модел, кой ключ. Ако ключът удари лимит — „изстива“ за определено време и заявката тихо продължава към следващия. Ако всички ключове почиват, отговорът не е грешка, а честно съобщение: „опитай след 40 секунди“. Клиентите знаят точно кога да се върнат, вместо да гадаят с exponential backoff.
Всички ключове са шифровани в покой, всяка заявка се измерва и таксува виртуално, а метриките се виждат в Prometheus. Поддържа три входни „диалекта“ — OpenAI, Anthropic и Gemini — така че всяко SDK, което вече ползвам, просто работи.
Какво научих
Че rate limit-ите са по-интересен инженерен проблем от самите AI модели. И че най-хубавата инфраструктура е тази, за която приложенията ти дори не подозират.