Startup TrustedRouter zebrał w rundzie seed 1,25 mln dolarów - jak donosi Axios - stawiając na coś, z czym my, founderzy budujący produkty oparte na sztucznej inteligencji, zmagamy się praktycznie codziennie: inteligentny routing zapytań między modelami. Ich otwartoźródłowa platforma dobiera konkretny model pod kątem kosztu i zastosowania, sięgając do puli ponad 600 modeli od 81 dostawców. Brzmi technicznie, ale dotyka czegoś bardzo namacalnego - rachunku za API, który potrafi wymknąć się spod kontroli, zanim zdążymy mrugnąć.
Prawdziwy problem: nie który model, tylko kiedy który
Pomyślmy przez chwilę o typowym produkcie, w którym warstwa AI obsługuje kilka różnych zadań naraz - klasyfikacja, generowanie, embeddingi, może moderacja treści. Każde z tych zadań ma swoją specyfikę: inne wymagania co do jakości, inne progi kosztowe, inną wrażliwość na opóźnienia. Do tej pory najczęściej rozwiązywaliśmy to ręcznie - hardcoded provider per feature albo własna warstwa abstrakcji, którą trzeba było utrzymywać i aktualizować przy każdej większej zmianie cennika u dostawcy.
Tutaj właśnie wchodzi TrustedRouter z obietnicą, że system sam zdecyduje, którego modelu użyć w danym momencie. Ponad 600 modeli w jednym miejscu to już nie ciekawostka, tylko sygnał, że twórcy traktują rynek dostawców jako coś, co wymaga ciągłej orkiestracji, a nie jednorazowej decyzji. Dla zespołów, które nie mają dedykowanego inżyniera ML od orkiestracji modeli, to potencjalnie spory oddech i mniej wieczorów spędzonych na gaszeniu pożarów w stylu "provider X znów podniósł ceny".
Co warto sprawdzić, zanim sięgniemy po takie narzędzie
Zanim jednak zaczniemy testować, przejdźmy przez kilka rzeczy, które warto potraktować jako naszą standardową checklistę myślenia - niezależnie od tego, czy ostatecznie wybierzemy TrustedRouter, czy zupełnie inne rozwiązanie.
Po pierwsze - otwarte źródło. To dla wielu z nas, founderów, ogromny plus, ale jednocześnie realne pytanie o społeczność wokół projektu i tempo jego rozwoju. Seed to wczesny etap, więc komercyjne wsparcie i długoterminowa mapa drogowa dopiero się rysują, a my nie lubimy budować na fundamencie, który może zniknąć za kwartał.
Po drugie - 81 dostawców pod jednym API. Brzmi wygodnie, ale oznacza też 81 różnych regulaminów, 81 polityk prywatności i 81 potencjalnych zmian, które mogą nas zaskoczyć z dnia na dzień. Routing sam w sobie tego nie rozwiązuje - nadal musimy wiedzieć, gdzie wysyłamy wrażliwe dane klientów i czy przypadkiem nie wypływają one przez granicę, której regulacje zabraniają.
Po trzecie - obietnica optymalizacji kosztowej. Warto przy pierwszych testach położyć konkretny budżet i konkretny workload, bo w paper benchmarks wszystko wygląda lepiej niż na produkcji o trzeciej w nocy, kiedy nagle jeden z providerów zaczyna zwracać timeouty i cały nasz "inteligentny" routing zaczyna się opierać na jednym, tym samym, najtańszym modelu.
TrustedRouter to dla naszej branży ciekawy sygnał, że warstwa orkiestracji nad modelami powoli staje się osobną kategorią produktową z własnym rynkiem. Warto go obserwować - nie dlatego, że musimy dziś podejmować decyzję, ale dlatego, że za pół roku podobnych narzędzi będzie znacznie więcej, a my będziemy chcieli wiedzieć, które z nich naprawdę ułatwiają nam życie, a które tylko ładnie wyglądają na stronie głównej.