Firmowy program często potrzebuje od sztucznej inteligencji jednej etykiety, a nie rozbudowanej odpowiedzi. Na tej obserwacji TypeSafe AI zbudowało Jev, model do szybkiej klasyfikacji. Zainteresowanie programistów było tak duże, że trzy tygodnie po premierze konkurencyjną usługę pokazało OpenAI. Rywalizacja dotyczy kosztu tysięcy drobnych decyzji wykonywanych każdego dnia.
- Jev zwraca wybory, oceny i prawdopodobieństwa, które oprogramowanie może bezpośrednio wykorzystać
- Według Vercel model przetestowało niemal 13 proc. płacących zespołów w pierwszej dobie dostępności w AI Gateway
- OpenAI odpowiedziało usługą Decisions API, opartą na GPT-6 Luna i obsługującą tekst oraz obrazy
- O opłacalności automatyzacji decydują także pomyłki i nadzór, których nie obejmuje sam cennik modelu
Wiadomość klienta dotyczy faktury czy awarii? Dokument jest umową czy ofertą? Czy sprawa wymaga pilnej reakcji pracownika? Program oczekuje tu wyboru z ustalonego zestawu odpowiedzi. Jev ma obsługiwać takie rozstrzygnięcia szybko i tanio, zachowując wygodę opisywania kryteriów.
Zapisz się na newsletter BGR. Otrzymuj najlepsze informacje i porady, a także zaproszenia na eventy.
Klikając „Zapisz mnie”, potwierdzasz, że przeczytałeś i zgadzasz się z naszą Polityką prywatności.
Klasyfikacja od dawna należy do podstawowych zastosowań uczenia maszynowego. Tak działają choćby filtry spamu. Duże modele językowe ułatwiły jednak zmianę instrukcji i rozpoznawanie znaczenia tekstu bez budowania osobnego systemu dla każdego zadania. Ta elastyczność wiąże się z kosztami obliczeń oraz oczekiwaniem na odpowiedź.
TypeSafe próbuje połączyć językową elastyczność z ekonomią prostego klasyfikatora. Firma twierdzi, że Jev zwraca potrzebne wyniki razem, zamiast tworzyć wypowiedź fragment po fragmencie. Jak można łatwo wyjaśnić problem modeli AI? Użytkownik płaci za pełną pisemną odpowiedź, choć potrzebuje jedynie etykiety.
Założyciel TypeSafe Diogo Almeida wcześniej pracował w OpenAI. Sądził, że zapewnienie modelom niezawodności zajmie tydzień — rozwój trwał dwa lata. Szybkie zwrócenie poprawnie sformatowanej odpowiedzi i trafna ocena sytuacji okazały się osobnymi wyzwaniami.
Czytaj też: Agenci AI w obsłudze klienta i automatyzacji procesów
OpenAI odpowiada i zaczyna się porównywanie kosztów
Według Vercel w pierwszej dobie Jev wypróbowało ponad dwa razy więcej płacących zespołów niż przy wcześniejszych premierach w AI Gateway. To miara zainteresowania w tej usłudze, a nie dowód trwałego wdrożenia czy przewagi jakościowej.
6 października OpenAI udostępniło Decisions API. Usługa korzysta z GPT-6 Luna i zwraca wybór spośród opcji, ocenę liczbową lub prawdopodobieństwo spełnienia warunku. Producent deklaruje działanie do dziesięciu razy szybsze niż wywołanie tego samego modelu przez ogólne Responses API. Nie jest to porównanie szybkości z Jev.
Cenniki pokazują 0,042 dol. za milion tokenów wejściowych w Jev oraz 0,10 dol. w Decisions API. Tokeny to jednostki, na które system dzieli przetwarzany materiał. Obie usługi nie naliczają opłat za tokeny odpowiedzi. Jev przyjmuje obecnie tekst, podczas gdy rozwiązanie OpenAI może oceniać również obrazy, na przykład fotografie albo zrzuty ekranu.
Niższa stawka nie oznacza automatycznie niższego kosztu gotowego procesu. Trzeba doliczyć przygotowanie danych, integrację, ponowione zapytania i czas osób sprawdzających niepewne przypadki. OpenAI może przekonywać klientów wygodą korzystania z jednego dostawcy, a TypeSafe specjalizacją. O przewadze rozstrzygną wyniki wdrożeń.
Czytaj też: AI taniej o 80 proc. i wojna cenowa OpenAI
Najdroższa może okazać się pewna siebie pomyłka
W praktyce duże znaczenie ma sposób zadania pytania. Programista Aaron Roy opowiadał magazynowi „Fortune”, że prośba o wskazanie wiadomości wymagających uwagi przepuszczała ważne e-maile. Lepszy wynik uzyskał po doprecyzowaniu, że chodzi o pieniądze, dzieci lub sprawy medyczne. Model potrzebował jasnych kryteriów odpowiadających priorytetom użytkownika.
Podobnie działa próg pewności. Program może automatycznie przekazać zgłoszenie do odpowiedniego działu, a niepewny przypadek wysłać człowiekowi.
Wartość takiego mechanizmu zależy jednak od kalibracji, czyli czy deklarowane przez model prawdopodobieństwo odpowiada częstości trafnych ocen. Wysoka liczba przy błędnej odpowiedzi może dawać mylące poczucie bezpieczeństwa.
Test powinien obejmować koszt pomyłek. Błędne przekierowanie zwykłego pytania ma inny skutek niż przeoczenie pilnego zgłoszenia. Obniżenie progu pewności zwiększa udział spraw rozstrzyganych bez człowieka, ale może pomnożyć błędy. Oszczędności na modelu łatwo stracić podczas ich naprawiania.
Dla polskich sklepów internetowych i centrów usług to szansa na tańsze sortowanie korespondencji, reklamacji i dokumentów. Potrzebne są jednak testy na polskich tekstach, skrótach oraz słownictwie branżowym. TypeSafe wskazuje, że Jev radzi sobie najlepiej po angielsku, więc wyników zagranicznych demonstracji nie należy automatycznie przenosić na lokalną obsługę.
Nazwa Jev odsyła do ekonomisty Williama Stanleya Jevonsa. Opisane przez niego zjawisko pozwala zrozumieć, dlaczego tańsza pojedyncza decyzja AI może zachęcić firmy do automatyzowania większej liczby czynności. Warunkiem pozostaje trafność wystarczająca do obsługi prawdziwych klientów.
