Dwa lata temu odpowiedź była prosta: modele w chmurze były nieporównywalnie lepsze, a własne wymagały zespołu badawczego. Dziś otwarte modele, które da się uruchomić na jednym serwerze z kartą GPU, wystarczają do większości zadań firmowych, a chmura dorobiła się umów powierzenia i regionów w UE. Decyzja przestała być techniczna, a stała się biznesowa.
Co naprawdę oznacza „własny model”
Własny model nie oznacza, że firma trenuje coś od zera. Oznacza, że gotowy, otwarty model językowy jest uruchomiony na sprzęcie pod Waszą kontrolą: na serwerze w firmie albo w centrum danych, w którym macie wydzielone środowisko. Zapytania i dokumenty nie wychodzą poza ten serwer.
Do tego dochodzi często warstwa, która łączy model z Waszymi danymi: wyszukiwanie w dokumentach, bazie wiedzy albo systemie spraw. To ona daje większość wartości, a nie sam model. I to ona wymaga środowiska z bazą, kopiami, dostępami i kimś, kto to utrzymuje.
Chmura publiczna to z kolei dostęp do modeli dostawcy przez API albo przez asystenta w pakiecie biurowym. Nie utrzymujecie niczego, płacicie za użycie, a dane przetwarza dostawca na warunkach z umowy.
Kryterium pierwsze: jakość odpowiedzi
Największe modele w chmurze nadal są lepsze w trudnych zadaniach: wieloetapowym rozumowaniu, pisaniu kodu, pracy na bardzo długich dokumentach. Jeśli Wasze zastosowanie to właśnie to, chmura wygrywa.
Modele lokalne dorównują im w zadaniach powtarzalnych i dobrze określonych: klasyfikacja zgłoszeń, streszczenia, odpowiadanie na pytania z własnej bazy wiedzy, wyciąganie danych z faktur i umów. W firmie to jest większość pracy. Różnicę w jakości warto zmierzyć na własnych dokumentach, a nie na rankingach, bo rankingi mierzą zadania, których firma nie wykonuje.
Kryterium drugie: dane
Tu decyzja bywa prosta. Jeśli dane są objęte tajemnicą zawodową, regulacjami branżowymi albo NIS2, nie powinny trafiać do chmury, nawet z umową. Kancelaria, biuro rachunkowe, placówka medyczna, producent z dokumentacją technologiczną: model lokalny.
Jeśli dane są wewnętrzne, ale nie wrażliwe, chmura z umową firmową, regionem UE i wyłączonym trenowaniem jest wystarczająca. O tym, jak to sprawdzić u dostawcy, piszemy w tekście o tym, gdzie trzymać dane przy wdrażaniu AI.
Kryterium trzecie: koszt
Chmura jest tańsza na starcie: nie ma sprzętu, płacicie za zużycie. Przy małym wolumenie, kilku tysiącach zapytań miesięcznie, zostaje tańsza na zawsze.
Własny model kosztuje na starcie serwer z GPU albo abonament za środowisko w centrum danych, a potem utrzymanie. Zaczyna się opłacać, gdy wolumen jest duży i stały: tysiące dokumentów dziennie, asystent, z którego korzysta cała firma, przetwarzanie nocne. Wtedy rachunek za chmurę rośnie liniowo z użyciem, a koszt serwera stoi w miejscu.
Jest jeszcze koszt, którego nie widać w cenniku: czas ludzi na utrzymanie. Serwer z GPU, który stoi w firmie bez kopii, monitoringu i aktualizacji, po roku jest problemem. Dlatego własny model ma sens albo z własnym zespołem IT, albo w środowisku, które ktoś utrzymuje za Was.
Kryterium czwarte: czas odpowiedzi i dostępność
Model w chmurze zależy od internetu i od dostawcy. Dla asystenta w biurze to nie problem. Dla systemu na linii produkcyjnej, w pojeździe albo w placówce, która musi działać przy awarii łącza, to problem zasadniczy. Model lokalny odpowiada w sieci firmowej, bez zależności od świata zewnętrznego.
Dochodzi przewidywalność. Dostawcy chmurowi zmieniają modele, ceny i limity. Własny model działa tak samo w przyszłym roku, dopóki sami nie zdecydujecie o zmianie.
Model mieszany, czyli jak kończy większość firm
W praktyce rzadko wybiera się jedno. Typowy układ wygląda tak: zadania na danych wrażliwych i duże wolumeny idą do modelu lokalnego, zadania trudne i rzadkie do chmury z umową firmową. Użytkownik nie wybiera, gdzie trafi jego zapytanie, bo reguła jest wbudowana w środowisko.
Taki układ wymaga jednego miejsca, w którym oba modele są dostępne na tych samych zasadach: z logowaniem firmowym, logami, kopiami i kontrolą kosztów. Bez tego firma kończy z trzema narzędziami i nikt nie wie, które jest do czego.
Lista pytań przed decyzją
Jakie zadania chcecie oddać AI i czy są powtarzalne, czy raczej trudne i rzadkie. Jakie dane do nich trafią i czy któreś z nich nie mogą opuścić firmy. Ile zapytań miesięcznie realnie będzie, dziś i za rok. Czy aplikacja musi działać bez internetu. Kto będzie utrzymywał serwer, jeśli stanie w firmie.
Odpowiedzi na te pięć pytań wystarczą, żeby wybrać drogę. Jeśli nie wiecie, jak na nie odpowiedzieć, zacznijcie od małego pilotażu w chmurze na danych, które mogą tam trafić, i zmierzcie jakość oraz wolumen. Decyzję o własnym modelu podejmiecie wtedy na liczbach, nie na przeczuciu.