AI w chmurze czy na dedykowanej infrastrukturze: jak ocenić rzeczywiste ograniczenia

«Chcę prywatnej sztucznej inteligencji» to niemal zawsze odpowiedź na konkretną obawę: że dane firmowe trafią tam, gdzie nie powinny. To uzasadniona obawa, ale nie wystarcza do wyboru między usługą w chmurze, dedykowaną infrastrukturą a serwerem w firmie. Wyboru dokonuje się na podstawie spisanych wymogów, zestawionych z tym, czego każde rozwiązanie wymaga w zakresie kompetencji, utrzymania i kosztów powtarzalnych. Ten poradnik służy do zbudowania takiej listy.

Co naprawdę musicie Państwo zdecydować

«Gdzie znajduje się model» to konsekwencja, a nie pytanie wyjściowe. Pytania, które trzeba sobie zadać wcześniej, są cztery.

• Jakich danych dotknie system i które z nich nie mogą opuścić Państwa obszaru. Często jest to niewielka część całości: pewne kategorie dokumentów, a nie całe archiwum.
• Co się stanie, jeśli usługa będzie niedostępna przez pół dnia. Jeśli praca się zatrzymuje, wymóg ciągłości zmienia wszystko pozostałe.
• Kto będzie to utrzymywał, z imienia i nazwiska, przez najbliższe trzy lata. To wymóg najczęściej pomijany, a jednocześnie decydujący bardziej niż jakikolwiek inny.
• Jak przewidywalne jest użytkowanie. Stałe obciążenie i obciążenie skokowe płaci się w bardzo różny sposób.

Trzy warianty i czego wymagają w zamian

Upraszczając, opcje są trzy. Tabela porównuje to, czego wymaga każda z nich, a nie to, co obiecuje.

Żadna kolumna nie jest lepsza w sposób absolutny: każda przesuwa pracę i ryzyko w inne miejsce. Chmura przesuwa je na umowę, dedykowana infrastruktura na relację z dostawcą, serwer lokalny na Państwa.

Kompetencje, które pozostają po Państwa stronie

Serwer w firmie to nie tylko włączony komputer. To zadania, które ktoś musi wykonywać stale i które nie znikają, gdy ta osoba zmienia pracę.

• Aktualizacje systemowe i bezpieczeństwa, z oknem czasowym, w którym można je wykonać, nikogo nie zatrzymując.
• Kopie zapasowe danych i konfiguracji, z co najmniej jednym przetestowanym odtworzeniem.
• Zarządzanie dostępami: kto może korzystać z systemu, kto może zmieniać jego zachowanie, kto czyta rejestry.
• Wymiana uszkodzonego sprzętu, wraz z czasem potrzebnym na jego zdobycie.
• Aktualizacja modeli, która nie jest automatyczna ani bezbolesna: to, co działało, może zacząć zachowywać się inaczej, i trzeba to przetestować ponownie.

Jeśli te zadania spadają na osobę, która ma już dwadzieścia innych, system pozostanie w wersji z dnia instalacji. To nie pesymizm: to zwyczajny los serwerów zapomnianych w szafie.

Umowy i przepływy danych

W przypadku usługi zewnętrznej gwarancje znajdują się w umowie i dokumentacji technicznej, a nie na stronach handlowych. Rzeczy do sprawdzenia na piśmie jest niewiele, ale są konkretne.

• Gdzie dane są przetwarzane i przechowywane oraz czy może się to zmienić bez uprzedzenia.
• Jak długo pozostają oraz co się dzieje po zamknięciu usługi.
• Czy Państwa treści mogą być wykorzystywane do trenowania modeli i jak można to wykluczyć.
• Kto po stronie dostawcy ma do nich dostęp i w jakich przypadkach.
• Co jest rejestrowane z Państwa użytkowania i przez jaki czas.

Warto przyjrzeć się też łańcuchowi: wiele usług korzysta pod spodem z innych usług. Dostawca, który nie potrafi powiedzieć, od kogo zależy, niekoniecznie coś przed Państwem ukrywa, ale też niczego nie może zagwarantować.

Test na tym samym przypadku użycia

Wybór kończy się testem, a nie porównaniem na papierze. Warunkiem jest to samo zadanie, te same dane i ta sama miara.

1. Wybrać prawdziwe i wyraźnie ograniczone zadanie, z prawdziwymi dokumentami, w tym trudnymi.
2. Przygotować zestaw przykładów, których poprawną odpowiedź już Państwo znają. Bez tego porównanie pozostaje jedynie wrażeniem.
3. Przetestować każdą opcję na tym samym zestawie, mierząc jakość odpowiedzi, czas oczekiwania i zachowanie, gdy informacji brakuje.
4. Oszacować koszt przy realistycznym wolumenie rocznym, a nie przy wolumenie testu: to właśnie tutaj opcje naprawdę się od siebie różnią.
5. Doliczyć wewnętrzne godziny pracy: te poświęcone na test i te na przyszłe utrzymanie.

Rzetelny test trwa kilka tygodni i może zakończyć się wnioskiem «żadna z trzech, problem nie leży w modelu». To wynik równie użyteczny jak pozostałe.

«Lokalny» nie znaczy bezpieczny

Utożsamianie danych trzymanych u siebie z danymi chronionymi to skrót myślowy, który prowadzi do błędnych zakupów.

Wybór nie musi być nawet jednoznaczny. Częstym i rozsądnym podziałem jest zatrzymanie najbardziej wrażliwych dokumentów wewnątrz, z lokalnym systemem, który je przeszukuje, i wysyłanie na zewnątrz zadań niewymagających danych poufnych. Kosztem tego rozwiązania jest złożoność: dwa systemy do utrzymania i reguła określająca, co może przechodzić z jednego do drugiego. Jeśli tej reguły nie da się zapisać w trzech zrozumiałych dla użytkowników zdaniach, zostanie ona obchodzona.

Czego nie obejmuje ten poradnik

Tu dokonuje się wyboru, gdzie uruchomić system oparty na modelach, wychodząc od ograniczeń. Pozycje kosztu powtarzalnego już działającego asystenta — zużycie związane z użytkowaniem, przegląd odpowiedzi, aktualizacje — są omówione osobno, podobnie jak zarządzanie uprawnieniami, rejestrami i kopiami zapasowymi systemu do zarządzania firmą, tu jedynie zasygnalizowane.