Integracja systemów da się przeprowadzić na trzy sposoby: przez API, przez bazę danych albo przez wymianę plików. API jest najbezpieczniejsze i najtrwalsze, baza danych najlepiej sprawdza się przy samym odczycie, a pliki działają tam, gdzie system nie oferuje nic innego. Wybór zależy głównie od tego, co udostępnia producent, czy dane mają być tylko czytane, czy także zapisywane, i jak szybko muszą trafić na miejsce.
Integracja przez API
API to oficjalny interfejs, przez który program przyjmuje i wydaje dane innym programom. Zapis przez API przechodzi przez tę samą logikę co praca użytkownika: system sam nada numer dokumentu, sprawdzi stan, policzy podatek i odrzuci dane, które nie mają sensu.
Zalety:
- producent traktuje interfejs jak umowę i zwykle uprzedza o zmianach,
- uprawnienia ustawiasz na poziomie konta integracyjnego, a nie całej bazy,
- dane mogą płynąć na bieżąco, także jako powiadomienia o zdarzeniach, które system wysyła sam.
Ryzyka są innego rodzaju. API bywa niepełne i nie obejmuje akurat tego pola, którego potrzebujesz. Bywa osobno licencjonowane. Ma limity liczby zapytań, więc masowy import trzeba rozłożyć w czasie. Przed startem sprawdź więc na środowisku testowym pełną ścieżkę, a nie samą dokumentację.
Integracja przez bazę danych
Gdy API nie istnieje albo nie pokrywa potrzeby, zostaje baza. Obowiązuje tu prosta zasada: czytać wolno, pisać prawie nigdy.
Odczyt ustaw tak:
- Osobne konto w bazie z prawem wyłącznie do odczytu i tylko do potrzebnych obiektów.
- Widoki zamiast zapytań do surowych tabel. Widok jest warstwą umowy: gdy po aktualizacji programu zmieni się struktura, poprawiasz jeden widok, a nie całą integrację.
- Widoki w osobnym schemacie albo osobnej bazie, żeby aktualizacja programu ich nie usunęła.
- Przy dużych odczytach replika albo kopia nocna, żeby zestawienie nie blokowało ludzi pracujących w systemie.
- Test widoków na kopii po każdej aktualizacji, zanim trafi ona na produkcję.
Zapis wprost do tabel omija logikę programu. Nikt nie zagwarantuje, że pominięta numeracja, rezerwacja albo wpis w tabeli pomocniczej nie wyjdzie przy zamknięciu miesiąca. Producent może też uznać taką ingerencję za powód do odmowy wsparcia. Jeśli zapis jest konieczny, użyj tabel buforowych albo importu, który program przetwarza sam.
Integracja przez pliki
CSV, XML albo inny uzgodniony format odkładany do katalogu wymiany to najstarszy sposób i wciąż potrzebny. Obsługuje go prawie każdy program, także taki, którego nikt już nie rozwija. Plik zostaje też jako dowód: widać, co dokładnie zostało wysłane.
Słabe strony wynikają z tego, że plik niczego sam nie pilnuje. Dlatego:
- zapisuj plik pod nazwą tymczasową i zmieniaj ją dopiero po zakończeniu zapisu, inaczej odbiorca wczyta połowę danych,
- waliduj cały plik przed importem, a nie wiersz po wierszu w trakcie,
- przenoś pliki do katalogów „przetworzone” i „błędy”, zamiast je kasować,
- ustal raz kodowanie znaków, separator oraz format dat i liczb, bo to częste źródło cichych przekłamań,
- nadawaj plikom nazwy z datą i numerem kolejnym, żeby zauważyć brak jednego z nich.
Wymiana plikami działa w rytmie harmonogramu. Nie nadaje się tam, gdzie stan magazynu ma być aktualny co do minuty.
Który sposób integracji systemów wybrać?
Kolejność pytań jest zwykle taka sama:
- Czy system ma API obejmujące potrzebne dane? Jeśli tak, to pierwszy wybór, szczególnie przy zapisie.
- Czy potrzebny jest tylko odczyt, na przykład do raportów? Wtedy widoki w bazie bywają prostsze i szybsze.
- Czy system oferuje wyłącznie import i eksport? Zostają pliki, z porządną obsługą katalogów.
- Jak świeże muszą być dane? Minuty wskazują na API, doba dopuszcza pliki.
Rozwiązania mieszane są normalne. Przykład: odczyt stanów z widoku, zapis zamówień przez API, a wymiana z biurem rachunkowym plikiem raz dziennie.
Sposób połączenia wybiera się pod zapis, nie pod odczyt. Błędny odczyt poprawisz jutro. Błędny zapis zostaje w dokumentach.
Jak obsłużyć błędy, powtórzenia i kolejki?
Integracja, która działa tylko wtedy, gdy oba systemy są włączone, a sieć nie zawodzi, nie jest gotowa. Różnicę robią cztery mechanizmy.
Kolejka. Komunikat najpierw trafia do kolejki, a dopiero z niej do systemu docelowego. Gdy ten nie odpowiada, dane czekają, zamiast ginąć.
Powtórzenia z rozróżnieniem błędów. Błąd chwilowy, taki jak przekroczony czas odpowiedzi, ponawiasz w rosnących odstępach. Błąd trwały, na przykład brak kontrahenta w kartotece, ponawiany w kółko niczego nie zmieni. Taki komunikat po kilku próbach trafia do osobnej kolejki odrzuconych i czeka na decyzję człowieka.
Idempotencja. Każda operacja dostaje unikalny identyfikator. Jeśli ten sam komunikat przyjdzie dwa razy, system docelowy rozpozna powtórkę i nie utworzy drugiej faktury.
Uzgodnienie. Raz na dobę porównaj liczbę i sumy dokumentów po obu stronach. To wyłapuje błędy, których żaden pojedynczy komunikat nie zgłosił.
Monitoring i utrzymanie integracji
Najgroźniejsza awaria integracji to cisza. Nic nie zgłasza błędu, po prostu od wtorku nie przyszło żadne zamówienie. Dlatego oprócz alarmów o błędach potrzebny jest alarm o braku ruchu w godzinach, w których ruch powinien być. Do tego mierz długość kolejki, wiek najstarszego komunikatu i liczbę odrzuconych oraz wskaż osobę, która na alarm reaguje.
Integracja często służy temu, żeby dobudować funkcję do programu, który już masz. Takie rozszerzenie potocznie nazywa się dostawką. Zobacz, kiedy dostawka do systemu wystarczy zamiast wymiany i jak podejść do modułu do programu, którego producent nie rozwija.
Takie połączenia projektujemy i budujemy w ramach integracji systemów i API. Usługi integracyjne, kolejki i monitoring muszą gdzieś stabilnie działać, a tym zajmujemy się w ramach DevOps i serwerów aplikacyjnych.