Migracja danych ze starego systemu udaje się wtedy, gdy jest powtarzalnym procesem, a nie jednorazową akcją w noc przełączenia. Potrzebujesz mapy pól, skryptów czyszczących, co najmniej jednej migracji próbnej z porównaniem liczby rekordów i sum kontrolnych oraz planu powrotu z wyznaczoną godziną decyzji.

Od czego zacząć migrację danych ze starego systemu?

Od mapowania pól. To tabela, w której każda kolumna starej bazy ma przypisany los: dokąd trafia w nowym systemie, w jakim typie, po jakim przekształceniu albo dlaczego nie jest przenoszona.

Dobra mapa obejmuje też to, czego w starej strukturze nie widać:

  • pola używane niezgodnie z nazwą, na przykład numer telefonu w polu „Uwagi” albo status zamówienia zakodowany pierwszą literą opisu,
  • wartości słownikowe wpisywane ręcznie, czyli ta sama forma płatności zapisana na pięć sposobów,
  • relacje, które istnieją tylko w kodzie programu, bez powiązań zapisanych w bazie,
  • pola wyliczane: jedne nowy system policzy sam, inne trzeba przenieść jako historyczny fakt, bo dawne reguły liczenia już nie obowiązują.

Mapę zatwierdza osoba, która zna dane z codziennej pracy, a nie sam programista. To ona wie, że dopisek „NIE WYSYŁAĆ” w nazwie klienta nie jest literówką.

Czyszczenie: duplikaty i niespójności

Stare bazy zbierają bałagan latami. Typowe znaleziska to ten sam kontrahent założony kilka razy z różną pisownią, dokumenty wskazujące na usunięte kartoteki, numery identyfikacyjne zapisane raz z kreskami, raz bez, oraz rekordy testowe, których nikt nie skasował.

Dwie zasady. Po pierwsze, czyść skryptem, a nie ręcznie w starej bazie. Skrypt uruchomisz ponownie przy każdej próbie, a ręczne poprawki przepadną albo ktoś zrobi je inaczej. Po drugie, o scalaniu duplikatów decyduje biznes. Skrypt przygotowuje listę kandydatów, a człowiek potwierdza, które kartoteki to naprawdę ten sam klient i która wersja danych wygrywa.

Rekordów, których nie da się naprawić automatycznie, nie gub po cichu. Trafiają do raportu odrzuceń razem z powodem, a raport ktoś czyta przed przełączeniem.

Kodowanie znaków i formaty dat w starych bazach

To dwa miejsca, w których migracja psuje się niezauważenie.

Kodowanie. Programy z czasów DOS zapisywały polskie litery w kilku różnych stronach kodowych, między innymi Mazovia i CP852. Starsze aplikacje okienkowe używały zwykle Windows-1250. Bywa, że w jednej bazie leżą dane w dwóch kodowaniach, bo program kiedyś wymieniono, a danych nie przekonwertowano. Zanim przeniesiesz wszystko do Unicode, sprawdź na próbce, które kodowanie dotyczy których tabel i lat. Test jest prosty: po migracji wyszukaj nazwiska i miejscowości z literami ą, ę, ł, ś, ż, ź i policz rekordy ze znakami zastępczymi.

Daty. W starych bazach spotkasz daty zapisane jako tekst w kilku układach, lata dwucyfrowe, daty „zerowe” oznaczające brak wartości oraz daty niemożliwe, jak 31 lutego. Dla każdej kolumny ustal regułę: co jest pustą datą, jak rozwijać rok dwucyfrowy, co robić z wartością spoza zakresu. Osobno potraktuj czas, jeśli nowy system zapisuje go w UTC, a stary zapisywał czas lokalny bez oznaczenia strefy.

Tak samo uważaj na liczby: separator dziesiętny, kwoty trzymane jako tekst i zaokrąglenia robione po swojemu.

Jak sprawdzić, czy dane przeniosły się poprawnie?

Migracją próbną na pełnej kopii produkcji. Nie na wycinku, bo błędy siedzą w nietypowych rekordach sprzed lat. Po każdej próbie porównujesz stary i nowy system na trzech poziomach:

  1. Liczba rekordów w każdej tabeli. Rachunek musi się zamknąć: źródło równa się przeniesione plus odrzucone plus scalone.
  2. Sumy kontrolne. Dla pól liczbowych to suma wartości dokumentów w każdym roku, stany magazynowe na wybrany dzień, salda rozrachunków. Dla pól tekstowych przydaje się skrót liczony z wartości wiersza po obu stronach, po sprowadzeniu ich do tego samego formatu.
  3. Próbka ręczna. Kilkadziesiąt dokumentów wybranych przez użytkowników, w tym te najdziwniejsze, obejrzanych ekran po ekranie.

Próba mierzy też czas. Przykład: jeśli pełna migracja trwa dziewięć godzin, a okno na przełączenie ma osiem, lepiej dowiedzieć się o tym kilka tygodni wcześniej niż w nocy z soboty na niedzielę.

Przełączenie: zamrożenie zmian i plan powrotu

Na czas ostatecznej migracji stary system przechodzi w tryb tylko do odczytu. Użytkownicy wiedzą, od której godziny nie wprowadzają danych, a integracje i zadania nocne są zatrzymane. Bez zamrożenia część zmian trafi do starej bazy już po zrobieniu zrzutu i zniknie.

Plan powrotu spisz wcześniej, na spokojnie:

  • do której godziny można zdecydować o wycofaniu i kto podejmuje tę decyzję,
  • jakie wyniki kontroli oznaczają „wracamy”, na przykład niezgodne salda,
  • jak odblokować stary system i wznowić integracje,
  • co z danymi wprowadzonymi w nowym systemie, jeśli powrót nastąpi po kilku godzinach pracy.

Ostatni punkt jest najtrudniejszy. Dlatego pierwsze godziny po starcie to kontrola i praca wybranych osób, a nie pełny ruch całej firmy.

Co zrobić z archiwum i jak możemy pomóc

Nie wszystko musi trafić do nowego systemu. Dane potrzebne do codziennej pracy przenosisz w pełni. Starą historię często lepiej zostawić w archiwum tylko do odczytu, na przykład w starej bazie uruchomionej na maszynie wirtualnej. Okres przechowywania dokumentów i danych osobowych wynika z przepisów, więc ustal go przed migracją.

Przenoszenie danych jest częścią modernizacji starych aplikacji i systemów, w ramach której migrujemy i przepisujemy aplikacje .NET i Delphi, bazy DOS i Access oraz systemy terminalowe, bez przestoju i utraty danych. Gdy stary i nowy system muszą przez jakiś czas wymieniać dane na bieżąco, połączenie między nimi powstaje jako integracja przez API. Jeśli źródłem jest plik bazy biurowej, zajrzyj też do poradnika o migracji z Accessa do aplikacji webowej.