Migracja danych ze starego systemu udaje się wtedy, gdy jest powtarzalnym procesem, a nie jednorazową akcją w noc przełączenia. Potrzebujesz mapy pól, skryptów czyszczących, co najmniej jednej migracji próbnej z porównaniem liczby rekordów i sum kontrolnych oraz planu powrotu z wyznaczoną godziną decyzji.
Od czego zacząć migrację danych ze starego systemu?
Od mapowania pól. To tabela, w której każda kolumna starej bazy ma przypisany los: dokąd trafia w nowym systemie, w jakim typie, po jakim przekształceniu albo dlaczego nie jest przenoszona.
Dobra mapa obejmuje też to, czego w starej strukturze nie widać:
- pola używane niezgodnie z nazwą, na przykład numer telefonu w polu „Uwagi” albo status zamówienia zakodowany pierwszą literą opisu,
- wartości słownikowe wpisywane ręcznie, czyli ta sama forma płatności zapisana na pięć sposobów,
- relacje, które istnieją tylko w kodzie programu, bez powiązań zapisanych w bazie,
- pola wyliczane: jedne nowy system policzy sam, inne trzeba przenieść jako historyczny fakt, bo dawne reguły liczenia już nie obowiązują.
Mapę zatwierdza osoba, która zna dane z codziennej pracy, a nie sam programista. To ona wie, że dopisek „NIE WYSYŁAĆ” w nazwie klienta nie jest literówką.
Czyszczenie: duplikaty i niespójności
Stare bazy zbierają bałagan latami. Typowe znaleziska to ten sam kontrahent założony kilka razy z różną pisownią, dokumenty wskazujące na usunięte kartoteki, numery identyfikacyjne zapisane raz z kreskami, raz bez, oraz rekordy testowe, których nikt nie skasował.
Dwie zasady. Po pierwsze, czyść skryptem, a nie ręcznie w starej bazie. Skrypt uruchomisz ponownie przy każdej próbie, a ręczne poprawki przepadną albo ktoś zrobi je inaczej. Po drugie, o scalaniu duplikatów decyduje biznes. Skrypt przygotowuje listę kandydatów, a człowiek potwierdza, które kartoteki to naprawdę ten sam klient i która wersja danych wygrywa.
Rekordów, których nie da się naprawić automatycznie, nie gub po cichu. Trafiają do raportu odrzuceń razem z powodem, a raport ktoś czyta przed przełączeniem.
Kodowanie znaków i formaty dat w starych bazach
To dwa miejsca, w których migracja psuje się niezauważenie.
Kodowanie. Programy z czasów DOS zapisywały polskie litery w kilku różnych stronach kodowych, między innymi Mazovia i CP852. Starsze aplikacje okienkowe używały zwykle Windows-1250. Bywa, że w jednej bazie leżą dane w dwóch kodowaniach, bo program kiedyś wymieniono, a danych nie przekonwertowano. Zanim przeniesiesz wszystko do Unicode, sprawdź na próbce, które kodowanie dotyczy których tabel i lat. Test jest prosty: po migracji wyszukaj nazwiska i miejscowości z literami ą, ę, ł, ś, ż, ź i policz rekordy ze znakami zastępczymi.
Daty. W starych bazach spotkasz daty zapisane jako tekst w kilku układach, lata dwucyfrowe, daty „zerowe” oznaczające brak wartości oraz daty niemożliwe, jak 31 lutego. Dla każdej kolumny ustal regułę: co jest pustą datą, jak rozwijać rok dwucyfrowy, co robić z wartością spoza zakresu. Osobno potraktuj czas, jeśli nowy system zapisuje go w UTC, a stary zapisywał czas lokalny bez oznaczenia strefy.
Tak samo uważaj na liczby: separator dziesiętny, kwoty trzymane jako tekst i zaokrąglenia robione po swojemu.
Jak sprawdzić, czy dane przeniosły się poprawnie?
Migracją próbną na pełnej kopii produkcji. Nie na wycinku, bo błędy siedzą w nietypowych rekordach sprzed lat. Po każdej próbie porównujesz stary i nowy system na trzech poziomach:
- Liczba rekordów w każdej tabeli. Rachunek musi się zamknąć: źródło równa się przeniesione plus odrzucone plus scalone.
- Sumy kontrolne. Dla pól liczbowych to suma wartości dokumentów w każdym roku, stany magazynowe na wybrany dzień, salda rozrachunków. Dla pól tekstowych przydaje się skrót liczony z wartości wiersza po obu stronach, po sprowadzeniu ich do tego samego formatu.
- Próbka ręczna. Kilkadziesiąt dokumentów wybranych przez użytkowników, w tym te najdziwniejsze, obejrzanych ekran po ekranie.
Próba mierzy też czas. Przykład: jeśli pełna migracja trwa dziewięć godzin, a okno na przełączenie ma osiem, lepiej dowiedzieć się o tym kilka tygodni wcześniej niż w nocy z soboty na niedzielę.
Przełączenie: zamrożenie zmian i plan powrotu
Na czas ostatecznej migracji stary system przechodzi w tryb tylko do odczytu. Użytkownicy wiedzą, od której godziny nie wprowadzają danych, a integracje i zadania nocne są zatrzymane. Bez zamrożenia część zmian trafi do starej bazy już po zrobieniu zrzutu i zniknie.
Plan powrotu spisz wcześniej, na spokojnie:
- do której godziny można zdecydować o wycofaniu i kto podejmuje tę decyzję,
- jakie wyniki kontroli oznaczają „wracamy”, na przykład niezgodne salda,
- jak odblokować stary system i wznowić integracje,
- co z danymi wprowadzonymi w nowym systemie, jeśli powrót nastąpi po kilku godzinach pracy.
Ostatni punkt jest najtrudniejszy. Dlatego pierwsze godziny po starcie to kontrola i praca wybranych osób, a nie pełny ruch całej firmy.
Co zrobić z archiwum i jak możemy pomóc
Nie wszystko musi trafić do nowego systemu. Dane potrzebne do codziennej pracy przenosisz w pełni. Starą historię często lepiej zostawić w archiwum tylko do odczytu, na przykład w starej bazie uruchomionej na maszynie wirtualnej. Okres przechowywania dokumentów i danych osobowych wynika z przepisów, więc ustal go przed migracją.
Przenoszenie danych jest częścią modernizacji starych aplikacji i systemów, w ramach której migrujemy i przepisujemy aplikacje .NET i Delphi, bazy DOS i Access oraz systemy terminalowe, bez przestoju i utraty danych. Gdy stary i nowy system muszą przez jakiś czas wymieniać dane na bieżąco, połączenie między nimi powstaje jako integracja przez API. Jeśli źródłem jest plik bazy biurowej, zajrzyj też do poradnika o migracji z Accessa do aplikacji webowej.