Миграция на данни: как да планирате, тествате и проверите прехвърлянето

Миграция на данни: как да планирате, тествате и проверите прехвърлянето

Миграцията на данни не приключва, когато копирането спре, а когато можете да покажете, че новата система съдържа всичко, което трябва, и то във вид, с който екипът ви може да работи. Пътят дотам минава през шест стъпки: решавате какво се прехвърля и какво остава, описвате съответствието на всяко поле и правило, почиствате данните преди преместването, репетирате цялата миграция върху копие повече от веднъж, проверявате резултата с бройки, суми и проверки от хората, които ползват данните, и планирате самото превключване – включително път назад. Самото копиране обикновено е най-лесната част.

Защо миграциите се объркват

Повечето проблеми не са технически сривове, а изненади в самите данни:

  • Данните са по-разхвърляни, отколкото всички мислят. Дублирани клиенти, телефони в пет различни формата, бележки в полета за числа, записи, създадени по правила, които отдавна са сменени.
  • Двете системи описват нещата различно. В указанията на Google Cloud за миграция на бази данни изрично се казва, че типовете данни в старата и в новата база понякога не са равностойни – дата и час в едната система може да се окажат обикновен текст в другата.
  • Правилата живеят само в стария код. Статус „3“ може да означава „платено, но неизпратено“, без това да е записано никъде.
  • Превключването е планирано като един голям момент – без репетиция и без път назад.

Достатъчни са малки разлики. Извън миграция видяхме това в приложението на auto-data.net: потребител от Италия виждаше приложението на английски, след като езиковият код се промени от „it“ на „it,it-IT,it-CH“. За човек това е един и същ език, за софтуера – не; решението беше кодовете да се нормализират в API-то. За всеки такъв случай трябва изрично правило.

Стъпка 1: Решете какво се прехвърля и какво не

Започнете с опис на всички места, където днес има данни: основната база, таблиците в Excel, които се водят „отстрани“, качените файлове и прикачените документи, потребителите и правата им, историята и дневниците. След това решавайте по категории.

Не всичко трябва да се мести. Google описва филтрирането като нормална част от миграцията – например анулираните поръчки може изобщо да не се прехвърлят. При личните данни има и законова страна: според указанията на Европейската комисия по GDPR личните данни трябва да се съхраняват възможно най-кратко, а организациите трябва да определят срокове за изтриването или прегледа им – като спазват и законовите задължения да пазят някои документи определен период, например по данъчните правила. Миграцията е естественият момент да приложите тези срокове, вместо да пренасяте стари данни безкрайно.

ДанниОбичайно решение
Активни клиенти, отворени поръчки, текущи салдаПрехвърлят се и се проверяват най-внимателно
Приключени поръчки и стари документиПрехвърлят се или остават в архив само за четене – първо проверете законовите срокове за съхранение
Прикачени и качени файловеПрехвърлят се, като се проверява дали всяка връзка към запис работи
Потребители и праваСъздават се наново съзнателно, а не се копират на сляпо
Тестови записи, изоставени чернови, ненужни данниОбикновено остават

Правата заслужават нов поглед: миграцията е добър момент да проверите кой какво може да вижда и променя.

Стъпка 2: Опишете съответствието на всяко поле и правило

Основният документ на всяка миграция е таблицата на съответствията: за всяко поле в старата система – къде отива в новата, как се преобразува и кой е одобрил това. Типични решения:

  • как едно поле „име“ се разделя на име и фамилия и какво става с имената на фирми;
  • как се преобразуват дати, валути, мерни единици и статуси;
  • кой запис остава, когато два клиента са дублирани;
  • какво става с празни или невалидни стойности – стойност по подразбиране, маркиране за преглед или отхвърляне;
  • в какво кодиране е текстът – по-стари системи понякога пазят кирилицата в по-стари кодировки вместо в UTF-8, а тя трябва да пристигне четима.

Хората, които работят със системата всеки ден, знаят правила, които не са описани никъде – минете с тях през реални записи. При система, писана по поръчка, част от работата е да се прочете кодът за скрити правила – вижте статията „Стар софтуер: да го подобрите, да го пренапишете или да го смените?“.

Стъпка 3: Почистете преди преместването

Почистването е по-евтино преди миграцията, докато старата система и хората, които я познават, са подръка. Обединете дублираните записи, поправете явно грешните стойности, попълнете задължителните полета, които новата система ще изисква. Указанията на Комисията напомнят също, че личните данни трябва да са точни и актуални, а неточните – да се поправят или изтриват. Договорете предварително какво значи „достатъчно чисто“ и кой от бизнеса решава – иначе почистването няма край.

Стъпка 4: Репетирайте върху копие, и то неведнъж

Пуснете цялата миграция върху копие на реалните данни, проверете резултата, поправете скриптовете и я пуснете отново. Контролният списък на Microsoft преди пускане на бизнес системи изисква миграцията на данни да се тества няколко пъти преди превключването, да се отстранят повредените и дублираните данни, да се провери дали миграцията се побира във времето, отделено за превключване, и бизнесът да я одобри. Указанията за превключване добавят, че последната репетиция трябва да е максимално близка до истинската: същите данни, инструменти, хора, стъпки и времена.

Google добавя две неща. Проверката само на данните не замества тестването през самите приложения, така че хората трябва да поработят с прехвърлените данни в новата система: да намерят клиент, да издадат фактура, да пуснат справката за миналия месец. И не променяйте структурата на базата, стойностите или процеса, докато миграцията тече. Засичайте времето на всяка репетиция, за да знаете колко ще трае истинското превключване.

Стъпка 5: Проверете – как да докажете, че нищо не е загубено

Една проверка не стига. Комбинирайте няколко:

ПроверкаКакво хваща
Брой записи по вид (клиенти, поръчки, фактури, продукти)Липсващи или дублирани записи
Суми: стойност на фактурите, салда, наличности по складЗагубени редове, грешки от закръгляне и валута
Сравнение поле по поле на извадка, избрана от потребителитеГрешно съответствие на полетата
Крайни случаи: най-старият запис, най-дългото име, специални символи, празни полетаПроблеми с преобразуването и кодирането
Връзки: всяка поръчка има клиент, всеки ред – фактураСкъсани връзки между записите
Ежедневни задачи и справки, сравнени със старата системаЛипсващи бизнес правила

При големи бази сравнението може да се автоматизира. AWS Database Migration Service например може да сравни всеки ред в старата база със съответния ред в новата и да отчете разминаванията. Документацията му показва и границите: таблиците трябва да имат първичен ключ или уникален индекс, редове, които непрекъснато се променят, не могат да бъдат проверени, а ако приложения пишат в новата база по време на проверката, разминаванията може да не бъдат отчетени точно. Затова спрете промените, докато проверявате, и приемайте автоматичните проверки като допълнение към проверките от хората, които познават бизнеса.

Стъпка 6: Планирайте превключването и пътя назад

Напишете план за превключването. Според Microsoft той трябва да съдържа реда и времето на всяка задача, отговорник и заместник, инструкции, стъпки за проверка и одобрение и план за връщане назад. Решете предварително кой взема окончателното решение „пускаме / не пускаме“ и по какви критерии.

  • Изберете спокоен период. Избягвайте приключването на месеца, активния сезон и празниците.
  • Замразете промените. Или спрете въвеждането в старата система по време на последното прехвърляне, или използвайте метод, който улавя промените, направени междувременно.
  • Направете резервни копия и на двете страни. Google препоръчва новата база да се архивира, преди потребителите да получат достъп, за да може началното ѝ състояние да се възстанови.
  • Решете какъв е пътят назад. Google казва направо, че е критично да решите дали да подготвите и тествате процедура за връщане, или да приемете последствията, ако нямате такава. За повечето малки и средни фирми това означава старата система да остане непокътната и само за четене, докато новата се докаже.

Сайтове: адресите също са данни

Когато сайт се мести на нова система, адресите на страниците са част от миграцията. Всеки стар адрес, към който има връзки или посещения от търсачки, трябва да се пренасочи постоянно към новия си еквивалент. Когато разделихме нашия сайт от seoandweb.eu/bg/ и /en/ на seoandweb.bg и seoandweb.eu, това означаваше около 45 постоянни пренасочвания (301) плюс връзки hreflang между езиковите версии. Повече – в статията за това как да смените сайта, без да загубите позиции в Google.

След превключването

  • Водете списък на всеки проблем, съобщен през първите седмици, и отстранявайте причината, а не само конкретния запис.
  • Преди окончателно да изключите старата система, направете последно резервно копие – Google отбелязва, че то може да е нужно и за спазване на изисквания – и се уверете, че знаете как да го прочетете.

Ако преминавате от таблици в Excel или от стара система към нов софтуер, можем да помогнем с описването на данните, с писането и репетирането на миграцията и с проверки, на които екипът ви да може да разчита. Вижте услугата ни за уеб базиран софтуер, статията кога бизнесът е надраснал таблиците в Excel или ни пишете какво трябва да се премести.

Източници

← Всички статии

Имате идея за сайт, приложение или система?

Разкажете ни накратко какво ви трябва – ще се свържем с вас за кратък разговор и ясна оферта.

Обсъдете проектили се обадете на +359 89 575 4081