Как работи търсачка с 2,7 милиона продукта: опитът от gega.bg

Как работи търсачка с 2,7 милиона продукта: опитът от gega.bg

gega.bg събира продукти и промоции от десетки български онлайн магазини на едно място. В базата има около 2,7 милиона артикула. Ето как е устроен сайтът и какво научихме, докато го поддържаме.

Откъде идват продуктите

Магазините участват в партньорски мрежи като ProfitShare и CJ и предоставят продуктите си като фийдове – XML, CSV или чрез API. Всяка мрежа има свой формат, а и магазините в една мрежа попълват полетата различно.

Затова за всеки източник има отделен парсер, който превежда данните в един общ формат: име, цена, стара цена, снимка, марка, категория, магазин и линк. След това останалата част от сайта работи само с този общ формат.

Категориите

Всеки магазин има собствени категории – „Дамски маратонки“, „Обувки › Жени › Спортни“, „Маратонки за жени“. Събрани на едно място, те стават хаос. Затова всеки магазин е вързан към основна категория на сайта (Мода, Електроника, Детски стоки и т.н.), а неговите подкатегории се подреждат под нея.

Търсенето

Първата версия търсеше с класическото „съдържа текста“ (LIKE '%текст%'). При милиони редове това означава базата да прегледа всеки продукт при всяко търсене. С пълнотекстов индекс (FULLTEXT) базата търси по думи в предварително подреден индекс и резултатът идва за части от секундата. За целта таблиците бяха преобразувани към InnoDB.

Поддръжката

Партньорските програми се променят постоянно: магазини влизат и излизат, фийдове сменят адреса си, един фийд се разделя на няколко. Затова периодично сверяваме списъка на активните магазини в мрежите с това, което сайтът сваля, премахваме неактивните и добавяме новите.

Уроци, които важат за всеки проект с много данни

  1. Един общ формат. Колкото и да са източниците, всички се превеждат към един модел на данните.
  2. Не се доверявайте на входните данни. Кодировки, празни цени, дубликати и счупени снимки са ежедневие – проверката трябва да е в парсера.
  3. Индекси за заявките, които реално правите. Не „индекси за всеки случай“, а за търсенето и списъците, които сайтът показва.
  4. Леки страници. Карти с основното, снимки, които се зареждат при нужда, и минимален JavaScript.
  5. Документирайте процеса. Кой магазин откъде идва и какво е променено – иначе след година никой не помни.

Ако имате нужда от импорт на продукти и цени от доставчици, сравнение на цени или каталог с много данни, вижте уеб базиран софтуер или ни пишете.

← Всички статии

Имате идея за сайт, приложение или система?

Разкажете ни накратко какво ви трябва – ще се свържем с вас за кратък разговор и ясна оферта.

Обсъдете проектили се обадете на +359 89 575 4081