Vektorové databázy sú momentálne na vrchole popularity, čo potvrdzuje rastúci počet startupov vstupujúcich do tohto segmentu a investori, ktorí sa rozhodujú pre tento kúsok koláča. Rozširovanie veľkých jazykových modelov (LLMs) a pohybu generatívnej AI (GenAI) vytvorilo priaznivé prostredie pre rozvoj technológií vektorových databáz.
Tradičné vs Vektorové databázy
Kým tradičné relačné databázy ako Postgres alebo MySQL sú dobre prispôsobené štruktúrovaným údajom – preddefinovaným typom údajov, ktoré možno pekne usporiadať do riadkov a stĺpcov – táto metóda nie je tak efektívna pre neštruktúrované údaje, ako sú obrázky, videá, e-maily, príspevky na sociálnych sieťach a akékoľvek údaje, ktoré sa nepridržiavajú preddefinovaného dátového modelu.
Vektorové databázy na druhej strane ukladajú a spracúvajú údaje vo forme vektorových vložiek, ktoré prevádzajú text, dokumenty, obrázky a iné údaje na číselné reprezentácie, ktoré zachytávajú význam a vzťahy medzi jednotlivými dátovými bodmi. To je ideálne pre strojové učenie, pretože databáza ukladá údaje priestorovo podľa toho, ako je každá položka relevantná k ostatným, čo uľahčuje získavanie sémanticky podobných údajov.
Praktické využitie Vektorových databáz
Toto je obzvlášť užitočné pre LLMs, ako je napríklad GPT-4 od spoločnosti OpenAI, pretože to umožňuje AI chatbotovi lepšie pochopiť kontext konverzácie analýzou predchádzajúcich podobných konverzácií. Vektorové vyhľadávanie je tiež užitočné pre všetky druhy aplikácií v reálnom čase, ako sú odporúčania obsahu v sociálnych sieťach alebo e-commerce aplikáciách, pretože dokáže sledovať, čo užívateľ hľadal a v okamihu získať podobné položky.
Vektorové vyhľadávanie môže tiež pomôcť znížiť „halucinácie“ v LLM aplikáciách, poskytnutím ďalších informácií, ktoré nemuseli byť dostupné v pôvodnej trénovacej sade údajov.
„Bez využívania vektorového vyhľadávania podobnosti môžete stále vyvíjať AI/ML aplikácie, ale budete musieť robiť viac predtrénovania a ladenia,“ vysvetlil Andrej Zajarni, CEO a spoluzakladatel startupu Qdrant pre TechCrunch. „Vektorové databázy prichádzajú na rad, keď máte veľkú sadu údajov a potrebujete nástroj na efektívnu a pohodlnú prácu s vektorovými vložkami.“
Qdrant začiatkom roka získal financovanie vo výške 28 miliónov dolárov na kapitalizáciu rastu, ktorý ho viedol k tomu, že sa stal jedným z 10 najrýchlejšie rastúcich komerčných open source startupov minulého roka. A rozhodne nie je jediným startupom vektorových databáz, ktorý nedávno získal peniaze – Vespa, Weaviate, Pinecone a Chroma minulý rok spoločne získali 200 miliónov dolárov na rôzne vektory.
Noví hráči na trhu
Od začiatku roka sme tiež videli, ako Index Ventures viedol startupové kolo vo výške 9,5 milióna dolárov do Superlinked, platformy, ktorá prevádza zložité údaje na vektorové vložky. Pred niekoľkými týždňami Y Combinator (YC) predstavil svoju zimnú kohortu z roku 2024, ktorá zahŕňala Lantern, startup, ktorý predáva hostovaný vektorový vyhľadávací stroj pre Postgres.
Na druhej strane, Marqo získal koncom minulého roka startupové kolo vo výške 4,4 milióna dolárov, čo následne vo februári rýchlo nasledovalo sériou A vo výške 12,5 milióna dolárov. Platforma Marqo poskytuje celú škálu vektorových nástrojov „out of the box“, ktoré zahŕňajú generovanie vektorov, ukladanie a získavanie, čo umožňuje užívateľom obísť nástroje tretích strán od spoločností ako OpenAI alebo Hugging Face, a to všetko ponúka prostredníctvom jedného API.
Spoluzakladatelia spoločnosti Marqo, Tom Hamer a Jesse N. Clark, predtým pracovali na inžinierskych pozíciách v Amazon, kde si uvedomili „obrovskú nesplnenú potrebu“ sémantického, flexibilného vyhľadávania cez rôzne modality, ako je text a obrázky. A to bol dôvod, prečo sa rozhodli založiť Marqo v roku 2021.
„Práca s vizuálnym vyhľadávaním a robotikou v Amazon bola chvíľou, keď som sa naozaj pozrel na vektorové vyhľadávanie – premýšľal som o nových spôsoboch, ako robiť objavovanie produktov, a to sa veľmi rýchlo zúžilo na vektorové vyhľadávanie,“
„V robotike som používal multi-modálne vyhľadávanie na prechádzanie veľkým množstvom našich obrázkov, aby som identifikoval, či tam boli nejaké náhodné veci ako hadice a balíky. To by inak bolo veľmi náročné vyriešiť.“
Vstup do podniku
Hoci vektorové databázy prežívajú svoj moment uprostred humbuku okolo ChatGPT a GenAI hnutia, nie sú všeliekom pre každú podnikovú vyhľadávaciu situáciu.
„Špecializované databázy sa zvyčajne plne zameriavajú na konkrétne prípady použitia a preto môžu navrhnúť svoju architektúru pre výkon na potrebných úlohách, ako aj na používateľskú skúsenosť, v porovnaní s všeobecne použiteľnými databázami, ktoré ju musia zahrnúť do súčasného dizajnu,“ vysvetlil Peter Zajcev, zakladateľ spoločnosti poskytujúcej podporu a služby databázam Percona.
Zatiaľ čo špecializované databázy môžu excelovať v jednej veci na úkor iných, preto začíname vidieť, ako databázoví giganti ako Elastic, Redis, OpenSearch, Cassandra, Oracle a MongoDB pridávajú vektorové vyhľadávacie vedomosti do mixu, rovnako ako cloudoví poskytovatelia služieb ako Microsoft’s Azure, Amazon’s AWS a Cloudflare.
Zajcev porovnáva tento najnovší trend s tým, čo sa stalo s JSON pred viac ako desaťročím, keď sa web apps stali bežnejšími a vývojári potrebovali formát dát nezávislý od jazyka, ktorý bol ľahko čitateľný a zapisovateľný pre ľudí. V tom prípade vznikla nová trieda databáz v podobe dokumentových databáz ako MongoDB, zatiaľ čo existujúce relačné databázy tiež zaviedli podporu pre JSON.
„Myslím, že to isté sa pravdepodobne stane s vektorovými databázami,“ povedal Zajcev. „Užívatelia, ktorí stavajú veľmi zložité a veľké AI aplikácie, budú používať špecializované vektorové vyhľadávacie databázy, zatiaľ čo ľudia, ktorí potrebujú vytvoriť kúsok AI funkcionality pre svoju existujúcu aplikáciu, sú pravdepodobne viac naklonení použiť vektorovú vyhľadávaciu funkcionalitu v databázach, ktoré už používajú.“
Ale Zajarni a jeho kolegovia z Qdrantu stavajú na tom, že natívne riešenia postavené úplne okolo vektorov poskytnú „rýchlosť, pamäťovú bezpečnosť a mierku“, ktorá bude potrebná, ako vektorové údaje explodujú, v porovnaní so spoločnosťami, ktoré pridajú vektorové vyhľadávanie ako dodatočnú myšlienku.
„Ich argument je: ‚ak je to potrebné, môžeme tiež robiť vektorové vyhľadávanie,'“ povedal Zajarni. „Náš argument je: ‚robíme pokročilé vektorové vyhľadávanie najlepším možným spôsobom.‘ Ide o špecializáciu. Vlastne odporúčame začať s akoukoľvek databázou, ktorú už máte vo svojom technologickom stacku. V istom bode užívatelia narazia na obmedzenia, ak je vektorové vyhľadávanie kritickou súčasťou vášho riešenia.“
Aj keď vektorové databázy prechádzajú svojim momentom, je dôležité si uvedomiť, že nie sú všeliekom pre všetky aplikácie. Sú však nástrojom, ktorý môže byť mimoriadne užitočný v správnom kontexte, a ich využitie sa pravdepodobne bude naďalej rozširovať, ako sa bude rozvíjať AI technológia.
