Rok se SeLLMou. Diana Hlaváčová popisuje, jak se v Seznamu rodil velký jazykový model

V loňském roce Seznam oznámil, že zahajuje vývoj vlastního velkého jazykového modelu. Letos už je generativní model, který dostal jméno SeLLMa, funkční součástí několika seznamáckých služeb. Na to, jak model vznikal a jaké s ním má Seznam plány, jsme se zeptali Diany Hlaváčové, produktové manažerky, která vývoj velkých jazykových modelů v Seznamu zastřešuje.

Proč se Seznam rozhodl vyvíjet vlastní velké jazykové modely?
 
V Seznamu pracuje spousta kreativních a šikovných lidí, kteří byli z dění na poli AI nadšení. Zároveň jsme ale věděli, že vývoj velkého jazykového modelu je velmi drahý a náročný projekt – zdaleka nejen z pohledu výpočetního výkonu. Po mnoha debatách jsme usoudili, že vlastní jazykový model by pro Seznam a jeho služby mohl být transformativní a že by byla škoda si takovou příležitost nechat ujít. Díky tomu dostala SeLLMa, naše rodina jazykových modelů, zelenou. Název samozřejmě odkazuje ke zkratce LLM (Large Language Model = velký jazykový model).

Jak dlouho trval samotný vývoj?
 
Vývoj jsme odstartovali v srpnu 2023. V březnu 2024 naši výzkumníci interně představili menší jazykový model se sedmi miliardami parametrů, v květnu následoval velký jazykový model se sedmdesáti miliardami parametrů, který jsme už nasadili do produkce, takže se s ním uživatelé mohou setkávat v našich produktech. V implementaci SeLLMy do produktů a služeb budeme ve větší míře pokračovat i v příštím roce. Do projektu Seznam investoval přes sto milionů korun, přičemž investice zahrnovala i nákup více než stovky supervýkonných čipů NVIDIA H100 a zapojilo se do něj přes čtyřicet lidí napříč týmy.

V čem se SeLLMa liší od ostatních velkých jazykových modelů, které známe?

Protože jsme česká firma s českými službami, chtěli jsme, aby naše jazykové modely perfektně ovládaly češtinu. Protože pokud nám něco nevyhovovalo u jazykových modelů, které byly k dispozici v době vzniku projektu, byly to právě mezery ve znalosti češtiny. Momentálně sílu vlastních modelů a zkušenosti plánujeme přetavit do modelů na míru našim aplikacím a vytvořit kvalitní a spolehlivé modely pro provoz.

Kde se lidé mohou už teď se SeLLMou setkat?

Už teď je velký jazykový model součástí Vyhledávání na Seznamu. Když do vyhledávacího políčka na Seznamu zadáte dotaz, můžete si všimnout, že se vám v rámci výsledků zobrazí různé návody, související otázky, které by vás mohly zajímat, nebo třeba stručné vysvětlení, proč se konkrétní dotaz právě hledá. Na pozadí to funguje tak, že SeLLMa během hledání prohledá relevantní zdroje, ze kterých vytvoří shrnutí toho nejdůležitějšího včetně odkazů na informační zdroje pro větší transparentnost.

A mimo Vyhledávání?

SeLLMa uživatelům už brzy pomůže třeba i s vytvářením popisků na portálu Sreality.cz, kdy na základě zadaných parametrů vytvoří souvislý český, anglický nebo ruský text ke konkrétní nabídce, a tím prodávajícímu ušetří spoustu času. Jazykový model bude už brzy pomáhat také uživatelům Zboží.cz, a to ve formě nákupního asistenta, který jim poradí s výběrem konkrétního produktu. A plánujeme ho využívat i při tvorbě různých reklamních formátů. Naším dlouhodobým cílem zkrátka je, abychom s LLM mohli interaktivně pracovat, a tím našim uživatelům nabídli přidanou hodnotu, díky které pro ně Seznam bude ještě užitečnější.

Diana Hlaváčová z pozice produktové manažerky dohlíží na vývoj velkých jazykových modelů a jejich implementaci napříč produktovým portfoliem Seznamu. Vystudovala Podnikovou ekonomii na Vysoké škole ekonomické a v české internetové jedničce působí od roku 2022.