Velké jazykové modely (LLM) se podle studie MIT někdy naučí špatné lekce. Místo odpovídání na dotaz založeného na znalostech domény by LLM mohl odpovědět s využitím gramatických vzorců, které se naučil během tréninku. To může způsobit neočekávané selhání modelu při nasazení na nové úkoly.