Добавить новость
ru24.net
Все новости
Январь
2025
1 2 3 4 5 6 7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

Алгоритмы спекулятивного инференса LLM

0

За последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности.
Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.

Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.

Читать далее



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
Зарина Дияс

Зарина Дияс на разгроме и камбэке пробилась в основную сетку турнира в Таиланде






Новый год «Астраханочка» открыла с поражения чемпиону

Алиев резко высказался против России. Будет конфликт?

Пытался сбежать из России: в Сочи задержали провокатора за стрельбу и оскорбление полицейских

Бытовки загорелись на заводской стройке на северо-востоке Москвы