Группа ученых из Корнеллского университета, Университета Вашингтона и Института искусственного интеллекта Аллена разработала новый инструмент для оценки фактической точности больших языковых моделей (LLM), названный WILDHALLUCINATIONS. Описание инструмента опубликовано на сервере arXiv.
LLM, такие как ChatGPT, популярны для создания текстов, однако их недостатки становятся очевидными: модели часто делают неточные утверждения, которые называют «галлюцинациями». Причиной таких ошибок является качество данных, используемых для обучения моделей, обычно это текст из интернета.
Ученые разработали инструмент, который позволяет оценить точность популярных LLM, проверяя их ответы на факты. В ходе тестирования WILDHALLUCINATIONS обнаружил, что многие обновленные модели не продемонстрировали значительного улучшения точности. Модели лучше справлялись с запросами на основе информации из информационных энциклопедических источников, но испытывали трудности с данными о знаменитостях и финансовых вопросах.
Disney Dreamlight Valley just announced its second DLC featuring 4 new characters, along with a free update coming in December
This new FPS is so good, it's almost unfair that it's free: A '1v1 me bro' simulator with 70 maps and no microtransactions that feels like the sickest Counter-Strike: Source mod of 2007
Call of Duty: Black Ops 6 meta guns and loadouts
World's biggest modding site announces new paid mods policies, with caveats—'as long as it isn't to the detriment of the free modding ecosystem'
Филиал № 4 ОСФР по Москве и Московской области информирует:
В 2024 году 283,4 тысячи женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Стали известны лауреаты ежегодной Национальной премии доверия покупателей МАРКА №1 в РОССИИ 2024
В международный день врача прошла премия THE MEDICAL STARS AND BEAUTY AWARDS
Защитите свой автомобиль от зимнего гнева! Экспертный уход Aqua Complex – это просто
Вице-премьер Сербии Вулин: Вучич приедет в Москву и встретится с Путиным 9 Мая
Президент Сербии Вучич приедет в Москву на празднование 80-летия Победы
Вучич посетит празднование 80-летия Победы в Москве
Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»
