В новом исследовании команда привлекла 49 экспертов-ученых, которые занимаются обработкой естественного языка, для написания новых идей по семи темам данной области. Это были кандидаты наук и постдокторанты из 36 различных авторитетных учреждений. За каждую предложенную идею участникам платили $300. Пять лучших идей были дополнительно вознаграждены премией в $1000. Так участников стимулировали разрабатывать оригинальные, понятные и реализуемые концепты. Затем команда создала большую языковую модель для генерации исследовательских идей по тем же семи темам.
Обработка естественного языка (NLP) — это раздел искусственного интеллекта, посвященный взаимодействию человека и машины на естественном языке. NLP позволяет компьютерам понимать не только грамматику, но и более тонкие нюансы языка, такие как подтекст и эмоциональную окраску.
По завершении сбора работ, все тексты обработали с помощью языковой модели, чтобы привести их к единому стилю написания. При этом содержание каждой работы оставалось неизменным. Это создавало равные условия для всех участников исследования и исключило влияние индивидуального стиля написания на оценку идей. После этого 79 экспертов вслепую оценивали все идеи — и людей, и искусственного интеллекта. Всего они представили 298 обзоров — каждый проект получил от двух до четырех независимых отзывов.
ИИ продемонстрировал значительно более высокие результаты по таким критериям, как новизна и оригинальность идей, по сравнению с исследователями-людьми. Оценки по осуществимости и эффективности оказались близки к человеческим и не выявили статистически значимых различий.
Тем не менее, у языковых моделей были недостатки. Во-первых, в генерируемых идеях не было разнообразия. Во-вторых, языковые модели испытывали трудности с оцениванием собственных результатов. В-третьих, они склонны к самоповторам, даже при наличии соответствующих инструкций. Наконец, модели продемонстрировали низкую согласованность при оценке идей по сравнению с исследователями-людьми.
Исследование признает, что человеческая оценка оригинальности идеи может быть субъективна. Для более точной проверки гипотезы о способности языковых моделей к автономным научным открытиям исследователи планируют расширить состав экспертной группы. Авторы предлагают в будущих исследованиях реализовать идеи, сгенерированные как ИИ, так и людьми, что позволит оценить их практический потенциал.
В Подмосковье сотрудники Росгвардии задержали подозреваемого в причинении женщине тяжких телесных повреждений, повлекших смерть
В этом году Отделение СФР по Москве и Московской области компенсировало стоимость полиса ОСАГО 1 192 жителям региона
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала года сотрудники контакт-центра Отделения СФР по Москве и Московской области проконсультировали более 880 тысяч граждан
Кибербезопасность и спорт на ВЭФ 2024: 194 команд студентов из 14 стран соревновались по спортивному программированию
Портативный ТСД корпоративного класса Saotron RT-T70
Филиал № 4 ОСФР по Москве и Московской области информирует:
Гражданам Москвы и Московской области, получившим тяжелые производственные травмы, выданы автомобили марки «Лада Гранта»
Уложены две первые балки в средней части Минаевского моста в Ульяновске
В столице можно научиться езде на самокатах в скейтпарках «Московских сезонов»
«В США в продуктах консерванты, в России ты наслаждаешься едой»: Кэмпфер – о «Тракторе» и возвращении в КХЛ
Филиал № 4 ОСФР по Москве и Московской области напоминает:
Гражданам Москвы и Московской области, получившим тяжелые производственные травмы, выданы автомобили марки «Лада Гранта»
Историко-краеведческая выставка «Только доблесть бессмертно живет, ибо храбрые славны вовеки!»
Литературно-краеведческий экскурс «Главный доктор Республики – Николай Семашко»
Историко-героическая панорама
«Для сынов Отечества пример»,
к 170-летию со дня начала героической обороны Севастополя во время Восточной (Крымской) войны
Самый большой рост на аренду квартир зафиксирован в Симферополе