Abstract analysis that is trivial for humans often stymies GPT-4o, Gemini, and Sonnet.
Enlarge/ Whatever you do, don't ask the AI how many horizontal lines are in this image. (credit: Getty Images)
In the last couple of years, we've seen amazingadvancements in AI systems when it comes to recognizing and analyzing the contents of complicated images. But a new paper highlights how many state-of-the-art "vision learning Models" (VLMs) often fail at simple, low-level visual analysis tasks that are trivially easy for a human.
In the provocatively titled pre-print paper "Vision language models are blind" (which has a PDF version that includes a dark sunglasses emoji in the title), researchers from Auburn University and the University of Alberta create eight simple visual acuity tests with objectively correct answers. These range from identifying how often two colored lines intersect to identifying which letter in a long word has been circled to counting how many nested shapes exist in an image (representative examples and results can be viewed on the research team's webpage).
Crucially, these tests are generated by custom code and don't rely on pre-existing images or tests that could be found on the public Internet, thereby "minimiz[ing] the chance that VLMs can solve by memorization," according to the researchers. The tests also "require minimal to zero world knowledge" beyond basic 2D shapes, making it difficult for the answer to be inferred from "textual question and choices alone" (which has been identified as an issue for some other visual AI benchmarks).
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
Отделение СФР по Москве и Московской области выплатило единовременное пособие при передаче ребенка на воспитание в семью 474 семьям региона
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала года 86 тысяч работающих мам в Москве и Московской области получили пособие по беременности и родам
ОСАГО: ключевые показатели за первое полугодие 2024 года
Тюменца отправили в колонию за умышленное заражение подруги ВИЧ
Готовность обхода поселка Октябрьский приблизилась к 90%
Филиал № 4 ОСФР по Москве и Московской области информирует:
Отделение СФР по Москве и Московской области выплатило единовременное пособие при передаче ребенка на воспитание в семью 474 семьям региона
Co-op survival game Enshrouded now lets you make things way tougher, or way easier, with an update that adds more than 30 difficulty sliders
Blizzard politely tells Hearthstone players their game isn't dead just because it's not getting a new cosmetic board this expansion
Началась предзагрузка Sword of Convallaria на iOS и Android
Meta's Mark Zuckerberg chews AI cud with Nvidia's Jen-Hsun Huang, talking about delicious cows, slicing tomatoes, and old Chinese guys drinking whiskey
Готовность обхода поселка Октябрьский приблизилась к 90%
Филиал № 4 ОСФР по Москве и Московской области информирует:
Отделение СФР по Москве и Московской области выплатило единовременное пособие при передаче ребенка на воспитание в семью 474 семьям региона
Филиал № 4 ОСФР по Москве и Московской области информирует:
2,5 млн жителей Москвы и Московской области получили пособия по временной нетрудоспособности с начала 2024 года
Филиал № 4 ОСФР по Москве и Московской области информирует:
Более 12 тысяч жителей Москвы и Московской области получают повышенную пенсию за работу в сельском хозяйстве
Психолог Челышева: в августе родителям стоит уделить внимание школьным заданиям ребенка
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала года 86 тысяч работающих мам в Москве и Московской области получили пособие по беременности и родам
Вильфанд: в Москве ожидается прохладное начало августа
Филиал № 4 ОСФР по Москве и Московской области информирует:
Отделение СФР по Москве и Московской области выплатило единовременное пособие при передаче ребенка на воспитание в семью 474 семьям региона
Филиал № 4 ОСФР по Москве и Московской области информирует:
Отделение СФР по Москве и Московской области выплатило единовременное пособие при передаче ребенка на воспитание в семью 474 семьям региона
Филиал № 4 ОСФР по Москве и Московской области информирует:
2,5 млн жителей Москвы и Московской области получили пособия по временной нетрудоспособности с начала 2024 года
Готовность обхода поселка Октябрьский приблизилась к 90%
«Гонка» кешбэка — как заработать. «Выберу.ру» подготовил рейтинг лучших карт за июль 2024 года