Cheap AI “video scraping” can now extract data from any screen recording
Recently, AI researcher Simon Willison wanted to add up his charges from using a cloud service, but the payment values and dates he needed were scattered among a dozen separate emails. Inputting them manually would have been tedious, so he turned to a technique he calls "video scraping," which involves feeding a screen recording video into an AI model, similar to ChatGPT, for data extraction purposes.
What he discovered seems simple on its surface, but the quality of the result has deeper implications for the future of AI assistants, which may soon be able to see and interact with what we're doing on our computer screens.
"The other day I found myself needing to add up some numeric values that were scattered across twelve different emails," Willison wrote in a detailed post on his blog. He recorded a 35-second video scrolling through the relevant emails, then fed that video into Google's AI Studio tool, which allows people to experiment with several versions of Google's Gemini 1.5 Pro and Gemini 1.5 Flash AI models.
Read full article
Comments
Moscow.media
Частные объявления сегодня
В Петербурге строят трамвайную линию «Славянка». Районы на юге города станут привлекательнее для застройщиков? Повторитcя ли успех «Чижика»?
Международное артистическое творческое содружество (МАТС) запустило регистрацию на Фест-форум «Голоса мира»
«Алгоритмы познания» – раскрываем с Relax FM
Новые экскурсионные маршруты на «Валдае» из Нижнего Новгорода
America’s prized ‘exceptionalism’ is the collateral damage of Trump’s tariff war, says Deutsche Bank
Roseanne Barr is America: Iconic Trump Supporting Comedian Roseanne Barr Returns in Triumphant New Film
Samay Raina blames parents for letting them watch his content; says, “If children that young are watching me, then their parents have failed"
The transformation of women’s sports in Saudi Arabia is no mirage. Just ask the women
Судебные приставы Марий Эл стали донорами крови и вступили в регистр доноров костного мозга
Калуга принимает проект «Классика для всей семьи»: яркий музыкальный вечер с лауреатами конкурсов
I built a real SteamOS Steam Machine out of the guts of an old laptop so Gabe doesn't have to go through that whole sad dance again
This tech DIYer swapped their graphics card's cooling for a CPU cooler because why not? Also it actually works
I wasn't expecting a FromSoftware game, of all things, to be so gut-bustingly funny—but just like Helldivers 2, Elden Ring Nightreign turns death into a punchline
Skyrim's version of Radiant AI was developed from a drawing Todd Howard made on a napkin
Экс-гендиректора «Пластик Лоджик» и топ-менеджера «Роснано» заочно арестовали
Бастрыкин потребовал доклад о расследовании инцидента у Ярославского вокзала
31 мая — День рождения электрической тяги на железных дорогах.
Всероссийский социальный туристический маршрут для участников Специальной Военной Операции и их семей «Тур для СВОих» с 30 мая по 1 июня 2025 г
Срочно проверьте, во что играет ваш муж на компьютере: в РФ теперь за это сажают в тюрьму
«Алгоритмы познания» – раскрываем с Relax FM
Бремя собственности: за что у дачников могут отобрать участок
Силино (Зеленоград) — Услуги электромонтажников
Важливий брифінг у Вашингтоні: Україна розповіла сенаторам США про ситуацію на фронті
Москва намерена увеличить число мест в колледжах при помощи федеральных вузов
В Москве открыто 75% вакансий для специалистов со средним профессиональным образованием
Следующая рабочая неделя будет короткой из-за празднования Дня России
Бублик вышел в четвертьфинал «Ролан Гаррос»
Швёнтек высказалась о сопоставлении Рыбакиной с Синнер
Людмила Самсонова завершила выступления на Roland Garros, уступив китаянке Чжэн Циньвэнь
Все теннисистки топ-8 посева вышли в 4-й круг «Большого шлема» впервые с 2005 года
И ты, Карл: Брюллов в Третьяковке, Машков — в Брестской крепости
Следующая рабочая неделя будет короткой из-за празднования Дня России
Синоптики спрогнозировали потепление до +27 градусов в Москве 5 июня
Льготную ипотеку для участников СВО могут запустить уже летом
Музыкальные новости
Гала-Концерт «Браво, артист»: праздник талантов и дружбы
Невеста Тимати показала малыша в кроватке — тайно родила?
В Москве стартовал проект, посвящённый памяти Федора Гааза и возвращению христианских святынь
ПилОт, F.P.G и Найк Борзов присоединяются к фестивалю «НАШИ В ГОРОДЕ»: лето, рок и настоящие эмоции
Всероссийский социальный туристический маршрут для участников Специальной Военной Операции и их семей «Тур для СВОих» с 30 мая по 1 июня 2025 г
Экс-гендиректора «Пластик Лоджик» и топ-менеджера «Роснано» заочно арестовали
31 мая — День рождения электрической тяги на железных дорогах.
Бастрыкин потребовал доклад о расследовании инцидента у Ярославского вокзала
Команды спецназа Росгвардии успешно выступили на Всероссийских соревнованиях по тактической стрельбе «Кубок Победы»
ПилОт, F.P.G и Найк Борзов присоединяются к фестивалю «НАШИ В ГОРОДЕ»: лето, рок и настоящие эмоции
Хити The Beatles и ABBA прозвучат в концертном зале «Колизей – Арена»
Карпин переговорил не только с "Динамо". Куда уйдёт главный тренер сборной России?
В Москве в трёх округах будет временно ограничено движение 5 и 6 июня
В ближайшее время мальчика, получившего травмы в Брянской области, выпишут из лечебного учреждения
Mash: «Задержанный» блогер Щепихин дважды лежал в психбольнице
Мобильный блэкаут. С ночи Ростовская область и еще ряд регионов испытали проблемы с мобильной связью и интернетом
Путин планирует обсудить разработку учебных материалов по русскому языку и литературе
Семья из Оренбургской области встретилась с детским омбудсменом Марией Львовой-Беловой
Путин и Трамп подтвердили свою готовность поддерживать постоянную связь
Путин и Трамп поговорили о атакх на российские аэродромы
Косметолог-эстетист Наталья Рябинова: какая косметика может быть опасна
Делает ли травматолог-ортопед операции и какие?
В ближайшее время мальчика, получившего травмы в Брянской области, выпишут из лечебного учреждения
Косметолог Мадина Осман: какие средства стоит выбрать для омоложения шеи
Президент Польши Навроцкий призвал Зеленского решить "назревшие вопросы"
Мирошник заявил, что Киев, организуя теракты в РФ, вынуждает Москву прекратить переговоры
Это уничтожит Зеленского: компромат на главу Киева готовится к опубликованию
Оруэлловский мир Ермака и Зеленского: почему лидерам киевского режима выгодно продолжение конфликта
Джокович побеждает Зверева и выходит в полуфинал "Ролан Гаррос"
«Больше чем футбол» выходит при поддержке «Авторадио»
«Почти победил его»: Бублик пошутил после разгрома от Синнера
Лукашенко и Си Цзиньпин встретились в Пекине
Лукашенко заявил о беспрецедентном давлении Запада на Китай
Си Цзиньпин отметил стратегические отношения КНР и Белоруссии
В Измайлове открылся детский сад, построенный по модульной технологии, - Собянин
Сергей Собянин. Главное за день
Собянин: 1220 компаний приняли участие в Московской неделе интерьера и дизайна
Сергей Собянин рассказал о завершении Московской недели предпринимательства
В среду на большей части Подмосковья ожидается IV класс пожарной опасности
В Астрахани уничтожат изъятую у браконьеров черную икру
Около трех тысяч видов животных обитают на зеленых территориях столицы
Хохлатая чернеть и не только: каких краснокнижных птиц можно увидеть в Москве
Москва намерена увеличить число мест в колледжах при помощи федеральных вузов
Важливий брифінг у Вашингтоні: Україна розповіла сенаторам США про ситуацію на фронті
Приехавший в Россию шотландец восхитился уровнем достатка и безопасностью Москвы
В МИД РФ рассказали о работе над возобновлением деятельности Русского дома в Азербайджане
Архангельская епархия и Общественная палата региона подписали соглашение о сотрудничестве
Интересные каналы в Telegram. Лучшие каналы в Telegram.
Улицы заговорят театром: Архангельск примет 15 коллективов из России и Белоруссии на крупнейшем уличном фестивале
Сергей Собянин. Главное за день
Новый гимн Крыма – на конкурс отобрали 87 вариантов
«Не растёт, но и не падает». Новостройки в мае 2025 года: Севастополь уверенно обгоняет Симферополь
Юная крымчанка стала победителем Всероссийского конкурса научно-популярного видео «Знаешь? Научи!»
Средняя стоимость нового автомобиля снижается второй месяц подряд
Нейтрализовать несогласных. Литовская армия в случае конфликта с РФ ликвидирует нелояльных граждан
В Москве возбуждено дело о похищении человека после инцидента на вокзале
Москва намерена увеличить число мест в колледжах при помощи федеральных вузов
