Роберт Дауни мл. родился в творческой семье. Его отец Роберт Дауни-старший работал режиссером, а мать – Элси Форд – актрисой. Сам Роберт с пяти лет мелькал на экранах, снимаясь в фильмах своего папы. Когда ему было 10 лет, родители отправили его в Англию, где он изучал классический балет. После возвращения в США он начал обучение в учебном центре исполнительских искусств «Stagedoor Manor». В 13 лет, после развода родителей, остался с отцом и вместе с ним переехал в Калифорнию. Там он учился в средней школе Санта-Моники, а после ее окончания уехал жить в Нью-Йорк.
