Народився 16 (28 листопада) 1829 року в селі Вихватинці Подільської губернії. Початкову музичну освіту здобув під керівництвом матері; навчався у відомого московського піаніста А. І. Віллуана.

Перші уроки музики Рубінштейн отримав у своєї матері, а у восьмирічному віці хлопчик почав навчатися у найкращого педагога Москви – Олександра Івановича Віллуана. У десять років Рубінштейн вперше виступив у благодійному концерті. У 1840 році Віллуан повіз учня до Парижа, для вступу до консерваторії.

Як піаніст Рубінштейн стоїть серед найбільших представників фортепіанного виконавства всіх часів. Він також є основоположником професійної музичної освіти у Росії. Його зусиллями було відкрито 1862 року у Петербурзі перша російська консерваторія. Серед його учнів – Петро Ілліч Чайковський.

Засновник Московського відділення РМО (1860) та Московської консерваторії (1866). Професор (1866). Перший директор Московської консерваторії (1866-81). Брат композитора та піаніста Антона Григоровича Рубінштейну (1829–1894) та педагога Софії Григорівни Рубінштейн (1841– 1919).