Родился в семье секретаря правления Соединённого банка, потомственного почётного гражданина. В 1920 г. вместе с семьей (отцом, матерью и сестрой Татьяной) уехал из России, после короткого пребывания в Турции семья поселилась в Париже. В 1925 году Мандельштам окончил русскую гимназию, в 1929 — филологический факультет Сорбонны. В том же году, с публикацией стихотворений в первом «Сборнике стихов» Союза Молодых Поэтов и Писателей, получил признание как поэт. Активно участвовал в литературной жизни, посещал собрания в «Зеленой Лампе», в «Перекрестке», в обществе «Круг». Выступал как критик, много писал о поэтах и прозаиках русской эмиграции — по-русски и по-французски; в 1938 вышел сборник его статей «Искатели». В сентябре 1935 года принял православие, через полтора месяца обвенчался с Людмилой Стравинской, дочерью композитора (брак продлился недолго — в 1938 году Людмила умерла от туберкулеза). В 1939 году после смерти В. Ходасевича вел критический отдел в газете «Возрождение». В марте 1942 г. был арестован нацистскими оккупационными властями, как еврей отправлен в концлагерь Дранси, затем в лагерь около Орлеана, оттуда снова в Дранси и в конце июля 1943 года — в Освенцим, где и погиб. Перевод известного стихотворения Малларме найден среди публикаций в «Возрождении».