Советский физик, один из основателей школы советских радиофизиков, академик АН СССР (1929; член-корреспондент 1928).
В 1897 году поступил в Новороссийский университет в Одессе, но был исключен за участие в студенческих волнениях. Продолжал образование в Страсбурге, где специализировался у К. Ф. Брауна по электромагнитным колебаниям. В 1914 году возвратился на родину.
С 1922 года консультант Центральной радиолаборатории в Ленинграде.
С 1925 года профессор Московского университета; здесь началась совместная работа Мандельштама с Г. С. Ландсбергом. Курсы лекций и семинары Мандельштама высоко подняли уровень преподавания физики в университете и явились школой, из которой вышли многие известные физики.
С 1934 года работал в Физическом институте АН СССР. Основные работы по оптике, теоретической физике, радиофизике, радиотехнике.
В 1907 году впервые доказал, что рассеяние света в оптически однородных средах обусловлено возникновением микронеоднородностей (флуктуаций плотности).
В 1918 году предсказал появление тонкой структуры у линии Релея (аналогичная теория была опубликована в 1922 году Л. Бриллюэном, рассеяние Мандельштама-Бриллюэна). Это явление было экспериментально обнаружено в 1930 году Мандельштамом и Ландсбергом на кристаллах, а Е. Ф. Гроссом - на жидкостях. В 1928 году Мандельштам и Ландсберг открыли явление изменения частоты при рассеянии света на кристаллах - комбинационное рассеяние света (независимо от Ч. Рамана и К. С. Кришнана).
Совместно с Н. Д. Папалекси Мандельштам выполнил основополагающие работы по нелинейной теории колебаний. Ими был предложен новый метод возбуждения электрических колебаний, а в 1931 году впервые создан параметрический генератор переменного тока с периодически меняющейся индуктивностью. В 1938 году Мандельштам и Папалекси разработали радиоинтерференционный метод точного измерения расстояний, широко применяемый в геодезии, гидрографии и др. Премия имени В. И. Ленина (1931). Государственная премия СССР (1942). Награжден орденом Ленина и орденом Трудового Красного Знамени.