Однако он проявил такие способности к научной работе, что по рекомендации учёных и по разрешению ВКВШ (ВАК) в 1934 г. был принят в аспирантуру Института химической физики. В 1936 г. защитил кандидатскую, а в 1939 г. — докторскую диссертацию.
Направление исследований, проводимых Зельдовичем, характеризуется неуклонным нарастанием разрушительной силы. Начав с катализа и топливных элементов, переключился на изучение процесса горения (разрабатывал теорию горения пороха в «катюшах»). Затем работал в лаборатории взрывчатых веществ под руководством Ю.Б.Харитона. В эвакуации в Казани занимался боеприпасами. Был приглашен И.В.Курчатовым в «Лабораторию № 2», где стал участвовать в создании сначала атомной, а затем водородной бомбы. Этот период работы Зельдовича подробно описан и хорошо известен.
Вскоре и на Земле Зельдовичу становится тесно. С начала 1960-х годов он начинает заниматься теоретической астрофизикой и космологией. В работах Зельдовича по космологии основное место занимала проблема образования крупномасштабной структуры Вселенной. Ученый исследовал начальные стадии расширения Вселенной. Вместе с сотрудниками построил теорию взаимодействия горячей плазмы расширяющейся Вселенной и излучения, создал теорию роста возмущений в «горячей» Вселенной в ходе космологического расширения. Ряд предсказанных Зельдовичем эффектов получили экспериментальное подтверждение.
Зельдовичем разработана теория строения сверхмассивных тел с массой от сотен тысяч до миллиардов масс Солнца и была дана полная качественная картина последних этапов эволюции обычных звёзд различной массы. Им исследованы свойства «чёрных дыр» и процессы, которые могут помочь открыть их существование.
Зельдович работал и над проблемой происхождения магнитных полей звезд и галактик в рамках «теории динамо». В последние годы жизни разрабатывал «полную» космологическую теорию, которая включала бы рождение Вселенной. Создал школу релятивистской теоретической астрофизики.
Зельдович был членом более десяти иностранных академий наук и научных обществ. Он — трижды Герой Социалистического Труда, лауреат Ленинской премии и четырех Государственных премий СССР. В 1946 г. был избран членом-корреспондентом АН СССР, а в 1958 г. — академиком. Не было у него только диплома о высшем образовании…
Умер Яков Борисович Зельдович в Москве 2 декабря 1987 года.