5 марта 1958г. летчик-испытатель В. М. Волхов поднял в воздух новый сверхзвуковой бомбардировщик "129" . Для получения сверхзвуковой скорости пришлось существенно изменить конструкцию машины. Установили новые двигатели конструкции С. К. Туманского в гондолах усовершенствованной аэродинамической формы. Воздухозаборники имели центральное тело. Оно могло выдвигаться или убираться в зависимости от скорости набегающего потока воздуха. Внутренние топливные баки вмещали 5540 кг топлива. Кроме того, могли подвешиваться два подвесных бака, оснащенных системой одновременного сброса. В процессе испытаний самолету присвоили наименование ЯК-28. Первая серийная модель ЯК-28 оснащалась радиолокационным бомбовым прицелом РБП-Э.
В 1960г. появились модификации ЯК-28И и ЯК-28Л. Первая оснащалась автономной радиолокационной системой "Инициатива", позволяющей обнаруживать цели самостоятельно. Вторая - системой дистанционного наведения на цель по сигналам нескольких наземных станций управления. Самостоятельно же выйти на цель бомбардировщик ЯК-28Л не мог. В этом же году появился ЯК-28БИ. В отличие от ЯК-28И он имел вместо пушки НР-23 новую, обладающую более высокой скорострельностью, двуствольную пушку ГШ- 23. В 19б3г. был создан фронтовой разведчик ЯК-28Р. Эта машина заменила устаревшие самолеты ЯК-27Р и ИЛ-28Р. На базе ЯК-28Р сделали самолет радиоэлектронной борьбы ЯК-28ПП.