Как облагородить внешний вид оконных проемов?

По-моему, вы сами на свой вопрос ответили, все так и сделайте. Может еще и где запенить придется, если большие дыры остались. Нам повезло в этом плане, мы только остатки пены срезали с уличной стороны, остальное все аккурат по оконному проему сделали мастера без дыр, подмазали чуть, где штукатурка обвалилась и закрасили только. А помню знакомой так раздолбали проем, что и камнями, кусками кирпичей и раствором пришлось закладывать. Тут кому – как повезет, у одних идеально, а другим – мороки только прибавляется из-за вставки окон.  

по опыту знаю что лучше пену не оставлять под воздействие агрессивной среды. сделайте следующее - все сифонящие и промерзающие места заново запеньте, и с уличной стороны заштукатурьте откосы хорошей штукатуркой., даже если будете отделывать снаружи сайдингом штукатурка дополнительно защитит проем от промерзания и прочего.

После обработки пеной нужно естественно штукатурить, потом красить.