Виктор Свежов воспитанник динамовской спортивной школы имени Льва Яшина. Именно в «Динамо» он и дебютировал в большом футболе в 2009 году. Впоследствии выступал за «Томь», «Крылья Советов», «Луч-Энергию», «Торпедо», «Факел» и «Балтику».
В 2014/2015 году Виктор Свежов играл за ФК «Сибирь» — провёл в составе команды 30 матчей и забил 7 голов.
В минувшем сезоне Виктор Свежов выступал за ФК «Балтика», в составе которой провёл 34 матча