隋大业三年（607）改胜州置。治榆林县（今内蒙古准格尔旗东北十二连城）。辖境相当今内蒙古准格尔旗及黄河东岸托克托、和林格尔一带。唐初改为胜州，天宝、至德间又一度改为榆林郡。