隋开皇七年（587）置。治今内蒙古准格尔旗东北十二连城。先为胜州治，后为榆林郡治，五代初废弃。