隋开皇十八年（598）改永安县置，“因霍山为名”（《元和志》）。治今山西霍州市。隋开皇中属吕州，大业中属临汾郡，义宁元年（617）为霍山郡治。唐属晋州，北宋属平阳府，金、元为霍州治。明洪武初省入霍州。