战国时赵武灵王置，秦时治所在善无，今山西旧代州宁武之北部、及朔平南部、大同东部北部皆其境，汉亦为雁门郡治善无，在今山西右玉县南，汉时郡辖：善无、沃阳、中陵、阴馆、楼烦、武州、剧阳、崞、平城、埒、马邑，疆阴等县。

后汉移郡治阴馆，在今山西代县西北，三国魏移治广武，在今代县西十五里，后魏移治古上馆城，即今代县治，隋开皇初废郡为代州，大业初复置。唐时多次废置，宋时称代州雁门郡，金时废郡。