漢武帝元鼎二年(公元前115年)建令居縣，有人認為過去是先令(零)羌居住的地方，因以得名。
漢光武帝建武十年(34年)曾在這裡置護羌校尉。清乾隆《甘肅通志》記載：“令居故城在平番縣（在今甘肅永登縣）西北”，轄區當為今甘肅永登縣西北部與天祝縣交界處。晉廢。漢光武帝建武十二年(36年)省金城郡，令居縣屬隴西郡。次年恢復金城郡，令居縣還屬。魏，西晉因之。前涼、前秦、後涼、南涼、西秦、後秦、北涼時，令居縣屬廣武郡。北魏太延五年(439年)，滅北涼，省並了原來的令居、永登、枝陽三縣，置廣武縣，為廣武郡治。
