进入西晋及前凉时期，原张掖郡区域又增加了一些郡县，到后凉以后，变动更大。
西晋及前凉时期（公元-年）
《晋书·地理志》记载张掖郡得县改为永平县，为避文帝司马昭讳，改昭武县为临泽县，张掖郡辖永平、临泽、屋兰三县。西郡仍辖日勒、删丹、仙堤、万岁、兰池五县。西海郡领居延县。前凉张骏十二年（年）分置建康郡，领表氏（今骆驼城）、乐涫（今酒泉下河清）二县；前凉张祚和平元年（年），张祚立其次子庭坚为建康王。又置汉阳县（今民乐永固城）以守牧地；张玄靓改汉阳县地为祁连郡，领汉阳、祁连二县；张天锡又另置临松郡（民乐南古城），领临松县。
前秦时期（年-年）
张掖郡领永平、临泽、屋兰三县。西郡领日勒、删丹、仙堤、万岁、兰池五县。西海郡领居延一县。建康郡领表氏、乐涫二县。祁连郡领汉阳、祁连二县。临松郡领临松县。
后凉时期（年-年）
张掖郡领永平、金泽、丘池三县。西郡领日勒、删丹、仙堤、万岁、兰池五县。西海郡领居延一县，吕光曾徙西海郡人于诸郡，但无废郡记载。建康郡领建康（表氏）、乐涫二县，《晋书·吕光载记》云：“男成退屯乐涫，进攻建康。”祁连郡领汉阳、祁连二县。临松郡领临松一县。临池郡，《十六国疆域志》云：“盖吕氏所置，领临泽县。”西安郡领屋兰县。《晋书·吕光载记》云：“光西安太守石元良率步骑五千赴难。”（按：金泽县在今肃南县祁连山中，原属酒泉郡）。《十六国疆域志》载：“金泽县移属张掖，当是后凉始也。”《艺文类聚》引《凉州记》：“吕光时，张掖金泽县有麟，群兽皆从，改年麟嘉。”可知后凉时张掖郡有金泽县。《晋书·吕光载记》：“太元十四年（年）张掖督邮傅曜考核属县，而丘池令尹兴杀之，投诸空井。”可知后凉时张掖郡有丘池县（《甘州府志》写为邱池县）。另据《方舆纪要》说，后凉麟嘉四年（年），在武威郡昌松县（今古浪县境内）立东张掖郡。故当时以永平为郡城的张掖郡也称西张掖郡。
北凉前期（年-年）
段业都建康及沮渠蒙逊都张掖期间均自兼凉州牧，领有十一郡：张掖郡——改永平为永安，蒙逊曾以从兄伏奴为张掖郡太守。临池郡——段业曾以蒙逊为临池太守。西安郡——段业曾以臧莫孩为西安太守。西郡——改日勒为永宁，蒙逊以从弟沮渠鄯为西郡太守。建康郡——段业曾为建康郡太守。临松郡——蒙逊伯父孔笃为临松太守。祁连郡——北凉时称赤泉而未称祁连郡，但无废郡记载。金山郡——蒙逊从弟成都为金山太守。西海郡——后秦姚兴遣使拜蒙逊为西海侯。酒泉郡——段业以蒙逊从叔益生为酒泉太守。凉宁郡——《蒙逊载记》称酒泉、凉州二郡曾叛降李玄盛。
北凉后期（年-年）
沮渠蒙逊建都张掖期间，以张掖为凉州，以武威为秦州，曾以其弟沮渠挐为护羌校尉、秦州刺史，封安平侯，镇姑臧。蒙逊迁都武威后，凉州随之移治姑臧，在张掖改置秦州，秦州剌史兼领丹岭以西诸军事。另在酒泉置沙州，兼领建康以西诸军事。从此建康、酒泉、凉州诸郡划归沙州，秦州只辖张掖、临池、西安、西郡、临松、祁连、金山、西海八郡。
北魏前期（年-年）
北魏灭北凉后，废秦州与沙州，将凉州治所移治张掖，将张掖郡移治番和（在今永昌县境），《太平寰宇记》载：“番和县，汉旧县，属张掖郡。后魏立张掖郡于此。”迁至张掖的凉州为了有别于原设在武威的凉州，已有西凉州之称。《重刊甘镇志》、《甘州府志》均称张掖在北魏时为西凉州治所。但当时官方仍称凉州。北魏太武帝太平真君五年（年）。为了镇压西北各族的反抗，郡县改设军镇，实行军事统治。改武威郡为武威镇，改敦煌郡为敦煌镇，改河州（今临夏市）为枹罕镇，改乐都郡（青海东都）为鄯善镇。将武始郡治（在今临洮县）移治勇田县（今临洮县北），西凉州直辖武威、敦煌、枹罕、鄯善四镇，其地域延伸至白水江上游，与白水羌邓至国为界。南朝甚至任命邓至国主为西凉州刺史，以与北魏的西凉州抗衡。《南朝宋会要》记载：“邓至国，居西凉州界，羌别种也。世号持节、平北将军、西凉州刺史。”《南朝齐会要》说：“又征虏将军、西凉州刺史羌王像舒彭亦进位持节、平西将军。”其余郡县则改称军或戍，如改张掖郡为张掖军，属武威镇所辖；改酒泉郡为酒泉军，属敦煌镇所辖。其余郡县称戍而见诸史籍的地名有同城戍（今额济纳旗），赤城戍（今民乐县永固城），苕戍（今肃南皇城），乐涫戍（今酒泉下河清）等。各地防务由镇将负责，由镇军驻守。
北魏后期（公元-年）
北魏孝明帝正光四年（年），尚书令李崇上表求改镇为州，孝明帝以旧章难革，不从其请。北魏孝明帝正光五年（年）八月，始改镇为州，改武威镇为凉州，改敦煌镇为瓜州，改枹罕镇为河州，改鄯善镇为鄯州。张掖继续保留西凉州建制，以南秦州梓潼郡太守郭钊任西凉州刺史。辖领张掖、西郡、临松、建康、酒泉五郡。武威镇恢复凉州建制后，为了有别于张掖的西凉州。也称东凉州。如《魏书·尉古真传》说他的“族玄孙聿，字成兴，……出为平西将军，东凉州刺史”。
西魏时期（年-年）
西魏时期仍称西凉州，据《周书·李贤传》及《甘州府志》记载，西魏大统十二年（年），诏原州刺史李贤抚慰张掖五郡，可知当时西凉州仍领张掖、西郡、建康、临松、酒泉五郡。
西魏后期至北周时期（年-年）
西魏废帝三年（年）春正月，始作九命之典，以叙内外官爵。同时改置州郡及县，在西魏境域凡改州46，置州1，改郡，改县。这次改西凉州为甘州，原辖五郡改为三郡，临松、西郡省入张掖郡。《隋书·地理志》追述了这一时期甘州部分郡县变迁情况：说删丹，后魏（即北魏）曰山丹，又有西郡永宁县，西魏郡废，县改为弱水，后周（即北周）并入山丹，又后周置金山县，寻废入焉，又有临松县，后周废。又后周置乐涫县，寻废。现参照年王仲犖《北周地理志》，北周时甘州所辖三郡县名如下：张掖郡辖永平、山丹、兰池、万岁、仙堤、金山。酒泉郡辖福禄、安弥、乐涫。建康郡辖表氏。