月氏都城（今民乐永固城）它与昭武城（今临泽县境内）当年同是月氏聚居在黑河两岸的中心城市。汉文帝前元四年（公元前6年），拥有几十万强兵的匈奴冒顿单于击败了月氏人；张掖成为匈奴之中右贤王的领地。匈奴占据后，不断进行掠夺，破坏了匈汉的友好往来，割断了汉王朝同西域早已存在的关系。公元前121年由汉武帝派霍去病西征战败匈奴后始设张掖郡，取"断匈奴之臂，张中国之掖（腋）"之意而得名。
自汉唐以来，张掖就成为古丝绸之路上的重镇，中原通往西亚东欧各国进行经济文化交流和友好往来的要冲。由于地理环境优越，自然条件好，物产丰富，自古就有"塞上江南"、"金张掖"的美誉。张掖市历史悠久，至今已有2000多年的历史。古为河西四郡（敦煌，酒泉，张掖，武威）之一，历代中原王朝在西北地区的政治、经济、文化和外交活动中心。张掖曾是北凉国的国都、行都司的首府、甘肃省省会和历朝诸代设州置府的治所，素有"塞上锁钥"之称。市内汉明长城、历代石窟、寺民、碑塔、古城、烽隧、墓葬群星罗棋布。大禹导弱水入合黎，老子骑青牛入流沙，周穆王乘八骏西巡会见西王母的传说，张骞、班超、法显等都曾途经张掖前往西域，隋炀帝于609年在张掖曾召集西域27国君主使巨，召开了"万国博览会"，唐玄奘经张掖去西天取经，马可·波罗旅居张掖一年等历史传说和记载，使这块土地更加神奇。创建于魏晋时期的马蹄寺、金塔寺，保存着文物价值极高的雕塑、壁画。