在榆林，从古到今一直流传着“三迁”之说。实际上，“榆林三迁”是民间传说的故事，“榆阳三拓”才是历史事实。
传说是这样的，明代延绥镇城原来在绥德，榆林为出哨水头，遇到敌军来犯，守将奏报朝廷，才调遣大同、宣化两府和北京的军马到这里。因为路途太远，等到那里的兵马到了，这里的敌人已退了，白白浪费军力、物力。成化年间，延绥巡抚都御使余子俊，奉命在这一带设防，他认为只有在绥德以北一带建城防守，训练军马，丰财聚食，才能抵抗敌人的侵犯。因此，他经常骑马从绥德出发，在无定河一带日夜行宿，仔细观察山川地势，看在什么地方建城合适。
有一天，余公带领着部下沿着无定河打猎，忽然发现前边有一只白狐狸，他骑着马独自追了上去。狐狸在前边跑，余公在后边追，一直追到驼山，狐狸忽然不见了。这就是民间流传的“狐仙引路”。等到余公骑马登上驼山，随从们也赶到了。余公站在驼山顶上，望见南面沟壑交错，北面大漠千里，东面丘陵起伏，西面黑山高耸，山下榆溪河水奔流。四周驼山，黑山、红山环抱，真是建城的好地方。不由得高声称赞道：“龙腾虎踞之地，妙啊!”
众人也议论纷纷，说这里东倚驼峰山，西临榆溪河，南带泥沟水，北锁红石峡，真是风水宝地。听得余公称赞，也一齐高声地说：“在这里建城，易守难攻，固若金汤，太好了!”
于是余公便准备在这里选址建城，将延绥镇城由绥德移到榆林。并上书皇帝说：这里是九塞岩险第一，绵亘千里，延绥五路之襟喉，三秦之要区，孤悬绝漠，控制诸边，左提右携，边陲冲要，将延绥镇移到这里最合适了。
余公建城的奏书报到朝廷后，受到朝中很多人的阻挠和反对，认为万万使不得。余公多次上书，陈说利弊，坚持自己的意见，最后才得到皇帝的同意。余公便带着部下，选择城址。
经过一段具体的选择，第一天余公和部下刚将城的范围划住，并定下桩界。第二天，突然发现桩界不见了，余公派人去查看，才发现桩界向外扩大了，木桩周围到处是狐狸留下的脚印。大家感到非常奇怪，便将城向外扩大，又定了桩界。到了第三天，突然发现南边的桩界又不见了。余公得知后，亲自去察看，一直找到了榆阳河畔才找到了木桩。这就是民间传说的“三迁榆林”。随后，余公便大兴土木，修筑榆林城，成为九边重镇。
历史上，榆林自战国以来始终是北方要塞，只是古城屡兴屡废，城址多变，城名亦改动频繁，所以使后世认识榆林的历史，增加了很多的难处。这一点万里长城是最好的证明。
榆林历经秦汉、魏晋南北朝、隋唐、宋元，到了元朝末年，这一带农牧业非常发达，人口不断增加，市场繁荣，成为蒙汉两族贸易的重要市场。
明代朱元璋统一全国以后，元蒙残余贵族仍占有大漠南北，随时牧马南下，侵扰中原。东胜失守后，明军节节败退，蒙古军乘势南下，榆林成了双方争夺的重要军事阵地。明王朝为了增强这一代的防御力量，于洪武二年(1369年)重置榆林寨。明政府除增兵驻守外，并在绥德建立延绥镇，置总兵官，派巡抚坐镇，负责指挥保护这一带的边防军事、人民生产。正统二年(1437年)，都督佥事王桢将洪武二年建的榆林寨扩建为榆林堡城，以捍卫延绥。榆林城的军事地位更加重要。宪宗成化元年(1465年)二月，延绥都督张杰上“安边方略”奏本上说：“可选诸营精兵九千，分为六哨，分屯府谷、神木二县，龙州、榆林二城，高家、安边二堡。无事则巡逻边疆，遇警则彼此应合。”成化七年(1471年)，都御使王锐置榆林卫。成化八年(1472年)，巡抚余子俊巡视榆林卫城，认为此地东依驼峰山，西临榆溪河，北峙红石峡，南流泥沟河(榆阳河)，中间平川，山环水绕，地形险峻，水草丰美，交通便利，农牧业发达，水炭充足，可攻可守，可进可退，能屏障延绥、捍卫河东。并依旧城拓筑北城，修建钟鼓楼。成化九年(1473年)余子俊上疏明廷，奏请将延绥镇治所从绥德迁到榆林。
榆林城从成化八年(1472年)到万历三十五年(1607年)的一百多年间，由于政治、经济、特别是军事的需要经过多次扩建增修，其中有三次大规模的扩建，史称“三拓榆阳”。
第一次：成化二十二年(1486年)巡抚黄黻将原堡城向北展筑，城周约六里。北城上建有城楼一座，叫镇榆楼，楼下未开北门。东门叫威宁门，西门叫广榆门。这次展修的城垣俗称北城。
第二次：弘治五年(1492年)，巡抚熊绣将城垣又向南新扩，城周长约7里，增设西门叫宣威门(今大西门)，东门叫振武门(今东门)，南门叫怀德门(今凯歌楼)。这次展修的城垣，俗称中城。
第三次：正德十年(1515年)，延绥镇总制邓璋因南关外人烟臻集，店铺栉比，奏筑南关外城，将南城推至榆阳河沿，新扩城周长13里，筑起南门，叫镇远门(今南门)，并设西门二，北叫龙德门，南叫新乐门(今小西门)。其间在镇远门外榆阳河东侧土山之顶建塔一座名曰凌霄塔。
《榆林府志》说：“按三拓榆城，先置者北城，今之上帝庙高台即当年南城基边，内有钟楼一，今无，而土人犹称钟楼山焉。嗣将南城展至凯歌楼为止，之楼即当年之南门，现有“古怀德门”四字，后复展至现在南门为止，故旧有北城、中城、南城之曰。”
为了加强对榆林的防御，万历三十五年(1607年)在城北红山的长城线上，修建了镇北台。
经过100多年的维修和扩建，榆林城呈现南塔(凌霄塔)北台(镇北台)中古城(榆林城)之势。城周长约7000米左右，城墙底宽16米，顶宽9米，高12米，城墙为青砖砌面。建有城门7座：东为振武门、威宁门两座，西为宣威门、新乐门、龙泉门、广榆门四座，南为镇远门，北为镇北楼(无门)，有观远楼，讯敌楼两座。南门、东门有瓮城，各城门上均有箭楼，并设千斤闸。城内以大街为中轴线，街道建有多座骑街大楼、有新明楼、凯歌楼(原名怀德门)、鼓楼、钟楼等，街道两旁店铺林立。大街以西主要为官府衙署，以东为寺观，巷道内建有居民住的四合院落。城内建有榆林卫、总镇署、榆林道、察院、城堡厅、中营、税课司等官署衙门和文庙、武庙、城隍庙、娘娘庙、龙王庙等庙宇。榆林城真可谓“人烟臻集，店铺栉比。”
由于延绥镇卫城榆林城东倚驼峰山，西临榆溪河，南带榆阳水，北锁红石峡，位于明长城要道，榆林遂成为“九塞岩险第一，绵亘千里，延绥五路之襟喉，三秦之要区，孤悬绝漠，控制诸边，左提右携，罥足扼吭”的“边陲衡要，全陕藩篱”的九边重镇。
