1958年，根据国务院关于加强利用野生经济植物资源的指示和中国科学院关于大力发展全国植物园网点的精神，开始筹建西安植物园。经多次在西安地区调查，最终将园址选定在大雁塔以南，面积为20hm2。确定园址考虑的重要因素是地势北高南低，适宜植物配置与造景，再者，该处多为多年坟地，且为旱地，对农业耕作影响不大。在选址的同时，先后派出50余名同志在秦岭，历经10天时间，移植野生有用苗木1万余株。
    1959年，经报请中国科学院、陕西省人民政府、西安市人民政府同意，正式建立西安植物园。西安植物园是建国后全国首批建立的八个植物园之一，也是当时国家在西北地区建设的唯一的植物园。
    西安植物园成立时的单位名称为“中国科学院西北生物土壤研究所西安植物园”，是该所下属的一个非独立性机构，后更名为“中国科学院西北水土保持生物土壤研究所西安植物园”。
    建园初期，邀请了国内知名的植物学家如林鎔、裴鑑、耿以礼、刘慎谔、陈邦杰、俞德俊、钟补求等教授以及前苏联引种驯化专家A.V.瓦西里耶夫教授来园，对本园方针、任务、规划、特点、建园、科研及干部培养和今后努力方向等给予指导。
    在植物引种驯化方面，由于坚持了“一切工作以建园为主的方针”，在很短的几年时间内就收集种子植物1700余种，80余万株。初步形成了资源植物区、木本油料、芳香油、果树、药材、松柏和杨柳植物标本园等分区状况。
    1963年4月，在园内召开了有西北农学院、果树研究所、陕西师大、西北设计院、西安市园林处和西安城建局等单位的专家、负责同志参加的规划会议，对我园的规划进行了专题讨论，肯定了我园的园景规模为720亩，由西安市设计院承担设计，拿出初步方案。该方案经西安市规划局审查，确定了西安植物园的规划用地为720亩。尚未征用的南北两侧420亩土地作为城市发展的规划依据长期预留，其它任何单位不得征用。由于“十年动乱”和资金紧缺的影响，植物园一直没有能够征用预留的土地。
    1964年，经中国科学院批准，西安植物园成为独立的研究机构，单位名称为“中国科学院西安植物园”。研究队伍进行了相应调整，将原设的分类、生态、资源植物、温室和种苗室整合为三个组，分别是植物区系组、经济植物组和规划建园组。