根据中共中央和毛泽东主席关于加强备战工作的指示精神，上海市委、市人委对上海工厂搬迁和生产任务安排等问题做了多次研究，逐步形成了在皖南、浙西等地建设上海小三线的思路。在1965年5月给中央的书面报告中，市委、市人委的基本设想是：按照华东局已指定的地方，在皖南黄山和浙江天目山一带建立上海的后方。在充分利用原有空关房屋的基础上，盖一些房屋，搞一些仓库，造一个医院，把市内的一些重要档案、文物、技术资料和一部分重要物资运去妥善保存。同时，打算搬迁若干研究所和实验工厂，在后方继续从事科学研究。保证在战时仍旧能够少量地生产一些同国防军工、三线建设有关的新材料、新设备等产品。上述科研单位，在战后可以作为恢复和发展上海工业生产的骨干力量。
二、上海小三线的建设过程
上海小三线从1965年选点筹建开始，到1988年，历时24个年头。这24年中，上海小三线大致分为四个时期：
（一）从1965年5月到1971年底，是上海小三线基本建设时期
这一时期，上海市委、市人委（市革委会）对上海后方的建设项目先后进行了六次规划，建立了上海市后方领导小组（对外称“229”工程指挥部，后改名为“812”指挥部）和“507”工程指挥部，先后由罗白桦、韩克辛、张克宽等人担任负责人，具体领导和组织上海小三线的选点、勘测、设计和施工、安装等工作。
地质勘查和地形检测人员是上海小三线建设的开路先锋。1965年10月，第一批勘查、测量人员就来到皖南山区，打响了上海小三线建设第一炮。基本建设面临非常艰苦的工作环境，勘查、测量人员跋山涉水自己开路，自己扛机器设备，自己搭工棚，足迹遍及皖南和浙西山区，为上海小三线建设规划选点和基本建设立下了第一功。勘查、测量人员大量的艰苦工作，保证了上海小三线基本建设按计划开工。
上海小三线施工力量主要由上海建工局所属建筑公司、安徽地方建筑公司和地方民工等三方面的人员组成。为承包上海小三线81个独立单位的基本建设任务，上海建工局派出第一、第二、第四建筑公司共12个建工大队、2个安装大队，约1万余人参加小三线建设。安徽地方共支援2个建工大队，约400人和大量的民工。上海小三线基建所需要的大量材料，除“三材”（即钢材、木材、水泥）和建设小五金由上海供应外，其他材料，如砖、瓦、石方、黄砂、石灰、毛竹等都就地取材。
安徽省各级党政组织对上海小三线的基本建设十分重视，给予了极大的支持。皖南徽州专区、池州专区都有领导参加229指挥部（后为812指挥部）和507工程指挥部的领导工作；小三线建设涉及的县都指定一位县的领导和部门领导分工负责支援小三线建设工作；工区所在地县，都有一名县级领导参加工区领导小组工作；施工现场所在地都有数位公社、大队的负责同志参加施工现场建设领导小组。
上海小三线基本建设是在上海市各综合部门、各包建局的密切协作、大力支援下进行的。除了上海建工局承包小三线基本建设任务外，小三线建设所需要的大量设备，部分是各包建局从现有设备中，将比较先进的部分成套、无偿地调拨给上海小三线。对小三线生产线安装中所缺的专用设备，各包建局组织行业各单位大力协作，进行自制。市交运局为满足小三线第一、二次规划项目基建的需要，派出两个车队，及时把大量物资送到建设工地。随着第三、四次规划小三线建设项目增多，布点分散，交运局根据市革会指示，于1969年上半年组织汽车、内河运输等单位，开辟了上海至湖州、长兴、泗安的水运和泗安至后方各建设点的陆运线路，较好地满足了小三线大规模基本建设和竣工投产后对运输力量的需要。
上海小三线第一批单位的基建还未结束，上海市后方领导小组就着手研究搬迁工作。各包建单位党组织在搬迁宣传动员中，对职工做了大量深入细致的思想工作。经过宣传动员，广大职工提高了对建设三线重要性的认识，激发起到小三线艰苦创业的豪情壮志。不少职工积极做好家属工作，踊跃报名，支援建设小三线的热潮在各个包建单位掀起，涌现出一大批以支援小三线为荣、以备战为重、服从组织决定、勇挑重担、勇于献身的干部和职工。
上海小三线基本建设从1966年3月开始到1971年结束，历时6个年头，除6个单位基建处于扫尾阶段以及1971年以后零星规划8个单位外，60多个单位基本建设竣工，其中42个工厂陆续投产，以军工为主的综合性的上海后方基地在皖南山区已初具规模。
（二）从1972年到1978年，是上海小三线军工生产大发展时期
这一时期，上海小三线各单位相继试制和生产了大量军品和部分民用产品，按时按质按量地完成了各项战备任务，为武装军队，建设国防作出了贡献。
一方面，建立统一的领导机构。1972初，上海小三线有42个工厂建成投产，职工3万余人，各级党政工团机构也基本建立，初步形成了常规兵器的生产和配套能力。原来基本建设时期建立的机构体制，已明显不适应新形势的要求。1973年3月，中共上海市委决定，成立中共上海后方基地党委。1973年4月，经中共上海市委常委研究决定，同意将中共上海后方基地委员会定为市局一级机构，韩克辛任党委书记。1973年8月，上海市革委会工交组、市国防工办联合发出《关于上海后方基地所属单位组织领导关系问题的通知》。《通知》规定：后方基地党委对小三线所属单位的革命和生产建设实行统一领导；小三线生产、计划和物资供应渠道，仍由上海有关工业局归口管理；年度生产、财务计划，以有关工业局为主编制，与后方基地共同商定下达；后方基地建立机电、电子、化工、轻工四个工业公司，分别管理有关基层工厂，贵池钢厂等作为后方基地直属厂。1975年3月，经市委批准，王祥举任后方基地党委书记。粉碎“四人帮”后，中共上海市委对后方基地党委进行了调整。
另一方面，主要军工产品进行试制、配套和全面投产。上海小三线建设成功进行了新四〇火箭筒和火箭弹的试制和生产，五七高炮和五七榴弹的试制和生产。在军工生产发展时期，上海小三线除生产了新四〇火箭筒、火箭弹和五七高炮、五七榴弹两大主要产品外，还组织生产大量其他军用产品，如炸药、八二毫米无后坐力炮、67式木柄手榴弹、钢珠枪弹、水雷等，成功研制我国第一台数字式炮瞄指挥仪。
（三）从1979年到1984年7月，是上海小三线军转民，实行军品民品生产相结合时期
这一时期，上海小三线贯彻国防工业“军民结合，以民养军”的方针，积极开发民品。