古城山阴县秦代即设置，因其在会稽山之阴（北）而得名。治所即今浙江绍兴。隋改名会稽，唐又分会稽置山阴，与会稽同城而治。此后历为越州、会稽郡、绍兴府、绍兴路治所。明正德十六年（1521年）二月四日，山阴诞生了一位杰出的文学艺术家徐渭。
《山阴县志》记载：“榴花书屋在大云坊大乘庵之东，徐渭降生处，中有大安石榴一本。这个榴花书屋，即今绍兴青藤书屋。徐渭父亲名徐，因同族在贵州龙里卫当兵，徐就到贵州去教书糊口，并利用贵州籍贯应乡试。由于当时贵州文化比浙江落后得多，徐顺利地在贵州考中了举人，后在贵州任县令。其原配夫人童氏生了两个儿子：徐淮、徐潞。童氏中年病死，徐又娶云南澄江府苗百户家一位守寡的侄女苗氏。徐最后升任四川夔州府同知，不久因病回山阴榴花书屋养老。苗氏嫁到徐家后未生育。徐晚年纳苗氏的侍女为妾，生徐渭。徐渭生后百日，徐即因年老衰病辞世。”
徐家是山阴的世家大族。据《山阴县志·选举志》记载，徐同族弟兄徐镒是贡生，徐钥是进士。明代中叶著名的忠臣沈谏、提学副使萧鸣风，均是徐家的门婿。徐渭《赠族兄序》说：“吾宗居会稽，自吾祖而上，代多豪隽富贵老寿之人。至吾考，若新河吾叔父，西河二叔父及诸君子，或为州郡，或自部郎，俱阶大夫。横黄金而子孙繁多，大其门户，美其衣食。高者以明经为生员，次亦气概雄视一乡。”徐老来得子，家庭条件又极优裕，故徐渭生后受到优渥的照顾。徐渭七十二岁时有一首《春兴》诗回忆自己的婴幼时期：
二月四日吾已降，摄提尚复指苍龙。
当时小褓慈帏绣，连岁寒衣邻母缝。
一股虫尸忙万蚁，百须花粉乱千蜂。
自怜伯玉知非晚，除却樽罍事事慵。
徐渭出生时，父亲徐已是垂暮老翁，而其母正当青春年少。据一些遗传学家、医学专家研究，老夫少妻生的孩子特别聪明。他们举了很多古今中外的实例，徐渭似乎也符合他们的研究结论。
徐渭幼时就极聪颖。嘉靖五年（1526），六岁的徐渭去私塾跟启蒙老师管士颜读书，管士颜教他背杜甫的诗，只教一遍徐渭就可以背诵了。徐渭八岁时拜陆如冈为师，学习作文。徐渭下笔飞快，每天早饭前就能写成两三篇作文，把陆如冈激动得到处夸奖徐渭是神童。有一次，已是少年的徐渭为仆人逃离的事到县官刘凤昺处申诉，刘凤昺出了一个作文题《居其所而众星共之》，要徐渭当场交卷。徐渭不写草稿，下笔如有神，当场交卷。刘凤昺看了大喜过望，在徐渭作文卷尾批语道：“小子能识文义，且能措词，可喜可喜。为其师者当善教之，务在多读古书，期于大成，勿徒烂记程文而已。”（《徐文长自著畸谱》）
出身于名门望族的徐渭并没有享几天福，不幸就接踵而至了。先是徐家经济破产。徐死后，徐渭长兄徐淮拿出巨资出外经商，并结交一些炼丹方士，十余年间赔光了几千两白银，徐家完全破产，成了破落户。徐渭二兄徐潞在绍兴屡次科考不第，就效法其父，到贵州去应乡试，携妻去了贵州。由于家庭经济破产，主持家政的苗夫人被迫遣散一批仆人，苗夫人侍女、徐渭生母、徐之妾也在遣散之列。那时徐渭刚刚十岁。
徐渭晚年还哀痛地回忆起这件伤心事，他说：苗宜人，是我嫡母。她爱护我、教诲我无以复加，世所未有。我粉身碎骨也难报她养育之恩。然而似乎就是她夺去了我的生母。（参见《徐文长自著畸谱》）
直至二十九岁时，徐渭才把生母接回家中奉养。母子分开了十九年。这十九年中，生母做什么，徐渭没有说明。但一个大户人家的侍妾，被遣散出门，沦落社会，她没有资财，没有谋生技能，境况一定是很辛酸而悲惨的。这件事深深地刺伤了徐渭的心。
徐渭生后百日父亲亡故，嫡母是父亲续弦，生母又是侍妾，这样的地位无疑使他在家庭中受到鄙视。不久，唯一能爱护徐渭的嫡母苗夫人又病死。徐渭在苗夫人病危时，三天三夜没有吃饭，守候在她的病榻前，希望能挽救她的生命。但这位来自南疆的女子，在多年对浙东的风土人情适应中，在与继子的尖锐矛盾中，终于郁愤而终。徐渭那时才十四岁，只能依靠长兄徐淮来抚养了。
嘉靖十六年（1537），徐渭第一次应试，但是连秀才（生员）都没有考取。他后来有一篇《上提学副使张公书》提了这次落第原因：他少年时就嗜读书卷，志气很宏博远大，自有文字以来的书籍他都要读，通其大概。他六岁即跟老师读《大学》，每日背诵千余言；九岁就能作文，发挥推衍章句之间的深义。乡绅前辈甚至称他为“宝树灵珠”，把他比为刘晏、杨修。十四岁时他嫡母去世，家庭纠纷变故接二连三，一言难尽……他这次考试，因为不合作八股文考试的格式，被摈斥于时。他觉得，将来学业废毁无成，兄长就不会相信他了。
这一回忆透露了徐渭未考上秀才的原因是因为没有按八股文要求答题，落第后还受到兄长的无情嘲笑和轻侮。过了三年，徐渭第二次应试，又是连秀才也没有考上。他给主考官上了一书，诉说自己两次不中，想往贵州投靠次兄徐潞，但又没有路费。然后他请求主考官准许复试。
主考官接信后，动了恻隐之心，允许徐渭复试。复试后徐渭被录取为秀才。又过了三年，嘉靖二十二年（1543），徐渭二十三岁，他到杭州应乡试，没考中。嘉靖二十四年（1545），徐渭再次应乡试，又一次落第。嘉靖二十八年（1545），二十九岁的徐渭再应乡试，又没有考取。嘉靖三十一年（1552），徐渭再应乡试，初试时名列第一。主考官薛应旂阅卷，惊异徐渭的文才，把他判为第一，并在徐渭试卷末尾批上：“句句鬼语，李长吉之流也。”（陶望龄《徐文长集序》）但是在复试时他又没考中，徐渭很懊丧，写了一篇《涉江赋》，描述了自己在科举制度折磨下肉体和心灵的苦痛。第七次乡试徐渭初试得第二名，复试时又未被录取。三十八岁时，徐渭辞别胡宗宪幕府参加乡试，仍然名落孙山。嘉靖四十年（1561），徐渭最后一次参加乡试，最终还是失败。他作了一首《省试周大夫赠篇，罢归赋此》诗，抒发了多次落第的颓丧心情：
十谒九不荐，那能长作儒？
江光凌弃璧，关色黯归孺。
薇蕨求新主，羹汤问小姑。
风雷亦何限？终是恼凡鱼！
（《徐文长三集》卷六）
从十六岁起到四十一岁，徐渭九次参加科举考试，除第二次经恳求主考官允许复试，考中秀才外，其余八次均败北。中国封建社会士人的理想是修身、齐家、治国、平天下，而在封建王朝稳定时期，士人的理想一般只有通过科举才能实现。徐渭一生的黄金年华都在努力走这条路，结果没能走通，可以想见，这对一个立志大天下的士人的打击是多么大！徐渭后来写了一个杂剧《女状元辞凤得凰》，借剧中人物之口，表达了对科举制度埋没人才的深刻不满。
百日丧父、十岁时生母被遣散、十四岁嫡母去世、因是庶出受兄长和社会的卑视、家道中落的反差，给徐渭的心灵带来的创伤是巨大的。更不幸的是徐渭的婚姻。
徐渭第一次结婚是在二十岁考中秀才以后。妻子是绍兴富商潘克敬的女儿，叫潘似。潘克敬在北京锦衣卫做过事，后来外放为广东阳江县典史。由于徐渭长兄徐淮破产，拿不出巨额银钱作为聘礼，商人出身的潘克敬表示并不计较这些，他相中了十二岁作《雪词》、十六岁作《释毁》，轰动绍兴城的徐渭。他不仅不要聘礼，而且允许徐渭入赘。徐淮正愁无法供养弟弟生活，立即给徐渭订婚，打发弟弟随岳父去广东阳江县。嘉靖二十年（1541），二十一岁的徐渭在阳江县典史署中与潘似结婚。徐渭年轻英俊，风度翩翩，潘似年方十四，花容月貌，人们交口称赞这是天造地设的一对。婚礼热闹隆重。很多年后，徐渭在《悼亡》一诗中还追忆了初婚时的情景：
华堂日晏绮罗开，伐鼓吹箫一两回。
帐底画眉犹未了，寺丞亲着绛纱来。
掩映双鬟绣扇新，当时相见各青春。
傍人细语亲听得，道是神仙会里人。
（《徐文长三集》卷十一）
但是热闹过后，徐渭的心开始隐隐作痛了。赘婿，民间又叫倒插门，在中国几千年的父系社会中，受到社会舆论的蔑视和轻侮。历代不少王朝有强迫赘婿和囚徒当兵的法律，就是说，赘婿地位等同于囚徒。入赘时丈夫要写“小子无能，随妻改姓”之类的话。虽然徐渭岳父潘克敬时时关照女婿，但徐渭总有一种寄人篱下的感觉，不得不时时处处小心应付潘家的上上下下。这对一个才高八斗、多才多艺的天才人物的折磨是很残酷的。
婚后三年，潘似生了一个男孩，徐渭给儿子命名徐枚。潘似原患肺病，生育后病情加重，一年以后病故。这以后十年，徐渭未再续弦。潘似逝世十周年时，潘家送回女儿遗物，徐渭含泪写诗一首：
黄金小纽茜衫温，袖摺犹存举案痕。
开匣不知双泪下，满庭积雪一灯昏。
（《内子亡十年因感而作》）
爱妻亡故之前，徐渭的二兄徐潞、长兄徐淮先后因患痢疾、服丹药中毒而死。青年丧妻、亡兄、家境一贫如洗，这使徐渭更加形单影只了。
徐渭第二次婚姻还是入赘。那是他三十九岁时，入赘杭州王家。但时间很短，从夏到秋，不到三个月时间。
嘉靖四十年（1561），徐渭娶继室张氏。过了一年，生子徐枳。这一次婚姻给徐渭带来的只有痛苦，夫妻经常吵嘴打架，直到后来发展到徐渭误杀妻子下狱。徐渭在狱中还写了一首诗，怨恨死去的妻子嫁祸于他：
天上分银汉，人间隔画楼。
并时双眼泪，啼断一年秋！
赠鹊金钗解，辞欢宝带留。
莫因河间住，也学祸牵牛！
（《徐文长佚稿》卷三）
除了美满的初婚和后来的痛苦婚姻给徐渭以巨大的刺激以外，还有一次未成功的婚姻也给他的心灵带来伤痛。嘉靖三十一年（1562），经介绍双林镇一个姓严的绅士与徐渭相见，准备把长女嫁与徐渭。徐渭猜疑严女是个傻姑娘，就几次婉拒。后来倭寇打进双林镇，杀了严翁，掳走严家两个女儿，长女被俘后投水自尽，次女归家亦自尽。徐渭听说后，后悔莫及，特地撰写《宛转词》《严烈女传》纪念此事，表达对严氏父女的深深怀念之情。他的一片痴情甚至感染了他的好友沈明臣，沈特地写了一首《严烈女为徐文长》诗来表达对严烈女悲壮不屈精神和徐渭一片痴情的敬重：
山阴徐渭曾婚请，因疑女父前盟冷。
死后相闻感慨多，题诗更续清风岭。
（《丰对楼诗选》卷七）
百日丧父、十岁生母被遣散出门、十四岁嫡母病故、生母身份卑微、两次入赘、九次科考不第、青年丧妻亡兄、婚姻痛苦不堪，徐渭的身世真是很不幸！