按照现代学者黄文宽先生的研究，赵佗墓很可能在越秀山水塔附近的木壳冈上。曾昭璇、黄淼章等学者顺着黄文宽先生的思路继续深入研究，至今已经有不少学者认同赵佗很可能葬在越秀山的说法，最有可能在马鞍山南面的大凤冈、勒茶坑一带，这也符合前述“马鞍冈”说和“悟性寺”说的推理。理由大概有二个：一是越秀山因南越王赵佗而得名，自古传闻有“天子气”，赵佗生前非常喜爱此山，多次登山游赏，死后安眠于此合情合理；二是南越国有“聚族而居，合族而葬”的墓葬制度和殡葬习俗，越秀山马鞍冈附近已经发现有赵佗孙子赵眛的墓室，按礼制，汉人殡葬实行“父曰昭，子曰穆”的陵墓昭穆制度，赵眛应该是追随其祖父才安葬于此的，因而赵佗墓也应在此，这才合乎逻辑；通过众多文献记载和考古文物相互印证，对诸种说法抉择去取，逐一鉴别筛选，这一说法最为合理。
汉承秦制，汉代墓葬制度和殡葬风俗很大程度上承袭秦朝。在贵族墓室建造样式上较具代表性的是土坑竖穴椁室墓。后来在中原大量出土的汉墓中，更多的墓葬被发现是“斩山作郭，凿山为陵、穿石为藏”的大型崖墓。赵佗本为秦将，深谙中原典制，推崇中原文化习俗，其墓葬结构、样式、风格势必深受汉朝中原贵族墓室影响。况且已经被发掘的其孙子赵眛墓室被深埋于象岗山腹心深约十几米的沟堑内，“凿山为陵”的风格尤为显著，墓室结构、样式、风格也与汉朝中原贵族墓室几无差异。因而，可以推断，赵佗墓与汉朝中原贵族墓室应十分相似。
唐代传奇体裁文学作品对赵佗墓有绘声绘色的描写，其言虽十分离奇而不可轻信，但因其流传广泛而导致受接受程度很高。《太平广记》曾转录了唐传奇的一个故事，大意如下：
监察御史崔向文采出众，在朝野之间都享有盛誉。崔向在岭南做官期间，其子崔炜随居南海。某日，崔炜游览海光寺时偶遇一位已近暮年的僧人。该僧人对崔炜说：“山下有一位任姓老翁，身染重病，你若能将他治好，一定会得到丰厚的报偿。”崔炜素以治病救人自任，便下山寻找任翁。不料，刚进任翁家门说明缘由，任翁及仆人不禁怒火中烧，持刀挟刃追砍崔炜。众人追击了六七里，眼看就要抓到他了。此时，崔炜迷路，不小心跌入一口大枯井里。
虽然坠井，但因井底堆满枯叶，崔炜竟然毫发无损。他环顾四周，发现这口井起码有百丈之深，周围空荡荡的，可以容纳上千人。活命要紧，崔炜急忙在幽暗的洞中寻找出口。沿着井壁走了几十里，他趁着些许亮光，看到了井壁上绘制有穿着得体的古代男子，还有几只金色的野兽噬咬着金环。他上前轻轻触摸一下，洞口打开，原来这是一个石门。进入内室，只见室内空空如也，有几百米宽。墙壁上都镌刻着各式花纹，垂金泥紫。再往里走，还有几间锦绣帏帐织成的密室，还装饰有珠宝翡翠，闪闪熠熠，像满天星星一样。锦帐前有金炉，炉上有蛟龙鸾凤、龟蛇鸾雀，都张着口喷出芳香蓊郁的烟雾。四壁有床，咸饰以犀象，上有琴瑟、笙簧、鼗鼓，不可胜记。在往里走，只见一处砌以金璧，贮以水银、凫鹥之类的池子。置身其中，崔炜不知不觉进入另外一个世界，真是恍如隔世。惊呆良久，见石台上有琴，他便弹奏一曲。不多一会儿，有四位挽古髻、衣霓裳的美貌女子从墙壁的门中出来，问崔炜：“你为何擅自闯入皇帝的宫殿呀？”崔炜大惊失色，仿佛进入阴曹地府。见崔炜不作声，四女子继续说：“皇帝陛下有令，赐予你一件国宝阳燧珠，你出去后，会有异族人用十万匹缗与你交易。”随后，便打开玉函，取出珠宝给崔炜。最后，她们带领崔炜走出深井。
崔炜深信不疑，便打算去波斯寻觅买主。正欲登船，一位年迈的波斯人跪在地上行匍匐礼：“您是从南越王赵佗的墓室中出来的吗？不然不会有这种珍稀宝物呀。”此时，崔炜才意识到四女所谓皇帝是赵佗，于是便将经历一五一十告知波斯人。波斯人准备了十万匹缗换崔炜的宝珠。崔炜非常纳闷，便诘问道：“您如何能断定我手中的珠宝是传世稀品呢？”波斯人说：“这是我大食国的传世国宝阳燧珠呀！汉朝时，赵佗派遣使者远航万里盗得我国宝物到番禺，至今千年了。我大食国有懂得玄象学的人，算出今年国宝荣归故里，因而我国大王差遣我准备大舶重资抵番禺搜求。果然，今日要得到国宝呀。”崔炜见正是四女子交代的买家，便将珠宝交给波斯人，换来了十万匹缗。得到宝物后，波斯人泛舟离去。
这虽然是一个传说，但至少反映出两点重要的信息：一是南越国具有远航的能力，与波斯等异域有交往；二是南越王赵佗墓就在南海某寺庙附近，宝物众多，时常引起人们的觊觎之心。有学者据此认为至晚到唐代，赵佗墓已经被盗一空。
所谓海光寺山下的任翁之室即任嚣墓，是崔炜逃跑的起点。海光寺在今日的越秀山上，任嚣墓在唐南海县城北的瑏瑢，即在今越秀山北的梓元冈。崔炜慌乱之中从任翁室逃走，本应向东南奔往城中，因迷失道路，而误往东北逃走，至六七里路，便到了赵佗墓。可见，赵佗墓与任嚣墓并不很远。
扑朔迷离的赵佗墓引起了后世文人骚客的颇多感慨。如宋人方信孺就曾作《赵佗疑冢》一首：
漫说曹瞒七十余，老佗疑冢更模糊。
不知禹葬会稽处，也有累累如许燕。
赵佗一生神文圣武，充满传奇色彩，历代传闻赵佗墓奇珍异宝遍布。自两汉以来，历代盗墓者都对其垂涎三尺。
三国时期，战乱频仍，军费开支极大，各派势力都想从古墓中寻求宝藏。孙权听说赵佗陵墓中埋葬有许多珍宝，竟然不顾雄踞中原正虎视眈眈侵吞东吴的曹魏集团的威胁，执意派遣交趾治中从事吕瑜带领数千士兵寻找赵佗墓。在奇珍异宝的驱使下，士卒们秉承孙权旨意，在越秀山至鸡笼山之间日夜劳作，挖地三尺，最终还是没有找到赵佗墓，但无意中发现了南越明王赵婴齐的墓室，挖掘到金蚕、明珠、玉匣、金印、信玺、铜剑、金镂玉衣等众多宝物。据说，当时负责挖掘坟墓的士兵中有因水土不服而患病而亡的，后来军中瘟疫流行，当地人说是因为掘坟挖墓动了地气，南越王的幽灵对士兵们施了邪术，使盗墓者不得安生。也许正是因为这一原因，孙权才下令停止挖掘。赵佗墓得以免遭浩劫。
斗转星移，随着岁月的流逝，神秘的赵佗墓愈来愈吸引人。因此，历代都有不少人在做着寻找南越王墓珍宝的美梦。他们步孙权的后尘，根据一些蛛丝马迹，踏遍了南自鸡笼岗、北至天井岗及广州方圆百里的大小冈岭，企图找到赵佗陵墓中这笔令人眼红的财产，一些传说较多的山冈成了盗贼们相继盗掘的重点。结果只是水中捞月，反而留下不少轶闻，给南越王墓增添了许多神秘的色彩。
为了寻觅赵佗墓，人们使用了各种奇异的手段。数十年前，“人体特异功能”之风越吹越盛之时，广州的一位“特异功能者”决定用自己神奇的功能协助文物部门查找赵佗墓室位置，但最终徒劳无功。至今，赵佗墓仍然是一个疑窦丛生的不解之谜。
绞尽脑汁的赵佗为使自己的寝宫不被骚扰，绞尽脑汁，费尽心思，看来他早已做好和后世打一场旷日持久的珍宝争夺战的心理准备。
这或许就是赵佗墓扑朔迷离又引人入胜的绝妙之处吧。