在近畿的著名古刹石山寺不远的琵琶湖畔，住着一个二十九岁的青年俵屋藤太郎。由于祖上留下了不少的祖产，他在生活上却也还轻松。然而生活没有什么特别，每天都只是一成不变地持续下去。
然而一天，当他路过濑田长桥时，却发现一只如同怪物般的东西蹲在栏杆旁。他吓了一跳，这不是像怪物，而是本来就是怪物。它像人一般，又全身漆黑，脸如牛马，须如长柳，但它的一双眼睛碧绿如玉，盈盈可爱。
就在他仔细观察着这只怪物时，脚步不知不觉地走近了。当怪物向他看来时，他几乎拔腿就跑。这时，怪物却说出了人话。
“不要怕。我只是一个可怜的鲛人。”它说。
藤太郎虽然害怕，却也大感好奇，便问：“你为什么出现在这里？”
鲛人叹了一口气说：“我是鲛人，原来是龙宫里的仆役，侍奉八大龙王。只是偶然犯了错，被放逐出了海外。我本是生在龙宫，也愿死在龙宫。如今一出来，举目无亲友，人生路不熟，吃得不饱，又无容身之所。我日日饱受着日晒风吹，皮肤已经快要干裂了。我不知将去什么地方，也许就死在这里了。我看你也不像坏人，不知是否可以为我准备些食物，找个地方让我休息一会。”
鲛人声音凄凉，那清澈的双眼，竟似有泪水盈盈，身上的皮肤确实干裂，没有一点色泽。藤太郎不禁恻然，他本是一个重情、善良的人，便说：“我家院子倒是有个可以说是既大又深的池子，只是相比龙宫而言，可能是小太多。你要是不介意，可以到那里休息一会。吃的东西，自然是有的。”
于是藤太郎将鲛人带回了家。鲛人一跳进水里，就像活了过来一般。藤太郎心里也欢喜，便说：“你要是没地方去，就留在这里吧。”鲛人是被驱逐的人，本来就没处可去，不禁大为感激，便接受了藤太郎的好意。
这样半年过去了。除了家中庭院池中多了个鲛人，生活没有太大变化。藤太郎心中依然郁郁，感到自己的生活是不完整的。他马上就要满三十了，然而他从来没有遇上过令自己心动的女生，从来不曾有人可以替他分享心中的喜忧。
这年七月，大津城的三升寺要举办仕女参拜的活动。到时，全国各地的女孩都会云集在大津城。为了寻找自己的幸福，藤太郎决定到大津城去。这是他为数不多的远行。于是，他向鲛人告别，独自来到大津城。
大津城里热闹非凡，街上万人空巷。寺院里也是灯光通明，人潮汹汹。在这茫茫人海中找寻自己的所爱又谈何容易呢？藤太郎不禁一阵伤感，就在他抬头想走时，一个女孩映入她眼帘。她的出现，就如同一束阳光忽然降临黑暗，一阵晨风吹散积郁。藤太郎立在那里，已经不知身在何方了。那女孩也忽然向他投来一瞥，然后又娇羞地迅速地转过头。
整个盛会结束，那女孩再也没有看他，而是不停地跟别人说话。她的声音如娇莺，吐气如兰，举止文秀。虽然再没有目光相遇，但藤太郎深知自己的生活如果没有她，那将是没有色彩的。盛会结束后，他偷偷地跟在女孩后面，看着她走进濑田村的一家小房舍。
藤太郎心中大喜，他的家境不坏，以为对方绝不嫌弃他。他多番打听，得知女孩叫珠名，年方十六，为了参加城里的仕女参拜活动而借住在濑田村的一家亲戚里。这正是适婚年龄，他父母自知女儿天生丽质，不想她吃苦，想让她嫁入豪门，所以立下条件，要迎娶珠名，必须以一万颗宝石作为聘礼。
藤太郎大失所望，精神萎靡地回到琵琶湖畔。一万颗宝石，这纵然集合全国的宝石也未必能凑够。何况他虽然有祖产，却算不上是富贵之家，这一万颗宝石是如何也凑不齐的。然而，女孩的音容笑貌一直萦绕在他脑海。想到即将有人迎娶自己心爱的女孩，他便心如刀割。他日思夜想，有时连饭也吃不下，只是一个人独自地伤感。藤太郎也迅速地消瘦下来，最终因身体过于虚弱而卧病在床。
鲛人完全不知发生了什么事，只知道藤太郎从大津城回来后就闷闷不乐，总是一整天不开口，也不吃饭。直到藤太郎卧病在床，气息奄奄，它才知道事情的严重性。
藤太郎也曾请医师来诊断。医师看了一番后，摇摇头说：“你患的不是普通的病，是心病。这种病是药物没法治疗的。以前琅琊王伯也得过这种病，最后也还是死了。治疗的方法只有一种，就是把心中的人拿掉。这样，你是否愿意？”
藤太郎听了医师的话，虚弱地摇了摇头，没有说话。
医师只有叹息说：“那就没办法了。死去是迟早的事。你要明白这点。”
说完，他便拎起药箱走了。
鲛人躲在门后，听了这话，虽然对什么“心病”、“心中的人”不太了解，但它知道，藤太郎病得很重，而且不久的将来会死掉。藤太郎是单身汉，没有人照顾他。于是鲛人便开始照顾藤太郎，不分日夜。然而情况没有丝毫好转。藤太郎也自知命在旦夕，但他不肯放下心中的执念，他是如此地爱着那个女孩。
一夜，他从昏睡中醒来，看见鲛人正在身边照顾他，心中十分感动，便说：“人的生命犹如朝露，遇见太阳便要消散。我的死是迟早的，是注定的。但可惜当初说要照顾你，如今我死去，这诺言也无法实现了。人生中的事，总是以遗憾居多啊。”
鲛人被藤太郎这么一说，心中也大为悲戚。想起当初藤太郎不仅不害怕自己，不讨厌自己，还给自己一个大池子和食物，鲛人心里就伤感起来。它没想到这位善良的朋友竟会这么快死去，便不禁哭了起来。这声音如丝如缕，听来十分悲凉。
藤太郎心知这便算是哭丧了。然而随后鲛人哭声的响起，也似乎有什么东西落在床上，落在地上，发出清脆的声音。藤太郎勉强睁开眼，看到满床的都是血红一般的宝石。他再看鲛人，发现从它眼里涌出的血泪，落下来就成了红宝石。藤太郎惊讶不已，心中也异常惊喜，他跳了起来，捧着红宝石，也是激动得泪如雨下。
他嘴里喃喃地说：“有希望了！有希望了！”
鲛人见藤太郎跳了下来，虽然身体依旧虚弱，但精神上已经不能同日而语。它感到十分惊讶，便不再哭了，而是满怀惊喜地看着他。藤太郎见鲛人不再哭，红宝石也不增加，心中焦急起来，说：“你怎么不哭了？你不哭，我就没有宝石了。”
鲛人听了这话，心里不快起来，它以为藤太郎是贪财之人，气愤地说：“我不是卖哭女。我之所以哭，是因为念及你的大恩，而你将死。你要知道，海里的生物是不轻易哭的。我们的眼泪如宝石一般宝贵。而你竟然是为了财宝才让我哭，这样的话，我是不会哭的。”
藤太郎自知失言，便说：“不是这样的。你不知道，在人类的感情中，还有一种感情叫爱情。这种感情和你们的感情一样真。我在大津城爱上了一个女孩，然而要跟她在一起，便需要一万颗宝石。这对我来说是不可能的。我既拿不出一万颗宝石，这就意味着我要失去她。所以我才会因想念而卧病在床。如果没有这一万颗宝石，我最终会因为相思致死的。就像你为我哭，我为她死。”
鲛人听藤太郎说得恳切，知道他所言非虚。但是藤太郎既然没死，它也便哭不出来了。只是藤太郎拿不到一万颗宝石还是会死了，这样，他对它的大恩就永无相报之日了。
“明日，我们在濑田长桥上置酒对饮。”鲛人说。
藤太郎不解，便问：“为什么？”
鲛人不说，默然地回到池中。藤太郎虽然不解，却知道它这样做必是有原因的，便如它所说，准备好了酒菜。第二天一早，藤太郎和鲛人来到濑田长桥上。鲛人望着东方，吞了一杯酒，然后泪开始滚下来。泪一出来，就化成了宝石。藤太郎既惊又喜。他喜的是，宝石能凑够，惊的是不知鲛鱼为何而哭。
他只好默默地收拾着宝石。鲛人先是大哭，后来一边大哭，一边高歌。这样持续了半个时辰，宝石也凑够了。这时鲛人才缓缓地说：“东方是我的故乡，那里有一大片海。那里是我生长的故乡，我有许多同伴，有许多亲人。然而我再也回不去了。我的一生也许就要在漂泊中度过，但那里的生活，将永远像一块烙铁烙在心中，既痛又爱。”
藤太郎这时才明白鲛人为什么会哭。就在这时，鲛人却忽然丢下了酒杯，回头对藤太郎说：“大恩已报，我也要走了。”
藤太郎心中戚然，鲛人是被驱逐的生物，世上再没有湖泊大海可以容纳它。也是在这个时候，东方忽然传来了一阵很怪异的音乐。这种音乐藤太郎从来没有听过。
然而鲛人一听到这音乐，悲戚的表情就变得惊喜起来。它望着东方，那眼神就如同最初他喝酒大哭时的眼神一样。它纵身跳下桥，朝着音乐传来的声音游去，然后消失在远方。慢慢地，那怪异的音乐也消失了。
藤太郎知道，那音乐肯定是大海对鲛人的悲泣的回应。也许，龙王听到了鲛人真心的悔改和思念而赦免了它也不一定。
这样一想，藤太郎也便释然了，抱着用箱子装好的一万颗宝石，去迎娶珠名。