原来，裴祥的父亲裴侠不仅因协助韦孝宽坚守玉璧，打败了东魏丞相高欢率领的三十万大军，与王思政、韦孝宽被时人并称为玉璧三杰，更因裴侠居官清正廉洁，卓尔不群，被时任西魏丞相的北周太祖宇文泰誉为“独立使君”。
据说，宇文泰在一次召集诸外任刺史议事时，曾特地命时任信州刺史的裴侠站到公堂一边，对所有与会的刺史说道：“汝等若自忖居官清廉，除官俸外分毫未取者，可与裴使君同列。”
结果，当时赴会的数十名刺史竟无一人走过去站到裴侠身边。自此，裴侠便得了个“独立使君”的绰号。
这个当街剑斩惊马的毛头小子长安令裴祥居然是“独立使君”裴侠的儿子，并且，还是被晋公宇文护点名调来长安任职的！
饶是宇文直身为皇帝的同胞兄弟，堂堂的卫国公、雍州牧，得知这一情况后，方才还发热滚烫的头脑也不由得冷静了下来，开始有些后悔了。
崔猷在旁察言观色，瞧见宇文直额头上沁出了一层细密的汗珠，面色苍白，神色尴尬，便猜料他心中已生悔意，遂趁机说道：“方才在衙外有数名百姓拦住下官，声称其皆为惊马所伤，要下官替其主持公道。乐典史此前已禀明下官，卫公今日也是为了此事亲临京兆衙署。如今裴县令尚不省人事，不如这样吧，卫公今日且请回府暂候，改日待裴县令身体恢复之后，本官再依律升堂审理此案，到时必给卫公一个满意交待的，如何？”
宇文直今天之所以会来京兆衙署寻衅滋事，鞭笞裴祥，固然有裴祥当斩剑斩惊马，还要查究他过失的原因，更主要地还是因为他自被册任为雍州牧以来，本来自以为能手握京戢军政大权，成为朝中炙手可热的重要人物，没想到几个月下来，他反倒沦落成了上下两头被架空，整日无事可做的一位闲散皇室子弟，所以，宇文直今日是借与裴祥理论是非之机，有意来寻崔猷的晦气，以显示他做为雍州牧的威权来的。
按当时北周的官制来说，宇文直所任的雍州牧这一官职是帝都长安所在地区的最高军政长官，不仅负有治理京畿地方、维护京畿治安的重任，更应当是手握重兵，负责京畿防务的朝中重臣，其地位大约相当于今天的北京军区司令。
可是，宇文直上任后不久就失望地发现，他这个雍州牧其实并不掌握任何兵权：
首先，自三年前他的堂兄宇文护受命执政以来，就将西魏时期宇文泰一手创建的十二府军（原属十二大将军统领）的军权牢牢抓在了手中。没有中外府颁下的兵符，任何人休想调动十二军中的一兵一卒。
十二军主力的兵权从宇文护手中争不过来也就罢了，偏偏本该州刺史掌握的州郡地方部队的军权也归属了京兆衙署，由宇文护的亲信谋士、京兆尹崔猷直接掌握。这就不能不使宇文直开始疑心宇文护举荐自己回京出任雍州牧是别有用心了。
在长安闲居这大半年时间里，宇文直处心积虑地接近与自己同岁的宇文静，千方百计地想从宇文静口中套问出宇文护对他的看法，以期取得宇文护的信任，能够交放一部分兵权给他，然而却没有获得半点进展。
在这种情况下，宇文直胸中憋蓄已久的一腔怨气自然就转移发泄到了本应是他直接下属的京兆尹崔猷身上。
可是，宇文直却没想到，被他当做幌子来寻崔猷不是的这位长安令裴祥竟是“独立使君”裴侠的儿子。
“啊，今日确是祟业公的马受了惊，踩踏撞伤了几名路人，为此，祟业公已然表示，情愿出钱为伤者疗伤。”宇文直眼珠滴溜溜地转着，对崔猷说道，“但是，这位裴县令不问情由，当街挥剑斩杀朝廷极为紧缺的战马，并且公然对本公无礼，这也是有目共睹的。本公依律对其略施薄惩，总不为过吧。”
崔猷沉吟不语。
“裴祥既是你的下属，权且交与崔府尹发落处置吧。静儿，咱们走。”宇文直一刻也不想再在这里多呆下去了，匆匆向崔猷交待一声，叫上宇文静，带着一干随从起身离开了京兆衙署。
崔猷将宇文直一行送出门外，回头命乐运带那几名被惊马撞伤的百姓进衙一一录了口供，又疾步返回公堂好生劝慰了一番被吊打得遍体是伤的裴祥，再三叮嘱他回家安心养伤，不可再找宇文直查究今日之事，一切尽交由自己处置，这才命人将裴祥送回了家。
裴祥迷迷糊糊地被送回了自己家中，他的母亲杜氏一见儿子被人打成这般模样，淌着眼泪向送裴祥回家的衙役询问罢事情原由，什么也没说，默默地找来郎中替儿子诊治了伤情，在伤口敷上药，侍候着裴祥睡下，这才转身从箱笼中翻出丈夫生前所穿官袍，双手捧着官袍出了家门，径直朝长安宫走去。
裴祥昏昏沉沉不知睡了多长时间，被一阵钻心刺骨的疼痛惊醒，觉得口渴难耐，睁眼发现自己已躺在了家中，强撑着身体半坐了起来，轻声呼唤道：“娘，娘。”
半晌，并无一人应声。
他试探着活动了两下四肢，惊喜地发现除了被鞭打绽开的伤处仍然疼痛难耐外，行走活动竟是并无大碍，遂勉强下了床，脚步踉跄地走到案前，自己动手倒了碗水喝，又围着自家的小院找了个遍，仍没有找到母亲杜氏。
裴祥倚着院中一棵大树努力回想了回想，依稀记得自己被人抬回家时，母亲就在家中。他素知母家性情刚烈，决不输须眉男子，若是得知自己被人打伤的实情原由，多半是不肯就此善罢甘休的，遂强撑着蹒跚走出家门，向街坊邻居四处打听起了母亲的去向。
有好心的街坊告诉裴祥，说是半个多时辰前看到杜氏夫人似乎朝长安宫的方向去了。
裴祥听此消息，心中禁不住地起急，不顾街坊邻里的一再劝说，当即拖着两条伤腿一步一挪地赶往长安宫来寻母亲。
果不出他所料，待裴祥好容易来到丹凤门外时，赫然只见自己的母亲杜氏正跪伏于宫门之外，面前端端正正放着父亲裴侠生前穿过的一套官袍，她不知冲宫内叩了多少个头，额头上已是青紫一片。