固然外在的历史环境和社会思潮对于禅宗的兴衰有着重要的影响，但是禅宗内部自身出现的危机问题乃是影响其衰落的最根本性原因。关于禅宗的衰亡原因，任继愈先生认为，“禅宗力图把佛性从彼岸世界拉回到每个人的内心，把依靠佛教的经典转向引导人们相信个人的顿悟(内心的神秘启示)，把拜佛转向呵佛骂祖，这就埋葬下了毁灭它自己的炸弹”，“禅宗后期，发展为宗教神秘主义、直觉主义……禅宗哲学思想中潜伏着从理论上导致破坏宗教的倾向，这虽不是禅宗思想的主流，却也是不可忽视的一种倾向”。并指出，“自从把彼岸世界与此岸(现实社会)的藩篱撤除后，却在理论上也会给佛教带来了危机”。任先生的观点有一定道理。不过，就法眼宗的衰落原因而言，除与任先生的上述论见有关之外，还有几点需要指出：一是禅宗宗派内部的相互争论和诋毁对于禅宗的发展势必会造成一定的影响，从而削弱了禅宗的整体凝聚力，法眼宗由于受禅宗内部争论的影响，入宋之后势力也有所削弱，而不断走向衰落；二是禅宗在发展中内部出现了“离经叛道”现象，不仅对佛教经论的真实思想在理解上有误读，而且对禅宗祖师言说方式的真实用意产生了误解，更为可怕的是在禅宗实践中禅师或学人偏离和违背了禅宗宗旨以及禅宗祖师爷的禅门家风之精神，法眼宗门徒也因在实际中对祖师之成法及宗旨有所背离，故造成了自身的不断衰落；三是在禅净教合流的整体趋势下，因法眼宗思想风格被掩盖而丧失了自身的思想独立性，加之法眼宗入宋后没有一时代之宗匠出现，故不能担任起弘扬和振兴法眼宗的历史重任，因而造成了该宗的法脉中绝。四是法脉传承人未得到真传，乃是一种“师资相承”而非“悟法传承”，故易造成法脉的经久不传，所谓“人能弘道，非道弘人”。
一、“禅诤”与法眼宗的衰落
法眼宗势力的削弱与禅诤有一定的关联。禅宗在发展中其内部的确存在彼此相互攻击的事实，对于削弱禅宗势力是有一定影响的。裴休《禅源诸诠集都序叙》云：“故数十年来师法益坏。以承禀为户牖。各自开张。以经论为干戈。互相攻击。情随函矢而迁变。……法逐人我以高低。是非纷拏莫能辨析。则向者世尊菩萨诸方教宗。适足以起诤。后人增烦恼病。何利益之有哉。”可见，禅宗内部的各自争论不仅会给学人增添烦恼，而且也无益于禅宗的发展，同时彼此的相互攻伐也会削弱禅宗的势力。
禅宗的争论有其历史的渊源性。佛教在未进入中土之前，在印度就分离为上座部与大众部，所谓“佛灭度后，二十部小乘兴诤”，之后又有大乘佛教与小乘佛教、大乘禅与小乘禅等之分殊和各个派别的接踵出现。当然一向主张平等、和谐的佛教其自身内部或出于卫教、护道的目的，也有思想的对立，或派别的斗争。佛教内部的派别斗争或是理论立场的纷争，自佛教传入中土之后仍有继续。有禅宗初祖之称的“菩提达摩”被菩提流支“六次下毒”之说的文化现象，即意涵了禅学派别争论在中土佛教的历史演化中也有脉络可以探寻。
道宣的《续高僧传》云：“(达摩)北度至魏，隨其所止诲以禅教，于时合国盛弘讲授，乍闻定法多生讥谤。”可见，达摩在北方传禅，并未得到认可，反而遭受排挤。故禅宗门徒在《宝林传》中记录有菩提流派人毒杀达摩一事，即表明了禅宗门人有抑扬宗门的认知心态。而这一抬高本门的心理在《历代法宝记》也表现得尤为明显，《历代法宝记》认为菩提流支，“是译经三藏，不是禅师，并传文字教法。达摩祖师宗徒禅法，不将一字教来，默传心印”。即是说他仅仅是佛教经典的翻译者，而非真正的禅师，这亦反映出了禅宗对待菩提流支的态度是蔑视和不以为然的。但是，宋代高僧契嵩却对这一事件表现出不同意见云：“然达磨之道至乎隋唐已大著矣。为其传者自可较其实而笔之，安得辄从流俗而不求圣人之宗，斯岂谓善为传乎。曰《传》谓达磨六被毒药，乃菩提流支所致，然乎？曰此盖为《宝林传》者未之思也。……盖后世以流支尝屈论于达磨意其为之，假令少验于谶，亦恐当时党流支者，窃作昔刺客。有为北宗之徒而往害六祖大鉴，是岂秀师之意耶。方之流支不亦显乎。吾故鄙而不取。”在契嵩看来，道宣的《续高僧传》所载达摩之事为“实而笔之”，因《续高僧传》无有毒杀一事之记载，而《宝林传》从流俗中得达摩被“六毒”之说，故鄙夷而不取录于《传法正宗记》。而禅门广为流传的毒杀事件，对禅宗内部仍有广泛性影响，亦表明当时人们对门派之争所持有的观念或立场。而且道宣的“乍闻定法多生讥谤”言说也别有深意，同样隐含了禅宗与其他派别存有宗派之争的历史意涵。
禅宗史上的“南北之争”，为历史之事实，且学界有公论。这也无不体现出禅宗内部的纷争由禅宗形成之时就已经开始。这一禅宗内部争论，不仅在学理、修行方式以及传法凭证、信物等方面有极其强烈的论战，而且禅诤也反映在对禅宗的祖宗系谱认定上。就禅宗内部的思想之争论而言，其实在慧能之时就已经出现。据《坛经》记载，慧能亲眼目睹了“是风动还是幡动”的争论问题。但是，慧能对于不怀好意和动机不纯的问难与争论，则是表示反对的，如《坛经》云：“师见诸宗难问，咸其恶心，多集座下，愍而谓曰：‘学道之人，一切善念恶念，应当尽除，无名可名，名于自性。无二之性，是名实性。于实性上建立一切教门，言下便须自己。’诸人闻说，总皆作礼，请事为师。”禅宗创立后，在唐代南北之争中所涉及的“南顿北渐”、“旁正之论”、“传法衣钵”等问题都是僧俗两界关注的话题，学界多有研究，故不再赘述。禅宗争论，也表现在禅宗系谱争论中。中土的禅宗系谱，以唐净觉的《楞伽师资记》与唐宗密《中华传心地禅门师资承袭图》，以及《坛经》、《历代法宝记》、《传法宝记》尤具有代表性，其他主要为沿袭上述种种说法。唐净觉的《楞伽师资记》有关禅宗系谱为，求那跋陀罗—菩提达摩—惠可—璨禅师—道信禅师—弘忍—神秀、玄赜、老安。唐宗密《中华传心地禅门师资承袭图》的禅宗法系，即达磨—慧可—僧璨—道信—弘忍—慧能—神会，与《坛经》、《历代法宝记》世系大致一致。《传法宝记》的世系为：达磨—慧可—僧璨—道信—弘忍—法如—神秀。禅宗早期的法脉系谱具有多重来源的事实，亦从客观上说明禅宗当时确实存在法统之争，而且也是法统之争的最有力证据。但事实上，禅宗宗谱是多重文化心理与社会因素的思想建构，但是它又离不开禅宗自身的学统和师资传承，因而构建起来的禅宗系谱仍可使禅宗具有脉络可探的线索，这也许就是系谱的真实意义。对于建构系谱的意义，契嵩所作《传法正宗记》早有表明：“平生窃欲推一其宗祖，与天下学佛辈，息诤释疑，使百世而知其学有所统也！”可见，系谱之不同则又反映出了禅诤之激烈，系谱争论是为了表明各派的传承所具有的合法性以及各派所处的宗教地位，因此禅宗各派对此颇为重视。北宋出现的天皇道悟与天王道悟之诤也是禅诤之余波，也同样牵涉到了法眼宗的师承和法脉问题。陈垣先生云：“夫天皇、天王之诤，本起于北宋，《释氏疑年录》五曾论之。盖北宋末，五宗惟临济、云门特盛，好事者乃造为云门亦出南岳之说，欲以息诤，而不知诤因此而愈炽也。”
法眼宗创立时代，对于禅门派别之争，文益对此则看得十分清楚。他的《宗门十规论》对“党护门风不通议论”的现象曾给予大肆的批评，指出“角争斗为神通，骋唇舌作三昧”，“是非锋起，人我山高”，则无益于佛法之传播。对于禅人之间的禅诤，有《二僧争论行脚》诗云：“偶遇争禅客，徒劳论是非。堪笑采樵者，柯烂不知归。”即形象地描写了僧人争论的生活常态。法眼宗德韶禅师对此反映强烈，他说：“假铙答话简辩如悬河，只成得个颠倒知见”，而“与佛法天地悬隔”。德韶的法嗣本先禅师也有如是洞见：
大凡参学佛法，未必学问话是参学，未必学拣话是参学，未必学代语是参学，未必学别语是参学，未必学捻破经论中奇特言语是参学，未必捻破诸祖师奇特言语是参学。若也于如是等参学，任尔七通八达，于佛法中傥无个实见处，唤作乾慧之徒。岂不闻古德云聪明不敌生死，乾慧岂免苦轮？诸人若也参学，应须真实参学始得。
从中不难看到本先禅师也是极为反对口头禅或形式上的参禅之行为举动。在他看来，流于口头上的争论则无益于修禅悟道，只会使禅客落入知见，真正的参学在于真学实修而非停留在口头语言方面的争论上。延寿对此表明己见云：“佛法贵在行持，不取一期口辩”，“重实而不重虚，贵行而不贵说”，强调指出佛法重在修持，而不在口舌之辩上。
法眼宗流布江南之时，派别斗争就十分复杂，即便是宗门内部也难保没有争论发生，一代宗匠玄沙师备与雪峰义存时有争论，也是“至若与雪峰和尚征诘，亦当仁不让”。在文益在世之时，禅宗争论也未息止过。文益本人也曾有与其他宗派之论战，如与云门宗奉先深禅师的论战就是明显之案例，而且文益传法时面对非本门弟子的问难，实质上也带有禅诤的意味。这样的宗派之间的论战或禅诤，在禅宗灯录中颇为常见。诚然，论战有澄清问题的实际意义，且获胜者固然亦能为本派提高声誉，但论战也会伤及到宗教感情，或是为讨得口舌之便宜而为论战而论战，或借此而贬低他人或它宗，这样的禅诤则无益于佛法与禅学之流播，相反会削减了禅宗的自身势力。因此，无名氏的《息诤论》则表明了需要熄灭争论的意愿，论云：“凡是论诤，特有人我，非我不诤。未审余人，仆情如此。是以学人但能息诤，定得理长，识诤知非，将知不谬。真如渺寞，岂在诤论之中？佛性冲虚，那关有无之境？但自迷徒扰扰，不悟法性虚通。计着有无，凡情竞起。遂即高声执义，诤斗纷纭。称意必忻，违情克怒。口云将身慕道，专事人我不休。是以学者虽多，成无一二。呜呼长叹，实是昏迷。可不久滞无明，尔乃恒诤胜负！”又云：“又处俗愿莫诤，有义欲申，善须和睦，不得辄生忿怒。纵逸喧情，非直损人，亦能伤己。向来此语多喜不适彼情，若有慈心，莫将为咎。计君道理，不藉此言。望使善事共弘，恶事同舍。”可见，禅诤影响了禅宗内部的和睦问题，也消解了禅宗的内在合力，这对于禅宗的整体发展或整体形象而言则是极为不利的，更无助于禅宗的和平发展与相处。
如果说“南顿北渐”、“旁正之论”、“传法衣钵”等，是构成唐代南北之争中的重要内容的话；那么五代时期，禅门滥觞，所谓“源流滥觞，不可弹纪”，“门庭施设”、“未经教论”与“举唱宗乘”则又构成禅宗内部新的禅诤之显著性特点。所才会出现文益《宗门十规论》的宗门指病。据载：
神鼎禅师少年时与数耆，一僧举论宗乘，颇博敏会。野饭山店中，供办而僧论说不已，曰：“上人言‘三界唯心，万法唯识，唯识唯心，眼声耳色’，何人之语？”僧曰：“法眼大师偈也。”曰：“其义如何？”对曰：“唯心故根境不相到，唯识故声色枞然。”曰：舌味是根境否？”对曰：“是。”以箸夹菜置口，含糊而言曰：“何谓相入耶？”坐者相顾大惊，莫能加答。曰：“路途之乐，终未到家。见解入微，不名见到。参须实参，悟须实悟。阎罗大王，不怕多语。”
这虽说是互相勘验的实例，但也难免流入“人我山高”的陋习之中。禅宗后期的发展显示了禅客这一争强好斗心，并成为禅客常有的习气。在实际中，虽然禅师在口舌上的机语辩驳上明显占有上风，但是难道就能凭此说明禅师就一定开悟了吗？显然是不能得出他一定开悟的结论。然这一“论说不已”之僧，虽以法眼大师之偈举唱宗乘，但是“未经教论，难破识情”，所谓“举令提纲不知血脉”，对答又无宗眼，故为禅师所堪破也。据说禅师是临济子弟，他与法眼门徒之争，也暗示着临济宗与法眼宗之间也存在宗派的斗争和信徒的争夺，或宗门之下信徒之间也有互为诋毁之意。所谓，“为了保护自宗及其祖师，相互之间，不究真际，但攻矛盾，从事斗诤。因此而使宗师们忘却了佛祖的宗旨，妄用棒喝及圆相，或用歌颂，诳谑于人”。因此，在禅宗内部存在禅诤的整体背景下，如此夸夸其谈的法眼子弟，当然担当不起法眼宗的历史责任，法眼之灭或许也与这一类型或不成气候的学人似也有关联。这也能进一步证实“道因人弘，非道弘人”的思想观点。
二、“离宗”与法眼宗的衰落
离宗之意，其实就是“离经叛道”，自我异化。法眼宗的“离宗”问题，应当包含两方面的内容，即两大背离：一是背离禅宗宗旨，即“不立文字，教外别传；直指人心，见性成佛”的宗旨；二是背离法眼宗禅法和宗风，即法眼宗的教学方式、思想与生活作风(含对思想理论的背离)。那么，法眼宗后期是如何背离了上述两个方面的内容呢？
1.法眼宗对禅宗宗旨的背离
所谓禅宗宗旨，一般来说是指“不立文字，教外别传；直指人心，见性成佛”。日本学者村上专精进一步指出，“所谓‘不立文字，教外别传；直指人心，见性成佛’这两句话，可以说即为禅宗的教判，是区分教、禅的依据”。可见，判摄禅宗的关键在于“不立文字”和“直指人心”。不注重文字说教与读经、讲经的形式，这也是禅宗的独具特色之处，与其他宗派则形成鲜明的对照。