康有为离开京师后，强学会的主要领导人为帝党人物陈炽。但过了不久，强学会却变成了以陈炽、丁立钧、张孝谦、沈曾植四人为总董，而以张“主其事”的格局。张孝谦为人“故反覆”，做事也不太有“经纬”，他只是凭借与李鸿藻的特殊关系，以李为靠山，便“意见重，气焰大”，“以局为其局”，将强学会看做自家的私有财产和自己的政治资本，联合丁立钧排斥陈炽、沈曾植等人。强学会的其他政治势力与人物由于幻想借重李鸿藻的政治势力以谋发展，故而对张孝谦的专横过于迁就退让，终于使强学会的领导权旁落，组织涣散，差不多达到不战而败的结局。
强学会的内部人事格局决定它不可能长久存在，而其外部环境也使得强学会很难获得新的进展。强学会的创办本为后党所不容，后党中的重要人物李鸿章在强学会成立之初曾向强学会的负责人表示有化解隔阂的愿望与诚意，并答应向强学会捐款。但是，强学会的负责人没有真正理解李鸿章的意图，反而因李鸿章刚刚签定过丧权辱国的《马关条约》为由拒绝了李鸿章的捐款。这样，双方的矛盾与隔阂越来越深。原本可以支持改革的李鸿章对强学会诸人的好感至此荡然无存，他在奉命出使俄国前曾扬言：“若辈与我过不去，我归，看他们尚做得成官吗？”这虽然有点“小说家言”的味道，但确实反映了李鸿章此时的心态。于是乘李鸿藻“赴陵差”的机会，“欲借此以兴大狱”，指使其儿女亲家、御史杨崇伊于1896年1月20日上折弹劾强学会“私立会党”、“植党营私”，请求清政府下令查封。
清廷在收到杨崇伊的奏折之后，即着都察院查明封禁。当天中午，张孝谦得到这个消息，就吓得惊慌失措，一方面立即“嘱速迁”，另一方面派人向李鸿章“献好”，乞求李鸿章手下留情。强学会的另一负责人丁立钧甚至“泣下”，想赶紧将书籍交还同文馆。褚成博、张仲炘等人更是吓得“纷纷逃匿”。只有沈曾植、梁启超、杨锐、汪大燮、王鹏运等人还算冷静，主张具呈力争。
面对清廷查禁强学会的命令，帝党的中坚人物翁同龢仍在设法挽回。他密奏光绪帝说：“教育人才，自强之本，未可阻遏，使天下寒心。”他建议清廷不要盲目地查禁强学会，以免引起许多负面影响。
1月29日，对强学会爱护有加的李鸿藻回到北京。翁同龢迅速往见李，希望李设法劝清廷收回查禁强学会的成命。与此同时，翁同龢还利用此时纷纷议论开学堂的舆论机会，鼓动由御史胡孚宸出面上书，批驳守旧派官僚强加给京师强学会的污蔑不实之词，指出强学会并没有利用学会获取经济上的好处，更没有违反法纪的事情，强调强学会下属的强学书局所藏图书除了列圣之训及各种政书外，更多的则是同文馆及上海制造局所刻西学著作，因此他建议清政府不要彻底查禁强学会，而是采取变通的办法，将强学会改为官书局，“此日多一读书人，即他日多一报国之人，收效似无浅鲜”。（胡孚宸：《书局有益人才，请饬筹社，以禆时局折》，转引自林克光《革新派巨人康有为》，178页，北京，中国人民大学出版社，1990。）他的这一建议既在事实上保住了强学会，也给予弹劾者以足够的面子，未尝不是两全其美的办法。于是清廷下令发还查抄的强学会的图书、仪器等，设立京师官书局，指派孙家鼐负责管理，调集译员选译各国新报及各国史书，继续承担宣传维新变法的功能。
强学会改为官书局，在事实上保住了强学会。然而当这个消息传出后，强学会内部的一些投机者又开始了新一轮的政治投机，他们或“群奔走”于管学大臣，企图在官书局中谋求到新的差使；（汪大燮：《致汪康年函》第63通，见上海图书馆编《汪康年师友书札》，722页，上海古籍出版社，1986。）或把官书局作为一个在政治上升官发财的终南捷径，趋之若鹜。只有那些真诚拥护维新改革的志士如陈炽、沈曾植、梁启超等，不再参与其事，退出强学会，自然也就退出了由此而来的新办的官书局。（吴櫵：《致汪康年书》，见丁文江等编《梁启超年谱长编》，47页，上海人民出版社，1983。）
在京师，由康、梁等维新志士创办的强学会至此终结。
北京强学会的终结当然并不意味着维新运动的结束。事实上，当康有为离京南下，于10月29日抵达上海之始，就开始在上海这个相对更自由的城市创办一个新的政治组织。
为了取得具有维新色彩的开明官僚张之洞的支持，康有为到上海不久即专程前往江宁游说署两江总督张之洞，在张之洞那里前后盘桓有20余日，与张隔日一谈，每谈必至深夜，两人在许多问题的看法上应该有足够的共识。张之洞同意康有为在上海建立强学会的主张，并自愿捐款500两，划拨公款1000两，以此充办会的经费。
有了张之洞的支持，上海强学会的开办比较顺利。11月下旬，康有为偕同梁鼎芬、黄绍箕等人返回上海，很快便将筹备中的上海强学会的会所选在跑马场西头的王家沙1号。各项筹备工作有条不紊地进行着。
12月初，康有为撰就《上海强学会序》，然后以张之洞的名义先后刊布在《申报》《中外纪闻》及《强学报》上。（《上海强学会序》，见《康有为政论集》上册，169页。此序在《申报》《中外纪闻》《强学报》等报刊发表时，均署张之洞名。）康有为在这篇文章中重申和强化了他在北京《强学会序》中所陈述的观点，以为西方近代国家之所以走向富强昌盛的关键，就在于他们找到了“合群”的方式与方法，那就是开办学会、培养与积累人才。由此他认为，挽救中国的危亡在于开风气，在于人才的培养与积累；而开风气以及人才的培养与积累可以有多种办法，但在目前中国最有效、最便捷的办法就是讲学术，讲学术在合群。因此，康有为在这篇文章中借张之洞之口号召人们积极参加学会的活动，“以应天子侧席之意，而济中国之变”，为中国的富强昌盛而共同奋斗。
康有为在替张之洞撰写了《上海强学会序》之后不久，又发表了《上海强学会后序》。他在这篇文章中依然重申先前组织学会有利于中国发展与富强的观点，并以中外历史教训作为例证，强调当前的世界一个最明显的趋势就是“兼弱攻昧”，就是弱肉强食。因此落后的中国要想避免继续落后，要想自立于世界民族之林，唯一的出路就是自强。自强之术有二，一是力强，一是智强。美国立国仅仅百年，但其所以强大，在于美国人善于组织学会，其百年间著书立说多于希腊、罗马三千年，这就是智强。而智强的根本，不是一人逞智，而是群人共学，这是包括美国在内的西方列强之所以走向富强的根本；而反观中国，在过去的一年里，中国之所以被弹丸小国日本打败，割地赔款，丧权辱国，其主要的原因就是因为中国“散而不群，愚而不学之过也。今者思自保，在学之群之。”因此，康有为希望凡吾神明之胄、衣冠之族，思保其教，思保其类者，都应该“合群共学”，学习西方及东洋的团队精神，结成一个强大的新民族、新国家。（《上海强学会后序》，见《康有为政论集》上册，171—172页。）
在进行舆论准备的同时，康有为也开始了组织上的准备与行动。在他与黄体芳、黄绍第、屠仁守、汪康年、邹代钧、梁鼎芬、黄遵宪、黄绍箕、左孝同、蒯光典、志钧、张謇、沈瑜庆、乔树柟、龙泽厚等16人于1895年12月联名发表的公启中，公布了《上海强学会章程》，正式开始筹建上海强学会。
《上海强学会章程》规定上海强学会是专门为了中国的自强而设立的政治组织和爱国团体，基本方法是聚天下之图书器物，集天下之心思耳目，略仿中国古代学校之规及各家专门之法，以广见闻而开风气，上以广先圣孔子之教，下以成国家有用之才；“专为联人心，讲学术，以保卫中国”。《上海强学会章程》规定上海强学会主要职能是办好四件事：（1）翻译和编印图书。欲令天下士人皆通西学，莫若译成中文之书，俾中国百万学人人人能解，成才自众，然后可给国家之用。（2）创办报纸。（3）创立图书馆。近年西政西学，日新不已。今之聚书，务使海内学者知中国自古有穷理之学，而讲求实用之意，亦未遽逊，正不必惊望而无极，更不宜画界以自封。上海强学会准备先购置一套四库全书，先搜其经世有用者，再旁及西人政教及各种学术图书，以广考镜而备研求。（4）创立博物院。如有余力，上海强学会还计划设立学堂以培养人才；设立讲堂以传播孔教；派员游历西方、东洋及国内各地以考察地舆、矿务、风俗；设立养贫院以收容乞丐，教以工艺技术等等，显然充满着理想主义的色彩。
或许是鉴于京师强学会队伍不纯的经验教训，上海强学会在竭力吸引人才的同时，也较京师强学会规定了更为严格的入会条件，强调入会的成员应该是“品行心术端正明白”，“不论名位学业，但有志讲求，概予延揽”。对于那些入会后可能会“别存意见，或诞妄挟议，及逞奇立异，或作奸犯科，致招物议”的人，《上海强学会章程》还规定了严格的处理办法，即“公议辞退”。（《上海强学会章程》，见《康有为政论集》上册，173—179页。）
尽管上海强学会规定了比较严格的入会条件及处理办法，但当上海强学会正式成立之后，实际上还是存在着激烈的内部冲突与斗争。以康有为为首的维新派自然不满意以张之洞为首的洋务派的政治、经济、文化主张，以为洋务的主张显然不再合乎中国当前的实际，而只有他们的变法维新主张才真正反映中国当时的社会需求。
对于康有为所主张的孔子改制问题，张之洞从一开始就不同意。他之所以以两江总督的重位支持康有为在上海创办强学会，实际上是想利用康有为当时的政治影响力、号召力以及他人所不具有的创办学会、网罗人才的能力为自己所用，并为自己在即将到来的政治变革中捞取政治资本。这是老练的政治家张之洞的如意算盘。可惜，张之洞过于低估了康有为的政治坚定性及政治原则性。他先是当面委婉地劝说康有为以后不要再宣传所谓孔子改制之类的荒唐学说，后又委派梁鼎芬去向康有为明确表达这个看法，梁鼎芬甚至代表张之洞表示，只要康有为明白宣布放弃所谓孔子改制说，张之洞就一定为上海强学会提供足够的活动经费。张之洞相信，凭借他手中的政治权力以及他那颇为诱人的经济支持，一定能够说服康有为，使康有为放弃这种荒唐的学说，改弦易辙，回归到他所主张的渐进的“中体西用”的改良路线上来，不要用西方那些激进的思想路线来破坏中国既成的发展模式。
孔子改制说不仅是康有为在中国学术史上的一大“发现”，而且实在说来也是康有为在甲午战败之后积极从事政治变革的思想理论基础，因此他面对张之洞的威胁利诱并没有屈服，他坚定地表示：“孔子改制，大道也。岂为一两江总督供养易之哉？若使以供养而易其所学，香涛奚取焉？”（《康南海自编年谱》，31页。）换言之，康有为不愿意为两江总督张之洞提供的那点区区经费而放弃自己的原则和信仰。
康有为的不听话与不合作无疑激怒了张之洞。张之洞一计不成，便转而使用其他的伎俩。他已经明白，要让康有为从理论和信仰上屈从自己的“中体西用”的政治改革模式已经相当困难。那么，两害相权取其轻，张之洞便不再愿意在自己的辖区内发生什么激进的政治事件，更不愿意出现脱离自己掌控的激进的政治组织。鉴于他已经同意康有为在上海创办上海强学会的事实，于是他只能加派自己的心腹去上海从组织上把握和掌控这一组织，孤立康有为，将这一政治组织在实际上变成自己所能把握的、具有可以接受的政治色彩的组织。
根据张之洞的安排，其心腹梁鼎芬、黄绍箕等人随同康有为一起来到上海，参与筹办上海强学会。他们除了负有从组织上掌控上海强学会的使命外，也带有监督康有为的任务。这样，上海强学会在筹办之初就面临着复杂的斗争形势。
即将正式开张的上海强学会能否在张之洞的掌控之下，在张之洞方面并无绝对把握。因此他在加派亲信参与筹办的同时，也试图设法支走康有为。他利用康有为将回广东为其母亲祝寿的机会，劝告康有为不妨在广东也创办一个强学会，并建议由康有为主持广东的强学会，另派他在湖北的旧属汪康年到上海主持上海强学会。
张之洞的打算似乎已被康有为觉察，康有为不仅无意在广东创办新的学会，而且利用自己所掌握的领导权，在离开上海回乡省亲的时间空当里，根本无意征得张之洞的同意，便调徐勤、何树龄来上海主办《强学报》。
当张之洞发现康有为根本不接受他的建议，并背开他单独进行强学会的活动时，他觉得应该与康有为划清界限了。于是他致电康有为，提出停办上海强学会，理由是“论学不合”。而康有为自此更无所顾忌，便以“会章大行，不能中止”为由拒绝张之洞的停办要求。（《康有为自编年谱》，31页。）