在这种思想背景之下，他看到的上海又如何呢？其《外情探索录》开篇的《上海总论》中写道：“上海为支那南边之海隅僻地，尝为英夷所夺之地，虽津港繁盛，皆为外国人商船多之故。［眉注：上海形势，亦可谓大英属国也。其实稍有志之人，避于北京或西方之地，上海为贪利商人、日雇之人所居也。］城外城里皆外国人之商馆多，故而繁盛也。见支那人之居所，多为贫者，其不洁之事难以言表。或终年居于船中，唯有富者被役使于外国人之商馆。但城里城外及街市上也有很多富裕商人居住的样子。大概稍有学力、有志者，皆去北京方面，而留下的多为日雇以谋生计之人。”田中彰校注：《开国》，日本近代思想大系1，第244页。他进一步指出：“因熟观上海形势，支那人尽为外国人之便役，英法之人步行街市，清人皆避傍让道。实上海之地虽属支那，谓英佛属地，又可也。”他特别强调不可将这样的事情只是看做中国的事情，“虽我邦人，可不须心也，非支那之事也”同上书，第272页。冯著附录，第445页。他在另一处记载：“支那人为外国人之所役，可怜。我邦遂不得不如此，务防是祈。”见田中彰校注《开国》，日本近代思想大系1，第270页。冯著附录，第442页。。他认为上海的繁荣，只是一种虚幻的繁荣，实质上是一种衰微的表现。为什么会如此呢？他说：“思考支那为何如此衰微，毕竟在于其不知将外夷防止于海外之道。其证据有：凌驾万里之海涛的军舰运用船、防敌于数十里之外的大炮等都没有制成，彼邦志士所译《海国图志》等也绝版，徒然以僻陋秉性而倡导固陋之说，因循苟且，虚度岁月。因为无断然而改太平之心、制造军舰大炮，而防敌于敌地之大策，所以至于如此衰微也。故而，我日本亦已有蹈覆辙之兆，迅速如蒸汽船［以下缺］。”田中彰校注：《开国》，日本近代思想大系1，第226—227页。可见，他观察中国，实际上也是看到日本本国的痛处，他思考中国之衰微的原因，也是在寻找日本本国的对策。
具体而言，他的上海之行促使他进一步从官吏的因循、兵术之颓败、思想上需要重新认识圣人之言等方面来反思中日两国的处境。
在《游清五录》中，高杉对于日本人，特别是日本的官吏亦有所批评。出航之初的4月28日，他就感叹：“嗟，日本人因循苟且，乏果断，是所以招外国人之侮，可叹可愧。”田中彰校注：《开国》，日本近代思想大系1，第269页。冯著附录，第439页。5月9日到达上海之后，他记载：“此日送行李及诸器物（品）于陆上，午后官吏上陆，寓居于宏记洋行，宏记洋行中国行名，馆主（姓张，名叙秀）支那人，宏记别号‘保禄’即西洋名。宏记馆地名洋泾浜，居室狭隘，官吏甚不平，议论纷纷，同局相骂，其丑体不堪笑杀也。”同上书，第271页。冯著附录，第443页。而在归国之际，《上海淹留录》记载7月4日的情况：“皆云：今朝必可解缆，而官吏因循不得解缆，终日匆匆。”同上书，第275页。冯著附录，第450页。冯著附录此处写成“终日忽忽”，原文为“终日怱怱”。对幕吏的不满，是后来使他从攘夷到倒幕转变的重要因素。对中国的情况，他也是从“君臣不得其道”来加以分析。他留下了以下的笔谈：高杉：贵邦尧舜以来堂堂正气之国，而至近世，区区西洋夷、蛮夷之所猖獗则何乎？
顾麐：从是国运陵替，晋之五胡、唐之回纥、宋之辽金夏，千古同慨。
高杉：国运陵替，君臣不得其道故也。君臣得其道，何有国运陵替？贵邦（清）近世之衰微，自为灾而已矣。岂谓之天命乎？
顾麐：甚是甚是。田中彰校注：《开国》，日本近代思想大系1，第278页。冯著附录，第455页。冯著附录“顾麐”作“顾麟”。早在1858年高杉所写的《对策》中，他也是从日本自身来寻找不得不接受西洋帝国主义城下之盟的原因。他说：“顷者墨夷朵颐我神州，军舰泊伊豆，使节盟武城，岂非开辟以来之一大怪事耶？神州天地之正气所钟，而勇武卓绝于海内矣。故北条时宗歼蒙古十万于九州，加藤清正败明兵百万于朝鲜，织田信长放邪苏伴天连于海外。犬羊腥膻未能尝逞跳踉，非其勇武卓绝于海内，宁能如此耶？而方今升平三百年，上下文恬武嬉、兵革日衰，士人不精武技，陷花法；儒臣不读孙吴，而雕风月；黎民不视干戈。于是乎我勇武之卓绝，亦不足以恃也。”当时幕府的状况，他认为是“内忧兵革之不备，外恐诸侯之兴起”东行先生五十年祭纪念会编：《东行先生遗文·书翰》，东京：民友社，1916年，第20—21页。。因此，中国国运陵替，并非天命使然，问题出在中国自身，是由于君臣不得其道。而在上海，通过观察中国人练兵，“看其兵法，似威南塘兵法而非者。铳队以金鼓为令，为操引操进，其余无变化。铳炮尽中国制，而甚不精巧，兵法与器械皆无西洋，唯阵屋用西洋。归路访南大门卫士阮松，寻练兵之事。笔话付别录。阮松云：向者请英法兵防长毛贼，近日又使我兵卒学西洋兵铳，因贼惧不能近。由此言，支那兵术不能及西洋铳队之强坚可知也。”田中彰校注：《开国》，日本近代思想大系1，第273—274页。冯著附录，第447—448页。峰洁《清国上海见闻录》中记载：“到上海兵营见其兵卒，士兵敝衣、垢面、徒跣、露头、无刀。皆如乞食，未见一人有勇者，如此我一人可敌其五人。若率一万骑兵而征之，可纵横清国。”见小岛晋治监修《幕末明治中国见闻录集成》第11卷，第30页。
高杉晋作留下的笔谈中还记录有一段与当时苏州司马温忠彦对中国传统儒家“格物穷理”理解的讨论，认为是关系到“中日两国士人不同文化观念的论争”冯天瑜：《“千岁丸”上海行——日本人1862年的中国观察》，第292页。郑匡民：《西学的中介：清末民初的中日文化交流》，四川人民出版社，2008年，第9页。其笔谈内容如下：高杉：请问，宋朱文公所说格物穷理，与西洋人之所说穷者异否？
温忠彦：朱文公之格物穷理，即圣人之齐家修身，推进一层，不外乎诚之一字。贵乎实践，不取钩深。至西洋人所讲，虽本乎理茅，近于术数，未免尚隔一层尘障。此论虽僻，鄙见如此，请教。
高杉：为义为利天地隔绝，不待言论而明，然治天下齐一家，内自诚心诚意工夫，外以至航海炮术器械等，尽不研穷其至理，则不能治天下也，不能齐一家也。不能穷航海炮术之等之理，则所以诚心诚意工夫之不至也。故以所为利之器械为义是用，乃取舍折中之道也。不然则口虽唱圣人之言，身已为夷狄之所奴仆矣。
陈汝钦：语事多识，佩。
温忠彦：诚意正心乃修身齐家治国平天下之本源，浅而约之，则诚正；推而致之则治平。道贯古今，理周中外，至航海炮术等事，不过格物之一端。圣人治天下以仁，不得已用兵、戢暴，正所以全仁了。然否？
予将取笔为答，时英人警卫之步卒五六名，至予辈为笔话之傍，因温忠彦乘舆去，故不能为答，以为遗憾。田中彰校注：《开国》，日本近代思想大系1，第279页。冯著附录，第457—458页。笔谈中记录温忠彦的情况如下：“姓温，名忠彦，晋之太原人。由乙榜，官苏州司马，昔珂笔秘增，曾与朝鲜贡使姜星沙、李藕船为笔墨交，道及贵国文治，为东诸侯领袖，钦佩已久。”（同上《开国》，第278—279页，冯著附录，第457页。）这里，实际上是高杉面对西学东渐的强大压力，针对传统与西学的关系而提出一种重要的对策，即东西“取舍折中之道”。要打破传统世界中义利完全隔绝（“为义为利天地隔绝”）的状况，而主张在用上以利为义，即所谓“以所为利之器械为义是用”，力图以此将西洋先进的航海炮术器械之理等囊括到圣人之道中来，如果不能与时俱进，就会导致“口虽唱圣人之言，身已为夷狄之所奴仆”的悲惨结局。我们看到上述笔谈中被高杉引为“海外知己”的陈汝钦就是赞佩高杉的言论的，而且在“千岁丸”来上海的前一年，即1861年，冯桂芬在所著《校邠庐抗议》中已经提出“以中国之伦常名教为原本，辅以诸国富强之术”冯桂芬：《校邠庐抗议》，上海书店，2002年，第57页。的观点，成为在近代中国流行了几十年的“中体西用”文化方针的滥觞。而且像温忠彦这样坚守儒学传统的知识分子在幕末日本也不乏其人，比如上面提到的大桥讷庵就是如此。而早在1854年，佐久间象山在《省諐录》也提出了著名的“东洋道德、西洋艺术，精粗不遗、表里兼该”《渡边华山高野长英佐久间象山横井小楠桥本左内》，日本思想大系55，第413页。的命题。由此可见，就此断定“高杉与温氏的辩论昭示了日中两国士人处在近代转型关键时刻的不同认识。而这种认识的歧异正是两国在此后的近代化历程中差别巨大的精神原因之一”冯天瑜：《“千岁丸”上海行——日本人1862年的中国观察》，第293页。郑匡民：《西学的中介：清末民初的中日文化交流》，四川人民出版社，2008年，第9页。，就显得有些笼统。近代中国并不乏富于远见卓识的先觉者，造成中日两国近代化历程的差异，固然有认识上、观念上的原因；历史条件与实践差异或许更为根本。
关于这次上海之行的感受，高杉晋作后来也谈到。1865年他在一封书信中提到：“支那之行，在支那见闻外国之事情，预料无论如何必须发展海军，回到长崎，便独断地签订了购买一艘蒸汽船的条约。”东行先生五十年祭纪念会编：《东行先生遗文·书翰》，东京：民友社，1916年，第155页。1864年4月7日他在野山狱中写道：“单身尝到支那邦，火舰飞走大东洋。交语汉鞑与英佛，欲舍我短学彼长。”《狱中手记》，东行先生五十年祭纪念会编：《东行先生遗文·日记及手录》，东京：民友社，1916年，第127页。而这次上海之行，对他的开国、锁国思想也无疑也产生了影响。比如在1866年正月他给友人的墨宝就写道：“识者谋航海，义人议锁邦。思之亦思是，我眼忽眬眬。丙寅正月，退藏正树君来访，求书于余，余素拙笔墨，仅录二十字塞责。”东行先生五十年祭纪念会编：《东行先生遗文·诗歌文章》，东京：民友社，1916年，第8页。又有“识者谋航海，义人欲锁邦。思之亦思彼，吾眼忽眬眬”之作。见上书第9页。如实记录了他对航海（开国）和锁邦两者均持有肯定的态度，而自己正无所适从的困境。后来国内形势的变化，他便将矛头对准了幕府。
“千岁丸”上海之行，日本方面除了达到了进行贸易和搜集情报的目的之外，中日两国士人通过交往还结下深厚的友谊。如名仓予何人“与侯仪（为五品司马之职，曾为浙江之儒者）特相亲”名仓予何人：《海外日录》。冯著附录，第420页。，6月23日记载名仓为侯仪的送别诗所作答书，可谓情真意切。其中写道：“弟将奉之归故国，为轴子悬之于座右，朝朝暮暮视之，以慰一日三秋之情焉。但一别万里，后会难期，奈何之恨不知绝期也。加之敝邦有禁不许通信问于异域，又不许受域外之信问也，犯禁之罪，受祸不测，是特以为憾。愿大兄为国自爱，以身报国，片言不尽意，头与泪共垂。”同上书，第432—433页。再如高杉晋作将陈汝钦（号勉生，天台人）视为“海外知己”，作有《留别陈汝钦》，诗曰：“临敌磨练（勉强）文与武，他年应有建功勋。孤生千里归乡后，每遇患难又思君。”田中彰校注：《开国》，日本近代思想大系1，岩波书店，1991年，第227页。并将自己常用之砚留给陈作纪念，在临别之际，对陈说：“看兄以勉生为号，弟亦以为，我又以默生为号矣，请兄，为弟被书默生二字，幸甚幸甚。”田中彰校注：《开国》，日本近代思想大系1，第281页。冯著附录，第462页。这种友谊可以说是建立在两国面临共同的国际形势下，相互勉励、各自报国、建功立业的基础之上的。