林文忠陈臬苏州时，岁大饥，斗米六七百枚。访知潘家有米万馀石，闭不肯粜。时文恭丁忧在家，文忠往请开仓发米，文恭力讳，言仓皆空。文忠谓：“仓果空，即借以贮米。”立将各仓加刷苏臬封条。家人前阻，文忠曰：“潘大人面说皆空仓，暂借一用耳。”悉封之。越日，散仓米赈俄。文恭无如何，阴恨之。
及入京供职，屡图报复，无隙。值英夷犯粤，穆彰阿、琦善受重贿，归罪文忠。宣宗询及文恭，文恭遂乘此媒孽其短，以助穆、琦。故文忠得罪，与有力焉。
后闻公论不容，复极力保奏文忠，以掩前迹。凡旗人答话曰：“着。”汉人答话曰：“虽。”宣宗以夷患忧形于色，屡问穆、潘御待之法，穆但曰：“着，着、着，主子洪福。”潘但曰：“虽、虽、虽，皇上天恩。”王文恪鼎每闻而叹曰：“如何是好！”予谓穆不足惜，潘真有愧状元宰相矣！