据说这首诗写在扇子上，一把孔雀翎扇子，耶律楚材送给万松老人，并在诗中引用庐山东林寺晋释慧远等人的典故，称万松行秀是“白莲老社头”。对于耶律楚材这个高足，万松老人十分欣赏，称赞耶律楚材是自己最好的弟子，褒扬他在生活上艰苦朴素。他在为耶律楚材文集所做的序中说：“万松一日过其门，见执菜根，蘸油盐，饭脱粟。”万松老人说他太俭朴了。稻谷脱去一层壳，叫“脱粟”，这时的稻谷还是粗糙的，混有不少外壳，没有精碾。
投军西征施展才华
元太祖十三年（1218年），耶律楚材陷在燕京城中已经三年了，一直过着隐居式的生活，在这期间，除了参禅佛礼，就是等待时机，一展宏图。成吉思汗当时正南征北战，为了征战和巩固政权，他需要各种人才。这时，打听到在他统治下的燕京城中，有个博学多艺的耶律楚材，便多次派人寻访他的去向，半年后才知道他的住处，立即派遣奥屯世英、奥屯世保兄弟俩前去诏请。
二人费了很多周折，终于找到耶律楚材的住处，喊了好长时间，也无人出来开门。兄弟俩无奈，便推门进屋，只见一张床上睡了一个小童，向他问道：“耶律楚材在家吗？”那小童听了，不肯定，也不否定，只是说：
“这是湛然居士的住处，他出门已经多日了。”奥屯世保又向小童问道：“你可知道湛然居士什么时候回来？”
那小童不置可否地回答道：“少则五、七日，多则十天、半个月，时间不定，有时能在外面过半年哩！”兄弟俩听了，心里很憋气，就不高兴地回去，把情况向成吉思汗禀报了。过了两天，成吉思汗又派三子窝阔台前去诏请，在场的将领们有人建议道：“一个读书人，派兵去把他抓来就是了，何必要一次次地派人去请呢？”成吉思汗解释道：“你们这么说不对！三军易得，一将难求。何况耶律楚材有经天纬地之材，并非一般人可比！”窝阔台临走前，成吉思汗叮嘱道：“一定要谦恭有礼，因为他是当代的贤人，切不可有粗野的言行，否则，必定重责。”窝阔台带了几个侍卫，一同来到耶律楚材的门前，正碰上一个大胡子在园子里，为他的青菜浇大粪水呢！窝阔台见那大胡子旁若无人地只顾浇粪水，连眼角也不瞟他一下，就未敢上前，只是站在园子栅栏外面看着。大胡子好像根本未看见有人站在那儿，仍然只顾浇他的粪水，当他浇到栅栏边上的时候，居然把大粪舀子扬得高高的，猛地使劲一拨，那臭烘烘的大粪水一下子浇了窝阔台半身。这时候，窝阔台的随从们正想发火，见到三王爷连续摆手，示意他们不要说话，才好不容易忍住了。窝阔台正想上前搭话，不料大胡子丢下大粪舀子，从地上捡起一把砍刀，径自去屋后林子里去砍柴了。
窝阔台无奈，只得忍着性子又随后跟进林子里，然后走上前去，恭恭敬敬地说道：“老人家，想必你就是耶律楚材先生了！”那位大胡子听了，不禁哈哈大笑道：“我算什么‘老人家’呀，我今年才二十八岁哩！”说到这里，他扭过头来看看来人，笑道：“刚才，我只顾浇粪水，未曾想到洒你身上了，实在对不住，冒犯了，你居然不生气，使我很觉内疚，请到草屋一坐。”说完，他放下砍刀，领着窝阔台回到屋子里，有个随从趁机告诉他说：
“这是我们的三王爷窝阔台，特地奉大汗之令，前来诏请先生的。”耶律楚材这才转过头来，看了看窝阔台说：
“三王爷？大汗？难道你们是……”窝阔台急忙说道：“我的汗父成吉思汗久闻先生大名，知你才识过人，特派我前来相请，望先生切勿拒绝，尽快随我前往吧！”耶律楚材又是一笑，说道：“成吉思汗是马上皇帝，要我这一介书生有什么用处？”“先生知识博大精深，才智聪慧过人，声名远扬，久居山林，如明珠暗藏，于世无益，何不出山，辅佑大汗，建功立业，也不枉平生所学。”“我乃辽王后裔，现在又是金国的亡臣，恐怕不宜去做大汗的臣下吧？”窝阔台的一个随从立即说道：“我们的大汗对各族饱学之士，历来是一视同仁，大汗早就盼望见到你了！”经过再三劝解，耶律楚材终于跟随窝阔台来到蒙古，其时为公元1218年的夏天，成吉思汗正在金莲川避暑，听说耶律楚材来了，兴奋异常，亲自接见。
大汗一见楚材年仅二十八岁，却留了很长的胡须，又是身长八尺，说话声音洪亮，正是一个美髯公！心中更加欢喜。多少年来，在许多契丹人面前，成吉思汗一直灵活地把自己打扮成被金朝灭国的契丹人的复仇者。这次，他接见这位契丹人的大才子、辽国的皇帝后裔耶律楚材时，并没有忘记他所坚持的这个带有鼓动性的观点，直接对耶律楚材说：“辽国王族与金王族素相仇敌，朕今日已经为你们契丹人报了仇，雪了恨了！”“报告大汗，我的祖父、家父以及我本人”，耶律楚材回答说，“都早已入朝侍奉金王了，成为金国朝廷的臣仆。既然我已成为金王的臣仆，靠金王赐给的俸禄生活，如果再对金朝怀着敌意，岂不是犯下欺君之罪么？”成吉思汗听后，问道：“既然你忠于金朝，为何又弃官出走，归隐山林，终不为金王竭忠尽智呢？”耶律楚材又直言答道：“请大汗明鉴，如今的大金王朝，已是千疮百孔，寿终正寝了，我一人无力回天，又不能公然背叛，只能暗中归隐，敬而远之了。”众所周知，成吉思汗历来非常重视一个人的忠君情操的，即使这个人是敌人营垒中的人。因此，耶律楚材的这一番答话使志在吞并天下的成吉思汗十分满意，因为他需要的是忠诚之士，而不是“心怀二心”
的“贰臣”。平日，成吉思汗最讨厌的就是那些背主忘恩、不讲忠义的人。耶律楚材表示出的这种忠君思想，正是成吉思汗要大力提倡的。特别使他高兴的还有，眼前的这个上知天文，下知地理的饱学之士，身材魁梧，胡须拂胸，说话口气庄重有力，令人肃然起敬。从此以后，他们两人常在一起谈今论古，谈天说地，每次出征都把他带在身边。耶律楚材终于在风云变幻的年代里，找到了一个施展才干的机会。后来，他有一首诗讲到这件事：
圣主得中原，
明诏求王佐，
胡然北海游，
不得南阳卧。
把自己比喻称是诸葛亮，心情是很愉快的。由于他知识丰富，成吉思汗每有咨询，无不知晓；令他占卜预测，尤为奇验。
其实，耶律楚材之所以为成吉思汗所器重，最主要的原因是因为他胸有韬略又深谙星历卜筮之术。耶律楚材凭借着对形势的判断和看星相、卜卦来测吉凶，比较灵验，因此，很受成吉思汗的信任。成吉思汗对耶律楚材很亲热，从不直呼其名，而喊他“吾图撒合理”，意思是“长髯者”，长胡须的男子汉，正是汉语中的“美髯公”之意。自此，成吉思汗把他看成是一个可以十分信赖的人。他得到耶律楚材之后，如鱼得水，整日形影不离地在一起座谈经国大计，甚为投契，两人似乎有说不完的话儿，无论大汗有什么不解的问题，耶律楚材都能滔滔不绝、口若悬河般地回答，深入浅出地让他明白。
成吉思汗从耶律楚材的身上，吃惊地接触到了中原传统文化的文明，逐渐了解到了中原文化，这一事件对元代帝国的命运将会产生重大影响，特别是对元代军事和政治，产生了极大的影响。
然而，一个新来归顺的儒生，想在以武力取天下的军事贵族中，取得充分的信任和巩固的地位，是很不容易的。有个名叫常八斤的人，以善造弓，受到成吉思汗的重用。因而他非常矜骄。有一次竟然当着耶律楚材的面对成吉思汗说：“现在正是用武的时候，耶律楚材是个儒生，对打仗的事一窍不通，有什么用处？”耶律楚材听了并不生气，从容答道：“治弓尚需弓匠，为天下岂可不用天下匠耶？”（治弓尚且须用治弓匠，难道治天下就不须用治天下匠吗？）成吉思汗听了很受启发，天下匠才耶律楚材从此“日见亲用”。元朝的一些重要典章制度，大都出自耶律楚材之手。成吉思汗非常赏识耶律楚材的才华，后来他对窝阔台说“此人天赐我家，而后国君庶政当悉委之。”
有关长髯人的称呼，民间也流传着他的很多故事。
如“长髯人山头献大计”。根据史书记载，一代天骄成吉思汗率师西征时，随侍帐前常备咨询的亲信人物共有两人，一位是全真教主、长春真人邱处机，一位就是这位“美髯垂胸”的耶律楚材。他们二人虽然没有任何官职，又不是蒙古亲贵，但却深得成吉思汗的信任。
后来，耶律楚材深知大汗正在酝酿西征南下方略，因此他也曾为此深思熟虑，拟定了一整套分析当前形势以及如何行动的对策。现在大汗主动问及，自应直陈所见，才不辜负大汗知遇之恩。于是他便侃侃答道：“当今天下大势，西夏新亡，金宋积弱，臣愚以为，取天下以力，治国家以仁，得仁者昌，肆暴者亡，此古今之至理也。昔秦始皇用诈力而一统天下，立国以后，仍以对敌之术御民，残毒侵扰，民无宁日，以致不及三世，国祚断绝。汉高祖以及文景诸帝，宽刑薄赋，与民休息，重本抑末，锄强扶弱，于是民以殷盛，国以富强。成败之分，殷鉴不远。故臣以为平叛乱当用武力，对已降宜施恩抚。至于治国安邦，则宜敕立儒学，广施仁政，授经书以教化万民，劝农牧以富足众庶，如此则不须时日，天下必安定富足矣。”成吉思汗听后，十分满意，高兴地说道：“我之有吾图撒合理，犹鱼之有水也！”以后成吉思汗的许多用兵治国的重大措施，都是以耶律楚材的上述对策为依据。
蒙古太祖十四年到二十年（1219—1225年），是成吉思汗进行西征时期。在整个战争过程中，耶律楚材一直跟随在成吉思汗的身边。这一时期，耶律楚材的主要工作和贡献，有以下几点。
成吉思汗由耶律楚材陪同，驰马来到河畔一座黑石山头。在山上耶律楚材对于西征方略，拟定了一整套分析当前形势及如何行动的对策。成吉思汗听后，十分满意，高兴地说道：“我之有吾图撒合里（长髯者），犹鱼之有水也！”一是担任成吉思汗的必阉赤，掌管文书。
当时，元代立国未久，诸事草创，各种规章制度正在逐步建立，战争仍在激烈进行，来往文书甚多。由于民族复杂，文书大约有蒙文、汉文。蒙文由怯烈哥主管，汉文即由耶律楚材主管。由于当时蒙古贵族多不识字，因而必阉赤的作用不应低估，他们常常可以利用方便的条件，按照自己的私意处理问题，具有一定的权势。当时不少中原地区的官僚地主都慕名而来，通过耶律楚材向成吉思汗钻营。耶律楚材是一个有高度封建文化修养的儒生，为人正直，把“行道泽民”作为自己的向来的志向；他向成吉思汗提醒什么事该做，什么事不该做，为元朝建立并巩固筹划操劳。
二是实行屯田。征战后，在土地肥沃、灌溉便利、交通较好的流域开垦屯田，对恢复发展后方的社会经济、巩固政权起了很大作用。
三是在司天台担任春官，用他的律历星象等方技之术，为成吉思汗服务。当时整个社会的科学文化水平很低，对天文、历法、星象知识了解得很肤浅，包括成吉思汗在内的许多蒙古贵族都还非常迷信，每遇将兵出征的时候，都要耶律楚材预卜吉凶，借以增强将士的斗志，坚定胜利的信心。例如，太祖十四年（1219年）夏六月，成吉思汗决定出兵征讨，祭旗那天，忽然大雨倾盆。
有人怀疑用兵是否有利，耶律楚材便说：是克敌取胜的好兆头。太祖十七年（1222年）的八月，天空的西方出现了一颗长长的彗星，耶律楚材说：“金宣宗快死了。”
这些预测后来都应验了，但显然是“猜”准了，并无科学的根据。另有一些事情，则表明耶律楚材确实具有相当高的科学水平。太祖十五年（1220年），历官说五月十五日夜将有月蚀，耶律楚材说不会有，结果没有发生。
次年十月，耶律楚材说将有月蚀，有人说不会有，结果却发生了。两次都证明耶律楚材说对了。于是，耶律楚材将旧的历书细加修订，著成《庚午元历》，上奏颁行，从此东西数千里，天象不差，对军事、生产和生活都有好处，耶律楚材的这一贡献当然是应予肯定的。