二人费了很多周折，终于找到耶律楚材的住处，喊了好长时间，也无人出来开门。兄弟俩无奈，便推门进屋，只见一张床上睡了一个小童，向他问道：“耶律楚材在家吗？”那小童听了，不肯定，也不否定，只是说：“这是湛然居士的住处，他出门已经多日了。”奥屯世保又向小童问道：“你可知道湛然居士什么时候回来？”那小童不置可否地回答道：“少则五、七日，多则十天、半个月，时间不定，有时能在外面过半年哩！”兄弟俩听了，心里很憋气，就不高兴地回去，把情况向成吉思汗禀报了。过了两天，成吉思汗又派三子窝阔台前去诏请，在场的将领们有人建议道：“一个读书人，派兵去把他抓来就是了，何必要一次次地派人去请呢？”成吉思汗解释道：“你们这么说不对！三军易得，一将难求。何况耶律楚材有经天纬地之材，并非一般人可比！”窝阔台临走前，成吉思汗叮嘱道：“一定要谦恭有礼，因为他是当代的贤人，切不可有粗野的言行，否则，必定重责。”窝阔台带了几个侍卫，一同来到耶律楚材的门前，正碰上一个大胡子在园子里，为他的青菜浇大粪水呢！窝阔台见那大胡子旁若无人地只顾浇粪水，连眼角也不瞟他一下，就未敢上前，只是站在园子栅栏外面看着。大胡子好像根本未看见有人站在那儿，仍然只顾浇他的粪水，当他浇到栅栏边上的时候，居然把大粪舀子扬得高高的，猛地使劲一拨，那臭烘烘的大粪水一下子浇了窝阔台半身。这时候，窝阔台的随从们正想发火，见到三王爷连续摆手，示意他们不要说话，才好不容易忍住了。窝阔台正想上前搭话，不料大胡子丢下大粪舀子，从地上捡起一把砍刀，径自去屋后林子里去砍柴了。窝阔台无奈，只得忍着性子又随后跟进林子里，然后走上前去，恭恭敬敬地说道：“老人家，想必你就是耶律楚材先生了！”那位大胡子听了，不禁哈哈大笑道：“我算什么‘老人家’呀，我今年才二十八岁哩！”说到这里，他扭过头来看看来人，笑道：“刚才，我只顾浇粪水，未曾想到洒你身上了，实在对不住，冒犯了，你居然不生气，使我很觉内疚，请到草屋一坐。”说完，他放下砍刀，领着窝阔台回到屋子里，有个随从趁机告诉他说：“这是我们的三王爷窝阔台，特地奉大汗之令，前来诏请先生的。”耶律楚材这才转过头来，看了看窝阔台说：“三王爷？大汗？难道你们是……”窝阔台急忙说道：“我的汗父成吉思汗久闻先生大名，知你才识过人，特派我前来相请，望先生切勿拒绝，尽快随我前往吧！”耶律楚材又是一笑，说道：“成吉思汗是马上皇帝，要我这一介书生有什么用处？”“先生知识博大精深，才智聪慧过人，声名远扬，久居山林，如明珠暗藏，于世无益，何不出山，辅佑大汗，建功立业，也不枉平生所学。”“我乃辽王后裔，现在又是金国的亡臣，恐怕不宜去做大汗的臣下吧？”窝阔台的一个随从立即说道：“我们的大汗对各族饱学之士，历来是一视同仁，大汗早就盼望见到你了！”经过再三劝解，耶律楚材终于跟随窝阔台来到蒙古，其时为公元1218年的夏天，成吉思汗正在金莲川避暑，听说耶律楚材来了，兴奋异常，亲自接见。大汗一见楚材年仅二十八岁，却留了很长的胡须，又是身长八尺，说话声音洪亮，正是一个美髯公！心中更加欢喜。多少年来，在许多契丹人面前，成吉思汗一直灵活地把自己打扮成被金朝灭国的契丹人的复仇者。这次，他接见这位契丹人的大才子、辽国的皇帝后裔耶律楚材时，并没有忘记他所坚持的这个带有鼓动性的观点，直接对耶律楚材说：“辽国王族与金王族素相仇敌，朕今日已经为你们契丹人报了仇，雪了恨了！”“报告大汗，我的祖父、家父以及我本人”，耶律楚材回答说，“都早已入朝侍奉金王了，成为金国朝廷的臣仆。既然我已成为金王的臣仆，靠金王赐给的俸禄生活，如果再对金朝怀着敌意，岂不是犯下欺君之罪么？”成吉思汗听后，问道：“既然你忠于金朝，为何又弃官出走，归隐山林，终不为金王竭忠尽智呢？”耶律楚材又直言答道：“请大汗明鉴，如今的大金王朝，已是千疮百孔，寿终正寝了，我一人无力回天，又不能公然背叛，只能暗中归隐，敬而远之了。”众所周知，成吉思汗历来非常重视一个人的忠君情操的，即使这个人是敌人营垒中的人。因此，耶律楚材的这一番答话使志在吞并天下的成吉思汗十分满意，因为他需要的是忠诚之士，而不是“心怀二心”的“贰臣”。平日，成吉思汗最讨厌的就是那些背主忘恩、不讲忠义的人。耶律楚材表示出的这种忠君思想，正是成吉思汗要大力提倡的。特别使他高兴的还有，眼前的这个上知天文，下知地理的饱学之士，身材魁梧，胡须拂胸，说话口气庄重有力，令人肃然起敬。从此以后，他们两人常在一起谈今论古，谈天说地，每次出征都把他带在身边。耶律楚材终于在风云变幻的年代里，找到了一个施展才干的机会。后来，他有一首诗讲到这件事：
圣主得中原，
明诏求王佐，
胡然北海游，
不得南阳卧。
把自己比喻称是诸葛亮，心情是很愉快的。由于他知识丰富，成吉思汗每有咨询，无不知晓；令他占卜预测，尤为奇验。
其实，耶律楚材之所以为成吉思汗所器重，最主要的原因是因为他胸有韬略又深谙星历卜筮之术。耶律楚材凭借着对形势的判断和看星相、卜卦来测吉凶，比较灵验，因此，很受成吉思汗的信任。成吉思汗对耶律楚材很亲热，从不直呼其名，而喊他“吾图撒合理”，意思是“长髯者”，长胡须的男子汉，正是汉语中的“美髯公”之意。自此，成吉思汗把他看成是一个可以十分信赖的人。他得到耶律楚材之后，如鱼得水，整日形影不离地在一起座谈经国大计，甚为投契，两人似乎有说不完的话儿，无论大汗有什么不解的问题，耶律楚材都能滔滔不绝、口若悬河般地回答，深入浅出地让他明白。成吉思汗从耶律楚材的身上，吃惊地接触到了中原传统文化的文明，逐渐了解到了中原文化，这一事件对元代帝国的命运将会产生重大影响，特别是对元代军事和政治，产生了极大的影响。
然而，一个新来归顺的儒生，想在以武力取天下的军事贵族中，取得充分的信任和巩固的地位，是很不容易的。有个名叫常八斤的人，以善造弓，受到成吉思汗的重用。因而他非常矜骄。有一次竟然当着耶律楚材的面对成吉思汗说：“现在正是用武的时候，耶律楚材是个儒生，对打仗的事一窍不通，有什么用处？”耶律楚材听了并不生气，从容答道：“治弓尚需弓匠，为天下岂可不用天下匠耶？”(治弓尚且须用治弓匠，难道治天下就不须用治天下匠吗？)成吉思汗听了很受启发，天下匠才耶律楚材从此“日见亲用”。元朝的一些重要典章制度，大都出自耶律楚材之手。成吉思汗非常赏识耶律楚材的才华，后来他对窝阔台说“此人天赐我家，而后国君庶政当悉委之。”
有关长髯人的称呼，民间也流传着他的很多故事。如“长髯人山头献大计”。根据史书记载，一代天骄成吉思汗率师西征时，随侍帐前常备咨询的亲信人物共有两人，一位是全真教主、长春真人邱处机，一位就是这位“美髯垂胸”的耶律楚材。他们二人虽然没有任何官职，又不是蒙古亲贵，但却深得成吉思汗的信任。
后来，耶律楚材深知大汗正在酝酿西征南下方略，因此他也曾为此深思熟虑，拟定了一整套分析当前形势以及如何行动的对策。现在大汗主动问及，自应直陈所见，才不辜负大汗知遇之恩。于是他便侃侃答道：“当今天下大势，西夏新亡，金宋积弱，臣愚以为，取天下以力，治国家以仁，得仁者昌，肆暴者亡，此古今之至理也。昔秦始皇用诈力而一统天下，立国以后，仍以对敌之术御民，残毒侵扰，民无宁日，以致不及三世，国祚断绝。汉高祖以及文景诸帝，宽刑薄赋，与民休息，重本抑末，锄强扶弱，于是民以殷盛，国以富强。成败之分，殷鉴不远。故臣以为平叛乱当用武力，对已降宜施恩抚。至于治国安邦，则宜敕立儒学，广施仁政，授经书以教化万民，劝农牧以富足众庶，如此则不须时日，天下必安定富足矣。”成吉思汗听后，十分满意，高兴地说道：“我之有吾图撒合理，犹鱼之有水也！”以后成吉思汗的许多用兵治国的重大措施，都是以耶律楚材的上述对策为依据。
蒙古太祖十四年到二十年(1219-1225年)，是成吉思汗进行西征时期。在整个战争过程中，耶律楚材一直跟随在成吉思汗的身边。这一时期，耶律楚材的主要工作和贡献，有以下几点。
成吉思汗由耶律楚材陪同，驰马来到河畔一座黑石山头。在山上耶律楚材对于西征方略，拟定了一整套分析当前形势及如何行动的对策。成吉思汗听后，十分满意，高兴地说道：“我之有吾图撒合里(长髯者)，犹鱼之有水也！”一是担任成吉思汗的必阉赤，掌管文书。当时，元代立国未久，诸事草创，各种规章制度正在逐步建立，战争仍在激烈进行，来往文书甚多。由于民族复杂，文书大约有蒙文、汉文。蒙文由怯烈哥主管，汉文即由耶律楚材主管。由于当时蒙古贵族多不识字，因而必阉赤的作用不应低估，他们常常可以利用方便的条件，按照自己的私意处理问题，具有一定的权势。当时不少中原地区的官僚地主都慕名而来，通过耶律楚材向成吉思汗钻营。耶律楚材是一个有高度封建文化修养的儒生，为人正直，把“行道泽民”作为自己的向来的志向；他向成吉思汗提醒什么事该做，什么事不该做，为元朝建立并巩固筹划操劳。
二是实行屯田。征战后，在土地肥沃、灌溉便利、交通较好的流域开垦屯田，对恢复发展后方的社会经济、巩固政权起了很大作用。
三是在司天台担任春官，用他的律历星象等方技之术，为成吉思汗服务。当时整个社会的科学文化水平很低，对天文、历法、星象知识了解得很肤浅，包括成吉思汗在内的许多蒙古贵族都还非常迷信，每遇将兵出征的时候，都要耶律楚材预卜吉凶，借以增强将士的斗志，坚定胜利的信心。例如，太祖十四年(1219年)夏六月，成吉思汗决定出兵征讨，祭旗那天，忽然大雨倾盆。有人怀疑用兵是否有利，耶律楚材便说：是克敌取胜的好兆头。太祖十七年(1222年)的八月，天空的西方出现了一颗长长的彗星，耶律楚材说：“金宣宗快死了。”这些预测后来都应验了，但显然是“猜”准了，并无科学的根据。另有一些事情，则表明耶律楚材确实具有相当高的科学水平。太祖十五年(1220年)，历官说五月十五日夜将有月蚀，耶律楚材说不会有，结果没有发生。次年十月，耶律楚材说将有月蚀，有人说不会有，结果却发生了。两次都证明耶律楚材说对了。于是，耶律楚材将旧的历书细加修订，着成《庚午元历》，上奏颁行，从此东西数千里，天象不差，对军事、生产和生活都有好处，耶律楚材的这一贡献当然是应予肯定的。
不过，应当特别指出的是，在整个西征过程中，成吉思汗进行战争的主要目的，仍然在于拓疆守土、掠夺财富；他对耶律楚材为他出谋划策的建议还不能完全实施，使得这个只懂得中原文化，意欲以儒治国的书生，一时难以施展自己的才华。英雄无用武之地的冷落感，在耶律楚材的思想深处，还有较多的存在，并且不时在自己的诗文中流露出来。本想投笔从戎做出一番事业，但现实的生活并不如预想的那么容易，许多美好的愿望都不能实现，如他写的“醉里莫知身似蝶，梦中不觉我为鱼”，“十年潦倒功何在，三径荒凉翠已寒”。很显然，他对自己未能发挥更大的作用，做出更大的贡献，是很不满意的。
经邦治国促进发展
成吉思汗去世以后，窝阔台即位当了大汗。他重用耶律楚材，使耶律楚材在改变元代的统治方式和剥削方式方面发挥了更大的作用。
