在他的劲敌当中，最精明也最危险的当推埃米尔·佩雷尔（Emile Pereire）——是以他名字命名的佩雷尔公司的总裁。这两个金融巨子之间的争斗异常激烈，只要逮住机会就互相诋毁、谩骂。到后来，这种敌意不断滋长，已经突破了生意中的界限，演变成私人恩怨了，一经诱导，在任何可能的场合都会发泄出来。只要能击败对手——无论是声誉上，还是财产上——他们会毫不犹豫地使用任何阴谋诡计。
佩雷尔觉得仅凭自己单枪匹马不足以与强大的罗斯柴尔德相抗衡，于是他向巴黎以及其他大都市的许多颇有影响的企业寻求合作。这个联盟的力量非常强大詹姆斯男爵即使倾尽全力也无法将其颠覆。联盟成员包括大名鼎鼎的伦敦巴林公司，阿姆斯特丹的霍普公司，圣彼得堡的施蒂格利茨（Stieglitz）公司等等；他们群策群力，许多策略都令詹姆斯男爵措手不及，恨得咬牙切齿。
这种仇恨一直延续了下去，并且还在不断加剧。罗斯柴尔德对着这位后起之秀既愤恨不已又心怀嫉妒佩雷尔则对自己出众的才智和旺盛的精力非常自信，迫切地想把专横而富有的罗斯柴尔德从巴黎金融市场的泰斗之位上赶下来。
罗斯柴尔德曾不止一次竭尽全力想要彻底击败这个年轻气盛的对手，但总是无法得逞佩雷尔的顽强毅力和在金融方面的天赋有时让罗斯柴尔德都有点自愧不如。在这场“最高地位”的争斗中，输的并非总是佩雷尔；有时候，男爵不得不承认自己屈居下风了。例如，1856年，佩雷尔与巴黎的奥廷格·特恩艾瑟（Hottinger Thurneysser）、圣彼得堡的施蒂格利茨联合起来，在一个建设项目的竞标中击败了詹姆斯男爵；男爵尽管已经煞费苦心，还争取到了强大的支援，但仍然不可挽回地失败了。那个项目的合同期跨越了85年，主要是建立起辐射整个俄国的铁路网。这无疑是那个世纪里最宏大，也最赚钱的一个项目了。
在承揽俄国铁路项目遭到失败后，詹姆斯男爵一直耿耿于怀，直到后来在维也纳信贷银行的竞标中胜出，才觉得稍微出了口恶气。当时，摆在奥地利财政部面前的两个申报表恰好代表着两个敌对的利益集团，一边是罗斯柴尔德，另一边是佩雷尔。这两个家族都拥有巨大的财富、显赫的地位，同时也有着明显不同的特征。在人们眼里，罗斯柴尔德这个名字就代表着：历史悠久的百年老店，盛誉，遍布世界的巨额家产，还有，家族成员在欧洲各个大都市里协作经营着共同的利益和生意。佩雷尔家族也有自己的夺人之处充沛的活力，更科学的管理模式，以及其领袖的卓越才能。
两个家族在欧洲都举足轻重，如果双方能化干戈为玉帛，那就再好不过了，很显然这是奥地利财政部长的想法，因此对于两份申报表，他才迟迟未加评价。直到最后，促使两方进行合作的努力都宣告失败，他才心有不甘地着手挑选。
实际上，他们的合作原本是很有希望成功的。然而就在当口上，佩雷尔从巴黎寄来一封信，声称除非罗斯柴尔德答应以后在生意上不再为难克雷蒂·莫比利尔 （Credit Mobilier，罗斯柴尔德的另一个强劲对手），否则他将不会与其联合经营这家银行。对这种无理的请求，詹姆斯男爵断然拒绝了，于是和谈破裂，最终的结果在前面已经说过了——建立银行的权力授予了罗斯柴尔德。
俗话说：智者千虑，必有一失。尽管詹姆斯男爵精于预测、做事谨慎，但他在生意上也并非每次都很顺利。不可预知的情况总会时不时地冒出来，使得策划得再周密的方案也会受到阻碍。男爵也像其他任何人一样，无法逃避命运的捉弄。他的获利总是数额巨大，但是一旦时运不济，损失也同样数额巨大、骇人听闻。最惨重的一次应该是卡彭铁尔（Carpentier）那一起；卡彭铁尔是修建北方铁路时的会计兼出纳。这个欺诈案可谓史无前例。有一家报纸对其相关细节的描述如下：“有关北方铁路偷窃案的迷雾已经渐渐被拨开，案情可以说是水落石出了。在报道中，本报一切忠于事实。一开始，公司并不打算将内幕对外公布，但新闻界不甘心让这样一件耸人听闻的大案草草收场，于是，在新闻界的强烈要求下，公司终于做出让步，对案情做了一些解释，宣称损失约为600万法郎。但是据推测，实际损失远远不止这些；600万仅仅是指被窃的债券，而盗贼们还席卷了公司保险柜里的所有现金。
“损失的确切金额还未查明；事实上，要查清涉案金额是相当困难的，甚至已经无从查起，因为盗贼们销毁了几乎所有能够有助于调查该案的资料。被窃金额估计高达3000万到3200万。这笔损失不会由北方公司单独承担，股东们将按投资比例承担相应的损失。
“卡彭铁尔、格雷莱（Grellet）和他们的其他同伙显然已经为此案做了很长时间的准备，因为早在出逃之前，他们就已经偷走了大量的款项，并且，6个月前，还在英国花180万法郎买了一艘轮船。
“在他们携款潜逃后，查出来的一些资料显示：他们早已在纽约买好了一幢房子，也许这正是他们离开英国，逃往美国的原因吧。这伙人到底从什么时候就已经开始筹划，现在已经无从得知。不过据调查发现，早在很久以前他们就开始将偷取的债券在市场上暗中销售了。
“为了保证在上级抽查由他们保管的债券时不露马脚，他们耍了一个很狡猾的花招：库存的债券都是一沓沓捆起来的，每沓1000张；这伙人串通了一些低层员工，从每沓中抽出200张到300张，然后再把剩下的重新捆好，从表面上看几乎没有任何蛛丝马迹。后来，由于检查人员只是浮皮潦草地看了看，所以没有被察觉。就这样，盗贼们在携款逃跑之前就已经拿到相当大的一笔钱了。
“卡彭铁尔是第一个从巴黎撤走的；走之前，他向罗斯柴尔德请了四天假，男爵欣然应允了。在请假时，卡彭铁尔还与男爵有一次长谈；事实上，他一直都是男爵的得意之人。谈话中，詹姆斯男爵兴致很好地告诉卡彭铁尔：他刚刚又做了一笔好生意，大概能赚500多万。他还说：‘如果北方铁路的投机进展顺利的话，我将在这500万上再添300万。’卡彭铁尔问道：‘这300万会在那500万之前还是之后呢？你口袋里装3500万，还是5300万？要不把那500万赏给我吧，这点钱对你而言不过是九牛一毛而已……’听了这个玩笑话，男爵哈哈大笑。自然，他是不会交出这500万的。‘我不能把我的500万给你，不过，拿着这个吧……把我的表链给你，作为今天的一个纪念吧，今天我很高兴。’不用说，这个表链是价值不菲的。尽管当时卡彭铁尔已经为自己谋取了巨大的财富，却没有蔑视这个小礼物。他毫不客气地收下了，在离开巴黎之前，拿它作为礼物送给了他哥哥。
“这段谈话是詹姆斯男爵后来告诉他朋友的我们可以看出卡彭铁尔与男爵的关系已经到了最秘密的层面，并且是男爵亲自任命他为北方铁路总出纳的。因此，当得知自己一手提拔的人居然如此无情地背叛了他时，男爵极为震怒，发誓要用尽一切手段把这个忘恩负义的叛徒捉拿回来。
“公司雇佣了专业侦探进行调查詹姆斯男爵在银行为他们开了一个没有限额的存款账户，并对外宣称他将不惜一切代价和手段——甚至愿意为此悬赏1000万。
“离开巴黎后，卡彭铁尔直接赶赴伦敦，然后又马不停蹄地到了利物浦，从那里登上他们早已买好的轮船。等其他同伙们一到，他们就立即出发了。在卡彭铁尔请假期间，公司安排格雷莱负责现金管理。到了为员工和工人发工资的那一天，格雷莱却没有露面。对此，詹姆斯男爵并没有感到什么不妙，他亲自去了公司，想用自己的备用钥匙打开保险柜，好取钱支付工资。他先打开了小保险柜，却发现里面空空如也。他立即起了疑心，于是叫来经理在一旁盯着，因为他将承担所有的责任；然后他打开了大保险柜，不出所料，里面也是空的。
“债券的丢失是后来才发现的。
“公司迅速采取措施追捕窃贼。然而这些人一开始就准备得如此周密，连格雷莱与他们会合都非常顺利。就这样，卡彭铁尔、格雷莱，还有其他四个员工一下子就消失得无影无踪了，卡彭铁尔还带上了他的情妇——她此前一直在巴黎过着极为奢华的生活。
“卡彭铁尔和格雷莱都还很年轻。卡彭铁尔相貌英俊，不过略显苍白，好像患有痨病似的。格雷莱来自一个非常富有的家庭，拥有一笔相当可观的财产——据说有50万法郎。有人说他们之所以走上犯罪道路是因为在证券市场上赔了钱，也有人说是因为他们生活太奢侈其实这些说法都是不确切的。相反，他们的生活都是很平静很规律的。如果说他们最近花钱有些大手大脚的话，那也只是犯罪行为所需的。
“总之，他们决不是被生活所迫才犯罪的，他们简直就是让自己一头扎进了无尽的内疚与忏悔之中。”
詹姆斯男爵对法国做出的巨大贡献得到了法国政府的认可与奖赏，政府毫不吝啬地授予了他无数的头衔与荣誉。
路易十八统治时期，贵族们自恃出身显赫血脉高贵，非常傲慢无礼。因此，男爵与这届政府的交情不太好。据说有一次，在为政府效劳后，詹姆斯男爵提出想把夫人介绍到宫廷里与贵夫人们认识。然而，当官员们向公爵夫人咨询时，这个傲慢的女人居然断然拒绝了，还说：“这是想都别想的事。你别忘了，我们法兰西的国王是欧洲最支持基督教的国王。”
不过后来詹姆斯男爵以自己的方式惩罚了这种狭隘的宗教歧视。在接下来的时间里，他停止了对国王的帮助，并且暗暗地减少了对政府经济上的支持与政策上的建议——一个政府居然会有这种细小而丑恶的原则，实在令人寒心。在他看来，1838年的革命为他所受的歧视报了仇。
他热情地迎接了新政府的到来，并且以自己所有的影响力和资金为后盾给予政府了极大的支持，还与新皇室的贵族们建立了亲密而友好的关系。他几乎每周都会应邀在皇宫赴宴，王子们也常常参加男爵在拉斐特城堡里举办的晚会。
总之，在路易·菲力浦时期，罗斯柴尔德的影响力非常强大。因此这个王朝甚至被称为“金融家的王朝”。那个时期，不再是詹姆斯男爵向皇室请求恩惠，而是皇室向这个富甲天下的银行家寻求帮助。
由罗斯柴尔德家举办的宴会极尽奢华与壮观，即使与皇宫里的相比也是有过之而无不及。在这种场合下，男爵的府上总是挤满了外交界、金融界的精英。在人们看来，从罗斯柴尔德那里得到一封邀请函简直比去皇宫出席宴会还要荣幸。
也许是因为对曾经受到的冷落耿耿于怀吧，现在詹姆斯男爵对于那些向他阿谀奉承的人百般嘲弄，并以此为乐。他的粗鲁与直率（如果不说成是粗野的话）已经“臭名昭著”了，而且他的许多不礼貌的话还常常被登在报纸上。被取笑的“受害者”级别越高，他从中得到的乐趣就越大，他故意想用自己所谓的直率言行给别人造成痛苦与难堪。有时候，他也会遇到旗鼓相当的对手，反而被对方狠狠地挖苦一番，不过他从来都不以为意。
有一次，沃特姆伯格（Wurtemberg）的保罗王子（Prince Paul）接受了邀请，来到拉斐特城堡。这对詹姆斯男爵无疑是极大的荣幸，然而对于这样一位尊贵的客人，男爵依然不讲礼节，执拗地以一种极不庄重的语气来称呼王子。起初，王子轻蔑地以沉默来回应，主人的这种不恭的态度，却毫不奏效，最后王子终于忍无可忍，愤愤地拂袖而去了。
还有一次，一位议员在歌剧院碰到了男爵，礼貌地问候他近况如何。“还不错。”“夫人可好？”“关你什么事？”男爵这么没好气地回了一句，粗鲁地转身走开了。
他的这种令人反感的行为，最大的受害者有艺术家、记者，还有那些受过他恩惠的人——他们从来不敢反驳他那些不得体的言语。
一天，雅丹（Jadin）在所罗门·德·罗斯柴尔德家的餐厅里描一些壁画。詹姆斯男爵进来时，看见他正在一边工作一边自娱自乐地唱歌、吹口哨。
