被怀疑智商低下的孩子费米出身于穷人家庭。祖父之前，许多代人都是意大利皮亚琴察附近的农民。祖先留下一块肥沃的土地、一处乡间住宅。意大利的波河流过皮亚琴察大地，给河流两岸带来了便利的灌溉条件。费米的祖先靠这一片不大的土地辛勤耕种，过着温饱型乡村生活。到了费米祖父时期，这个身体健壮、头脑灵活的农民，不愿意终生守在这片不大的土地上。当时，正处在政治动乱之中，他投靠了巴尔马公爵，成了公爵争权夺利的支持者。巴尔马公爵获得成功后，论功行赏，费米的祖父获得了一个小县官的职位。
祖父奋斗一生，除了离开了农村，享受了几年官饷之外，其余的收获并不大。儿子们没有获得读书的机会，留下的产业仅仅是一间破旧的房屋和一块贫瘠的土地。
费米的父亲靠祖上留下的遗产无法生存，只好凭借一身力气外出寻找工作。当时正是铁路大发展的时期。他靠自己的体力和聪明机灵的头脑，在铁路上找到一份工作。费米出生时，父亲正跟随延伸的铁路不停地变换工作地点，整个家庭也无法找到一个稳定的落脚点。全家人跟着父亲，过着游击生活。在费米出生前，老费米已经有了一个儿子和一个女儿。第三个孩子的出生，使本来不轻松的日子显得更紧张。瘦弱单薄的妻子，无力同时照看三个未成年的孩子。因此，他们在乡下请了一个奶妈，把费米寄养到那里。
寄养在乡村奶妈家的费米，没有牛奶喂养，更没有其他补养品。由于营养条件极差，童年的费米长得瘦小。两岁半被母亲接回家时，他已经瘦得皮包骨头，那样子和从饥饿地区逃出来的灾民差不多：大大的脑壳，尖尖的鼻子，凸起的额头，深陷的眼睛，肋骨一根根清晰地凸现着。刚刚被接回家的费米，不仅样子长得不讨父母喜欢，而且还爱哭，稍有不适，或者哥哥姐姐惹他一下，就大哭起来。父母见费米既丑又赖，不仅不可怜他，还特别加强了对他的管教。母亲用威胁的语气说，要想在这个家庭呆下去，就不准哭，不准淘气，只能乖乖地听话，否则，就要送他到乡下去。幼小的费米听懂了妈妈的话。他知道在父母身边比在乡下好。为了不被送回乡下，他遇到委屈也不敢哭了。
为了不讨父母反感，童年的费米学得很乖。父母说什么，他就听什么，从不反抗。他知道反抗是毫无意义的。哥哥姐姐对费米很好。这个家庭中最小的孩子，由于一出生就经历了艰苦环境的磨练，所以，懂得与别人友好相处。
父亲虽然是没有多少文化的工人，但是，凭借努力工作当上了段长。这样，他挣的钱不仅能够供妻子和孩子们吃饱饭，还能挤出一些钱来供孩子们上学。老费米痛恨自己没有文化。所以，他想让孩子们都接受系统教育，最好是让他们读大学。
孩子们先后被送进学校。费米的姐姐聪明伶俐。她的语言天赋很快就显示出来。费米的哥哥也表现出了早熟的天资。他理解力很强，特别是动手和计算能力，是一般的孩子不能比的。
相反，费米的智力却让父母失望。他不爱讲话，嘴巴经常闭得很紧，似乎平时没有什么要说的。上小学二年级时，老师要求学生们写一篇作文，题目是：铁可以做什么。为了写这篇作文，小费米专门到一家铁厂参观。在那里，他看到铁可以做床。回家后，他发现家中的床是木头做的。因此，他在作文中写到，铁可以做火车的道轨，还可以做一些床。写完了他所见过的铁用途之后，就没什么可写的了。老师对这样的作文很不满意，没有修饰词，也没有想像力，甚至连文章的层次都不讲究。学校的态度直接影响到家长。母亲对儿子的学习成绩也不满意。与哥哥姐姐比较，母亲总觉得小费米的智力有问题。
童年的费米不仅在学习上不行，在生活上也表现出能力较低的状态。他平时比较懒散，脸上总是洗不干净的样子，头发也不常洗，更不愿梳理，头顶上细密的头发，经常黏乎乎地贴在一起，像一片破毡盖在脑壳上。天气寒冷时，他还常常流出稀鼻涕。如果母亲带他上街，还要不时地利用街边的水龙头为他洗脸洗手。
父母和老师的态度并没有影响费米的成长。他每天和哥哥姐姐一样经受着艰苦生活的考验。
早晨起床后，即使到了10℃以下，他也跟着哥哥姐姐跳进装满冷水的大桶，洗一个让人清醒的冷水澡，然后开始一天的学习。冬天到了，北风呼啸着，屋里没有暖气，也没有其他取暖设备，三个孩子的手、脚、耳朵都冻出了疮。尽管如此，孩子们还是要学习的，年龄最小的费米也一样。为了获得一点暖意，在不写字时，他就把一双小手坐到自己的屁股底下取暖，需要翻收时，就用舌头来翻。这个被怀疑智商有问题的孩子，就这样在极其艰苦困难的环境中，坚持着读书学习。
钟情物理
少年费米并不愚笨。他语言能力很一般，可是，对物理现象的观察与思考，却比一般孩子强得多。上小学二年级时，他与哥哥一起绘制的飞机发动机图纸，已经达到了专业水平。哥儿俩还设计了一台电力发动机模型。这台模型能够运转自如。比费米大一岁的哥哥功课好，反应灵敏，能说会道，相貌漂亮。费米则不同。他性格内向，沉默寡言，在大人面前显得特别羞怯，不会花言巧语，还爱独自一个人生气。因此，费米的聪明才智被哥哥掩盖了。哥儿俩共同创造的成果，往往被认为是哥哥的智慧。所以，获得表扬最多的是哥哥，费米则很少被父母注意。
费米并不在乎别人的看法。他有自己的爱好和兴趣。他喜欢读书，特别是科技方面的书籍。
在读书过程中，他还注意联系实际进行观察和实验。由于家里穷，父亲又没有什么文化，家庭藏书很少。他们居住的小镇也没有图书馆。为了寻找自己喜欢的书，费米在课外时间和节假日就到处转悠。后来，他在城里找到了一处旧书和旧货出售点。这里有许多从废纸收购摊捡来的旧书等待出售。费米从中找到了数学、物理和其他方面的科技书籍。这些书在他看来很好，既能读懂，又很有趣。自从发现了这个旧货市场后，一有闲暇，费米就跑到这里来。
他手里有一点零花钱，就买一两本自己喜欢的书。如果一分钟也没有，就在这里看几个小时。旧货摊主见他不捣乱，即使他不买书，也不撵他。
在旧货摊上，费米结识了一名同样喜欢读书的小朋友。这个孩子比费米大一岁，对数学和物理都有爱好。他读书的痴迷状态与费米差不多。他叫柏西柯，样子长得很奇怪，面部棱角分明，额头宽宽的，鼻子又高又尖，中间还打着结。他的长相虽然丑了点，可是，却与费米很谈得来。两个孩子在寻找便宜书时交上了朋友。他们一起寻找有趣的便宜书，在书摊上一个小时接一个小时地消磨时间，一个人发现了有趣的书或从书中读到有意思的问题，总要及时告诉对方。柏西柯有一个天才的头脑。他数学天赋很高，与费米谈起数学问题来，就像谈论什么新奇的事物一样有声有色，而费米听起数学问题来，也像听故事一样专心。
旧货摊主对这两个孩子是友好的，反正货摊上的书都是旧书，愿买就买，买不起读一读也损失不了什么。这两个孩子结成伙伴后，买书的钱就等于多了一倍。一个人买一本书，他们就可以读到两本书了。而且，两个人在读书过程中还能够互相讨论。
费米14岁那年，他家遭受了一次重大打击。聪明漂亮的哥哥，喉部生了一个疮，做手术时，死在了手术台上。这个意外打击几乎把他们的父母击垮。费米也为失去哥哥而悲哀。
哥哥死后，费米与柏西柯的关系更密切。有什么科学上的难题，两个人就在一起讨论。他们的思维在共同讨论中发展。在读书和讨论中，他们开始自发地注重物理现象。
在费米少年时期，穷孩子普遍拥有的玩具是陀螺。这种玩具很便宜，携带方便，几个孩子聚在一起玩，还富有挑战性。费米和柏西柯也喜欢玩陀螺。在玩耍过程中，他们几乎同时注意到，陀螺总是在高速旋转中保持轴心与地面垂直，而在速度放慢后，却总是与地面呈一定角度。这是什么原因？怎样用物理学或者数学原理进行解释？为了解决陀螺运动问题，费米在一段时间里，几乎天天与柏西柯讨论。在中学的教科书中，显然找不到答案，向数学和物理老师请教，也没有得到满意地答复。后来，费米通过研究回转仪原理，才弄明白了其中的道理。这件事更增强了费米读书与思考的积极性。
由于哥哥的死，费米在家庭中明显地受到了父母的注意。读中学之后，父母就不再重视他的智商问题了。既然只剩下一个儿子了，管他智商高低，都得培养成人。同时，费米也比童年干净勤快多了。父母在儿子身上找到了许多优点，爱心也增加了。学校不上课的日子里，如果费米愿意，父亲有意带他到自己的办公地点去玩。父亲的一位同事叫亚米。他是个数学爱好者。有一次，他们一起步行回家。亚米问费米喜欢什么课程。费米说，喜欢数学、物理、哲学等。亚米一听就来了精神。他想显示一下自己的聪明，也想考一考同事的儿子，于是，就给费米出了几道数学题。他认为一个中学生不可能做出这些题来。为了安慰费米，亚米强调说，解答不出来也不要紧，这些题都是供思考用的。
费米以为这些题一定很难，也很有意思。回到家后，他就急不可耐地开始计算。令他失望的是，这些题很简单，仅仅用了半小时，就全部解出来了。第二天，他让父亲把答案转交给亚米。
亚米看到费米的答案后，非常高兴。他觉得找到了数学知音，大大夸奖了费米一番，说这孩子聪明，善于思考，这些有难度的题能做出，说明他将来一定的有前途。费米的父亲听到同事夸奖自己的儿子当然高兴。亚米夸奖了费米之后，想进一步试一试费米的数学能力，于是，又出了一些自认为更难的题交给费米的父亲。这些题连亚米自己也没做出来。他想，一个中学生，不可能解出这些难题。然而，他又低估了费米的能力。当费米的父亲再来上班时，又带回了费米的答案和解题过程。
