1973午9月4日，科尔比正式宣誓就职，成为中情局历史上第二位由本局产生的局长。科尔比这个有着丰富经历的老特工在担任中情局长之后的第一件事，并不是积极筹划中情局的发展，而是想办法清除对手，科尔比眼中的对手就是中情局反间谍处处长安格尔顿。
在前任中情局长施莱辛格实行裁员的时候，科尔比就曾极力鼓动施莱辛格将安格尔顿及其手下的高级官员赶走。出于工作需要，施莱辛格没有采纳科尔比的建议。现在科尔比当上了局长，终于有机会排除异己了。那么，科尔比与安格尔顿到底有什么样的矛盾，使其一心想要将安格尔顿清除出中情局呢？原来两人的矛盾由来已久，这还要从邮检问题说起。中情局的邮检工作由安全室负责，主要是将来自和寄往苏联及其他社会主义国家的信件扣压下来，使用“信封法”与“信检法”两种方法对信件进行检查。“信封法”是将信封拍照存档，而“信检法”是将信件秘密拆开，进行检查并拍下其中的内容，然后重新封好。在此过程中，若发现可能影响美国安全利益的信件，由反间谍处对疑点进行分析处理并与联邦调查局取得联系。此事在施莱辛格任局长期间遭到披露，受到公众谴责。施莱辛格与科尔比一致认为邮检行动应该取消，然而安格尔顿却列出许多能够证明邮检重要性的证据，反对终止这一工作。最后，施莱辛格做了一个折中的决定：中止邮检工作，以缓解舆论压力。
然而，施莱辛格模棱两可的决定，使得科尔比与安格尔顿各执一词。科尔比将施莱辛格的决定理解为完全取消中情局的邮检工作，而安格尔顿则坚持认为施莱辛格的意思是暂时停止邮检，在必要的时候再恢复。科尔比上任之后，立即取消了安格尔顿担负的一些重要职责，将反间谍处的职能限定为保护美国和中情局不受外国间谍的侵害，大大减少了反间谍处的职权。
当然，邮检问题并不是让科尔比下决心清除安格尔顿的根本原因，那只是一个表面上的借口而已。根本原因是安格尔顿以及反间谍处对自己有着极大的威胁与牵制，这主要体现在反间谍处与以色列摩萨德之间的亲密关系上。安格尔顿是较早与以色列摩萨德打交道的中情局官员，是中情局内的亲以派，对美以之间的情报交换工作有着重要的作用。然而，长期以来安格尔顿垄断和控制着中情局与以色列的联系，致使中情局驻以色列情报站无法与驻附近阿拉伯国家的情报站来往，因为以色列摩萨德只和中情局反间谍处的人联系。于是，科尔比决定更换反间谍处处长。
科尔比将安格尔顿叫到自己的办公室，说媒体已经知道了秘密邮检的事情，他态度坚决地要求安格尔顿立即离开中央情报局。安格尔顿认为科尔比为了排挤自己，故意将邮检的事情透露给媒体，无奈之下安格尔顿与其助手选择了辞职。
解决了心腹之患后，科尔比这才放下心来考虑工作的事情。他取消了国家情报评价委员会，设立了国家情报分析官一职，创办了《国家情报日报》、《警惕备忘录》。1974年8月，尼克松因“水门事件”之间辞去总统职务。副总统杰拉尔德·福特接任总统后，科尔比留任中央情报局局长。
来势凶猛的调查
虽然科尔比顺利清除了安格尔顿，但中情局针对国内反战运动而对美国公民进行的电话窃听、秘密搜查、邮检、监视等在内的非法侦查活动仍接连被媒体曝光，致使公众舆论大哗。对于邮检行动，此前就有媒体做过报道，然而，中情局所搞的电话窃听、秘密搜查和监视等活动是怎样被记者知道的呢？科尔比突然想到施莱辛格在任的时候，自己着手整理的一份中情局内部的机密文件——《可能引起注意的活动项目单》。这份文件中记录了中情局历史上一系列可能触犯法律的行动，根据媒体报道的情况判断，很可能是这份文件的内容被泄露了出去。
1974年12月，《纽约时报》调研记者、普利策奖获得者西摩·赫什打电话约见科尔比，向他求证消息的准确性。科尔比在会见赫什时，试图阻止赫什过度渲染“没有根据的消息”。赫什凭自己的职业敏感意识到，这位中情局长的此种举动无异于“此地无银三百两”。于是，《纽约时报》对中情局在国内对持不同政见者采取大规模非法侦查活动的事情进行了连续报道。此外，1968年3月16日发生在越南美莱的大屠杀内幕也见诸报端。
舆论界对中央情报局进行了猛烈抨击，并将中情局称作盖世太保。一夜之间，原本在公众心目中印象就不好的中情局，彻底变成了一个阴暗卑鄙的机构，彻底失去了公众的信任，公众甚至对整个美国情报界都产生了反感。
紧接着，国会对中央情报局进行了有史以来时间最长、最为严厉的调查。
1975年，中央情报局首先受到了福特总统委任的以洛克菲勒副总统为主席的特选委员会的调查。为了防止对中情局情报工作的全面清查，中情局认真回答了特选委员会的质询。特选委员会于1月6日成立，原定三个月的任期由于调查未完而延长了两个月。在此期间，举行了多次听证会，每次科尔比以及他的前三任局长都被要求出席作证。与科尔比开诚布公的态度相比，赫尔姆斯较为强硬，他坚决否认了对中央情报局的所有指控。
洛克菲勒的委员会最终的调查报告称：“经过对事实的详细分析，委员会确信，中央情报局在国内的绝大多数活动是符合它的法定权限的。然而，中央情报局在28年多的历史中，确有某些行动是应当受到批评，并且是不允许再发生的。在这些行动中，有些是总统直接或间接提出和指令做的；有些行动的性质难以确定，即介于委托给中央情报局的职责和严禁该局干的事情这二者之间；有些行动显然是非法的。近年来，主要是1973年和1974年，中央情报局已经有效地终止了这些非法活动……”
科尔比对洛克菲勒委员会的调查结论感到满意。然而，没过多久，科尔比不得不再一次面对调查。这次的调查来自国会，参议院为此专门成立了一个特别委员会，由来自爱达荷州的民主党参议员弗兰克·丘奇任主席。这个与中情局毫无瓜葛的丘奇委员会对中央情报局过去和现在的全部活动展开了调查。
1976年7月，众议院也成立了一个特别委员会（派克任主席），对中央情报局和美国情报界进行彻底调查。
科尔比十分清楚，美国的政治权力中心已经转移到了国会，白宫已经不能维护中央情报局享有的特权了，中央情报局的生存也要依靠国会了。因此，科尔比分别向丘奇和派克表示自己愿意充分合作，并建议共同商定工作程序，以及时满足委员会的要求，同时保护中央情报局的合法机密。
然而，并不是中情局所有人都认同科尔比的做法。许多资深情报人员认为，情报工作向来都是总统管的事情，国会没有权力干涉，更没有权力向中情局索要机密材料。如果中情局将机密材料交给国会，就等于交给了全世界。当时，中情局特别行动处依然在国外执行着隐蔽任务，公开机密资料就等于将这些特工人员置于危险之中，而这么做的目的只是为了证明中情局的“清白”，这让许多中情局的人感到十分可笑。因此，在调查人员向中情局索要机密材料的时候，他们争取保护每一份材料，不到万不得已决不交出。随着洛克菲勒委员会、丘奇委员会和派克委员会各种调查和听证会的相继展开，一个不为世人所知的秘密逐渐浮出水面，那就是中央情报局成立28年来干了大量的非法活动。其中，性质特别恶劣的有：在毫不知情的美国人身上做迷幻药效果试验，致使一名科学家死亡；策划暗杀古巴领导人菲德尔·卡斯特罗；擅自进入受怀疑的工作人员的住宅安装窃听器或窃听电话；对公布著名的“五角大楼文件”的记者搞电话窃听以图了解他们的消息从何而来；长期非法囚禁叛逃到美国的苏联特工。
面对调查与质询，科尔比多次强调所有非法活动都是由中央情报局自己揭发出来的，而且都是过去的事，自从自己上任以来已经完全禁止了此类活动。
当科尔比发现自己对国会所持的合作态度没有起到任何作用的时候，1976年1月，他作出了辞职的决定，结束了他三十多年的特工生涯。
