除了港湾自己前期财务混乱的原因，网通和电信拆分也意味着不少麻烦。因为大量合同写着中国电信，但其实质上已属于中国网通，且因负责人的更换，很多账款的追讨就成了问题。安永表示，做其上市审计需要更多时间和投入，这超出了港湾所能接受的限度，双方的合作并不顺利。
无奈之下，安永被换成德勤，致使一切账目都要重新审计。
在此之前，港湾网络的财务审计方式一直按照香港会计准则执行；而德勤接手上市审计工作后，为了适应美国会计制度，审计方式上有了很大变动，在操作上变得相当复杂。比如，按照国际通行会计制度，港湾公司每单收入只需要通过一次立账统计；而在美国现有会计制度下，一个单子则要被分成产品、软件和服务3个部分进行分账统计。
在这种分账规则下，产品收入自然容易明晰，而软件和服务的价值统计就相当让人头疼。因为，在港湾与客户签订的合同中，很多都包括软件免费升级、产品免费保修三年以及终身免费维护等条款。这中间，免费与收费、成本分摊等问题在已经签订的合同中都没有明确，而且也很难明确。
按照这种要求，港湾需要和客户一起，详细计算出各个环节的成本分摊比例，对已有合同进行再次分账处理，以适应美国上市审计制度。
再比如，在存货分类上，美国现有会计准则有工厂存货、办事处存货、客户存货等统一项目。为了适应这种要求，港湾网络要对当下所有存货及其分摊成本进行详细计算、列账。
所有这些都涉及与客户在合同账目上的多次协调问题，而关于港湾上市做假账的流言正出于此。另一位接近港湾的内部人士则说，这其实是吴明东作为CFO的变通策略，目的是为了能让港湾的报表可以被管理和控制，能形成持续增长的曲线图，能帮助港湾更好地上市。
据介绍，港湾网络光花在此次审计方面的时间就已经6月有余。
打港办百米冲刺
就在港湾为IPO冲刺的时候，华为也以百米冲刺的速度行动起来，力图将港湾扼杀在上市之前的摇篮里。
2004年起，华为迅速成立了一个叫做“打港办”的机构，专事研究港湾的一举一动，然后采取相应措施。少为人知的是，这个著名机构甚至分为两个层面：日常运行的一层是一个几十人的组织，他们能够调动各种资源展开行动。还有一个战略层面的打港办，它由华为副总裁郭平牵头，每周向任正非汇报工作，讨论如何从战略层面来打击港湾。
之后两年里，打港办的工作效率足以让所有港湾员工惊叹：它知悉港湾的每个举动，了解港湾的每个细节，几乎能够挖走它想挖的任何人。这让港湾的人无奈地比喻说，港湾就像生活在玻璃屋里。
甚至连李一男本人的私生活，也被打港办掌握并加以利用。李一男的妻子为此与李一男离婚，这也造成了李一男诸多的困扰。在业界著名记者冀勇庆以华为港湾火并为蓝本的小说《狼战》里，也详细讲述了李一男怎么在妻子和公司内某美女之间相互纠缠的故事。
2006年，华为收购港湾后，通信业著名的网站“通信人家园”上开始流传一个以第一人称写成的帖子，标题是《HWGW信息安全的故事，写在牵手不远的日子里》。讲的是2003年10月到2004年7月一个华为员工是如何受命打入港湾的内部信息系统并拿走信息的故事。属实与否不得而知，但当时港湾的信息保密工作做的多烂是可想而知的。
比起华为的严格保密，港湾网络电脑上的USB接口一般都没有专人监督管理，内部员工很容易拷贝公司技术，外泄出去。
2004年，足有两个月时间，港湾的各种内部资料被陆续放到网络上，甚至包括只有核心高层才能看到的财务数据。后来一封名为《做人要厚道》的内容翔实的检举信更让港湾无法向美国SEC申报IPO。这封被放到网络上的公开信件援引了几封包括李一男在内的公司高层之间的电子邮件，其中暗指港湾行贿。
2004年8月，就在港湾向海外IPO发起第一次冲击的关键时刻，当时负责承销的投资银行高盛收到了来自匿名人士的电子邮件。该邮件称，港湾方面涉嫌制造虚假销售数据。
根据《环球企业家》杂志的报道，这段经历让李一男在一个月内体重降了10斤。港湾不仅错过了最佳上市时机，他甚至可能直接从办公室进入牢房。事后华平曾调派相关律师进驻港湾调查，幸而并未得出不利结论。
这些动作直接导致了港湾的第一次海外上市被推迟。打港办首战告捷。
其实在2004年下半年，港湾曾经有机会在香港上市，承销商确定为高盛和瑞士信贷第一波士顿，每股价格大约在5港元，但李一男拒绝了这个机会。后来纳斯达克上市受阻时，再去考虑香港上市已经为时太晚。要是李一男把握住香港上市的机会，后面的故事可能就大不一样了，归根结底，李一男的野心太大了。
第一次上市未成，让很多港湾员工产生了巨大的心理反弹：他们之所以投身这家初创公司，很重要的一个目的便是借助公司上市实现个人资产增值，但当这个梦想看似不再现实，怨声四起也就不可避免了。
在一位港湾高层看来，港湾在国内市场的全面滑坡，并非只因为与华为的竞争。到2004年年底，公司年初定下的国内业绩目标没有实现一半，预算却全部花光，员工还在抱怨没有奖金。无疑，这给了华为更多的可乘之机。
打港办除了跟港湾打信息战外，还发动了人才的反水战。之前是港湾从华为挖人，而打港办的任务就是从港湾把人给挖回来。
比起港湾，华为显得财大气粗，它不惜重金挖走技术人员和市场骨干。动荡之下，许多员工也为自己的前途和收入考虑，离开港湾进入了华为。甚至一些以前从华为出来的员工现在又返回了华为。
华为当时为了击破港湾期权留人的做法，提出在港湾有多少期权，就给多少签约MBO（华为虚拟员工股，可分红）。同时，在工资上要比港湾同岗位高1000～2000元，以及数以万计的签字费用。
为了防止华为大规模挖走港湾人才，防止员工反水，港湾网络人力资源部还专门制作了一个名为《港湾网络防员工反水教案》的PPT。该教材从公司对比、职业发展、收益预期等方面，详细分析了港湾与华为公司相比较的优势，特别强调了“港湾公司的工资不算高，但达到业界中等水准；港湾给予员工的股票期权是行业内最慷慨的；港湾公司以后将随着公司的发展，出台新的激励措施”。
即使这样，也没能阻止大批尤其是前华为的员工又从港湾跳回华为。除了华为出重金挖人外，港湾内部管理不善，也是导致公司陷入困境的一个重要原因。港湾在过去的三年内收购多家公司，产品线超级长，这就造成了公司的许多产品线，比如交换机、路由器、平台软件等部门都比较乱，大家谁也不听谁的，部门内没有一个权威人物或主导思想来控制局面。比如交换机产品线就有100多人的研发队伍，几十个项目经理，大家千头万绪，各自为政，互相之间为了自己的利益和影响范围而激烈争斗。
两线市场相继受阻
港湾赖以生存的中国通信市场已悄然发生变化。此时，国内各电信运营商对设备的采购经过2002年的投资高峰，至2003年就到了一个分水岭，2004年基本上走入了慎重投入的低谷。
从2003年开始，中国联通、中国电信、中国移动、网通、铁通等运营商对港湾占优势的数据业务的投入都开始转入谨慎。不少运营商负责数据产品采购的人员都转去开发新的数据业务了。
除了大幅削减投资，运营商对供应商的价格要求也近于苛刻。有关电信人士认为，主攻接入式交换机和路由器、ADSL/VDSL宽带接入设备、软交换及其全网解决方案的港湾，2001年杀入电信市场时，正赶上数据产品投资最火的时候。当时运营商没有找到明确的盈利点，匆忙上阵的数据通信业务中现在除了IP电话真正盈利外，网上游戏、视频电话等数据业务都处于亏损状态。ADSL虽然增长很快，也未到规模盈利的时候。即使是最新技术NGN（下一代网络）也要等到2010年才能得到规模回报。
在短暂的冲动之后，运营商对数据业务的投资迅速回归冷静。受此影响，港湾2004年的业绩自然要大打折扣。
整个大环境不好，港湾还遭遇了打港办的狙击。为彻底打击港湾，华为对内部下了死命令：办事处如果丢单给中兴、思科不要紧，丢单给港湾要受处分；对客户他们是大的项目就白送，已经在使用港湾设备的，就由华为回购，还买一送一，废港湾的标；同时还开展“反挖人”运动，港湾接入网产品线的研发人员被华为一锅端。据说，华为为此准备的“打港办”经费一年最多时高达4亿元，而同一年，港湾的应收账款多达4亿元。
很快，港湾就感到了市场的难做。据港湾内部人士回忆，港湾在2005年以前，在交换、接入、高端路由等产品方面确实有技术优势，而且作为一家新公司，给人有很强活力的感觉。尤其在2003年的时候，港湾的员工们都充满激情，提出的很多方案、观点经常让客户耳目一新。但到了2005年，港湾研发已经跟不上市场发展，很多新功能无法兑现。市场下滑之后，很多给用户个人的承诺也开始出现无法兑现的情况，这是个恶性循环。
2004年后，港湾的国内运营商市场表现已经陷入停滞期。
2005年，甚至出现了国内所有电信运营商集体清退港湾DSLAM产品的情形，变成只有中兴、华为和上海贝尔阿尔卡特三家主供应商，而这个产品是港湾当时的主盈利产品之一。自此，港湾已经只能捡华为员工漏下的一些小单，而后来就连几百块钱的小单华为也不放过。
在企业网市场，港湾也遭遇了华三不遗余力的狙击。华三采取和华为一样的策略，与港湾进行肉搏战。港湾在两线均遇到前所未有的阻力。
与2004年年初的信心爆棚局面截然不同，到该年年底，港湾士气涣散，业务停滞不前，当初制定的20亿人民币的收入目标根本遥不可及。如果不是当年年底港湾与日本电信签下3000万美元的订单，它的年收入可能只有6000万美元。虽然按照国内会计准则，港湾在这一年已经盈利，但按照国际会计准则，它约亏损3000万美元。很多员工并不理解，为什么公司明明盈利了，却在当年没有奖金。这在一定程度上也引起了公司内不少不满。
