既然遭受了这个集中软禁的厄运，只能静以待变，首先要想办法逐渐改善官兵们的生活，使他们不安的情绪趋于稳定，然后再逐步解决许许多多属于内部和外面的复杂问题。黄杰内心深处有一种隐痛，尽管外表表现出宁静冷峻，但内心骚动不安。那种冷静与严肃，正是严重压抑自我的表现。一个外表冷静的人，内心可能分外激动。既已负起这副沉重的担子，黄杰便一再地提醒自己千万要冷静、克制，在精神上绝不容许有一丝一毫的松弛，以免影响军心。
残军部队分驻在蒙阳与来姆法郎两地，从此开始了忍辱含恨的集中营生活。
十二月二十三日，黄杰由海防到达宫门以后，法方指定非得许可不能离开此地，于是黄杰就借住在宫门的中华小学，其参谋和卫士住在楼下，黄杰独占楼房的一角，继续被软禁的生活。
惜往事，悲回风。午夜几番梦回，往事不尽如烟。自回湘主政、率军转战已近半年，黄杰全在纷乱紧张中打发，他的心灵和身体一样，太疲惫了！宫门这个恬静的小城也算是一个比较适宜静养的环境，可是，前路漫漫，妻儿离散，这些羁恨别愁，反而使静中的岁月更加凄苦。想自己壮岁从戎，曾是气吞残虏，如今却功名梦断，流年虚度；尤其是那种寄人篱下的滋味，残酷而无情地啃蚀着他的灵魂。人生最值得珍视的是自由，而今天他们竟平白地失去了自由，简直就像生活在火山的边缘，更像是走失在无垠的荒漠，迫切地期待着发现一丛葱郁的绿洲。“慷慨惟平生，俯仰独悲伤。”（陆机）在宫门这幽静的小楼上，自朝至暮，黄杰寄出了无数的希望，也咽下了无数的忧伤：
南歌子
云掩天边月，风开岭上梅。
悄无人处独低徊。冷落清光和露湿阶苔。
忽又伤离别，频闻腊鼓催。
泪先樽酒入孤杯。欲剪羁情无计又愁来。
宫门除夕
山程水驿近如何？佳节谁教客里过。
两鬓真如春后少，今年翻比去年多。
在漫漫长夜之中，黄杰只能徒然地感叹忧伤。黄杰酷爱作诗填词，滞越期间有很多较为可观的作品。
宫门的华侨知道了有一支中国部队被软禁在集中营，有人前来黄杰这里嘘寒问暖，还不时到部队去慰劳。这让这支羁留海外的残军感受到了来自同胞的温暖。
黄杰到宫门以后，更加重视蒙阳与来姆法郎两个营区的环境和秩序，一方面不断向法方提出交涉，要求改善；一方面则着手于内部的整顿。他组织了补给委员会，负责向法方领发给养；设立联合诊所，医疗伤员；开办合作社，供应日用品；编组纠察队，维持秩序；渐渐地一切都步入了正轨。同时，黄杰又规定凡属对法方的外交事务，均由其亲自处理；蒙阳与来姆法郎两个营区的一般行政业务，初期派副参谋长范湖少将与桂西师管区司令李绳武少将分别负责。
这时，营区的范围扩大了，自建营房的工作也开始进行。黄杰命令官兵男女上山采草伐木，编竹作壁，茅草覆顶，来建筑简陋茅舍。半个月后，数以千计的竹篱茅舍一栋栋地建成，而且井然有序，使荒芜的废墟一时之间变为鳞次栉比的连营。数万人的居住问题算是得到了解决。
法方对营区的负责人沙如上校，原本是北圻专员公署的副司令，现在奉调为宫门警备司令。这位法国上校断了一支右臂，曾经参加过两次世界大战，也作过纳綷的阶下囚，但做事倒也率直而富热情；或许是他曾经也失去过自由的缘故，其作风比往后几位继任者要通情达理。由于沙如上校的协助，两个营区的房屋，得已初步完成。（后来官兵们胼手胝足建造的房屋，因间隔距离太近，不幸于1950年元月二十八日、二月三日连续遭遇两次火光之灾，蒙阳营区几乎全部付之一炬。接着大家又重建起来，新的营舍比以前更为精致合用。中国军人的这种克难精神，让法方人士惊异不已。）
在生活上，法方未能完全如约。冬衣屡请不得，食品配给不足，医药只敷半数，人员病故不少。在蒙阳对面的山坡上，不到半年时间，就出现了大片乱葬岗。因为营养不良，疾病流传，人们一病就死，每天都要抬出去十几具尸体，天气又很快开始热起来，尸体的臭味一阵一阵传来，令人晕眩。
分驻蒙阳与来姆法郎两个营区的入越国民党残军，人数共三万余，其中有少数文职人员及千余眷属；官兵桂籍最多，占七千余，湘籍五千余，滇籍千余。当时单位多达数十，成分十分复杂。除黄杰第一兵团外，仅来姆法郎就有华中长官公署零星部队、国防部突击总队、桂西师管区、广西保安队、第十一兵团、第一百军的十九师、第四六军、第一二六军、第四八军的一七六师、第五六军的三三○师九九八团等（此等部队曾被武鸿卿编入越南建国军）。此外还有一些零星官兵和随军入越平民没有纳入组织。生活环境恶劣，管理困难，狼狈、拥挤、杂乱，集中营的面貌，令人不忍卒睹。面对这样一个局面，初时黄杰欲将各部混合整编，被众人反对而止。
直到1950年二月六日，黄杰召集蒙阳、来姆法郎两营区的高级将领，举行会议，再次决定将两个营区的部队，实施统一整编。经过点验、选拔，将战斗员兵编成了七个总队，分别隶属于第一、二两个管训处。将蒙阳的第十四军主力，九七、七一、一百各军一部分，兵团直属部队等编为第一管训处；将来姆法郎的第三、十一两兵团，广西保安团队等编为第二管训处。管训处下辖总队，总队辖大队，大队辖中队，相当于陆军的师团营连，编制亦同；避免分割各部队原建制，按人数多寡酌编，各级干部亦从各原属军官中选任。编余军官三千余人，经甄别考试后，编成六个大队，隶属于预备干部训练班，施以政军训练。未参加考试与未录取人员，编成一个大队，平民编成一个大队，直属兵团部。整编工作完成后，全部军民都纳入了组织，管理比较容易。战斗员兵与非战斗员兵分别编组，无论是任务赋予或工作执行，指挥运用，都非常灵活。
决议以第一兵团部作为入越国民党军的最高指挥机构，全面负责入越军民，重新整编后的第一兵团下设机构为：
司令官黄杰，副司令官王天鸣、蒋伏生、成刚，参谋长何竹本，副参谋长范湖
第一管训处：处长张用斌
第一总队：总队长高树华
第二总队：总队长张绍昌
第三总队：总队长李毓芳
第四总队：总队长张励
直属大队：大队长李庆长
第二管训处：处长王佐文
第五总队：总队长龙义昌
第六总队：总队长何毅生
第七总队：总队长查文华
直属大队：大队长黄祝华
预备干部练习班：主任黄杰（兼），副主任何竹本（兼），教育长谢惕乾
入越的国民党军经统计为32457人，含第二十六军3879人，第二七二师1161人，粤桂滇游击队1080人，及第四十六军千余人。
集中营内三万余人，湘人出身的司令官黄杰训练湘兵很努力，而广西部队却无人督率，颇为散漫。
在集中营软禁已两月有余，残军返台的消息依旧渺茫。法方欲利用残军士兵劳力，开发煤矿、胶园资源。由于入越国民党军拥有并保持了完整的军事组织和指挥系统，坚持“建制内的战斗员兵决不参加做工，做工人员只限于没有考取的队员及平民”的原则，法方不敢过分苛逼。为生存计，黄杰也做了让步，准许少数人志愿应征，经法方送往鸿基、锦普各煤矿区和高棉（柬埔寨）橡胶厂的共约四千余人。在宫门附近煤矿做工的二千余人，大部分属桂籍。得到了李玛若神父的帮忙，较高级的官长则任职员，广西全边对汎副督办黄懋儒及督办署职员数人均在煤矿办事处任翻译。
当时无论台湾或香港，对残军入越时和入越后的情形都不明了。黄杰说是民国三十九年（1950年）春初才能派员回台报告，但未明指月日。大家只记得那年春天，黄杰曾在蒙阳营区，对他们说过：“我把大家带进越南，我还要把大家带回台湾。”
