刘永福由越南回国后，任广东南澳总兵。中日战争时，清政府调刘永福率黑旗军到台湾帮办防务，并驻守台湾。
光绪二十年（1894年）年底，日本侵略军占领旅顺和大连，并准备进攻山东。在帝国主义列强的讹诈、恐吓、诱骗下，1895年4月17日，李鸿章代表清政府在日本马关与日本政府签订了丧权辱国的《马关条约》，把台湾割让给日本。
1895年4月25日，台北人民鸣锣罢市，坚决反对日本侵占台湾和清政府的投降卖国。台湾各阶层群众纷纷表示“桑梓之地，义与同亡”，“万众一心，誓同死守”。1895年5月底，日本侵略军在台湾基隆东北登陆，台湾巡抚唐景崧按照清政府的命令，采取不抵抗政策，率大小军政官员撤回大陆，使台北不战而陷。6月2日，李鸿章的儿子李经方在基隆口外的日舰上，偷偷办完交割台湾的手续，日寇主力近卫师团即向台湾开始了大举进犯，台湾人民纷纷组织义民军，决心抗击日本侵略者。日本全权官海军大将桦山资纪致书台南守将刘永福，令其撤出台湾，刘永福义正词严地加以拒绝。为了协同对日作战，黑旗军和台湾义民军共推刘永福为台湾军事统帅，刘永福在誓师宣言中表示“自问年将六十，万死不辞……本帮办亦犹人也，无尺寸长，有忠义气，任劳任怨，无诈无虞”，决心与台湾爱国军民抗战到底。农民领袖徐骧组织的抗日义民军，积极协同刘永福率领的黑旗军，展开了悲壮激烈的台湾保卫战。
日寇从海陆两路向台南和台中进犯，刘永福分兵把守，自己坐镇台南，指挥军民严密防范。日军舰艇几次企图从台南的安平口登陆，都被刘永福指挥将士击退、歼灭。日军见台南防守严密，不易攻破，便从陆路改攻台中。6月中旬，进犯台中的日寇收买汉奸，从小路抄袭了台中的门户新竹。守将杨紫云和义民军英勇抗击，最后因弹药缺乏，寡不敌众，杨紫云战死，新竹陷落。但台湾义民军在徐骧的领导下，不断向新竹的日寇发起反击，大小战斗二十余次，牵制日军达两个月之久，使日军的南侵计划受到沉重打击。日本人竹越与三郎在《台湾统治志》一书中供认：“不论何时，只要我军一被打败，附近村民便立刻变成我们的敌人。每个人甚至年轻妇女都拿起武器来，一面呼喊着，一面投入战斗。我们的对手非常顽强，丝毫也不怕死。”
8月下旬，日军又大举进犯苗栗、大甲溪，刘永福派部将吴彭年带领黑旗军，联合徐骧的台湾义民军扼守。在大甲溪，当敌人刚刚过溪上岸，埋伏在南岸的吴彭年部立即给予迎头痛击，日军立脚不稳，大部队又尚未过河，慌忙退却。在退却过程中，又遭徐骧所率义民军的再次伏击，伤亡惨重。日军凭着人多势众，武器精良，弹药充足，最后侵占了大甲溪。
紧接着，日军又向台中重镇彰化进犯，刘永福急派部将吴彭年率黑旗军冲锋队——七星队前往支援，与徐骧的义民军一起，同日军展开了激战。开始，他们采取诱敌深入、左右包抄的战术，大败日军，但败敌却在汉奸土匪的引导下，转攻彰化东门外八卦山，并从山上炮轰彰化城。吴彭年仅以数百人的兵力，与日寇大战于城东的制高点。黑旗军以一当十，拼死战斗，打退了日寇的多次攻击。这时，日军想用诱降的办法收买刘永福，结果遭到严词痛斥，于是，便集中炮火疯狂地轰击八卦山，吴彭年和七星队的300名将士以及台湾义民军吴汤兴部，全部壮烈牺牲。彰化城内的汉奸随即打开城门，放进了日军。
彰化陷落后，日军把军事主力转向台南。9月初，又占领了云林、大莆林。刘永福调部将王德标与黄荣邦、林义成、简精华等率领数千义民军对云林腺发起反攻，日寇见势不妙，仓皇弃城逃走，王德标会同义民军乘胜追击，围攻彰化城。在战局对我十分有利的情况下，卖国求荣的清政府对台湾坚持抗战部队和义民军实行封锁，断绝一切物资供应和补给，使围攻彰化的战斗失利。
日寇近卫师团感到兵力不足，难以对付英勇善战的刘永福指挥的部队和义民军，就急忙请求从辽东调两个师团到台湾，重组“南进司令部”。一路日军继续向南进攻嘉义县城；另一路日军在台湾南部枋寮和台南以北的布袋口登陆，配合陆路日军进攻台南，形势十分危急。11月12日，日寇以大炮轰塌嘉义城门，攻入城中。守城的黑旗军和义民军与敌进行巷战，杀敌无数，最后终因寡不敌众而不得不退出嘉义城。刘永福所率的黑旗军和义民军退出嘉义后，在极其困难的条件下仍然坚持战斗，义军大部战死，徐骧也在一次战斗中英勇牺牲。10月下旬，台南失陷，刘永福指挥黑旗军边战边退，步步设防，直战至弹尽粮绝，后潜身乘外国轮船内渡厦门。
刘永福率领黑旗军和台湾义民军，在五个多月的抗战中，以劣势装备抗击日寇三个近代化师团和一支海军部队，歼敌三万余人，给日本侵略者以沉重打击。
1915年，日本政府向袁世凯提出灭亡中国的二十一条，80岁高龄的刘永福听到这个消息，万分气愤，提出愿为维护国家主权再上战场。不幸的是，疾病和愤恨交加，刘永福第二年就去世了。
