在中共满洲省委成员中，赵尚志是最早搞军事的人。当年，党在东北没有蓬勃的工农运动作为基础，早期的抗日义勇军基本由旧奉军和原土匪组成。1932年，赵尚志被派往巴彦地区改造那里的杂牌武装，并于同年秋打出中国工农红军第36军江北独立师的旗号，成为我党北满建立武装的开拓者，但该部在日伪军和地主武装进攻下仅一年便纷纷溃散。赵尚志深感旧式武装难以依靠，虽身单力薄，却决心拉起一支共产党的军队。
江北独立师失败后，满洲省委根据北方会议精神，认为巴彦游击队的失败，完全是赵尚志执行右倾路线的结果，因而强令赵尚志深刻检查。由于赵尚志思想不服，进行申辩，竟被开除了党籍。斗争的挫折，使赵尚志的心情十分沉重。他在给一位朋友的信中写道：“风打麦波千层浪，雁送征人一段愁，披靡无术，被屏逐于千里之外……”
1932年，赵尚志等率人炸毁日本军车一列，图为事后现场。
尽管如此，他为抗日献身的坚强意志依然没有丝毫的动摇。1933年4月，他从哈尔滨来到宾县参加了义勇军孙朝阳的队伍，因那里不信任知识分子他便忍辱负重当了一名马夫。一次，孙朝阳部队被敌围困于宾县东山，处境十分危险，孙朝阳自己一筹莫展。早在黄埔军校受过正规训练并当过中共满洲军委书记的这个“马夫”，便向“大当家的”提议以攻为守，用一部分兵力据守东山，一部分兵力攻打宾县。孙朝阳采纳建议，并让赵尚志率队攻城。赵尚志乘虚而入，占领宾县城，迫使敌人撤了围。事后，赵尚志便被孙朝阳任命为参谋长，受到孙部官兵的信任。
赵尚志总结巴彦游击队失败的教训，认真研究抗日武装斗争的策略问题。他曾向在义勇军中工作的同志们生动地讲述了自己的见解：和强大的敌人——日寇作战，“不能像红枪会那样空喊刀枪不入，拿着勇士的身躯跟敌人枪炮硬拼。那是‘红胡子’打官司——没有个赢。要打赢，就得穷棒子娶媳妇——凑合破烂家当办大事。要用出敌不意、攻敌不备、以弱胜强的战法，这就是打游击战”。他还说明，要取得抗日胜利，就要实现民族大团结。“现在抗日的人不少，但都打败仗，原因就是不团结。抗日队伍东一股，西一股，很不统一，结果被敌人各个击破。抗日不是为了大帅和将军的私利，是关系到（东北）三千万同胞生死存亡的大事，只有大家一条心，一个目标，一致行动，才能胜利”。他强调指出，“抗日没有主心骨不行。国民党搞不抵抗主义，只有共产党抗日最坚决，最勇敢，应当成为抗日的领导者”。他把游击战争、团结抗日和党的领导，当作东北抗日游击战争胜利的保证，反复宣传并积极执行。
7月，赵尚志在孙朝阳部队里会见了中共珠河中心县委代表崔钟鸣。崔钟鸣向赵尚志传达了珠河中心县委对他的看法，希望他在党的领导下工作，并把珠河县委派到孙朝阳部工作的李启东介绍给他。从此，赵尚志和李启东携手工作。正当他们在孙朝阳部队中为建立起一支党直接领导的骨干队伍而积极活动的时候，一个特务打着救国会代表的旗号，诱骗孙朝阳进关“商讨抗日大计”。赵尚志感到来人形迹可疑，力劝孙不要上当吃亏。在敌特造谣挑拨之下，一些对他妒恨交加的头领要阴谋杀害赵尚志。赵尚志得到反日会员王德全的报告，立即与李启东商量，率李福林、李根植、王德全等7人，携带一挺机枪和11支步枪，脱离孙部找珠河县委去了。
赵尚志到珠河县委听到了中共中央“一·二六”指示信的传达。他回顾巴彦游击队失败的教训、孙朝阳队伍工作的挫折，对这一关于建立抗日统一战线、建立党领导下的抗日游击队的指示，感到格外亲切，决心坚决贯彻执行党的这一指示。
1933年10月10日，中共珠河县委在三股流召开大会，宣布成立珠河反日游击队，选举赵尚志为队长，队员13人，有1挺机枪和13支步枪。哈尔滨反日总会代表和珠河县委代表参加了大会，祝贺珠河反日游击队的诞生。赵尚志带领全体队员庄严宣誓：“我们珠河反日游击队全体战士，为收复东北失地，争回祖国自由，哪怕枪林弹雨，也万死不辞，赴汤蹈火，千辛不避，誓为武装东北三千万同胞，驱逐日寇出东北，为中华民族独立、解放而奋斗到底！”
珠河游击队宣布执行杨靖宇领导下的盘石人民革命军的斗争纲领，贯彻执行党的全民族抗日统一战线策略。队内成立了党支部，以李福林为书记。游击队做群众工作，决定在群众基础较好的三股流、石头河子、板子房等地建立游击根据地。赵尚志为了动员群众抗日，发展壮大游击队，率领队伍缴了东西五甲、二道河子、张家湾警察所的枪，召开群众大会清算了汉奸走狗的罪行，审判处决了罪大恶极的亲日走狗王福山。接着，又在罗家店击溃了100多日伪军的进攻，在火烧沟击毙了日军“讨伐”大队长以下20多人。年底，游击队依靠人民群众的帮助，解除了宾县七区保卫团长刘林祥的武装，得机枪1挺、长短枪13支、马13匹、子弹数千发。游击队在党的领导和人民群众的帮助下，斗志昂扬，英勇战斗，不到3个月时间就发展到70余人。游击队初创，旗开得胜，鼓舞了士气，教育了群众。当地群众赞扬说：反日游击队真正是人民自己的队伍。
