谢子长、焦维炽等人因未及时与起义部队取得联系，经过商议后决定焦维炽去兰州筹备军火，以备再行举事，谢子长等继续寻找起义部队。随后，谢子长也秘密来到兰州，与先期达到的共产党员杜润滋、邬逸民、吴景鳌等取得联系，在闵家桥的一个烟坊里隐蔽下来，进行秘密活动。经过党组织的营救，王子元以张东皎马上离开靖远为条件将其释放，王儒林在旅参谋主任孙作宾的说情下也获得自由。两人随即前往兰州，与谢子长、焦维炽、杜润滋等联络，共同筹划在靖远举行第二次起义，组建陕甘工农红军游击队。
通过常黎夫的约请，谢子长在兰州小西湖与杜斌丞见面，杜斌丞送给谢子长1支手枪，同时介绍谢子长与邓宝珊在五泉山会见。邓为共产党人反蒋抗日的民族大义所感动，当即给谢子长两支手枪和200发子弹。随后，邓宝珊又秘密让其特务营长杜汉三将两挺手提机枪、两支盒子枪、三支步枪和500发子弹，通过常黎夫交给谢子长。
这时，王子元派警三旅连长杜鸿范来兰州接收一批枪支。杜鸿范是杜斌丞的儿子，深受其父影响，倾向革命。谢子长、焦维炽与杜鸿范见面，提出建立游击队需要枪支，请他帮忙。杜鸿范随即慷慨答应：“我这次不回靖远了，把枪拿上打游击去。”即将领到的50多支步枪、2万发子弹、1500套军装及印信等全部交给了谢子长。
谢子长还通过邓宝珊、杜斌丞等人的关系，筹集了1000多白洋为经费，又购买了16支步枪、两挺机枪、4支盒子枪、1支手枪和8000余发子弹。由杜鸿范以合法身份出面，装箱后贴上其它商标再装进麻袋，于5月25日黑夜在广武门外雇了几个羊皮筏子，从黄河水路运出兰州。谢、焦二人乘筏同行，于5月26日到达河口，为防止发生意外改走旱路，随后翻山越岭将弹药运往靖远刘川境内的来家窑。
在兰州截取的枪支弹药，经过水路和旱路运达指定地点后，大家受到鼓舞，也为靖远再次起义奠定了基础。谢子长、焦维炽等开会决定，成立中国工农红军陕甘游击队。并派人秘密到靖远王子元部队联系地下党员和倾向党的士兵策动哗变，而后在靖远、海原一带发动群众打土豪、分田地，建立根据地。
党组织召集所属部下近百人，由杜润滋、王儒林讲话作政治动员宣布起事。5月30日，起义部队在谢子长的带领下，绕山路渡过黄河，开到靖远水泉堡，将一面印有镰刀斧头徽号的游击队旗插上堡子山顶。陕甘工农红军游击队由谢子长任总指挥，焦维炽任政委，姜耀任大队长，杜润滋任参谋长，邬逸名任秘书长。大队下辖三个支队，第一支队司令杜鸿范，第二支队司令张东皎，第三支队司令王儒林，游击队发展到200多人，有近百支长枪和若干支短枪。