一九三〇年初中毕业，考入哈尔滨一所免费的商船学校，但只读了半年，便因家境困难退学去航务局做了俄语翻译。
一九三二年参加第三国际工作，九月入党，并开始发表诗歌、散文等。与在哈尔滨的塞克、罗烽、金剑啸、萧军、萧红等人共同进行进步文学活动，还曾担任进步的“星星剧团”的演员。
一九三二年年底，舒群曾被党组织派到洮南任第三国际所设交通站站长。一九三三年年底，由于斗争残酷，与组织失去联系。这时，哈尔滨的白色恐怖加剧，为寻找党和进一步进行抗日活动，舒群在友人协助下，于一九三四年年初到了青岛。舒群在青岛找到了党组织，并结婚，有了立足点后，遂写信召唤在哈尔滨已陷入困境的萧军、萧红，二萧到青岛后，与他们同住“观象路一号”。
是年秋，青岛党组织被破坏，舒群被捕。由于敌人不掌握他的活动，只关了几个月便释放了他。在狱中，他写成了著名的短篇小说《没有祖国的孩子》。
获释后，几番流离，来到上海。一九三五年在上海参加左联，从事文学创作。一九三七年撤离上海后，辗转南京、西安，遂被组织派到八路军总部任随军记者，并给朱德总司令做过临时性秘书。