东郡衙门内的不少人对翟让的遭祸非常同情。有一个管理监狱的人名叫黄君汉，平素与翟让相处很好，也比较知心。他对杨广的荒淫无道怀有不满情绪，而且对农民起义有一定程度的向往。一天夜里，他偷偷对程让说:“现在天下大势已经看得很清楚了，象你这样一位能够做出大事情的有出息的人，怎么能蹲在狱牢中等者处死呢?不知你有啥打算?”翟让一听心中甚喜。他回答说:“我翟让现在象一条圈起来的猪，有啥法子，生死之路只有听你的了。”黄君汉取下了翟让身上的刑具，把翟让放了出来。翟让被感动得热泪满面，一边给黄君汉施礼道谢，一边哭着对黄君汉说:“放跑了我，你就要遭到大祸，这怎么办?”黄君汉生气地说:“我看你是一个有作为的人，将来能干出拯救百姓的大事，。才不顾我的安危放了你，为什么你象个小孩子六样哭哭啼啼的呢?你只管努力干大事去，不要为我担忧!”说完，两个人就分了手。

翟让脱狱后，从东郡跑回韦城老家。正好，他的家乡厅带庄大农民正酝酿起义之事，瓦岗寨是活动的中心，人们熙熙攘攘地奔向那里。翟让便同他的哥哥翟弘、侄儿摩侯，还有韦城的一些青年一起上了瓦岗寨。这时，大伙认为他是一个能干的人，便推举他做了首领。

瓦岗寨当时是在黄河的南岸，由于黄河不断在这一带开口泛滥，这个地势稍高的地方，往往变成泽国中的一个孤岛。人们为了防止河水进村，在村子周围筑起了一圈土寨子，所以叫做“瓦岗寨”。黄河水退后，这一带黄沙遍野，荆棘丛生，是个穷地方。这个地方南到通济渠有百余里，北去永济渠也不过百里。杨广征调民工挖掘这两条运河时，瓦岗寨一带的百姓不仅男人被征去挖河，许多妇女也被抓去做苦工。饥寒交迫的生活，牛马般的劳役,十个苦工能有五、六人活着回来，就算是幸运了。加上官府如狼似虎地催逼租税，广大人民陷入水深火热之中，挣扎在死亡线土，这正是瓦岗军能够在这里站得住脚并迅速扩大的有利条件。

瓦岗军的旗帜在瓦岗寨的上空迎风飘扬，前来入伙的人越来越多，吃饭成了大问题。