במהלך שנת 1941 בשורה של אקציות חוסלו רוב יהודי וילנה (40,000 מתוך 60,000 יהודים). ב- 1 בינואר 1942 פרסם אבא קובנר כרוז אל חברי תנועות הנוער בגטו וקרא: "אל נלך כצאן לטבח". הייתה זו הקריאה הפומבית הראשונה למרד. לראשונה נודע מה עלה בגורל היהודים שהוצאו מן הגטו – כולם הומתו בפונאר. לאחר הכרוז החליטו כל תנועות הנוער בגטו לארגן מחתרת משותפת. כדי לשמור על החשאיות הוקמו תאי מחתרת בני חמישה אנשים כל אחד, סה"כ כ- 300 איש. כמפקד המחתרת מונה יצחק ויטנברג, ראש הקבוצה הקומוניסטית בגטו, שהיה בקשרים עם המחתרת הקומוניסטית שמחוץ לגטו.
בוילנה החלו לייצר נשק (בקבוקי מולוטוב) ולהבריח נשק ממפעלי נשק של הצבא הגרמני שם עבדו. בשלב מסוים נודע דבר פעילותה של המחתרת לאנשי הגטו וגנס ( יו"ר היודנרט ) דרש להסגיר את מפקד המחתרת בגלל הסיכון להשמדת הגטו. כל אנשי הגטו תמכו בהסגרה מתוך תקווה שימשיכו לחיות. לבסוף הוסגר ויטנברג, אך הוא התאבד בבליעת רעל לפני שעונה ע"י הגרמנים.
אנשי הגטו התנגדו לפעילות המחתרת, והדבר יצר בעיה מוסרית למורדים. על כן החליטה המחתרת שלא לבצע את המרד בשלב זה. היא המשיכה להתאמן ולפעול, וחלק מחבריה ברחו מן הגטו והצטרפו לפרטיזנים. (ראו סיכום - ההתנגדות היהודית ודרכי הלחימה בזמן הפתרון הסופי)
בספטמבר 43' החליטו הגרמנים לחסל את גטו וילנה. הם קראו לגנס וחיסלו אותו, והחליטו להיכנס לגטו במטרה לחסלו. אנשי המחתרת החליטו לפתוח במרד ברגע שהגרמנים יכנסו לגטו, אבל הם נתקלו בהתלבטויות קשות: האם למרוד או לברוח מן הגטו בהסתר, עקב התנגדותם של תושבי הגטו למרד. ביום חיסול הגטו נורו יריות לעבר הגרמנים בבית מסוים והם השיבו באש ושרפו את הבית. שאר חברי המחתרת, כ- 150, ירדו לתעלות הביוב (מעדויותיהם היה זה חלק קשה במיוחד עקב הפחד, החושך, אי הודאות, המחנק והריח) במטרה לברוח החוצה מן הגטו. חלקם נתפסו וחלקם הצליח לברוח לפרטיזנים. אבא קובנר לא התיר למי שלא היה חבר מחתרת לרדת לביוב ואף לא התיר לאמו לרדת עמו, בטענה שתעכב את המחתרת.
