בעקבות תבוסתה של תנועת החרות בבחירות לכנסת השנייה, עת קיבלה שמונה מנדטים בלבד, הודיע בגין על התפטרותו מראשות התנועה ואולם, חברו, יוחנן באדר, לא מסר את מכתב התפטרותו ליו"ר הכנסת. לאחר חופשה בת חודש באירופה, שב בגין לארץ והתחיל להתמחות במשרד עורכי-דין, כדי להתכונן לבחינות להשגת רישיון לעבודה כעורך-דין. מספר חודשים מאוחר יותר התגלה כי הממשלה, בראשותו של דוד בן-גוריון, מתכוונת לחתום על הסכם שילומים עם גרמניה. בגין, אשר התנגד לכך באופן חריף, החליט לשוב לזירה הפוליטית וחזר לעמוד בראש תנועתו כדי להנהיג את המאבק בנושא.
הסכם השילומים עורר מחלוקת ציבורית עזה. ראשיתה במושב החורף תשי"ב (1951), אז ביקשה הממשלה מהכנסת לייפות כוחה לשאת ולתת עם ממשלת גרמניה על מתן שילומים למדינת ישראל. בגין תקף את ההסכם המתגבש בשל ניסוחיו הבעייתיים – ההסכם הוצג כמעין דרך לתיקון העוול ולטיהור רצח העם שבוצע בידי הגרמנים, וכן משום שהתשלומים שהוצעו כלל לא שיקפו את הסכום האמיתי שנשדד ונגזל מהעם היהודי באירופה.
ב-7 בינואר התקיים דיון בנושא בכנסת, אשר שכנה אז ברח' המלך ג'ורג' בירושלים, בטרם הדיון, נשא בגין נאום סוער בפני עצרת המונים בכיכר ציון הסמוכה, ולאחר מכן שב למליאת הכנסת, שם ספג עלבונות מבן-גוריון. בגין הטיח בו בתגובה דברים קשים, וכשסירב לחזור מדבריו הורחק לשלושה חודשים מהמליאה. לאורך הדיון התלהמו הרוחות ברחבת הכנסת. המאבק על הסכם השילומים הפך להפגנה אלימה, במהלכה התנגשו המפגינים עם כוחות המשטרה ויידו אבנים לעבר הכנסת, שניפצו את חלונות הבניין.