שמיעת לשוה"ר

בגמ' שבת צז. מבואר בשו"ט שרק מרים נצטרעה כי היא פתחה בדיבור תחילה, אמנם אהרון ננזף, אבל סוף סוף נראה כי עיקר האיסור הוא לפתוח בלשוהר, וכם פשיטות הפסוק "והנה מרים מצורעת כשלג".
שאלתי היא מדוע השוו באיסור לשוהר את המספר ואת השומע, הרי מכאן מוכח שהשומע אפילו משתתף בלשוהר כל זמן שלא פתח בזה, דינו בנזיפה בלבד.