קושי בשיטת הרמב"ם בגדר מצוות שופר

שלום הרב. ידועה שיטת הרמב"ם (בתשובה סי' רמב, ובהל' שופר פ"א ה"ג, ועוד) שהמצווה בשופר זה שמיעת קול שופר ולא תקיעה. וככה"נ יש שחולקים (שאילתות, גאונים המובאים במאירי, סמ"ג ואולי ר"ת) וסוברים שהמצווה זה לתקוע (ואז צ"ל שיוצאים מדין "שומע כתוקע"). אלא שקשה לי על שיטת הרמב"ם מהגמ' בראש השנה כט ע"א, שם מבואר (והרמב"ם פסק זאת) שהתוקע צריך לכוון להוציא את השומעים יד"ח, ואם תקע מתוך מחשבה להוציא רק את האנשים שבבית כנסת שלו, ועבר אדם באחוב והתכוון לצאת, לא יצא, שהתוקע לא כיוון להוציאו. בשלמא אם המצווה היא לתקוע, שפיר, אך אם המצווה היא לשמוע, למה צריך שהתוקע ייכוון להוציא את אותו אדם? סגי בכך שכיוון להוציא את הבית כנסת שלו ובכך התקיעה היא תקיעת מצווה. החזו"א רוצה להגיד שצריך "תקיעת מצווה" לכל אחד, אבל זה לא סביר בעיניי. אשמח אם יש לרב הסבר