האם מותר להמנע מלצום את ארבעת הצומות?

היי מיכי.
ע"פ רב פפא בר"ה יח, ב בזמן שיש שלום יהיו (ארבעת הצומות לבר מתשעה באב שהוכפלו בו פורענויות) לששון ולשמחה. דומה שמשמעות הדברים שאסור להתענות אז. דעת רש"י; ר"נ; מאירי, שהגדר לזה הוא "כשאין יד הגויים תקיפה על ישראל". והרשב"א כתב שהוא כש"ישראל שרויין על אדמתן". גם לדעת ר"ח רמב"ן ריטב"א וטור ששלום הכוונה לבנין הבית, דעת תשוה"ג והר"מ בפיה"מ שהדבר תלוי ברצון כל יחיד (יש חולקים). האם לאור הדברים אתה מסכים שלנמנע מלצום יש לו על מה שיסמוך? אם לא, מדוע?
תודה.