כניסה לבית עבודה זרה

שלום הרב.
מתוך לימוד הדף היומי הסתפקתי בשאלה: במש' בע"ז י"א: נאמר שאין ללכת ליריד של ע"ז. ובגמ' שם י"ז ישנו ספק האם עדיף ללכת ליד בית ע"ז או ליד בית בושת. אך הרמב"ם במשנה תורה לא פסק כהלכה בפ"ע שאין להיכנס לבית ע"ז, ואף השו"ע פסק (יו"ד, ק"נ, א) "מצוה להתרחק מדרך אלילים ד' אמות". ומשמע שין בכך איסור גורף. והרמב"ם בפיה"מ כתב (פ"א מ"ד): "ולפיכך יודע לך שכל עיר של אומה שיהיה להם בה בית תיפלה שהוא בית עבודת כוכבים – בלא ספק אותה העיר אסור לעבור בה בכוונה וכל שכן לדור בה, אבל אנחנו תחת ידיהם בעונותינו ושוכנים בארצם אנוסים ונתקיים בנו מה שנא' (דברים ד) ועבדתם שם אלהים (אחרים) מעשה ידי אדם עץ ואבן, ואם העיר דינה כן קל וחומר דין בית עבודת כוכבים עצמו שהוא אסור לנו כמעט לראותו וכל שכן ליכנס בו". והביא דבריו הש"ך (יו"ד, קמ"ט, א). וראיתי שהפוסקים על סמךך דברי הרמב"ם נוקטים שקיים איסור מוחלט להיכנס לבית ע"ז (ודנים לעניין כניסה לכנסיות), אך לכאורה אין דברי הרמב"ם מורים שקיים איסור פורמאלי להיכנס לבית ע"ז, וכשם שלא ראינו מי שנמנע מלגור בירושלים או עיר אחרת שיש בה כנסיות, ולכאורה ע"ד מה שאין איסור פורמאלי לגור בעיר שיש בה ע"ז כך אין איסור פורמאלי להיכנס לבית ע"ז, ובכך מובן מה שהרמב"ם לא פסק זאת כהלכה פסוקה במשנה תורה (ואף לש' המחבר איננה מורה על איסור פורמאלי). ועפ"י הבנה זו בימינו שאנשים נכנסים לכנסיות\מסגדים במסגרת טיול ללא שום עניין בהיבט הדתי לכאורה אין בכך בעיה. אבל חיפשתי ולא ראיתי בכלל דיון בפוסקים בסברה זו (אלא בדיון לגבי הגדרת הנצרות והאסלאם וכו'). מה דעתך?
תודה, שבת שלום