האם חרדים מצטרפים למניין?

האם הכהן לא מצטרף לישראל, גם בשעה שהוא אוכל חולין?
מה מקור ההלכה?

כוונת השואל כנראה לגמרא ערכין ד ע"א שם מובאת הו"א שישראל אכל חולין לא מצטרף לכהן שאכל תרומה, כי הישראל אינו יכול לאכול עם הכהן. אבל זה נדחה למסקנה כי הכהן יכול לאכול עם הישראל. לכן גם אם הכהן אוכל תרומה הם מצטרפים ובוודאי אם הוא אוכל חולין.
אבל באופן תיאורטי אכן ניתן לראות מכאן שאם יש שני אנשים שכל אחד לא יכול לאכול ממזונו של השני הם לא מצטרפים. אבל זה ציור רחוק מאד. אולי אם יש יהודי שמקבל על עצמו לא לאכול הכשר חרדי יש מקום לדון בצירוף.
אני בתשובתי לא התייחסתי לשאלת הצירוף לזימון במובן הפורמלי אלא להצטרפות עמם למניין למשל, שאינה קשורה למי יכול לאכול מה.