מומחיות הלכתית

שאלתי בהקשר שיעור מסדרת דרכה של ההלכה שהעברת בישיבת ההסדר ירוחם בעבר.
שם אמרת בשיעור של \'המומחיות ההלכתית\' כי אין סמכות הלכתית בתחומים עובדתיים והבאת לדוגמא שאי אפשר לפסוק הלכה שתפוזים זה מסוכן (ואסור לאכול אותם?) כי אין סמכות הלכתית בתחומים עובדתיים.
הרי ההלכה כן פעולת גם במישורים הללו כגון לבישת חולצה הפוכה אסור משום שכחה, \'הרגיל בזיתים\', שינה תחת בגדך ככרית ועוד.
בהקשרים אחרים מובא בגמרא למיטב זכרוני שאסור לאכול בצל שעבר עליו הלילה משום סכנה (זו קביעה של ההלכה?) ולכן אסור.