למה לא ברקלי?

שלום הרב, קראתי את ספרך אמת ולא יציב ונהניתי.
הספר מתמודד עם שאלת תקפות האקסיומות שלנו ( זה שזה ההגיון שלנו לא אומר שאכן העולם הוא כך- "העולם לא חייב לך כלום וכו…" ) להבנתי תשובתך היא שהאקסיומות שלנו, ע"י התפיסה הסינטטית מתקרבות לעולם החושים כי כביכול אנו רואים אותן, בעיני השכל. בשלב מסוים אתה נפרד מברקלי שהטיל ספק אפילו במהימנות החושית ואומר שרוב האנשים לא מוטרדים מספקנות כזו.
רציתי לשאול מהי ההצדקה לבסס את כל עולם הלוגיקה שלנו על החושים? הרי לכאורה גם על החושים ניתן לערער ולומר שהסמיכה שלנו עליהם נובעת מההגיון שלנו ולא מאיזו הצדקה.
ואם כן לא הבנתי מה עזר מהלך הספר אם סוף סוף אדם חייב להודות שאין לו הצדקה לבתחלה של עולם ההכרה שלנו?
ובפשטות מדוע הספקנות של ברקלי לא מטרידה אותך?
מקווה שהייתי ברור
תודה רבה