כסף משנה בהלכות ממרים

שלום וברכה, 
קודם כל ישר כח ענק על כל הפעילות המבורכת של הרב. אני ממש נהנה מכמויות הספרים והמאמרים שהרב מוציא תחת ידו, בנוסף לשיעורים המרתקים. תענוג צרוף. הייתי רוצה לציין שהרב אישית חיזק לי את האמונה והרגשת ההשתייכות והקשר שלי ליהדות ברמה שאי אפשר לתאר עד כדי דקדוק קלה כבחמורה ברמה האדוקה ביותר (אולי למוטציה הזאת הרב לא ציפה…). 
רציתי לשאול את הרב לגבי דבריו: הרב כתב שלתלמוד יש סמכות כפי שכתב הרמב"ם משום שיש לו תוקף של בית דין ולכן אנחנו לא חולקים על התלמוד משא"כ לגבי הראשונים והאחרונים וכו' (וגם לגבי התלמוד כל האמור הוא רק בענייני הלכה). והנה יצא לי לעבור מעט על קונטרס דברי סופרים של הגר"א וסרמן ושם מופיע הויכוח שלו עם החזו"א בכל הנושא הזה. ושם מוזכרת הסברה שקיבלנו על עצמנו את ביה"ד משום שהם חכמים מאיתנו ולכן אנחנו לא חולקים עליהם. ז"א – שהביאור לכל הקבלה הזאת של בית הדין הוא משום ההנחה שיש ירידת הדורות ולכן אנחנו קיבלנו שלא לחלוק. ולפי"ז יש כאן הנחה מובלעת שבעצם יש ירידת הדורות ולכן אנחנו לא חולקים וההשלכה לכך היא שלפי"ז אי אפשר לנו לחלוק על ראשונים משום הנחה זאת של ירידת הדורות. 
רציתי לדעת האם הרב מסכים, ומה דעתו בנוגע לקונטרס דברי סופרים הנ"ל ודברי החזו"א (כמדומני שמעתי פעם שהרב הביא אותם בשיעור אך לא מצאתי).
אשמח להרחבה בנושא. תודה.