תרומה שלא מדעת וייאוש שלא מדעת בשיטת הרמב"ם

שלום הרב,
יש רמב"ם בהלכות תרומות פרק ד' הלכה ג':
התורם שלא ברשות או שירד לתוך שדה חבירו וליקט פירות שלא ברשות כדי שיקחם ותרם אם בא בעל הבית ואמר לו כלך אצל יפות אם היו שם יפות ממה שתרם תרומתו תרומה שהרי אינו מקפיד ואם לא היו שם יפות אין תרומתו תרומה שלא אמר לו אלא על דרך מיחוי ואם בא בעל הבית וליקט והוסיף בין יש לו יפות מהן בין אין לו תרומתו תרומה.
לכאורה קשה למה הרמב"ם פוסק שתרומה שלא מדעת הוי תרומה אם בגמרא עצמה בב"מ כ"ב ע"א מדמים את עניין התרומה שלא מדעת לייאוש שלא מדעת, וידוע שהלכה כאביי בייאוש שלא מדעת שלא הוי ייאוש (וגם הרמב"ם פוסק כך), ולכן הייתי מצפה שגם בעניין התרומה, תרומה שלא מדעת לא תהיה תרומה. וגם בגמרא שם כתוב "תרגמה רבא אליבא דאביי דשויה שליח", כלומר משמע שלשיטת אביי, אם לא היה מינוי של שליח, התרומה לא חלה.
בברכה,