Kaf HaChaim on Orach Chaim 158:49 כף החיים על אורח חיים קנ״ח:מ״ט

מט) [סעיף ה'] הנוטל ידיו לפירות וכו' דלא גזרו נטילה על הפירות משום שאין תרומתן מן התורה אלא הענבים אחר שעשה מהן יין והזתים אחר שעשה מהן שמן דכתיב ראשית דגנך תירשך ויצהרך. ב"י בשם הר' יונה פ' אלו דברים. לבוש. מ"א סק"ט. ואע"ג שצריך לברך עליהם סתם ידים כשרות לברכה אא"כ יודע שנגע במקום מטונף. מ"א שם. וכ"כ לעיל סי' צ"ב או' כ"ה יעו"ש: