Kaf HaChaim on Orach Chaim 85:16 כף החיים על אורח חיים פ״ה:ט״ז

טז) שם ואם נזדמן לו שם להפריש מדבר האסור מפריש וכו'. וה"ה אם נכנס בלבו שם אהבת אשה מותר להרהר בד"ת דהוי לאפרושי מאיסורא. ס"ח סי' כ"ח. כנס"ג בהגב"י. עו"ת אות ג'. מ"או סק"ד. א"ר אוח ב'. סי"ב אות ב'. ה"ב אות ג'. ר"ז אות ד'. וכן אם נכנס הרהור רע בלבו שרי לחשוב בדברי תורה דהוא לאפרושי מאיסורא. פרמ"ג א"א אות א'. חס"ל אות ה':