Kaf HaChaim on Orach Chaim 151:35 כף החיים על אורח חיים קנ״א:ל״ה

לה) [סעיף ה'] לקצר דרכו. שאסור ליכנס בהם אלא לדבר מצוה. רמב"ם, מ"א סק"ו. ועיין א"א או' ו' שכתב דאם הולך לדבר מצוה אפשר דרשאי לילך דרך שם עכ"ל, ומיהו אין נראה כן מדברי הרמב"ם ז"ל אלא דוקא אם עושה מצוה שם בכניסתו לבהכ"נ אבל לא לזלזל בכבוד בהכ"נ בשביל מצוה אחרת הנעשית חוץ וע"כ אין להקל אם לא ילמוד שם או ישהא פירתא כמ"ש בסעי' א' וכ"כ ב"ה: