Kaf HaChaim on Orach Chaim 37:5 כף החיים על אורח חיים ל״ז:ה׳

ה) שם וכל מי שאינו מניחם הוא בכלל פושעי ישראל בגופן. כתבו התו' והרא"ש והר"ן והמרדכי בשם ר"ת דוקא הנמנע מלהניח בשביל שהמצוה בזויה עליו, אבל אם ירא להניח תפילין משום דבעי גוף נקי והוא ירא שמא לא יזהר בקדושה ובטהרה לא, ופי' הרא"ש שם אע"ג דעבירה היא דבקל יכול ליזהר בשעת ק"ש ותפלה, מ"מ לא מיקרי בהכי פושעי ישראל בגופן עכ"ל, והב"ד מרן ז"ל בב"י וכתב אבל מתוך דברי הטור נראה שאינו מפרש כפר"ת, אלא כל מי שאין מניחן מאיזה טעם שיהיה הוא בכלל פושעי ישראל בגופן, וכתב וכן נראה מדברי רבינו ירוחם וכן נראה ג"כ דעת הרא"ש יעו"ש בב"י. ונראה שכן דעתו ז"ל לפסוק בש"ע מדכתב סתמא דכל מי שאינו מניחם מאיזה טעם שיהיה הוא בכלל פושעי ישראל בגופן. אח"כ ראיתי שכ"כ הפרמ"ג בא"א אות א', דבע"ץ ונ"ץ פירשו דברי הש"ע כמ"ש בב"י דאפילו הוה אין מניחן מאיזה טעם שיהיה הוה בכלל פושעי ישראל בגופן יעו"ש, ועיין מ"ש הב"ח על דברי מרן ז"ל בב"י ומ"ש עליו הברכ"י אות א':