Kaf HaChaim on Orach Chaim 2:6 כף החיים על אורח חיים ב׳:ו׳

ו) יזהר שאין ללבוש ב' מלבושים ביחד כי קשה לשכחה שער הכוו' בדרוש ברה"ש והביאו מג"א ס"ק ג' והטעם מבואר בשער הכו' כי לכל לבוש ולבוש יש בחי' או"מ והמחבר שני מלבושיו ולובשם ביחד אינו נותן מקום לאוה"מ ליכנס תוך ב' המלבושים יחד ולהקיף בין כל לבוש ולבוש ועי"כ אין הקליפות נדחות משם ונודע שאין השכחה מצויה אלא מצד הקלי' ע"יש ונראה לומר דהה"נ אם לובש ב' כובעים זה בתוך זה יש לחוש לטעם זה דקשה לשכחה ולכן לא יפה עושים אותם שלובשים הכובע של ע"ג הראש שהוא אדום הנקרא פ'יס בתוך הכובע הגדול בוניטא וכדומה להם לפי מנהגו ללובשם זה בתוך זה כי גם זה גורם לשכחה והוא ברור, רו"ח אות ג':