Kaf HaChaim on Orach Chaim 152:19 כף החיים על אורח חיים קנ״ב:י״ט

יט) שם ואסור לסתור וכו' לעכב מלבנות בהכ"נ נתיצה והריסה מיקרי, הר"י הלוי ז"ל בתשו' סי' מ"ד, כנה"ג שם, א"ר שם ונהי דאין לוקה עון גדול הוא, מיהו כשיש בהכ"נ ורוצים לחלוק שלא לשם שמים אין אסור א"א או' ו' ועיין בדברינו לעיל סי' ק"ן אות ח' מ"ש בזה יעו"ש.