Kaf HaChaim on Orach Chaim 150:10 כף החיים על אורח חיים ק״נ:י׳

י) שם. לבנות בהכ"נ. ואסור לנטוע אילנות בחצר בהב"נ ואם נטעו נכון לעקרם. שו"ת מהר"ם שיק חא"ח סי' ע"ח וסי' ע"ט יעו"ש וכ"כ הגרע"א בסי' זה יעו"ש. א"ח או' א' ועיין תו"ח ריש הסי' מ"ש בזה יעו"ש. ונראה דהיינו דוקא אם החצר כלו של בהכ"נ אבל אם החצר גדול ויש בו בתים הרבה שדרים שם בני אדם והקדישו בו בית א' או ב' לבהכ"נ אין בזה אסור ליטע בו אילנות כיון דאין החצר נקרא ע"ש בהכ"נ כ"א לכל הדיורים אשר שם. ועיין באו' שאח"ז: