Kaf HaChaim on Orach Chaim 151:64 כף החיים על אורח חיים קנ״א:ס״ד

סד) שם. מותר להשתמש בחרבני. ודוקא שאין דעתם לבנות, מ"א ס"ק י"ג בשם אגודה, מיהו בא"ר או' ח"י כתב דעיין באגודה ולא מצא כן והביא ראייה לומר דאין חילוק יעו"ש וכ"מ מפשט דברי הש"ע דאין חילוק אם דעתם לבנותה או לא אלא כיון שהתנו מותר להשתמש בחורבנו: