Kaf HaChaim on Orach Chaim 131:4 כף החיים על אורח חיים קל״א:ד׳

ד) שם אין לדבר וכו' ואם אירע שהפסיק מ"מ יפול על פניו אך אינו מרוצה כ"כ כמו אם לא הפסיק, עו"ת אות ב' א"ר אות א' ומ"א סק"א כתב דדוקא כשמפסיק ועוסק לדבר דברים אחרים אסור אבל שיחה בעלמא לית לן בה יעו"ש, והביאו א"ר שם וכ"כ ר"ז אות א' אבל לפי דברי הזוה"ק והאר"י ז"ל משמע דאפי' שיחה בעלמא אסור כמ"ש לעיל אות א':