Kaf HaChaim on Orach Chaim 146:13 כף החיים על אורח חיים קמ״ו:י״ג

יג) שם ויש מתירים לגרוס בלחש, וי"א שאם יש עשרה וכו' ויש מתירים למי שתורתו וכו' כתב ב"י דלענין הלכה כדאו הם הנך רבוותא דשרו לסמוך עליהם ובבד"ה כתב דמ"מ נכון לכוין אדם דעתו בכל הפרשיות ולשומעם מפי ש"ץ, וכ"כ בש"ע בסוף סעי' זה, ועיין לעיל אות יו"ד מ"ש בשם האחרונים ומשמע דדעתם להחמיר בכל זה ואין להתיר כ"א לעסוק בד"ת דוקא בלחש בין גברא לגברא: