Kaf HaChaim on Orach Chaim 146:3 כף החיים על אורח חיים קמ״ו:ג׳

ג) שם. אבל בין גברא לגברא ש"ד. ודוקא מתוך דוחק גדול או אונס גמור וזולת זה לא יצא. סדה"י כנה"ג בהגה"ט מ"א סק"ב א"ר או' ב' סו"ב או' ב' לד"א סי' ח' או' כ"ה והיינו כששמע קה"ת כבר או שדעתו לבא מיד ומסופק אני אם בא אדם לבהכ"נ באמצע קס"ת לחפש אדם וכדומה אם רשאי לצאת באמצע הקריאה ועין מ"א קל"ח סק"א משמע כה"ג ג"כ אסור וצ"ע. א"א או' ב' והביאו הרו"ח או' א' וכתב לדעתי זה פשוט שלא יצא באמצע הקריאה דהא מיקרי עוזבי ה' שעוזב התורה ויוצא ואפי' אם כבר שמע קס"ת בבהכ"נ אחר ויצא י"ח עכ"ז אסור יעו"ש. מיהו נראה זה שכבר שמע ויצא י"ח או שדעתו לשמוע בבהכ"נ אחר במקום שמתפלל מותר לצאת בין גברא לגברא אפי' בלא דוחק וכן עמא דבר: