Kaf HaChaim on Orach Chaim 141:41 כף החיים על אורח חיים קמ״א:מ״א

מא) שם הגה ולא ירד עד שעולה וכו' המנהג להמתין עד שמתחיל השני ברכה והמדקדקים חוששין שבדרך לא יוכל לשמוע הקריאה כהוגן לכן ממתינין עד שיסיים השני ויורדים בין גברא לגברא, מ"א סק"ח א"ר או' ט' סו"ב או' ב' אמ"ל כדין עליית קס"ת או' מ"א, לד"א סי' ה' או' מ"א וכשיורד ילך בנחת שלא יהא נראה שהיתה עליו כמשא: