Kaf HaChaim on Orach Chaim 129:9 כף החיים על אורח חיים קכ״ט:ט׳

ט) [סעיף ב'] כהן שעבר ועלה וכו' נראה דדוקא באין שם כהן אלא הוא ועבר ועלה זהו שנושא כפיו במנחת יוה"כ אבל ביש שם כהנים אחרים ולא עלה כ"א אחד מהם זהו ירד דכיון דאיכא עוד אחרים שלא עלו ליכא למיחש שיאמרו על כולם שהם פסולים אלא ידעו שאין הזמן ראוי לנ"כ, וכן מ"ש רמ"א ז"ל בהגה ולכן אומרים וכו' הואיל ואם עלה וכו' היינו אם היה אחד לבדו ועלה: