כף החיים על אורח חיים קכ״ח:ט׳

ט) שם, אפי' עם כהנים אחרים, ואפי' אינו אומר הברכה עם הכהנים אסור דברכה פשיטא הוא דאסור דברכה לבטלה הוא דלכהנים אמרה תורה לברך ולא לישראל כמ"ש באו' הקודם וכ"כ העו"ת אות ד':