Kaf HaChaim on Orach Chaim 53:70 כף החיים על אורח חיים נ״ג:ע׳

ע) שם ואם האומר לו שירד הוא אדם גדול אינו מסרב וכו' דאין מסרבין לגדול. כדאיתא בפסחים דפ"ו ע"ב. וכתבו שם התוספות דדבר גסות ושררה אפי' האומר לו הוא אדם גדול יסרב. והב"ד מ"א ס"ק י"ז. ש"ץ דע"א ע"א. ר"ז אות י"ט. ונראה דה"ה אם חושש בעצמו להיות ש"צ מפני איזה דבר דיכול לסרב אפי' לגדול. וכן בעלמא אם רוצים למנותו לאיזה מינוי אעפ"י שאין בו גסות ושררה והוא חושש בעצמו שמא אינו יוצא י"ח כראוי דיכול לסרב אפי' לגדול ומשום דאין חכמה ואין תבונה ואין עצה לנגד ה' דכיון שהוא חושש מפני כבוד ה' שמא לא יצא י"ח ויבא לידי חטא אין חולקין כבוד לרב וכמ"ש בעירובין דס"ג ע"א יעו"ש: