כיוון שתפילת שחרית ניתקנה כנגד קרבן התמיד, ואחר הקרבת התמיד היו אומרים הלוויים 'שיר של יום', נהגו לאומרו אחר התפילה (מסכת סופרים יח, א). אולם לא תקנו זאת כחובה, והיו שלא נהגו לאומרו. בסוף תקופת הראשונים כבר נהגו הכל לאומרו.[4]
לפני השיר מזכירים את היום: "היום יום ראשון בשבת", "שני בשבת" וכן בכל יום, כדי לקיים את מצוות זכירת יום השבת בכל ימות החול (עפ"י רמב"ן שמות כ, ח, והאר"י, כמובא בכה"ח קלב, כו).
בנוסח ספרד מוסיפים לומר לפני 'שיר של יום' מזמור 'תְּפִלָּה לְדָוִד' (תהלים פו), ולקט פסוקים הפותח ב'בית יעקב', ומזמור 'שיר המעלות לדוד' (תהלים קכד). בימים של שמחה, כשם שאין אומרים "לַמְנַצֵּחַ מִזְמוֹר לְדָוִד, יַעַנְךָ ה' בְּיוֹם צָרָה" (שאחר אשרי), כך גם אין אומרים 'תְּפִלָּה לְדָוִד', מפני שנאמר בו "בְּיוֹם צָרָתִי אֶקְרָאֶךָּ" (פס"ת קלב, יא). גם בסידורים של נוסח ספרד-חסידים מודפסים פרקים אלו, אלא שרבים נהגו לדלג עליהם ולומר רק 'שיר של יום' כמנהג נוסח אשכנז.
עוד הבדל ישנו בין הנוסחים, שלמנהג אשכנז אומרים תחילה 'עלינו לשבח', אח"כ 'שיר של יום', ולבסוף 'פיטום הקטורת'. ואילו לנוסח ספרד אומרים תחילה 'שיר של יום', אח"כ 'פיטום הקטורת', ולבסוף 'עלינו לשבח' (וכסדר נוסח ספרד סידרתי את ההלכות).
הנוהג כנוסח אחד שמתפלל עם חזן מנוסח אחר, יש אומרים שמוטב שיתפלל כנוסח החזן, ויש אומרים שמוטב שיתפלל בשקט כנוסח אבותיו, אבל לא ישב בשעה שכל הציבור עומד ב'עלינו לשבח', כדי שלא להבליט את הבדלי הנוסח (ועיין לעיל ו, ה).
