כיוון שתפילת שחרית ניתקנה כנגד קרבן התמיד, ואחר הקרבת התמיד היו הלוויים אומרים 'שיר של יום', נהגו לאומרו אחר התפילה (מסכת סופרים יח, א). אולם מתחילה לא תיקנו זאת כחובה, והיו שלא נהגו לאומרו. בסוף תקופת הראשונים כבר נהגו הכל לאומרו.
לפני השיר מזכירים את היום, כגון: "היום יום ראשון בשבת", וזאת כדי לקיים את מצוות זכירת יום השבת בכל ימות החול (עפ"י רמב"ן שמות כ, ח, והאר"י, כמובא בכה"ח קלב, כו).
אחר 'שיר של יום' נוהגים לומר 'פיטום הקטורת', ולפניו אומרים 'אין כאלוהינו'. שני טעמים לאמירת 'פיטום הקטורת': האחד, כנגד הקטורת שהיו מקטירים בכל בוקר וערב בבית המקדש. והשני, כדי שכל הגברים שמצוּוים ללמוד תורה בכל יום, ילמדו בכל יום בדברי חכמים, והוסיפו לומר אח"כ עוד דברי אגדה, כדי שגם בהם יעסקו בכל יום (ראו בפניני הלכה תפילה כג, ה, 5).
נהגו לומר בסיום תפילת שחרית 'עלינו לשבח', כדי לקבוע בלבבות את האמונה בה' ואת תקוות הגאולה; וכדי שאח"כ, כשהיהודי ייפגש עם הגויים, במסחרו ועיסוקיו, לא יגרר אחר אליליהם ואמונתם (ב"ח או"ח קלג). על פי האר"י, נהגו לומר 'עלינו' גם אחר תפילת מנחה וערבית. מפני חשיבותה של תפילה זו נוהגים לאומרה בעמידה, ונוהגים לכרוע מעט בעת שאומרים "ואנחנו כורעים" בנוסח אשכנזים, וכשאומרים "ואנחנו משתחווים" בנוסח ספרדי (מ"ב קלב, ט).
כיוון שאלו תוספות מאוחרות יחסית, יש בהם הבדלים בין הנוסחים. לדוגמה, בנוסח ספרד מוסיפים עוד מזמורים ופסוקים לפני 'שיר של יום', וגם נוסח 'פיטום הקטורת' ארוך יותר. ועוד הבדל בסדר התפילות, שלפי נוסח אשכנז אומרים 'עלינו לשבח' לפני 'שיר של יום', ולנוסח ספרד וחסידים הסדר כפי שכתבנו (עי' בפניני הלכה תפילה כג, ד-ה).