לאחר שבעים שנה מעת חורבן בית המקדש הראשון, בשנת 3,410 למניין שאנו מונים לבריאת העולם, החלו עולי בבל לבנות את בית המקדש השני. בסמוך להתחלת בנייתו עלה עזרא הסופר מבבל, ויחד עם בית דינו חזר וקידש את הארץ למצוותיה. בית דינו של עזרא הם הנקראים אנשי כנסת הגדולה, והיו חברים בבית הדין הגדול הזה מאה ועשרים זקנים, ומהם אחרוני הנביאים, חגי, זכריה ומלאכי, וכן דניאל, חנניה, מישאל ועזריה, ונחמיה בן חכליה ומרדכי בלשן וזרובבל (הקדמת הרמב"ם למשנה תורה).
אמנם חובת השביעית בימי בית המקדש השני היתה מדברי חכמים בלבד, מפני שכבר למדנו שמצוות השביעית תלויה ביובל, ודין היובל תלוי בישיבת כל השבטים על אדמתם, כל שבט ושבט בנחלתו. כאשר לכל אדם מישראל יש נחלה שממנה הוא יכול להתפרנס, וגם אם יאלץ למוכרה מפני עוניו, ביובל תחזור הקרקע אליו או ליורשיו. ובימי בית המקדש השני רק מקצת מישראל שבו לארץ מגלותם, והם היו בעיקר מבני שבט יהודה, בנימין ולוי, וממילא לא ישבו שנים עשר השבטים בנחלתם, ומדין התורה לא התחייבו במצוות היובל והשביעית. אבל חכמים, היינו עזרא ובית דינו, תקנו למנות שמיטות ויובלות, ולקיים את מצוות השביעית מדבריהם. וכך נמשך הדבר במשך כל ימי בית המקדש השני שעמד ארבע מאות ועשרים שנה.[3]
חשבון השמיטות והיובל בימי בית המקדש השני: לדעת חכמים, לאחר שעלה עזרא הסופר וסיעתו בשנה השביעית לבניין בית המקדש השני החלו למנות שנים לשביעית וליובל (ערכין יג, א). בשנה השלוש עשרה עשו את השביעית הראשונה, ובשנה החמישים ושש קידשו יובל. ולדעת ר' יהודה, החלו בספירה מהשנה הראשונה לבניין המקדש (ערכין יב, ב; ועי' להלן בהערה 6).