בתורה שבכתב המצוות מבוארות באופן עקרוני, וציוותה התורה לחכמי ישראל שיקבעו תקנות וסייגים, כדי לסלול את הדרך לקיומן בעולם. כך גם בעניין תלמוד תורה, בתורה שבכתב מבוארות המצוות העקרוניות: א) מצווה על ההורים ללמד את ילדיהם תורה, ב) מצווה על הרבנים ללמד את תלמידיהם תורה,
ג) מצווה על כל אדם ללמוד תורה (לעיל ב, א). כהמשך לכך, על חכמי ישראל מוטלת החובה לקבוע מסגרות להגשמת המצוות הללו. זכה יהושע בן גמלא הכהן, שחי בתקופת בית המקדש השני, לקבוע את מסגרות הלימוד הציבורי, ותיקן וייסד את מערכת החינוך הראשונה בעולם.
אמרו חכמים (ב"ב כא, א): "ברם זכור אותו האיש לטוב, ויהושע בן גמלא שמו, שאלמלא הוא נשתכחה תורה מישראל. שבתחילה, מי שיש לו אב – מלמדו תורה, מי שאין לו אב – לא היה למד תורה… התקינו שיהיו מושיבים מלמדי תינוקות בירושלים… ועדיין מי שיש לו אב – היה מעלו ומלמדו, מי שאין לו אב – לא היה עולה ולמד. התקינו שיהיו מושיבים בכל פלך ופלך, ומכניסים אותם כבן שש עשרה כבן שבע עשרה, ומי שהיה רבו כועס עליו – מבעיט בו ויצא. עד שבא יהושע בן גמלא ותיקן, שיהיו מושיבים מלמדי תינוקות בכל מדינה ומדינה ובכל עיר ועיר, ומכניסים אותם כבן שש כבן שבע". כלומר, ילד רגיל התחיל את לימודיו בתחילת שנתו השישית, וחלש בתחילת שנתו השביעית (תוספות שם 'כבן'; שו"ע יו"ד רמה, ח).
אחת המשמעויות של התקנה, שכלל הציבור אחראי לדאוג לילדים שהוריהם אינם מסוגלים לשלם עבור לימודם. לשם כך גבו מיסים מכל חברי הקהילה, כל אחד לפי עושרו, וממיסים אלו מִמנו את צורכי הציבור ובכללם גם את לימודי הבסיס של הילדים העניים (עי' שועה"ר קונ"א א, ג). ככל שיותר אנשים הוסיפו ותרמו כספי 'מעשר כספים' עבור תלמוד התורה, כך יכלו להחזיק עוד מלמדים שילמדו יותר תורה לילדים.
תחילת החינוך ללימוד התורה הוא משעה שהילד מתחיל לדבר, שאז אביו מלמדו פסוק: "תּוֹרָה צִוָּה לָנוּ מֹשֶׁה מוֹרָשָׁה קְהִלַּת יַעֲקֹב" (דברים לג, ד). ואחר כך פסוק: "שְׁמַע יִשְׂרָאֵל ה' אֱלוֹהֵינוּ ה' אֶחָד" (שם ו, ד). ככל שהבנתו מתפתחת, כך מלמדים אותו יותר תורה. כמו כן, מלמדים אותו לקרוא אותיות, כדי שיוכל לקרוא מעט פסוקים (סוכה מב, ב; רמ"א יו"ד רמה, ח).
בעבר, נהגו ללמד את הילדים במשך היום ומעט מהלילה, סמוך לתפילת ערבית, כדי שהרגלי הלימוד ייקבעו בנפשם (שו"ע רמה, יא; שועה"ר ת"ת א, א). מובן מאליו שהיו שעות במשך היום שהילדים עזרו להוריהם בעבודתם, ובעונות הבוערות עזרו להוריהם במשך רוב שעות היום, ותוך כך למדו לעבוד ולהתפרנס, שכן חובה על ההורים ללמד את ילדיהם אומנות שממנה יוכלו להתפרנס (קידושין ל, ב; לעיל ג, יח). הלימודים התקיימו בכל ימות החול שבשנה, ובערבי שבתות וחגים הקדימו לסיים את הלימודים כדי להתכונן לשבת ולחג. כך, כעיקרון, נהגו בישראל מתקופת בית המקדש השני ועד קרוב לימינו. על ידי לימודים מוגברים אלו זכה עם ישראל להוציא מקרבו גאונים בעלי שם.