אמרו חכמים בתחילה, שאין לבני תורה לצרף עמי הארץ לזימון, והיתה בזה מחאה כנגד עמי הארץ שלא למדו תורה ולא שימשו תלמידי חכמים, שעל כן אין ראוי לבני תורה להצטרף עמהם לסעודה. ואין הכוונה לגרום חס וחלילה לניתוק בין בני תורה לעמי הארץ, שכן מצרפים עמי הארץ למניין, ואם ירצו ללמוד תורה – ילמדום ברצון, ואם יבקשו עזרה – מצווה לגמול עמהם חסד. אלא שקירוב הלבבות בסעודה עלול לטשטש את המחאה הנצרכת כלפי עמי הארץ. כי האווירה בסעודה משוחררת ופתוחה, ולפעמים כוללת גם שתיית משקה אלכוהולי, ואין ראוי לבני תורה להתחבר כל כך לאדם שאינו קשור לתורה. ולכן אף אם אכלו יחד, וביחד איתו הם שלושה, כיוון שאין ראוי שיצטרפו יחד לסעודה, אין מזמנים עליו (ברכות מז, ב). אמנם עמי הארץ עצמם, אם אכלו שלושה יחד, חייבים בזימון (מאירי, ריטב"א, באו"ה קצט, ג, 'מזמנין עליו').
אולם לאחר מכן, בימי הראשונים, יצאה הוראה שאין להרחיק את עמי הארץ, שאם ירחיקום יבנו במה לעצמם ויתרחקו יותר מדרך התורה והמצוות. לפיכך, אין לחלק בין דין הזימון לדין המניין, וכמו שלמניין עשרה לתפילה מצרפים כל יהודי שרוצה בכך, ואפילו אם הוא עובר עבירות חמורות בפרהסיא, כגון שהוא אוכל שרצים וחזיר, כך מצרפים כל יהודי המעוניין לברך ברכת המזון לזימון שלושה או עשרה. אמנם עם מי שעובר עבירות להכעיס, כדי להתריס נגד התורה ונושאיה, אין ראוי לשבת בסעודה, וממילא אין לצרפו לזימון (שו"ע קצט, ג).[13]
האוכל מאכלים שאינם כשרים, אינו רשאי לברך על אכילתו (ראו יב, י), וממילא גם אינו מצטרף לזימון, וכדברי חכמים במשנה (ברכות מה, א), שהאוכל טבל מדרבנן אינו מצטרף לזימון (שו"ע קצו, א).
