כאשר גולי בבל החלו לעלות לירושלים לקראת הקמת בית המקדש השני, התפתחה עוינות עמוקה בינם לבין הכותים, עד שנקראו הכותים 'צרי יהודה ובנימין'. וכאשר זרובבל בן שאלתיאל המנהיג המדיני, וישוע בן יוצדק הכהן הגדול, החלו לבנות את המקדש, נגשו אליהם צרי יהודה "וַיֹּאמְרוּ לָהֶם: נִבְנֶה עִמָּכֶם (את בית המקדש), כִּי כָכֶם נִדְרוֹשׁ לֵאלוֹהֵיכֶם, וְלוֹ אֲנַחְנוּ זֹבְחִים מִימֵי אֵסַר חַדֹּן מֶלֶךְ אַשּׁוּר הַמַּעֲלֶה אֹתָנוּ פֹּה. וַיֹּאמֶר לָהֶם זְרֻבָּבֶל וְיֵשׁוּעַ וּשְׁאָר רָאשֵׁי הָאָבוֹת לְיִשְׂרָאֵל: לֹא לָכֶם וָלָנוּ לִבְנוֹת בַּיִת לֵאלוֹהֵינוּ, כִּי אֲנַחְנוּ יַחַד נִבְנֶה לַה' אֱלוֹהֵי יִשְׂרָאֵל, כַּאֲשֶׁר צִוָּנוּ הַמֶּלֶךְ כּוֹרֶשׁ מֶלֶךְ פָּרָס" (עזרא ד, ב-ג). ביארו המפרשים, שמנהיגי העולים ידעו שהכותים רוצים להשתתף בבניין המקדש מתוך מגמה למנוע את בנייתו, ולכן סירבו לשתפם בבניינו (רש"י ומצודות). וייתכן שבאותו זמן הכותים כבר החלו לייסד את המרכז הדתי שלהם בהר גריזים, ורצו להשתתף גם במקדש, ולכך לא יכלו להסכים, שכן המקדש שבירושלים צריך להיות המקום האחד והיחיד לעבודת ה'. וייתכן שגם ידעו שהכותים עדיין עובדים עבודה זרה בשיתוף, וחששו שבעמדתם האלילית יקלקלו את עבודת המקדש (עי' מלבי"ם שם).
מתח רב נוצר בין עולי יהודה לכותים, וצרי יהודה שלחו מכתבי שטנה למלך פרס נגד היהודים, וגרמו לעיכוב בניית המקדש למשך שמונה עשרה שנה (עזרא ד, ה-כד; רש"י שם כד). בתוך כך נוצרו הבדלים דתיים בין עולי יהודה לכותים. ביהודה, על פי החלטת עזרא ואנשי כנסת הגדולה, עברו לכתב אשורי, ואילו הכותים נשארו עם הכתב העברי הקדום (סנהדרין כא, ב). הכותים בנו לעצמם מקדש בהר גריזים וזייפו את התורה, תוך שהם כותבים במפורש שהמקום שה' בחר בו למקדשו הוא הר גריזים. הכותים גם לא קיבלו את תקנות חכמים, ונהגו על פי הבנתם במקרא. המתח הגיע עד מצב שהכותים ביקשו מהיוונים להחריב את בית המקדש (יומא סט, א; מגילת תענית ט). לימים, כאשר החשמונאים גברו, יוחנן הורקנוס כבש את אזור השומרון והחריב את מקדש השומרונים.
ועדיין, לדעת רוב החכמים מבחינה הלכתית הכותים נחשבו כיהודים, ומותר היה להתחתן עמהם. ואף אמרו שכל מצווה שהכותים מקפידים עליה, הם מדקדקים בה יותר מישראל (קידושין עו, א).
אולם המתח בין היהודים והכותים הלך וגבר, ובמיוחד בימי חורבן הבית ומרד בר כוכבא, שבהם הצטרפו הכותים לאויבי ישראל. במקביל גדל המרחק בדרך שמירת המצוות, עד שבימי האמורא רבי אבהו, כשהתברר שכבר אין בכותים שומרי תורה כהלכה, ואף מצאו דמות יונה בראש הר גריזים שהיו עובדים אותה, גזרו חכמים על הכותים שייחשבו כגויים (חולין ו, א). ואמרו חכמים (מסכת כותים ב, ח), שאפשר לקבלם בחזרה ליהדות "משיִכְפְּרו בהר גריזים ויודו בירושלים ובתחיית המתים", כלומר בגאולת ישראל. לאחר מכן יתגיירו ויחזרו להיות כיהודים לכל דבר.[9]
