מתחילה היו נוהגים ליפול אפיים בהשתחוויה או בקידה. בהשתחוויה המתפלל נופל שטוח בכל גופו על הארץ, כשגם ידיו ורגליו פשוטות על הארץ. בקידה המתפלל יורד על ברכיו ומרכין ראשו ומצמידו לארץ (ברכות לד, ב; רמב"ם תפילה ה, יג-יד).
מפני כמה חששות, נתבטל המנהג ליפול אפיים בהשתחוויה או קידה. מקצת מהחששות הם הלכתיים וקשורים לאיסור השתחוויה על רצפת אבנים, והאיסור לאדם חשוב ליפול על פניו לפני הציבור בלא שמובטח לו שייענה כיהושע בן נון. אך עיקר החשש הוא לדברי הזוהר (במדבר קכא, א), שהגדיל מאוד את מעלת תפילה זו, שצריך המתפלל בנפילת אפיים למסור את נפשו לה', ולראות עצמו כאילו נפטר מהעולם, ועל ידי כך כל עוונותיו מתכפרים. אלא שאם לא ימסור את נפשו בכנות, יסתכן בנפשו, ולכן לא נהגו ליפול אפיים ארצה (ראו פניני הלכה תפילה כא, ג. לביאור איסור השתחוויה על רצפת אבן ראו פנה"ל אמונה ומצוותיה טו, יג).
למעשה, מנהג כל יוצאי אשכנז וחלק מיוצאי ספרד להתכופף ולהליט את הראש בזרוע שמאל, ויש בזה בחינה מסוימת של נפילת אפיים שהיא מעין קידה, אבל אינה קידה שלימה, ואין בה חשש של השתחוויה על רצפת אבן (באו"ה קלא, א). והנוהגים כ'בן- איש-חי', חוששים ואומרים את תפילת נפילת אפיים בלי ליפול כלל על פניהם, וכך נוהגים רבים מבני עדות המזרח.
בתקופת הגאונים, החל להתגבש נוסח קבוע לתפילת נפילת אפיים ולתחנונים שאחר התפילה, ובתקופת הראשונים הלך הדבר ונקבע, עד שכל ישראל קיבלו על עצמם כחובה לומר תחנונים מסוימים. כנראה שבעקבות יסורי הגלות שהלכו וגברו, נטמטמו הלבבות עד שהוצרכנו לנוסח קבוע של תחנונים. ומכיוון שנוסח התחנונים התפשט אחר שנתפזרו הגלויות, בולטים בו יותר ההבדלים שבין נוסח ספרד לאשכנז.
כיוון שתפילת נפילת אפיים היא תפילה של שברון לב בביטול הגוף ומסירות הנפש, אין אומרים אותה בימים שיש בהם שמחה (ככתוב בסידור). וכן אין אומרים תחנונים כשנמצאים בבית הכנסת בעלי שמחה, כחתן ובעל ברית מילה (ראו בפניני הלכה תפילה כא, ז-ח). וכן נוהגים שלא לומר תחנון בבית האבל, מפני שמידת הדין מתוחה שם, וצריך להיזהר שלא להגביר אותה יותר (מ"ב קלא, כ).