תפילה היא עבודה שבלב, לפיכך עיקרה תלוי בכוונה. "וכך היו עושים חסידים ואנשי מעשה, שהיו מתבודדים ומכוונים בתפילתם עד שהיו מגיעים להתפשטות הגשמיות, ולהתגברות כח השכלי, עד שהיו מגיעים קרוב למעלת הנבואה. ואם תבוא לו מחשבה אחרת בתוך התפילה, ישתוק עד שתתבטל המחשבה" (שו"ע או"ח צח, א). שתי כוונות ישנן בתפילה: האחת כללית, שתכוון המתפללת שהיא עומדת לפני מלך מלכי המלכים ותימלא ביראה ואהבה; והשנייה פרטית, שתכוון ליבה למה שהיא אומרת בפיה.
ויש לדעת שבני האדם שונים בטבעם זה מזה. יש שקל להם להתרכז, ולמרות שאומרים את אותו הנוסח בכל יום, קל להם לעקוב אחר המילים ולכוון בהן. ויש שמטבעם קשה להם מאוד להתרכז, וככל שמדובר בנושא שמוכר להם יותר, כך קשיי הריכוז גוברים, ואף שהם מנסים לכוון, מחשבתם נודדת מעניין לעניין. הנה התאמצו לכוון בברכת 'אבות', ומחשבתם פרחה, ולפתע הם מוצאים את עצמם בברכת 'סלח לנו'. שוב ניסו להתרכז במשך ברכה וחצי, והנה מחשבתם נדדה, ופתאום הם מוצאים את עצמם כורעים ב'מודים'.
וכבר היו מגדולי אמוראים שהתאוננו על הקושי לכוון בתפילה, כמובא בירושלמי (ברכות פ"ב ה"ד), שאמר רבי חייא על עצמו, שמעולם לא הצליח לכוון בכל התפילה. ופעם כשניסה להתרכז בכל התפילה, התחיל להרהר באמצעיתה, מי יותר חשוב לפני המלך, שר פלוני או אלמוני. ושמואל אמר: אני מניתי אפרוחים בתפילה. ורבי בון בר חייא אמר: אני מניתי בתפילה את שורות הבניין. ורבי מתניה אמר: אני מחזיק טובה לראשי, שגם כשאינני שם לב למה שאני אומר, הוא יודע מעצמו לכרוע ב'מודים'. מדברי גדולי האמוראים הללו למדנו שקשה לכוון מתחילת התפילה ועד סופה, ואף שצריך אדם להתאמץ לכוון ככל יכולתו, אל יפול ברוחו, כשרואה שאינו מכוון כראוי. ואף אם חלם ברוב התפילה, לא יתייאש אלא יכוון במה שנותר.
ולא תאמר המתפללת, אם איני מכוונת מוטב אולי שלא אתפלל. מפני שבעצם זה שבאה לעמוד לפני ה' בתפילה, כבר הביעה את הדבר העמוק ביותר, את עצם רצונה להיות קשורה לה' ולהתפלל לפניו. וכל אשה נמדדת לפי אופייה, ולעיתים מעלתה של מי שקשה לה להתרכז, ולמרות זאת התאמצה והצליחה לכוון במספר ברכות, גבוהה ממעלתה של מי שמצליחה בקלות לכוון בכל התפילה. בנוסף לכך, אלו שקל להם להתרכז בתפילה השגרתית, יתכן שגם בימים המיוחדים או כאשר מתרגשת עליהם צרה, ממשיכים בתפילתם בלא התלהבות מיוחדת במינה. ולעומתם, דווקא אלו שקשה להם להתרכז בנוסח השגרתי, בשעות מיוחדות, הם מצליחים להתעלות למדרגות גבוהות יותר של כוונה.
בשם האר"י הקדוש אמרו, שהכוונה היא כנפיים, שעל ידה התפילה עולה ומתקבלת. וממילא כאשר אשה מתפללת בלא כוונה, הרי שאין לתפילתה כנפיים לעלות, והתפילה ממתינה עד אשר תתפלל תפילה אחת בכוונה. וכשתזכה להתפלל פעם אחת בכוונה, יחד עם אותה תפילה יעלו לפני ה' יתברך גם כל התפילות שאמרה בלא כוונה. והטעם לכך ברור, הרי בעצם זה שבאה להתפלל כבר הביעה את רצונה להתקשר לה' ולשבחו ולבקש ממנו את צרכיה, אלא שלא הצליחה לכוון, וכאשר כיוונה, פתחה את השער לכל תפילותיה לעלות.
להלכה, כל שכיוונה את ליבה בברכה הראשונה של שמונה עשרה, אף שאת שאר התפילה אמרה בלא כוונה – יצאה ידי חובתה (שו"ע או"ח סג, ד; קא, א; ולהלן יב, ח).
