תפילה היא עבודה שבלב, לפיכך עיקרה תלוי בכוונה. "וכך היו עושים חסידים ואנשי מעשה, שהיו מתבודדים ומכוונים בתפילתם עד שהיו מגיעים להתפשטות הגשמיות, ולהתגברות כח השכלי, עד שהיו מגיעים קרוב למעלת הנבואה. ואם תבוא לו מחשבה אחרת בתוך התפילה, ישתוק עד שתתבטל המחשבה" (שו"ע או"ח צח, א). שתי כוונות ישנן בתפילה: האחת כללית, שיכוון המתפלל שהוא עומד לפני מלך מלכי המלכים ויתמלא ביראה ובאהבה; השנייה פרטית, שיכוון ליבו למה שהוא אומר בפיו.
ויש לדעת שבני האדם שונים בטבעם זה מזה. יש שקל להם להתרכז, ולמרות שאומרים את אותו הנוסח בכל יום, קל להם לעקוב אחר המילים ולכוון בהן. ויש שמטבעם קשה להם מאוד להתרכז, וככל שמדובר בנושא שמוכר להם יותר, כך קשיי הריכוז גוברים, ואף שהם מנסים לכוון, מחשבתם נודדת מעניין לעניין. הנה התאמצו לכוון בברכת 'אבות', ומחשבתם פרחה, ולפתע הם בברכת 'סלח לנו'. שוב ניסו להתרכז במשך ברכה וחצי, והנה מחשבתם נדדה, ופתאום הם מוצאים עצמם כורעים ב'מודים'.
וכבר היו אמוראים שהתאוננו על הקושי לכוון בתפילה, כמובא בירושלמי (ברכות ב, ג), שאמר רבי חייא על עצמו, שמעולם לא הצליח לכוון בכל התפילה. ופעם כשניסה להתרכז בכל התפילה, התחיל להרהר באמצעיתה, מי יותר חשוב לפני המלך, שר פלוני או אלמוני. ושמואל אמר: אני מניתי אפרוחים בתפילה. ורבי בון בר חייא אמר: אני מניתי בתפילה את שורות הבניין. ורבי מתניה אמר: אני מחזיק טובה לראשי, שגם כשאינני שם לב למה שאני אומר, הוא יודע מעצמו לכרוע ב'מודים'. מדברי גדולי האמוראים הללו למדנו שקשה לכוון מתחילת התפילה ועד סופה, ואף שצריך אדם להתאמץ לכוון ככל יכולתו, אל יפול ברוחו, כשרואה שאינו מכוון כראוי. ואף אם חלם ברוב התפילה, לא יתייאש אלא יכוון במה שנותר.
ולא יאמר אדם, אם אינני מכוון מוטב אולי שלא אתפלל. מפני שבעצם זה שבא לעמוד לפני ה' בתפילה, כבר הביע את הדבר העמוק ביותר, את עצם רצונו להיות קשור לה', ולהתפלל לפניו. וכל אדם נמדד לפי אופיו, ולעיתים מעלתו של מי שקשה לו להתרכז, ולמרות זאת התאמץ והצליח לכוון במספר ברכות, גבוהה ממעלתו של מי שמצליח בקלות לכוון בכל התפילה. בנוסף, אלו שקל להם להתרכז בתפילה השגרתית, יתכן שגם בימים מיוחדים או כאשר מתרגשת עליהן צרה, ממשיכים בתפילתם בלא התלהבות מיוחדת במינה. ולעומתם, דווקא אלו שקשה להם להתרכז בנוסח השגרתי, מצליחים להתעלות בשעות מיוחדות, למדרגות גבוהות יותר של כוונה.
אמרו המקובלים, שהכוונה היא כנפיים, שעל ידה התפילה עולה ומתקבלת. וכשהתפלל אדם בלא כוונה, הרי שאין לתפילה כנפיים לעלות, והיא ממתינה עד אשר יתפלל בכוונה. וכשיתפלל בכוונה, יחד עם אותה תפילה יעלו לפני ה' יתברך כל התפילות שאמר בלא כוונה. הטעם לכך ברור, הרי בעצם זה שאדם בא להתפלל, הביע את רצונו להתקשר לה' ולשבחו ולבקש ממנו את צרכיו, אלא שלא הצליח לכוון, וכאשר כיוון, פתח את השער לכל תפילותיו לעלות (שערי אורה סוף שער ב, ובשם האר"י).
להלכה, כל שכיוון ליבו בפסוק ראשון של שמע ובברכה ראשונה של שמונה עשרה, אף שאת שאר התפילה אמר בלא כוונה – יצא ידי חובתו (שו"ע או"ח סג, ד; קא, א; להלן טו, ו; יז, ט).
