לזכות אמי מורתי שתחי' 

Rav Tzvi Pesach Frank was asked if it is permitted to pass by one shul and go to a different one, further away, in light of the rule "אין מעבירין על המצוות" - "One may not pass over a mitzvos". The questioner suggested that if there are two elements: A] The person davens consistently at the further one [קביעות מקום] and B] The extra reward one receives for walking a further distance to shul [שכר פסיעות - See Sotah 22] - he is permitted to pass over the closer shul.

ע"ד השאלה בשני בתי כנסיות בעיר אחת, אי אריך לעבור על פני ביהכ"נ הקרוב וללכת להתפלל בבית הכנסת השני הרחוק, אם יש בזה איסור משום דאין מעבירין על המצות. וכת"ר מסיק דדוקא בדאיכא תרתי, קביעות מקום ברחוקה וגם בשביל שכר פסיעות רשאי לעבור על הביהכ"נ שהוא פוגע בדרך הליכתו.

The gemara [Brachos 8b] says that it is forbidden to pass by the back of a shul when people are davening. Abaye comments on that this only applies when there is no other shul in town but if there is another shul in town then it is permitted. And so ruled the Shulchan Aruch. Now - if there is a problem of אין מעבירין על המצוות then how could the gemara permit this? It must be permitted! The Magen Avraham ['סימן צ] says that if there are 2 shuls you should daven in the one further away and many of the later authorities agreed. None of them made a distinction between a case where he passed by the first one on his way to the second one or didn't. So it must be that it doesn't matter and either way it is fine.  

ולכאורה יש להעיר מדברי הגמרא בברכות (דף ח ע"ב) אסור לו לאדם לעבור אחרי ביהכ"נ בשעה שהציבור מתפללים אמר אביי ולא אמרן וכו' אלא דליכא בי כנישתא אחריתי אבל אי איכא בי כנישתא אחרינא לית לן בה, וכן פסק בשו"ע (סימן צ), דהיכא דיש ביהכ"נ שני רשאי ומותר לו לעבור על פני ביהכ"נ. ואם נאמר דיש בכה"ג איסורא דאין מעבירין על המצות, כיצד סתמו דמותר לו לעבור. וכן הם דברי המג"א (סימן צ), דבשתי בתי כנסיות ילך לרחוקה, וכן סתמו אחרים להלכה, גדולי המורים הגרש"ז ז"ל בשו"ע שלו, ובספר חיי אדם. וכל כי האי הו"ל לפרש ולחלק בין זה שעובר דרך ביהכ"נ הקרוב או לא, אבל סתימת דבריהם יורה להדיא שלא תחלוק בדבר זה כלל.

From the standpoint of logic one could argue that "אין מעבירין על המצוות" applies only when the mitzva is right on front of him and ready for performance with "no further ado". We can prove this: The mishna [Zvachim 51a] teaches with regard to the sin offerings whose blood is presented inside the Sanctuary. As to the remainder of the blood which is left after the sprinklings, a priest would pour it onto the western base of the external altar. But if he did not place the remainder of the blood on the western base, it does not disqualify the offering. The Gemara asks: What is the reason that it must be poured on the western base? The Gemara answers: The verse states with regard to the bull offering of the High Priest: “And the priest shall sprinkle the blood upon the corners of the altar of sweet incense before the Lord, which is in the Tent of Meeting; and all the remaining blood of the bull he shall pour out at the base of the altar of burnt offering, which is at the entrance of the Tent of Meeting” (Leviticus 4:7). This means that he must pour it on that base which he encounters first when he leaves the Tent of Meeting, which is the western base.  In that case the mitzva is ready to be performed. 

Another example is the gemara that says [Yoma 33b] Abaye continued: And removal of ashes from the inner altar precedes the removal of ashes from five of the seven lamps of the candelabrum. What is the reason for this? Abaye said: I learned this through tradition; however, I do not know the rationale behind it. And Rava said: The reason is in accordance with the statement of Reish Lakish, as Reish Lakish said: One may not forego performance of any of the mitzvot in order to perform another mitzva.  And when he enters the Sanctuary it is the altar that he encounters first, before reaching the candelabrum; therefore, he performs the service of the altar before removing the ashes from the lamps. In that case the mitzva is ready to be performed so he has to do the first one he encounters. 

Another example is what the gemara there says that since one first encounters the arm tefillin he must put them on before the head tefillin. So too in all cases where the gemara says "אין מעבירין על המצוות" we are talking about a mitzva that can be performed immediately and therefore we tell the person not to push it off but rather do it RIGHT AWAY! However maybe when one passes by the back of the shul where the mitzva isn't right there but rather requires him to enter the shul first, he would not be obligated to enter and not entering wouldn't be considered "מעבירין על המצוות". In the sefer Sdei Chemed [named ostensibly after the camp] he cites the "Zera Yaakov" who says as much. But if one already entered the first shul he would be obligated to daven there.

ומצד הסברא רציתי לומר, דעיקר הדין דאין מעבירין על המצות לא נאמר, אלא בכה"ג שהמצוה כבר מזומנת לפניו וקרובה היא אליו לעשותה בלי שום פעולה מוקדמת, כמו שפיכת שיריים ליסוד מערבי או דישון מזבח הפנימי דכי עייל להיכל במזרח פגע ברישא או עבורי דרעא אטוטפתא, וכן בכל מקום דאמרינן אין מעבירין על המצות, בכולם מיירי שהמצוה מזומנת לעשותה תיכף ואינה מחוסרת שום פעולה של איזה הכנה כל שהיא, לכן הדין הוא דאסור להניחה ומצוה שבאה לידך אל תחמיצנה. משא"כ בזה שעובר בדרך הליכתו ע"פ ביהכ"נ, שעדיין אין המקום מוכשר לו להתפלל שם וכן הוא מחוסר כניסה לתוך ביהכ"נ פנימה, יש לדון דאין חיוב עליו להכנס, וכל זמן שלא נכנס פנימה לא קרינן ביה שהוא מעביר על המצוה, שהרי עדיין אין המצוה מזומנת לפניו, ומחוסר כניסה כמחוסר מעשה דמי. 

שוב מצאתי בשדי חמד (מערכת א אות קג) מביא בשם זרע יעקב כעי"ז, שכתב דלא אמרינן אין מעבירין על המצות אלא בדבר המוכן ומתוקן שאין צריך שום תיקון מחדש וכו', אבל בדבר שצריך הכנה ותיקון, כל שלא הוכן עדיין ליכא משום אין מעבירין על המצות, עכ"ל. ולפ"ז יש לדון דכל שמחוסר כניסה אין זה מן המוכן, אבל כשכבר נכנס לתוך ביהכ"נ פנימה, עדיין יש לדון ולאוסרו לעבור מביהכ"נ לביהכ"נ אחר.

[שו"ת הר צבי אורח חיים א סימן נג]