We can prove from Tosfos that even in a case where he already entered into the first shul, he may skip over the mitzva and go daven in a second shul.

To explain: Says the mishna [Menachos 64b]:

 מצות העומר להביא מן הקרוב לא ביכר הקרוב לירושלים מביאין אותו מכל מקום מעשה שבא העומר מגגות צריפין ושתי הלחם מבקעת עין סוכר:

The mitzva of the omer is to bring the barley reaped for the meal offering from fields proximate to Jerusalem. If the barley did not ripen in the fields proximate to Jerusalem, one brings it from any place in Eretz Yisrael. There was an incident where the omer came from Gaggot Tzerifin and the wheat for the two loaves on Shavuot came from the valley of Ein Socher.

גמ׳ - מאי טעמא איבעית אימא משום כרמל

The Gemara asks: What is the reason that the barley reaped for the omer meal offering should ideally be brought from fields proximate to Jerusalem? The Gemara answers: If you wish, say that it is because the verse states: “And if you bring a meal offering of first fruits to the Lord, you shall bring for the meal offering of your first fruits grain in the ear parched with fire, even groats of the fresh ear [karmel]” (Leviticus 2:14). This indicates that the grain should be soft and fresh. Consequently it should be brought from close by, not from a place where it might become stale and hardened during a long journey.

ואיבעית אימא משום דאין מעבירין על המצות:

And if you wish, say instead that the reason is due to the principle that one does not postpone performance of the mitzvot. When presented with the opportunity to perform a mitzva, one should perform it immediately. Therefore, the barley for the mitzva of the omer meal offering in the Temple should be brought from the first crop encountered outside of Jerusalem.

Says Tosfos: 

בפ' איזהו מקומן (זבחים דף מז.) גבי פרים הפנימיים דתנן שירי הדם היה שופך על יסוד מערבי של מזבח החיצון מפ' בגמ' מ'ט דאמר קרא אל יסוד מזבח העולה אשר פתח אהל מועד ההוא דפגע ברישא

(a) Citation: In Zevachim (47a) regarding inner bulls, a Mishnah teaches that he poured Shirayim of the blood on the western Yesod of the outer Mizbe'ach. The Gemara explained that the reason is because it says "El Yesod Mizbach ha'Olah Asher Pesach Ohel Mo'ed" - the one he encounters first.

פי' בקונט' דמאשר פתח אוהל מועד דריש דמשמע יסוד שכנגד הפתח וזהו מערבי של מזבח שהוא כנגד פתח ההיכל

Rashi explains: He expounds "Asher Pesach Ohel Mo'ed", which connotes the Yesod opposite the opening. This is the west of the Mizbe'ach, which was opposite Pesach ha'Heichal;

ולא גרסינן ההוא דפגע ברישא דמשמע מטעם שאין מעבירין על המצות

1. The text does not say "the one he encounters first", which would connote that it is because Ein Ma'avirin Al ha'Mitzvos.

והשתא קשיא דהיא גופה למה לי קרא תיפוק ליה דאין מעבירין על המצות כדאשכחן הכא

Question: Why do we need a verse? I should know from Ein Ma'avirin Al ha'Mitzvos, like we find here!

ובפ'ג דיומא (דף לג.) דפריך מאי שנא דיהיב מזרחית צפונית ברישא וכו' וגבי דישון מזבח הפנימי והמנורה אמרי' [דישון] דמזבח קודם משום דאין מעבירין וכן עבורי דרעא אטוטפתא אסור

Strengthening of question: In Yoma (33a), it asks "why does he put [Dam Olah] first on the northeast [corner]... and regarding Dishun of the inner Mizbe'ach and the Menorah, we say that Dishun of the Mizbe'ach is first, because Ein Ma'avirin Al ha'Mitzvos, and similarly one may not pass over the hand Tefilin and [put on, or touch] the head Tefilin [first]!

ומתרצין דלא שייך אין מעבירין על המצות אלא כשיש שתי מצות לפניו כגון דישון מזבח והמנורה או כגון מצות קרנות שאין ידוע מהיכן יתחיל וכן בהך דשמעתין שנוטל מן הקרוב

 Answer: Ein Ma'avirin Al ha'Mitzvos applies only when there are two Mitzvos in front of him, e.g. Dishun of the Mizbe'ach and the Menorah, or the Mitzvos of [Matanos Dam on] the corners, and he does not know where he should begin. Similarly, in our Sugya he takes from what is close;

אבל לקבוע מקום אשפיכת שיריים לא קבעו מהאי טעמא אי לא דגלי קרא בהדיא

However, to fix a place for pouring Shirayim, we do not fix due to this reason, if the Torah did not explicitly reveal.

This Tosfos is very difficult to comprehend!! How can they say that in our sugya we are talking about two separate mitzvos and the rule of אין מעבירין tells us to take from the closer place? That is not true. There is only ONE mitzva here [i.e. taking the omer barley] and nevertheless the gemara invokes אין מעבירין!? So asked the Shittah Mikubetzes printed on the margin of the gemara. 

The Taharas Hakodesh [who work preceded the publication of the Shittah by about 100 years] answered beautifully: In one of two cases one is called "passing over mitzvos". Either when he has to do the second mitzva or even in an instance where there is only one mitzva but he is actually passing over a mitzva itself, like here where he leaves over the mitzva of omer in the closer place that he has the opportunity to take from and goes elsewhere. 

Those cases are different than the spilling of the left of blood [שפיכת שיריים] where neither condition is met: He only has to spill the blood in one place and also the issue is not passing over the mitzva itself because the mitzva is the BLOOD - not the place. The place is just WHERE he does the mitzva but not the mitzva proper. When it comes to the omer however, we say that the omer is the actual mitzva so one may not bypass it. 

Upon consideration, we can say that tefilla in shul is like the mitzva of spilling the blood. The tefilla is the mitzva of "spilling one's soul" and the shul is like the mizbeach. The mitzva proper is tefilla, while the shul is merely the place that it is performed. Thus, we would not say אין מעבירין על המצוות regarding passing over a closer shul to daven in a more distant one. With this in hand, we see that the Magen Avraham we mentioned earlier, who said that one should daven in the more distant shul and made no distinction as to whether he passes by the closer shul or not, was absolutely correct.   

וזה תמוה, שהרי בקצירת העומר מן הקרוב הרי המצוה אחת היא, ומ"מ אמרינן דאין מעבירין על המצות, ובשיטה מקובצת הנדפס על גליון הש"ס, דפוס ווילנא, תמה כן על דבריהם אלו. וראיתי בספר הנכבד טהרת הקדש שהיה כמאה שנה בטרם נדפס השיטה - מקובצת הנז', ביאר בטוב טעם את דברי התוס' וז"ל: פי' דבאחד משני אלו מקרי מעביר (על המצות) או במקום שבהכרח יוצרך שיעשה גם השניה או אף במקום שלא יעשה רק אחד אבל הוא מעביר על המצוה ממש כגון הך דהכא שמניח מצות עומר שיש במקום הקרוב ובידו ליטלו והוא עובר ממנו מה שאין בן בקביעות מקום אשפיכת שיריים ליכא לא הא ולא הא דהא אין צריך ליתן רק במקום אחד וגם אין וגם אין מקום המצוה ממש שהוא צריך רק הדם שבידו הוא המצוה והיסוד אינו אלא המקום שהוא צריך לעשות באותו מקום את המצוה, עכ"ל. הרי מבואר דיש חילוק בין קצירת העומר לשפיכת שיריים. ועוד, כשנעיין נמצא דמצות תפלה וביהכ"נ הוא מעין שפיכת שיריים ויסוד, כי מצות תפלה הוא שפיכת הנפש והביהכ"נ הוא במקום היסוד ועיקר המצוה הוא התפלה והביהכ"נ אינו אלא המקום של עשיית המצוה, לא נאמר בזה כלל האי דינא דאין מעבירין על המצות, ושפיר סתם המג"א דבשתי בתי כנסיות הולך להרחוק בלי שום חילוק ואף על פי שעובר דרך ביהכ"נ הקרוב.