בשנת ה'תרל"ט נשא את עטל בתו של רבי משה קאמארן. לאחר נישואיו התגורר בבוניהאד, ופתח בה חנות של כלי מטבח וזכוכית. לאחר שנה נשרפה חנותו עם כל רכושו, ובאותו זמן נפטרה גם אשתו. מאוחר יותר סיפר בנו, כי הוא תלה זאת משום שלא קיים את הוראת המהר"ם שיק לכהן כרב.
לאחר שנתיים נשא את בתו של רבי אדוניהו שמלצר, דיין בפעטראוואסעלא, והתגורר בעירו למשך שלש שנים.
בשנת ה'תרמ"ג נתמנה לרבה של יאנקובץ'. הקהילה היהודית בעיר מנתה אז כ-100 משפחות, אך מצב הדת בעיר היה ירוד ביותר. בהגיעו לעיר סידר בתחילה את ענייני הכשרות ובנה מקווה. לאחר מכן החל ללמד את בני הקהילה תורה, בחומש ופירוש רש"י, והרגילם לקבוע עיתים לתורה. כן הוא היה מוסר להם שיעורים ושיחות ובכל ליל שבת היה מוסר דרשה ארוכה בפרשת השבוע כאשר היא מתובלת בדברי מוסר.
לאחר תקופה בה התפתחו חיי הדת בעיר, ויהודיה התחזקו בשמירת המצוות, ייסד ישיבה במקום ואף הוקם מטבח בישיבה, דבר נדיר בתקופה זו[2]. בקהילה זו כיהן ברבנות במשך עשרים שנה.
בשנת ה'תרס"ב, לאחר פטירת רבי דוד אולמן, נבחר לרבה של לקנבך. יחד עמו עברו עשרים בחורים תלמידיו מיאנקובץ'. אך גם כשהגיע ללקנבך גילה כי גם בקהילה ותיקה וחשובה הוזנחו ענייני דת רבים וחשובים, זאת בשל חוליו המתמשך של רבה הקודם של העיר. הוא חידש וביסס את התלמוד תורה בעיר, לאחר שראשי הקהילה הזניחו זאת וסרבו לשלם את שכר המלמדים. רבי יהודה שילם את שכרם ממשכורתו ומתמיכתו של הברון רוטשילד. לאחר מכן ביסס בית הכנסת אורחים והוא בעצמו טרח להסתובב בין בתי העיר לאסוף חפצים שונים שתרמו בני העיר.
בשנת ה'תרע"ה נפטרה אשתו השנייה ונקברה בבית הקברות בלקנבך, וכעבור שנתיים נשא את אחותה לאה, אלמנתו של רבי שרגא גרוסמן. כשנפטרה אשתו השלישית לאה חפץ לעלות לארץ ישראל, אך בני עירו לא הניחו לו לעזוב. כשהתעקש
לעלות , הפצירו בו שלפחות ישאיר את חתנו רבי חיים מאיר אונגר למלא את מקומו כרב. הוא נענה לכך, ובשנת תרצ"ה מינה את חתנו לרב במקומו ויצא לארץ ישראל. בהגיעו לירושלים קבע את מקום תפילתו בבית הכנסת של עדת הפרושים בבתי ורשה, והסיר מעליו כל תואר ומשרה רבנית.
