במקום ניצב גשר עץ קדום, ייתכן שכבר בתקופה הרומית[1], וקורותיו שימשו מאוחר יותר להקמת גשר עץ חדש שבנייתו החלה ב-1171 והסתיימה ב-1185[2]. בחודש ינואר 1186 נחקקו חוקים שהסדירו את עלות המעבר על הגשר, אך הוא נהרס כמעט לחלוטין על ידי לואי השמיני לאחר מצור ששם על העיר ב-1226.
הגשר הוקם מחדש מאבן ובסגנון גותי על ידי אחווה שמנתה 24 בני אדם (Oeuvre du pont), ואלה גייסו כספים להקמתו ועשו שימוש במיסי המעבר שגבו תמורת השימוש בו. אורכו של הגשר עמד על כ-900 מטר והיו בו 22 קשתות אבן שאורך כל אחת מהן נע בין 30.8 ל-33.5 מטר[3]. רוחבו של הגשר נע בין שניים לחמישה מטרים והוא גישר על שני יובליו של הנהר שביניהם חוצץ האי ברטלאס (Ile de Barthelasse). לגשר נודעה חשיבות רבה בתקופת אפיפיורות אביניון במאה ה-14, והוא רוצף ב-1377[4]. גשר סן בנזה היה אותה עת הגשר הקבוע היחיד בין ליון בצפון והים התיכון בדרום, וככזה נודעה לו חשיבות אסטרטגית. בשני קצותיו הוקמו עמדות שמירה ובצידו הדרומי שבאביניון הוקם במאה ה-14 מבנה שער גדול. עם זאת, הגשר סבל באופן תדיר משיטפונות בנהר, וחלקים ממנו שבו ונהרסו. הוא שב ונבנה מחדש עד שלאחר שיטפון קשה במיוחד שסחף את כל הגשר כמעט ב-1669, לא שופץ עוד[5]. חלקיו הנותרים של הגשר התדרדרו ונהרסו, וכיום נותרו ממנו רק ארבע הקשתות הדרומיות סמוך לגדה השמאלית של הרון.
הגשר נודע בין היתר בזכות שיר העם "על גשר אביניון" (Sur le pont d'Avignon) שמקורו במאה ה-15. השיר מורכב מאינספור בתים, שרק השורה החמישית משתנה בהם.