בית המקדש השני נבנה בהר הבית שבירושלים על ידי העולים מבבל בראשית תקופת שיבת ציון, כ-70 שנה אחרי חורבן הבית הראשון. בנייתו החלה בזכות הכרזת כורש, מלך פרס, שהתיר ליהודים שהוגלו לבבל לחזור לירושלים, ובעקבותיה עלו לישראל שבי ציון בהובלת יהושע בן יהוצדק וזרובבל בן שאלתיאל.
בספר עזרא מתואר כיצד נבנה מחדש בית המקדש, ועם חניכתו בכו הכוהנים והלוויים הזקנים שעוד זכרו את מראה הבית הראשון לפני שנחרב, ובכו בעת בנייתו בזוכרם כמה הבית הראשון היה מפואר ממנו (עזרא ג, יב). הוא נחנך ביום ג’ באדר בשנה השישית לדריווש מלך פרס. לגבי התאריכים יש גרסאות שונות בין החוקרים וחז”ל: לפי התיארוך ההיסטורי, בית המקדש השני נחנך בשנת 516 לפנה”ס ועמד על תילו כ-586 שנים. לעומת זאת, לפי חז”ל המקדש עמד על תילו 420 שנים.
בשנת 167 לפנה”ס הטיל המלך אנטיוכוס גזירות על היהודים בישראל וחילל את בית המקדש, ובעקבותיהן פרץ מרד החשמונאים. כעבור שלוש שנים של מרד הגיעו החשמונאים אל בית המקדש, טיהרו אותו וחגגו את חנוכתו מחדש ביום כ”ה בכסלו בשנת 164 לפנה”ס. לציון מועד חנוכתו מחדש של בית המקדש ונס פך השמן חוגגים את חג החנוכה.
מאוחר יותר, בשנת 19 לפנה”ס, החל הורדוס, מלך יהודה, בשיפוץ ובהרחבה מסיביים של בית המקדש: שטח הר הבית הוכפל, ההר הוקף בחומות ובקירות תמך והמבנה רוצף בשיש ובזהב. מלאכת השיפוץ נמשכה עשרות שנים, גם על ידי המלכים שבאו אחריו. על בית המקדש ששופץ אמרו חז”ל: “מי שלא ראה בנין הורדוס, לא ראה בנין נאה מימיו” (תלמוד בבלי, מסכת בבא בתרא, דף ד, עמ’ א).
בית המקדש השני נחרב בשנת 70 לספירה על ידי הרומאים ולא נבנה מחדש.