1936年，中山医院始建，为纪念中国民主革命先驱孙中山先生而命名。
1937年4月1日，医院正式开业。
1937年，“八·一三”事变后，中山医院原址先后改为“第六救护医院”和“国际第一医院”。
1946年11月，正式恢复“上海中山医院”。
1949年7月，中国人民解放军上海市军事管制委员会卫生处派员接管中山医院。
1950年4月1日，中山医院被宣布结束军管，交由华东军政委员会卫生部直接管辖。
1952年4月，医院更名为上海医学院外科学院。
1955年3月，医院更名为上海第一医学院附属第二医院。
1956年8月，医院恢复原名上海第一医学院附属中山医院。
1985年，上海第一医学院定名为上海医科大学，医院随之更名为上海医科大学附属中山医院。
1992年10月，医院被评定为国家三级甲等医院。
2001年，上海医科大学和复旦大学合并办学，组建为新的复旦大学，医院随之更名为复旦大学附属中山医院。