上海市著名的清真寺之一，原名药水弄回教堂，原址在西康路，1992年4月迁到常德路。

1914年左右，来自湖北、山东、河南、安徽等地的穆斯林贫民集中居住在西康路一带，由于宗教生活需要，租赁1间小屋作为临时礼拜场所。1921年在一些宗教界人士的努力下，开始筹集资金建造清真寺，1922年竣工，共建大殿三间、对厅三间、厢房1间。1935年整修，大殿可容纳200人同时礼拜。

1979年该寺重新恢复宗教活动，1990年，决定在常德路重建清真寺，1992年4月竣工。新建的沪西清真寺，主体建筑为双心拱门和扇形穹窿顶的两层礼拜殿，宣礼塔高达25米。礼拜殿分上下两层，配有男女浴室，讲经堂、教长室、会客室等。前后庭院各有彩色喷泉，院顶有6个拱形圆顶，3个装有新月标志。

该寺是中华人民共和国成立后上海第一座重建的清真寺。