拉斐尔在内的大批艺术家，但另一方面，他们搞艺术的钱却是搜刮民脂民膏得来的，这引起了许多其他佛罗伦萨贵族的不满，其中便有丽莎的娘家——格拉迪尼家族。1503年，就是在达·芬奇为丽莎画像的时候，两大家族的矛盾激化到了兵戎相见的地步。夹在其中的达·芬奇因此断掉了和丽莎家的联系。1511年，佛罗伦萨被教皇军攻破，格拉迪尼家族遭流放。达·芬奇则在1517年左右带着丽莎的画像离开佛罗伦萨，去往法国。