女方家里有痴呆姐弟和你们生孩子没关系的。你可以查询你们省的《人口与计划生育条例》，如果你们不符合二胎条件就不能生。不过也可以省了缴纳社会抚养费。