要看当时分家协议是怎么写的。与老人一起住是小儿子拿房子前提条件，还是单独一条协议？如果是前提条件，小儿子没与老人住一起了，前提条件不符合，那老房子还是老人的。如果老人与小儿子一起住是众不同单独一条，按协议，与房子归小儿子。