爸爸走了爷爷又来了，我不想回到那个家生活，现在该怎么办？

父母因为感情不好离婚了，我自愿跟随妈妈生活，可是爸爸一直劝我跟着他，被我拒绝之后爸爸有些失落的走了，可是没几天爷爷又来了，也是劝我跟着爸爸，其实我明白他们不过是想要妈妈给他们抚养费，这样他们就不用出钱了，可我不想回到那个家生活，现在该怎么办？