我可不可以跟丈夫复婚

我和老公是大学同学，但是我们只是一般的同学而已，他另一有女朋友，以后我们在同一个学校当了个老师，他女朋友不肯跟他结婚，当时我挺自卑自己的眼睛不好看（不对眼）以为没人要我，但他很快就向我求婚，他家是农民家庭，条件很差，全家只有他拿国家工资，其他的都是贫穷的农民，而我家全家人国家的高级干部，工资很高，但父母也害怕我嫁不出去才嫁给他的！但结婚以后他总是嫌弃我，故意跟我吵架，快4年时我们离婚了，当时女儿是2岁半，现在女儿9岁了，离婚快7年了，但是他说当时我们以为不相爱，但离开以后才明白我我们原来已经有爱情了，当时他本来想跟我复婚，但是我跟他的好朋友谈恋爱了，并且我们两个都彼此有怨恨！所以开不了口！我们偶尔在一起的那天起他发现他忘不了我我也忘不了他，他想跟我复婚愿意付出很多代价，包括离婚现妻，离开儿子等
我现在不知道干什么，只害怕他想离现妻不了，只害怕自己解脱不了他以前对我的不公平，只害怕复婚以后又合不来等等
反正不知道应不应该跟他复婚，他能不能离开现在的妻子（她现在就是不肯离婚），我这样做对还是错