Надо реализовать методы equals и hashCode.

Также изменяемые объекты в качестве ключа это странный выбор. По крайней мере после того, как они стали ключом, их менять нельзя.