Это ж надо же. Столько голову ломал, не мог понять в чем дело. Написал тут вопрос и через полчаса сам нашёл причину проблемы
P.S. Проблема была в том, что в форме, на котором лежал контрол, в событии Paint я присваивал бэкграунд к ListView (бэкграунд вырезался из формы по размерам ListView). И по каждому событию перерисовки формы ещё перерисовывался и сам ListView. Тупая моя ошибка.