Очевидно, установлен неподходящий стиль окна редактирования. Стандартное однострочное окно игнорирует ввод Enter. Это сообщение будет транслировано системой в нажатие текущей "кнопки по-умолчанию" в родительском окне. Чтобы окно ввода начало реагировать на нажатие Enter, оно должно иметь стили ES_MULTILINE | ES_WANTRETURN.
См. также статью "Как обработать нажатие Enter в edit box'е?".