Конкретно с такой проблемой не сталкивался, хотя задача знакома. Поэтому могу только дать общие советы
Во-первых, создается ощущение, что CURL запрос сразу оформлялся с таким количеством настроек. Если это так, то попробуй упростить задачу, задав минимум опций(url, header, post, postfields, returntransfer), а затем увеличивай, пока не перестанет работать.
Хотя думаю, проблема все же с SSL.
Попробуй обратиться к сервлету напрямую, без CURL, но c использованием SSL.
От системы действительно, вряд ли что-то зависит, скорее, от настроек апача, php и ssl, попробуй их повторить на хостинге. Или же, наоборот, повторить настройки хостинга на какой-то виртуалке.
Еще раз внимательно почитай
http://ru2.php.net/manual/ru/book.curl.php Потом все комменты. Потом все комменты к каждой curl-функции на предмет проблем с ssl
Ну и ссылки, может уже видел, а может и помогут
http://ca.grid.kiae.ru/RDIG/info/faq.html
http://curl.haxx.se/mail/lib-2009-03/0325.html
http://bugs.gentoo.org/198914
http://www.mail-archive.com/openssl-users@openssl.org/msg47543.html
http://www.paypaldeveloper.com/pdn/board/message?board.id=nvp&thread.id=946
http://forums11.itrc.hp.com/service/forums/questionanswer.do?threadId=1229925
http://bugs.php.net/bug.php?id=33192&edit=2
http://www.nabble.com/ssl-handshake-failure-td13932843.html