Здравствуйте, m1st, Вы писали:

	Условие
	M>Условие задачи: M>Image: 11.15.2014-10.32.png

M>Подскажите, куда копать?

Разбивать на треугольники
http://grafika.me/node/12

Проверять, что является внутренней для найденного треугольника.

PS Не понял, что функция возвращать должна.

собственно, вот и решение на Java
http://grafika.me/node/175