На самом деле это классическая проблема, так как пользователь SO Victor помещает ее (в другой SO question относительно каких задач задавать во время собеседования).
Я не мог сделать это через час (вздох), так какой алгоритм вычисляет количество целых точек в треугольнике?
EDIT. Предположим, что вершины находятся в целых координатах. (в противном случае становится проблемой нахождения всех точек в треугольнике, а затем вычитание всех плавающих точек только с целыми точками, менее изящная проблема).