Вот сижу и думаю.

На экране точно имеется 576 строк. Только в них умещается меньше чем 576 пикселей. Я так померил, что сверху отрезается 21 пиксель, а слева - 35. Не похоже, что это картинку зуммировали.

А в LCDIF прописывается 720х576 для PAL и 720х480 для NTSC (дефайны в шапке tvenc.c).

тогда мысль здравая - попробуйте немного уменьшить разрешение (по моим наблюдениям лучше делать кратно 8).
я, когда отлаживаю вывод графики, рисую растровый рисунок известного размера в пикселях, черный фон и белая однопиксельная каемка + 3-8 цветных пятен :)
ну и добиваюсь нужного результата глядя на экран

Спасибо большое за советы.