попробуйте пошагово сделать:
сначала вытащите ядро из нанда в сдрам
потом просмотрите хотя бы несколько стартовых байт - чтобы убедиться "а ядро ли это?"
а уж потом команда bootm
Я так понимаю jffs2 генерится автоматом в Buildroot?, у меня в свое время тоже была такая проблема - генерирлся "неудобоваримый" образ корневой ФС jffs2 (версию не помню уже). Попробуйте вручную сгенерить образ (например из tar). Как вариант - поподробней посмотреть конфигурацию собираемого jffs2 в Buildroot.