VBE с приличными режимами больше 1024 видел последний раз на GTX9800. Не факт, что производитель оставит там что-то больше типовых режимов 800х600 или 1024х768.
> узнал, что с помощью него нельзя выставить разрешение выше 1024х768
Можно, но номера режимов нестандартные.
> как драйвера nVidia делают, что у меня разрешение FullHD выставляется?
Это магия, закрытая под NDA. Для этого не используются старые DOS-интерфейсы реального режима, оставленные для совместимости. И ещё не факт что вообще оставленные и не поломанные для UEFI.
> я могу без драйвера nVidia такое сделать, на чистом ассемблере, под DOS?
Да, посмотри в сторону драйвера nouveau в ядре линукса. Там уже дизассемблировали и сделали по аналогии для старых карточек.
