Щ.
Я не осознал крепость твоей травы, но думаю тебе нужно что-нибудь вроде http://www.linux-fbdev.org
Или смирится с толщиной X-протокола. Или юзать TinyX.