Пришлось отключить VBO (если бы я ещё понимал до конца что это) чтобы не крашилось и вставить костылей везде где предполагалось их использование. То есть оно работает чисто на цпу сейчас, но как-то не заметно, чтобы требовалась оптимизация. И там ещё комментарии в коде предлагают оптимизации, до которых не дошло у авторов. Реально можно космических масштабов данные крутить.