Есть два распространенных ядра сервера CraftBukkit и Spigot. Пробуй ставить Bukkit или же Spigot. Vanilla - официальное серверное ядро от Mojang, оно не очень уж оптимизировано. Я всегда работал с этими двумя видами ядер, так, что на счет Vanill'ы знать не могу. Так, что поставь CraftBukkit, а лучше Spigot. А так, если делаешь сервер для друзей, то сделай по Hamachi. Так легче и все у тебя под рукой.