Leute ..die Dateiendungen sind keine Videoformate.. das sind Dateiformate respektive Container oder Transportstreams..
Im Container gibts dann die Streams (Video,Audio,Subtitle etc.)
Es liegt ganz allein am Codec/Bitrate wie hinterher der Film aussieht. Selbst Mpeg2 kannst mit exorbitanter Bitrate wunderschön aussehen lassen, bloss muss man eben mit den Petabyte grossen Dateien klarkommen.. und das Eingangsmaterial muss stimmen, sonst wirds auch nicht schöner)
Für halbwegs gute Ergebnisse (Dateigrösse/Qualität) würde ich h.264 oder eben das neue Divx nehmen ..die tun sich beide nicht sonderlich viel.
Als Containerdateien (die ja auch den Inhalt aufnehmen können müssen) gibts für die oben genannten viel Auswahl. Bloss unterstützen nicht alle jedes Feature .. Als Alternative zu mkv würde ich mal mp4 versuchen...
Je nachdem was Du alles damit machen willst..
Referenz:
http://encodingwissen.de/formate/container.html
Um Deine BluRay neu zu verpacken/zu komprimieren/neu zu codieren könntest Du die folgenden Tools als hilfreich erachten (Sind aber alles Standardkonforme Profitools.. könnte etwas Einarbeitungszeit brauchen)
Anydvd/Dvdfab (Kopierschutz weg)
Dgdecnv (Kostenpflichtig 12€, Nvidiakarte Voraussetzung)
Avisynth (Frameserver)
Megui/Staxrip (GUI All-in-One)
Mkvtoolnix/Mp4Box (Muxer, obwohl x264 auch .mp4/mkv Dateien ausgeben kann)
x264 (Encoder)
Mediainfo (Infotool)