En html5:

<video controls="controls" height="222" width="400">
<source src="video.mp4" type="video/mp4">
<source src="video.webm" type="video/webm">
<source src="video.ogv" type="video/ogg">
Ici l'alternative à la vidéo : un lien de téléchargement, un message, etc.
</video>

Pour la conversion, utiliser avconv:

avconv -i nomdefichier nomfichier.mp4
avconv -i nomdefichier nomfichier.webm
avconv -i nomdefichier nomfichier.ogv

Ou bien ffmpeg:
ffmpeg -threads 3 -i nomdefichier -vcodec libx264 nomdefichier.mp4
ffmpeg -threads 3 -i nomdefichier -vcodec libtheora nomdefichier.ogv

Pour plus de détails, voir la page sur le site de Alsacréations:
 http://www.alsacreations.com/article/lire/1125-introduction-balise-video-html5-mp4-h264-webm-ogg-theora.html