Musst im Catalyst Control Center aktivieren..
Video->AMD Video Converter->Beschleunigung aktivieren..
Auf der Xilisoft Seite steht Deine Grafikkarte garnicht dabei.
http://www.xilisoft.de/cuda.html
Versuchs einfach mal.. oder mit dem hausinternen Encoder.