Ja, das Bild zeigt ungefähr was ich erwartet hatte...
Als erstes solltest Du ganz dringend den Innenraum mal aufräumen, die Kabel sauber verlegen!
An der Rückwand sind Öffnungen um die Kabel auf die Rückseite durchzuführen. Die warme Luft muss irgendwohin und normalerweise steigt ware Luft nach oben und idealer Weise wird das durch gezielten Einsatz von Lüftern unterstützt. Wenn ich das Bild richtig deute, ist das ein Mini-Tower/Cube. Gerade wenn das Gehäuse so klein ist, ist es umso wichtiger die Kabel sauber zu verlegen. Die Kabel die sich da im Innenraum befinden stören den Airflow, heisst die warme Luft bleibt großteils drinnen und es entsteht ein Wärmestau. Dadurch heizen sich die Komponenten stärker auf als normal und takten sich runter. Also Kabel aus dem Weg und nach hinten damit!
Alternative wäre ein neues Gehäuse. Wenn Du ein Paar Euros über hast, würde ich das als erstes in Angriff nehmen. Ein vernünftiges Gehäuse gibt Dir die Möglichkeit, die Komponenten sauber zu verbauen, die Kabel ordentlich zu verlegen und bietet genug Platz für Erweiterungen, wie z.B. eine neue Grafikkarte. Es gibt auch spezielle Grafikkarten für kleine Gehäuse, aber die kosten deutlich mehr, genau wie Mainboards für kleine Gehäuse. Die Investition lohnt sich also, wenn man sparen will und zukünftig schrittweise aufrüsten will, genauso wie es Dir jetzt gleich was bringt, indem es kühl bleibt und Du die jetzigen Komponenten voll nutzen kannst.
Das hier wäre eine gute und günstige Wahl:
Raijintek Arcadia schwarz
Sharkoon VS4-W mit Sichtfenster
Als nächstes solltest Du den CPU-Kühler ersetzen. Ein besserer Kühler ist leiser und effektiver. Das gibt Dir die Möglichkeit die CPU ein wenig zu übertakten. Dadurch kannst Du die CPU noch eine Weile verwenden. Vor allem aber vermeidest Du das hitzbedingte Throtteln, also runtertakten der CPU.
Wenn Du dich entschließt das Gehäus zu wechseln und einen Midi-Tower zu kaufen, ist das hier eine gute Wahl:
Thermalright HR-02 Macho Rev. B
Mit dem Macho kannst Du gut übertakten und der ist auch eine gute Wahl für einen späteren Wechsel auf Intel. Auf dem FX6300 ist der auch kein Problem. Nur die 8-Kerner brauchen einen Topblower.
Bleibt das alte Gehäuse, wirst Du aus Platzmangel kaum an einem Topblower vorbeikommen. Der Scythe wäre da meine erste Wahl.
Scythe Grand Kama Cross 3
Für die jetzige CPU würde ich kein neues Board mehr kaufen, solange das jetzige Board funktioniert. Mit abgewinkelten Sata-Kabeln kommst Du an die Ports hinter der Grafikkarte ran. Aufrüsten auf nen FX8xxx lohnt sich nicht für Gaming und somit behalte das Board noch und spare auf was neues.
Wenn Du mehr Grafikleistung brauchst, wäre eine R9 380 ne gute Wahl. Alternative wäre eine GTX 960. Die hat zwar ihre Nachteile, aber mit dem kleinen Gehäuse würde ich drüber nachdenken. Die sind nämlich deutlich kleiner und somit günstiger, produzieren ausserdem weniger Wärme.
Gigabyte GeForce GTX 960 WindForce 2X OC
Sapphire Radeon R9 380 Nitro ITX Compact
Mit nem neuen Gehäuse hast Du volle Auswahl bei den Grafikkarten. Bedeutet z.B. bei der R9 380, Du nimmst eine Karte mit normaler Länge und sparst da schon die €30 (soviel kostet das Gehäuse) im Vergleich zur kurzen Version der Graka.
HIS Radeon R9 380 IceQ X² OC
Meine Empfehlung für schrittweisen Ausbau:
1. Gehäuse
2. CPU-Kühler
3. Ram (hat @Rosigatton schon was dazu geschrieben)
4. Grafikkarte
5. CPU & Mainboard
Jeder Schritt bringt Dich ein Stück weiter und Du kannst schauen wie es mit dem Geld ausgeht.
Übertakten der CPU:
Viel ist auf dem Board nicht drin, aber Du kannst auf jeden Fall die NB auf 2400/2600MHz hochsetzen. Evt. dafür die Spannung der NB minimal Anheben, wenn es einen Bluescreen gibt. Diese Massnahme hat den größten Effekt auf die Grafikleistung beim OC von FX-CPUs. Den CPU-Takt kanst Du per Multi anheben. Am besten den Multi auf den Turbotakt stellen und den Turbo deaktivieren, das sollte gehen ohne die Spannung zu erhöhen.