Die Isolationsmechanismen (zusammenfassender Begriff: Fortpflanzungsisolation) umfassen eine Reihe von Umständen, welche die genetische Vermischung verschiedener Populationen, Rassen oder Arten verhindern. Diese können entweder aus einer Veränderung der umgebenden Umwelt (Bildung von Gebirgszügen, Auseinanderdriften von Landmassen o.ä.), oder einer Veränderung des Verhaltens oder der Physiognomie der jeweiligen Population selbst resultieren. Nachkommen, welcher aus einer Vermischung zweier nah verwandter Arten (zum Beispiel Tiger und Löwe, oder Pferd und Esel) entstehen werden ursprünglich Bastarde genannt. Aufgrund der negativen Konnotation des Wortes "Bastard" ist heute jedoch die Bezeichnung Hybrid gebräuchlich.

Viele der genetischen Veränderungen, die eine Isolation hervorrufen werden während der "allopatrischen oder sympatrischen Artbildung" zweier Teilpopulationen entwickelt, bei der allopatrischen Artbildung, nachdem diese durch die Separation (z. B. durch geographische Barrieren) getrennt wurden.
Die Ausbildung von Isolationsmechanismen führt bei vollständigem Ablauf der allopatrischen Artbildung zu so großen Unterschieden, dass bei einem sekundären Zusammentreffen keine Verpaarung bzw. keine Fortpflanzung zustande kommt und so ein Vermischen der Formen verhindert wird. Diese Formen haben jetzt Artstatus zueinander.

Man könnte das Entstehen von Isolationsmechanismen für ein zufälliges Nebenprodukt der unterschiedlichen Selektionsdrücke halten, denen die beiden Populationen während der getrennten Entwicklung unterliegen. Häufig kann aber in Gegenden, in denen die Vertreter der beiden Arten gemeinsam vorkommen, eine so genannte Kontrastbetonung beobachtet werden. Damit werden die Unterschiede zwischen den Arten gezielt verstärkt, was durchaus Auswirkungen auf das Fortpflanzungsverhalten der Individuen haben könnte. Solche Beobachtungen sprechen dafür, dass die Isolationsmechanismen kein zufälliges Nebenprodukt sind, sondern selbst einem Selektionsdruck unterliegen.

Einteilung der Isolationsmechanismen

praezygotisch oder progam ('prae = vor'; 'zygot = befruchtete Eizelle') bzw. ('pro = vor'; 'gam = Heirat') vor der Begattung wirksam:

• jahreszeitliche/tageszeitliche (zyklische) Isolation: Arten können sich theoretisch paaren, haben aber unterschiedliche Paarungszeiten oder Schlaf-Wach-Rhythmen
• genetische Isolation: auf Grund von Mutationen kann keine Fortpflanzung mehr mit der Ursprungspopulation stattfinden. Eine neue Art hat sich gebildet.
• geografische Isolation: (Separation): Hier werden zwei Populationen durch geografische Barrieren voneinander getrennt
• ökologische Isolation: Verschiedene Populationen einer Art leben im selben Gebiet, nutzen aber die Ressourcen auf unterschiedliche Weise, haben also unterschiedliche ökologische Nischen besetzt.
• gametische Isolation: Es kann zwar zu einer Paarung kommen, jedoch kann das Spermium z.B. auf Grund von mangelnder Kompatibilität der chemichen Botenstoffe der Gameten nicht in die Eizelle eindringen.

• Verhaltensisolation durch genetisch bedingte Änderungen des Verhaltens
  • optische Isolation (Sehen)
  • akustische Isolation (Hören)
  • chemische (z. B. olfaktorische) Isolation (Riechen usw.)
  • haptische Isolation (Tastsinn)
• mechanische Isolation (Begattungsorgane passen nicht zusammen)

postzygotisch oder metagam ('post = nach') bzw. ('meta = nach') nach der Begattung wirksam

• Unverträglichkeit des Genoms Die Verschmelzung der Gameten kann zwar erfolgen, allerdings ist das Erbgut beider Zellen derart inkompatibal, dass der Zellstoffwechsel frühzeitig zum Erliegen kommt und die Zygote abstirbt.
• Hybridsterblichkeit (der Hybrid verstirbt bevor er geschlechtsreich wird)
• Sterilität des Hybrids ("Mauleselsterilität")
• verminderte Vitalität des Bastards (Lebenstüchtigkeit herabgesetzt)
• F2-Zusammenbruch (die Nachkommen der Hybride sind nicht lebensfähig)