Verhalten ist wie der Körperbau ein Merkmal, das sich in der Evolution verändert, soweit es erblich mitbestimmt ist. Ein Verhalten hat adaptiven Wert, wenn es die reproduktive Fitness erhöht, also die Zahl der Nachkommen, die selbst fortpflanzungsfähig werden und die Gene des Tieres weitergeben. Selektion bewertet Verhalten nur an diesem Maß, nicht an Wohlbefinden, Lebensdauer oder Nutzen für die Art. Auch Lernfähigkeit ist genetisch mitbestimmt: Angeborene Anteile und Lernen wirken zusammen.

Zu jedem Verhalten gibt es zwei Arten von Erklärungen. Proximate Erklärungen fragen nach der unmittelbaren Verursachung: Welcher Reiz löst es aus, welche Nerven, Hormone und Lernvorgänge sind beteiligt? Ultimate Erklärungen fragen nach dem evolutionären Grund: Welchen Fitnessvorteil hatte es? Beide ergänzen sich.

Ein Verhalten wird gefördert, wenn sein Nutzen die Kosten im Mittel übersteigt. Kosten sind Energieverbrauch, Zeitaufwand, Verletzungs- und Todesrisiko sowie entgangene Gelegenheiten, Nutzen sind Nahrung, Revier, Partner, Schutz und Nachkommen. Da sich Fitness schwer messen lässt, vergleicht man Ersatzgrößen, etwa den Energiegewinn je Zeit bei der Nahrungssuche. Oft ergibt sich ein Optimum: Ein größeres Revier liefert mehr Nahrung, aber der Zuwachs wird immer kleiner, die Kosten der Verteidigung steigen dagegen weiter. Den größten Nettonutzen hat deshalb eine mittlere Reviergröße.

Kooperation ist gemeinsames Handeln, das allen Beteiligten nützt, etwa die Jagd im Löwenrudel. Altruismus senkt die Fitness des Handelnden und erhöht die eines anderen, zum Beispiel Alarmruf oder Futterabgabe. Er widerspricht der Selektion nicht, wenn der Verlust anders ausgeglichen wird:

• Verwandtenselektion: Verwandte tragen mit der Wahrscheinlichkeit $r$ dasselbe Allel (Verwandtschaftsgrad $r$: Eltern und Kinder 0,5, Geschwister im Mittel 0,5, Halbgeschwister 0,25, Cousins 0,125). Wer Verwandten hilft, fördert auch eigene Allele. Nach der Hamilton-Regel setzt sich Hilfe durch, wenn $r \cdot B > C$ gilt ($B$ Nutzen des Empfängers, $C$ Kosten des Helfers, beide in Nachkommen). Die eigene (direkte) und die über Verwandte gewonnene (indirekte) Fitness zusammen heißen Gesamtfitness.
• Reziproker Altruismus: Hilfe wird später erwidert. Das funktioniert, wenn sich die Tiere wiedererkennen, oft begegnen und Betrüger, die nur nehmen, erkannt und gemieden werden. Vampirfledermäuse teilen Blut mit hungrigen Gruppenmitgliedern, meist mit Verwandten oder früheren Helfern.

Kommunikation ist die Übertragung von Information durch Signale (Laute, Gesten, Düfte, Farben) von einem Sender zu einem Empfänger. Ein Signal setzt sich durch, wenn es im Mittel beiden nützt, etwa Alarmrufe, Balzsignale oder der Schwänzeltanz der Honigbiene, der Richtung und Entfernung einer Futterquelle anzeigt.

Aggression gegen Artgenossen entsteht bei Konkurrenz um Nahrung, Revier, Rang und Partner. Sie kostet Energie und riskiert Verletzung. Kämpfe sind deshalb oft ritualisiert: Drohen, Imponieren und Kräftemessen ohne Beschädigung, etwa das Brüllen der Hirsche. Der Schwächere gibt oft auf, bevor der Kampf eskaliert.

Bei vielen Arten können Weibchen wegen großer Eizellen, Schwangerschaft und Brutpflege nur wenige Nachkommen aufziehen. Ein Männchen steigert seine Nachkommenzahl mit jeder zusätzlichen Partnerin. Meist konkurrieren daher Männchen um Weibchen, und Weibchen wählen aus. Den Fortpflanzungserfolg durch Zugang zu Geschlechtspartnern nennt man sexuelle Selektion. Bei der intrasexuellen Selektion kämpfen Männchen gegeneinander, das fördert Körpergröße und Waffen wie Geweihe. Bei der intersexuellen Selektion wählen Weibchen, das fördert Schmuck und Gesang, etwa den Pfauenschwanz.

Solche Merkmale können das Überleben verschlechtern. Das Handicap-Prinzip erklärt sie: Ein aufwendiges Merkmal ist ein ehrliches Signal, denn nur ein gesundes Männchen kann die Kosten tragen. Rauchschwalben-Männchen mit künstlich verlängerten Schwanzfedern fanden schneller Partnerinnen. Das Merkmal wird übertrieben, bis die Überlebenskosten den Paarungsvorteil aufwiegen.

Der Erfolg einer Strategie hängt oft davon ab, was die anderen tun. Eine evolutionsstabile Strategie (ESS) ist eine Strategie, die, wenn fast alle sie verfolgen, von keiner anderen verdrängt werden kann. „Strategie“ ist hier eine erblich festgelegte Verhaltensregel, kein Plan.

Falken-Tauben-Modell: Zwei Tiere streiten um eine Ressource vom Wert $V$ (Fitnessgewinn). Der Falke kämpft bis zur Entscheidung oder Verletzung, eine Verletzung kostet $C$. Die Taube droht nur und weicht aus, wenn der Gegner kämpft. Auszahlung für das erste Tier bei gleicher Stärke:

Ist $V > C$, ist Falke die ESS. Ist $V < C$, ist keine reine Strategie stabil: In einer Taubenpopulation setzt sich der Falke durch ($V > \frac{V}{2}$), in einer Falkenpopulation die Taube ($0 > \frac{V - C}{2}$). Es stellt sich ein Gleichgewicht mit dem Falkenanteil $p = \frac{V}{C}$ ein (gemischte ESS).