Softsign Funktion Rechner

📊 Verschiedene Darstellungen

Alternative Formulierungen der Softsign-Funktion:

\[\text{softsign}(x) = \frac{x}{1 + |x|} \quad \text{(Standard-Form)}\] \[\text{softsign}(x) = \begin{cases} \frac{x}{1 + x} & \text{wenn } x \geq 0 \\ \frac{x}{1 - x} & \text{wenn } x < 0 \end{cases}\] \[\text{softsign}(x) = \text{sign}(x) \cdot \frac{|x|}{1 + |x|} \quad \text{(Aufgeteilte Form)}\]

🔄 Vergleich mit Tanh

Softsign vs. Tanh-Funktion:

\[\text{Tanh: } \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} = \frac{e^{2x} - 1}{e^{2x} + 1}\] \[\text{Softsign: } \text{softsign}(x) = \frac{x}{1 + |x|}\] \[\text{Gemeinsam: } f(0) = 0, \text{ Wertebereich } (-1, 1), \text{ Punktsymmetrie}\] \[\text{Unterschied: Tanh sättigt schneller, Softsign langsamer}\]

📈 Ableitungen und Eigenschaften

Wichtige mathematische Eigenschaften:

\[\text{Ableitung: } \frac{d}{dx}\text{softsign}(x) = \frac{1}{(1 + |x|)^2}\] \[\text{Für } x > 0: \frac{d}{dx}\text{softsign}(x) = \frac{1}{(1 + x)^2}\] \[\text{Für } x < 0: \frac{d}{dx}\text{softsign}(x) = \frac{1}{(1 - x)^2}\] \[\text{Maximum der Ableitung bei } x = 0: \text{softsign}'(0) = 1\]

📝 Beispiel 1: Grundlegende Berechnungen

Aufgabe: Softsign-Werte für verschiedene Eingaben
Berechnung:

\[\text{softsign}(-2) = \frac{-2}{1 + |-2|} = \frac{-2}{1 + 2} = \frac{-2}{3} \approx -0{,}667\] \[\text{softsign}(-1) = \frac{-1}{1 + 1} = \frac{-1}{2} = -0{,}5\] \[\text{softsign}(0) = \frac{0}{1 + 0} = 0\] \[\text{softsign}(1) = \frac{1}{1 + 1} = \frac{1}{2} = 0{,}5\] \[\text{softsign}(2) = \frac{2}{1 + 2} = \frac{2}{3} \approx 0{,}667\]

Symmetrie: softsign(-x) = -softsign(x) für alle x

📝 Beispiel 2: Vergleich mit Tanh

Aufgabe: Unterschiede zwischen Softsign und Tanh
Eingabe: x = 2
Berechnung:

\[\text{Softsign: } \text{softsign}(2) = \frac{2}{1 + 2} = \frac{2}{3} \approx 0{,}667\] \[\text{Tanh: } \tanh(2) = \frac{e^4 - 1}{e^4 + 1} \approx \frac{54{,}6 - 1}{54{,}6 + 1} \approx 0{,}964\] \[\text{Verhältnis: } \frac{\text{softsign}(2)}{\tanh(2)} \approx \frac{0{,}667}{0{,}964} \approx 0{,}692\] \[\text{Beobachtung: Softsign sättigt langsamer}\]

Verhalten: Bei großen |x| nähert sich Softsign langsamer den Grenzen ±1

📝 Beispiel 3: Neuronales Netzwerk

Aufgabe: Aktivierung in versteckter Schicht
Gegeben: Gewichtete Summe z = 1.5
Berechnung:

\[\text{Aktivierung: } a = \text{softsign}(1{,}5) = \frac{1{,}5}{1 + 1{,}5} = \frac{1{,}5}{2{,}5} = 0{,}6\] \[\text{Ableitung: } \frac{da}{dz} = \frac{1}{(1 + |1{,}5|)^2} = \frac{1}{(2{,}5)^2} = \frac{1}{6{,}25} = 0{,}16\] \[\text{Vergleich Tanh: } \tanh(1{,}5) \approx 0{,}905, \quad \tanh'(1{,}5) \approx 0{,}181\] \[\text{Gradient-Verhalten: Ähnliche Ableitungen, aber andere Aktivierung}\]

Backpropagation: Sanftere Gradienten können stabileres Training fördern

✅ Vorteile der Softsign-Funktion

Positive Eigenschaften im Vergleich zu anderen Aktivierungsfunktionen:

\[\text{✓ Einfache Berechnung ohne Exponentialfunktionen}\] \[\text{✓ Numerisch stabil für alle Eingabewerte}\] \[\text{✓ Langsamere Sättigung als Tanh}\] \[\text{✓ Sanfte Gradienten reduzieren Exploding Gradients}\] \[\text{✓ Symmetrisch um den Ursprung}\] \[\text{✓ Kontinuierlich differenzierbar}\]

⚠️ Nachteile und Limitationen

Herausforderungen bei der Verwendung:

\[\text{⚠ Kann zu langsames Lernen verursachen}\] \[\text{⚠ Weniger expressive Power als Tanh für komplexe Muster}\] \[\text{⚠ Begrenzte empirische Evidenz für Überlegenheit}\] \[\text{⚠ Vanishing Gradient Problem bei sehr tiefen Netzen}\] \[\text{⚠ Nicht so weit verbreitet wie ReLU oder Tanh}\]

📊 Funktionswerte-Vergleich

💻 Code-Implementierungen

Implementierung der Softsign-Funktion:

Python (NumPy):
def softsign(x):
  return x / (1 + np.abs(x))

def softsign_derivative(x):
  return 1 / ((1 + np.abs(x)) ** 2)

# Vektorisierte Version
def softsign_vectorized(x):
  return np.divide(x, 1 + np.abs(x))

TensorFlow/Keras:
tf.nn.softsign(x)
# oder als Layer:
tf.keras.activations.softsign

PyTorch:
torch.nn.functional.softsign(x)
# oder als Layer:
torch.nn.Softsign()

🎯 Praktische Anwendung

Verwendung in neuronalen Netzen:

Keras/TensorFlow Beispiel:
model = tf.keras.Sequential([
  tf.keras.layers.Dense(64, activation='softsign'),
  tf.keras.layers.Dense(32, activation='softsign'),
  tf.keras.layers.Dense(10, activation='softmax')
])

# Oder als benutzerdefinierte Schicht:
class SoftsignLayer(tf.keras.layers.Layer):
  def call(self, inputs):
    return tf.nn.softsign(inputs)

PyTorch Beispiel:
class Net(nn.Module):
  def __init__(self):
    super().__init__()
    self.fc1 = nn.Linear(784, 128)
    self.fc2 = nn.Linear(128, 64)
    self.fc3 = nn.Linear(64, 10)
    self.softsign = nn.Softsign()

  def forward(self, x):
    x = self.softsign(self.fc1(x))
    x = self.softsign(self.fc2(x))
    return self.fc3(x)