Herb Geller wurde 1928 in Los Angeles geboren. Nachdem er als Vierzehnjähriger Benny Carter im Orpheum Theatre in Los Angeles hörte, beschloß Herb das Altsaxophon zu erlernen. Nur zwei Jahre später bekam er sein erstes professionelles Engagement in der Band des Violinsten Joe Venuti.

Zu dieser Zeit entdeckte er die Musik von Charlie Parker der neben Benny Carter zu seinem zweiten großen Idol wurde.

1948 reiste Herb zum ersten Mal nach New York wo er in den Bands von Jack Fina, Claude Thornhill, Jerry Wald und Lucky Millinder arbeitete. Dort begegnete ihm die Pianistin Lorraine Walsh, die nicht nur seine Ehefrau, sondern gleichzeitig eine wichtige musikalische Partnerin wurde. 1952 zogen die Gellers wieder zurück an die Westküste der USA wo sie gemeinsam in kleineren Ensembles arbeiteten. Außerdem spielte Herb zu der Zeit in den Bands von Billy May, Shorty Rodgers, Maynard Ferguson, Dan Terry, Bill Holman und Chet Baker. Im Jahre 1955 gewann er den “New Star Award“ von Down Beat und erlangte auch durch seine Aufnahmen mit Clifford Brown weltweiteAnerkennung.

1958 starb Lorraine Geller unerwartet. Zu dieser Zeit arbeitete Herb Geller in den Bands von Shelly Manne, Louis Bellson und Benny Goodman. Während einer Brasilientournee mit dem Benny Goodman Orchester entschied Herb sich, nicht wieder in die USA zurückzukehren. Er blieb sechs Wochen lang in Sao Paulo und spielte Bossa Nova bis er ein Schiff nach Lissabon nahm. Schließlich landete er in Paris wo er u.a. mit Kenny Clarke und Kenny Drew für den französischen Rundfunk arbeitete.

1962 wurde ihm von der Bigband des RIAS in Berlin ein Vertrag angeboten. Er nahm das Engagement an und spielte dort neben anderen “Americans In Europe“ wie Benny Bailey, Joe Harris, Nat Peck und herausragenden europäischen Musiker wie Ack und Jerry van Rooyen. In Berlin begegnete ihm auch seine zweite Ehefrau Christine Rabsch. Herb blieb dort drei Jahre bis er einen Vertrag als Leadaltist der Bigband des Norddeutschen Rundfunks in Hamburg unterschrieb. Dort war er 28 Jahre fest engagiert. Während dieser Zeit entwickelte sich die NDR-Bigband von einem Nachkriegs-Tanzorchester zu einer der interessantesten Bigbands des modernen Jazz. Die endlose Liste der an den Produktionen beteiligten Musikern reicht von Joe Pass und Chet Baker bis zu Avantgardemusikern wie Anthony Braxton und schließt fast alle großen Namen des europäischen Jazz ein.

Neben seiner Arbeit beim NDR war Herb Geller immer auch in anderen Besetzungen aktiv, einschließlich seiner eigenen Projekte und Tourneen. 1976 wurde er als Künstler des Jahres mit dem Deutschen Schallplattenpreis ausgezeichnet und ist seit 1986 auch als Professor für Saxophon an der Hochschule für Musik in Hamburg tätig.