A ação padrão para pesquisar com a barra de ferramentas do Firefox é abrir a pesquisa na guia atual. Isso me deixa louco, mas felizmente é fácil de corrigir.
Nova guia de pesquisa com tecla de atalho
Basta pesquisar usando Alt + Enter em vez de apertar a tecla Enter normal. Isso funcionará mesmo se o padrão ainda for a guia atual.
Nova guia de pesquisa por padrão
Digite about: config na barra de endereço e coloque o seguinte na caixa de filtro:
browser.search.openintab
Nova guia de pesquisa com o Tab Mix Plus instalado
Abra as opções do Tab Mix Plus através do menu Ferramentas. Clique em Eventos.
Nova guia de pesquisa com o clique do meio
Você também pode clicar no botão de pesquisa após digitar o texto na caixa de pesquisa. (Obrigado ao markdr nos comentários do Lifehacker para este)