Медленная производительность html/template в Go lang, любое обходное решение?

Ответ 1

Есть две основные причины, по которым эквивалентное приложение, использующее html/template, медленнее, чем вариант PHP.

В первую очередь html/template предоставляет больше функциональности, чем PHP. Основное отличие состоит в том, что html/template автоматически вытеснит переменные, используя правильные правила экранирования (HTML, JS, CSS и т.д.) В зависимости от их местоположения в результирующем выходе HTML (что, я думаю, довольно круто!).

Во втором случае html/template код рендеринга сильно использует отражение и методы с переменным числом аргументов, и они просто не так быстро, как статически скомпилированный код.

Под капотом следующий шаблон

{{ .Title }}
{{ .Subtitle }}

{{ range .Posts }}
    {{ .Title }}
    {{ .Content }}
{{ end }}

преобразуется в нечто вроде

{{ .Title | html_template_htmlescaper }}
{{ .Subtitle | html_template_htmlescaper }}

{{ range .Posts }}
    {{ .Title | html_template_htmlescaper }}
    {{ .Content | html_template_htmlescaper }}
{{ end }}

Вызов html_template_htmlescaper с использованием отражения в цикле убивает производительность.

Сказав все, что этот микро-тест html/template не должен использоваться, чтобы решить, использовать ли Go или нет. Когда вы добавляете код для работы с базой данных обработчику запроса, я подозреваю, что время рендеринга шаблона вряд ли будет заметно.

Также я уверен, что со временем оба отражения Go и пакет html/template станут быстрее.

Если в реальном приложении вы обнаружите, что html/template является узким местом, все равно можно переключиться на text/template и предоставить ему уже экранированные данные.

Ответ 2

Вы работаете с массивами и структурами, которые являются не указательными типами, и не являются дескрипторами (например, срезами или картами или каналами). Поэтому их передача всегда создает копию значения, присваивая значение массива переменной, копируя все элементы. Это медленно и дает огромную работу GC.

Также вы используете только 1 ядро ​​процессора. Чтобы использовать больше, добавьте это в свою функцию main():

func main() {
    runtime.GOMAXPROCS(runtime.NumCPU())
    http.HandleFunc("/", handler)
    log.Fatal(http.ListenAndServe(":8888", nil))
}

Изменить: Это был только случай до Go 1.5. Поскольку Go 1.5 runtime.NumCPU() по умолчанию.

Ваш код

var Posts [100]Post

Выделен массив с пространством для 100 Post.

Posts[i] = Post{i, "Sample Title", "Lorem Ipsum Dolor Sit Amet"}

Вы создаете значение Post с составным литералом, затем это значение копируется в i -й элемент массива. (Резервный)

var p Page

Это создает переменную типа Page. Это struct, поэтому выделена его память, которая также содержит поле Posts [100]Post, поэтому выделяется другой массив из элементов 100.

p.Posts = Posts

Это копирует элементы 100 (сотни структур)!

tmpl.ExecuteTemplate(w, "index.html", p)

Это создает копию p (которая имеет тип Page), поэтому создается еще один массив сообщений 100 и копируются элементы из p, затем он передается в ExecuteTemplate().

И поскольку Page.Posts - это массив, скорее всего, когда он будет обработан (переработан в движке шаблона), копия будет сделана из каждого элемента (не проверена - не проверена).

Предложение для более эффективного кода

Некоторые вещи, чтобы ускорить ваш код:

func handler(w http.ResponseWriter, r *http.Request) {
    type Post struct {
        Id int
        Title, Content string
    }

    Posts := make([]*Post, 100) // A slice of pointers

    // Fill posts
    for i := range Posts {
        // Initialize pointers: just copies the address of the created struct value
        Posts[i]= &Post{i, "Sample Title", "Lorem Ipsum Dolor Sit Amet"}
    }

    type Page struct {
        Title, Subtitle string
        Posts []*Post // "Just" a slice type (it a descriptor)
    }

    // Create a page, only the Posts slice descriptor is copied
    p := Page{"Index Page of My Super Blog", "A blog about everything", Posts}

    tmpl := templates["index.html"]

    // Only pass the address of p
    // Although since Page.Posts is now just a slice, passing by value would also be OK 
    tmpl.ExecuteTemplate(w, "index.html", &p)
}

Пожалуйста, проверьте этот код и отчитайте результаты.

Ответ 3

html/template медленный, потому что он использует reflection, который еще не оптимизирован для скорости.

Попробуйте quicktemplate как обход медленного html/template. В настоящее время quicktemplate более чем в 20 раз быстрее, чем html/template в соответствии с эталоном из его исходного кода.

Ответ 4

PHP не отвечает одновременно с 5000 запросами. Запросы мультиплексируются в несколько процессов для последовательного выполнения. Это позволяет более эффективно использовать как процессор, так и память. 5000 одновременных соединений могут иметь смысл для брокера сообщений или аналогичных, делая ограниченную обработку небольших фрагментов данных, но это не имеет никакого смысла для любой службы, выполняющей реальные операции ввода-вывода или обработки. Если ваше приложение Go не находится за прокси-сервером какого-либо типа, который будет ограничивать количество одновременных запросов, вы захотите сделать это самостоятельно, возможно, в начале вашего обработчика, используя буферный канал или группу ожидания, a la https://blakemesdag.com/blog/2014/11/12/limiting-go-concurrency/.