Подтвердить что ты не робот

Спецификации характеристик терпят неудачу только в службах непрерывной интеграции CircleCI или Codeship

Мои самые основные характеристики спецификации проходят нормально, но не работают CircleCI и Codeship. Сбой тестов:

require 'spec_helper'

describe 'Authentication' do

  describe "sign in" do
    it "is the landing page for non-authenticated users" do
      user = create(:user)
      visit root_path

      expect( page ).to have_content 'LOG IN' # On sign-in page
      fill_in 'Email', with: user.email
      fill_in "Password", with: user.password
      click_button 'Sign in'

      expect( current_path ).to eq user_path(user)
    end
  end

  describe 'registration' do
    it "allows new users to register" do
      visit root_path

      click_link 'Sign up'
      fill_in 'Email', with: '[email protected]'
      fill_in 'Password', with: 'password'
      fill_in 'Password confirmation', with: 'password'
      fill_in 'First name', with: 'John'
      fill_in 'Last name', with: 'Doe'
      click_button "Sign up"

      expect( current_path ).to include '/users/'
      expect( page ).to have_content "Welcome! You have signed up successfully."
    end
  end
end

Тесты завершаются в первых строках, где они задают ожидания страниц (expect( page ).to have_content "LOG IN" и click_link "Sign up", соответственно), с ошибками, указывающими, что HTML-страница полностью пуста:

expected to find text "LOG IN" in ""

Я сохранил скриншоты на CircleCI, и они действительно показывают совершенно пустую страницу.

Здесь, где это становится интересным. Я попытался отладить проблему с помощью запуска/просмотра спецификаций на Circle с помощью VNC. Когда я a) установите driver: :selenium для тестов, b) добавьте sleep 1 или два к испытаниям перед тестированием ожиданий страницы и c) вручную запускать тест после SSHing на свои серверы с помощью VNC, я вижу, что тесты выполняются в Selenium (они открывают браузер в VNC), и они отлично проходят.

Однако за пределами VNC тесты последовательно не работают на обоих серверах CI. С или без тонн sleep и driver: :selenium. Любые идеи, которые могут вызывать это несоответствие между регулярными серверами CircleCI/Codeship и их локальной тестовой средой VCN/my? Я связался с людьми в CircleCI, но сейчас они в тупике.

Если уместно, я запускаю Ruby 2.2.0, Rails 4.2, Capybara 2.4.4, Capybara-Webkit 1.4.1 и Selenium-Webdriver 2.44.0

Некоторые потенциально релевантные файлы:

spec_helper.rb

ENV["RAILS_ENV"] = "test"

require File.expand_path("../../config/environment", __FILE__)

require "rspec/rails"
require "shoulda/matchers"
require "webmock/rspec"
require 'vcr'

Dir[Rails.root.join("spec/support/**/*.rb")].each { |file| require file }

module Features
  include Warden::Test::Helpers
  Warden.test_mode!

  def sign_in(user)
    login_as(user, scope: :user)
  end
end

module Controllers
  # Pre-parse controller responses for easy access
  def response_body
    body = JSON.parse(response.body)
    body.is_a?(Hash) ? body.to_sh : body.map(&:to_sh)
  end
end

module Mock
  def disable_webmock(&block)
    WebMock.disable!
    yield
    WebMock.enable!
  end
end

RSpec.configure do |config|
  config.expect_with :rspec do |c|
    c.syntax = :expect
  end

  # Save a screenshot to CircleCI when a feature test fails
  config.after(:each, :type => :feature) do |example|
    if example.exception
      artifact = save_page
      puts "\"#{example.description}\" failed. Page saved to #{artifact}"
    end
  end

  config.include Features, type: :feature
  config.include Controllers, type: :controller
  config.include Mock
  config.include Formulaic::Dsl, type: :feature
  config.infer_spec_type_from_file_location!
  config.infer_base_class_for_anonymous_controllers = false
  config.order = "random"
  config.use_transactional_fixtures = false
end

RSpec::Matchers.define :hash_eq do |expected|
  match do |actual|
    actual.recursive_symbolize_keys == expected.recursive_symbolize_keys
  end
end

VCR.configure do |c|
  c.cassette_library_dir = 'spec/fixtures/vcr_cassettes'
  c.hook_into :webmock
  c.allow_http_connections_when_no_cassette = true
  c.configure_rspec_metadata!
  c.ignore_hosts '127.0.0.1', 'localhost:3000'
end

ActiveRecord::Migration.maintain_test_schema!
Capybara.javascript_driver = :webkit

if ENV['CIRCLE_ARTIFACTS']
  Capybara.save_and_open_page_path = ENV['CIRCLE_ARTIFACTS']
end

WebMock.disable_net_connect!(allow_localhost: true)

database_cleaner.rb

RSpec.configure do |config|
  config.use_transactional_fixtures = false

  config.before(:suite) do
    DatabaseCleaner.strategy = :truncation
  end

  config.before(:each) do
    DatabaseCleaner.start
  end

  config.after(:each) do
    DatabaseCleaner.clean
  end

end
4b9b3361

Ответ 1

Я могу придумать пару вещей, чтобы попробовать:

  • Если вы хотите, чтобы ваши спецификации запускались без головы, попробуйте использовать poltergeist, а не capybara-webkit. Полтергейст имеет несколько преимуществ, которые я описал здесь: fooobar.com/questions/94727/...
  • Selenium может быть просто отвлекающим фактором, но если вы хотите заставить его работать, убедитесь, что ваша среда CI имеет правильную версию Firefox. Каждой версии selenium-webdriver требуется ограниченный диапазон версий Firefox. В CircleCI вы можете настроить circle.yml для установки конкретной версии Firefox. Сейчас мы используем selenium-webdriver 2.46.2 и Firefox 39.0.3, установленный с помощью команды circle.yml:

    dependencies:
      pre:
        - sudo apt-get update; sudo apt-get install firefox=39.0.3+build2-0ubuntu0.12.04.1
    

    Я не знаю о Кодексе.

Ответ 2

Я испытал нестабильность тестов Selenium на CircleCI, пока не наткнулся на это сообщение https://discuss.circleci.com/t/selenium-tests-timing-out/7765/2

После добавления:

machine:
  environment:
    DBUS_SESSION_BUS_ADDRESS: /dev/null

к моему circle.yml, мои тесты стали стабильными.