Fix tests issue

This patch fix https://travis-ci.org/funilrys/hosts/jobs/347500695#L397

Please also note that I introduced that patch because
we do not directly use lxml but it is required by
BeautifulSup() to parse the HTML.

Fix tests issue

This patch fix https://travis-ci.org/funilrys/hosts/jobs/347500695#L398

Review typo + fix test issue.

This patch fix https://travis-ci.org/funilrys/hosts/jobs/347497718#L749

Fix test issue.

This patch fix https://travis-ci.org/funilrys/hosts/jobs/347497718#L748

Introduction of requirements.txt

Please note that those file can be used to install
dependencies with 'pip install -r requirements.txt'

Review of get_file_by_url()

Please note that this patch also introduce
which is in charge of converting a domain in a line into
IDNA and/or UTF-8 format.

Also note the introduction of BeautifulSoup() which helps
us to decode data from the downloaded URL.

Fixes (issue(s)/protocol(s) I was able to reproduce):
 * https://github.com/StevenBlack/hosts/issues/514#issuecomment-368932152

Possible fix of (issue(s)/protocol(s) I wasn't able to reproduce):
 * https://github.com/StevenBlack/hosts/issues/514#issue-300048106
 * https://github.com/StevenBlack/hosts/issues/494#issue-296166492
 * https://github.com/StevenBlack/hosts/issues/420#issue-267453114
 * https://github.com/StevenBlack/hosts/issues/372#issue-246927047
 * https://github.com/StevenBlack/hosts/issues/382#issuecomment-322010562

New data from yoyo.org, and CoinBlockerList.

Merge pull request #516 from ScriptTiger/patch-1

Removed Cryptominer Domains

New data from someonewhocares.org.

New domains submitted.

Merge pull request #517 from paxperscientiam/patch-4

phish

phish

Both of these ".win" sites serve up rotten phish (adobe flash).

Removed Cryptominer Domains

Reinstate help.evernote.com.  Closes #511.

Merge pull request #512 from FadeMind/patch-1

readme_template.md: Chrome required manually cleanup DNS Cache

readme_template.md: tenses fixes

Issue #511: fix - remove help.evermote.com on a trial basis, hope they've come to their senses.

Issue #510: fix - new updates from CoinBlockerList. Also new domains from yoyo.org.

readme_template.md: Chrome required manually cleanup DNS Cache

See: https://superuser.com/questions/723703

Issue #509: fix - pull the correct file from ZeroDot1/CoinBlockerLists.

New data from yoyo.org, someonewhocares.org, and KadHosts.

Adding CoinBlockerList.  Thanks ZeroDot1, via @FadeMind.

Adding a good coin blocking list to the repo.

New data from yoyo.org, and someonewhocares.org.

Issue #506: fix - dropping Spotify-Ad-free.  cc @CHEF-KOCH.

Merge pull request #503 from ankitpati/minimise-hosts-file

Add Option to Minimise hosts File

update docs after adding minimise switch

update defaults dictionary for minimise switch

Merge pull request #502 from ankitpati/fix-hardcoded-offset-in-compression

Remove Hardcoded Offset in Compression

Add Option to Minimise hosts File

This option (--minimise, -m) differs from compress (--compress, -c) in
that it keeps each host on a different line, while still removing
unnecessary newlines and comments.

This is necessary because many implementations of URL blockers that rely
on hosts files do not conform to the standard which allows multiple
hosts on a single line.

FIX: Remove Hardcoded Offset in Compression

An offset of 7 was hardcoded in the function compress_file, presumably
to skip over the default target IP address of 0.0.0.0 in a hosts file.
However, this causes problems when the default is overridden using the
--ip or -i flag, causing visibly garbled output in the generated hosts
file.

Fix is to calculate the length of target IP at runtime.

Update for recent edits at source.

New data from clefspeare13

new data from someonewhocares.org, Badd-Boyz, add.Spam, and add.Risk.  Closes #498.

Merge pull request #492 from FadeMind/master

Spotify-Ad-free init

new data from someonewhocares.org.

Adding some domains that bug me today.

Spotify-Ad-free init

New data from yoyo.org, and new host records from commit 5b5e854.

Merge pull request #491 from FadeMind/patch-1

updateHostsFile.py: add ipv6 additionals

updateHostsFile.py: add ipv6 additionals

@StevenBlack.
DEFAULT hosts file in Linux

127.0.0.1       localhost
127.0.1.1       mydevicename
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

New data from yoyo.org, someonewhocares.org, and many new domains from Badd-Boys.

Merge pull request #488 from ScriptTiger/patch-1

Added and loaded a new spam domain section

Added and loaded a new spam domain section

Added and loaded a new spam domain section

New data from sinfonietta, yoyo.org, someonewhocares.org, and Badd-Boyz.

New data from yoyo.org, someonewhocares.org, mvps.org, and Badd-Boyz.

Two new domains in the coin ad and tracking space.

Added malvertizing domains.

Merge pull request #477 from anudeepND/master

Added malvertising domains

New data from yoyo.org and someonewhocares.org.

Added malvertising domains

New domains added to my hosts collection.

Merge pull request #473 from paxperscientiam/patch-2

more snooper bs

Merge pull request #472 from ScriptTiger/patch-1

Added some mobile app ad servers and malware

New data from yoyo.org.

Addition to the readme: “How can I contribute hosts records?”.

New data from clefapeare, yoyo.org, someonewhocares.org, Badd-Boyz, and add.risk.

More ad servers

Added some mobile ad servers I picked up from mobile devices.

more snooper bs

OK, `www.benelli.angiemktg.com` leads to the same mystersnooper site I PR'd earlier. That being the case, I see no reason not to block the domain `angiemktg.com`.

Added "tracking.lenzmx.com"

Caught it getting called by various mobile apps and contains malware.

New data from sinfonietta, yoyo.org, and someonewhocares.org.

Merge pull request #468 from paxperscientiam/patch-1

Possible scam sites

Possible scam sites

Been seeing links to sites with the domain `largeloot.com`. Right now, `http://spark.largeloot.com` appears to redirect to `https://www.mysterysnooper.com/`

This may be a mystery shopper scam, but I'm not entirely sure. If it helps, I came across `http://spark.largeloot.com` on craigslist's gigs section.

New data from yoyo.org, someonewhocares.org, Badd-Boyz, add.Risk, and add.Dead.

Merge pull request #464 from gfyoung/minor-fixes

Update LICENSE and CI

Update LICENSE and CI

1) It's 2018
2) conda update --all no longer applies to conda itself.
   conda update conda needs to be explicitly called.

New data from yoyo.org, Uncheckyads, and SpotifyAds.

New data from clefspeare, sinfonietta, yoyo.org, someonewhocares, and Bad-Boyz.

Merge pull request #461 from anudeepND/master

Added domains related to alphonso.tv

Added domains related to alphonso.tv

Merge pull request #459 from stefanopini/master

Added an option to compress the created hosts file.

Fixed the number of domains in each line.
Fixed the number of domains in each line and added the support to
inline comments (they will be ignored as the comment lines).
Code refactoring.

Updated the documentation with the new compress option.
Removed a redundant skipstatichosts option.

New data from sinfonietta

Added an option to compress the created hosts file.
In particular, the compression option removes non-necessary lines (empty lines and comments) and puts multiple domains in each line.
This option should solve the issue #411 regarding the DNS client service of Windows.

New data from yoyo.org, and someonewhocares.org.

Added an option to compress the created host file.
In particular, the compression option removes non-necessary lines (empty lines and comments) and puts multiple domains in each line.
This option should solve the issue #411 regarding the DNS client service of Windows.

New data from yoyo.org, and someonewhocares.org.

New data from someonewhocares.org, and Badd-Boyz.

Fix linter complaint.

New build, without EtherAddressLookup.

Issue #457: fix — remove EtherAddressLookup.

Fix typo in the EtherAddressLookup description key’s value.

New data from yoyo.org, and someonewhocares.org.

Adding EtherAddressLookup to our sources of hosts data.

Issue #180: fix - support JSON array transformation for hosts sources.

New data from yoyo.org.

Merge pull request #454 from paxperscientiam/master

mackeeper bs

mackeeper bs

New data from yoyo.org, someonewhocares.org, mvps.org, malwaredomainlist.com, and Badd-Boyz.

Merge pull request #449 from anudeepND/master

New ads and tracking domains

Tracking on Xiaomi MiUi OS [updated]

Blocked ads and tracking on TerrariumTV app

Merge pull request #447 from alexbel/master

Add matchmyip.com tracking site

Add matchmyip.com tracking site

New data from fakenews, yoyo.org, someonewhocares.org, and Badd-Boyz.

New data from yoyo.org, someonewhocares.org, and Badd Boyz.

Merge pull request #443 from Voker57/master

Remove kiwifarms.net from StevenBlack list

Remove kiwifarms.net from StevenBlack list

kiwifarms.net does not contain on-by-default cryptocurrency miner anymore

Merge pull request #442 from FadeMind/patch-1

dobreprogramy scam/fraud variants

dobre-programy.xyz scam/fraud