あつまるエンジニアブログ

集客プラットフォーム事業を手がける株式会社あつまるのエンジニアブログです

Scrapy のクロール実行時 win32api の ImportError でコケる (Windows10, Python 3.5.2, Scrapy 1.5.0)

Scrapy でバグっぽい挙動にぶつかったので状況と解決策の記録です。 クローラーの実行に失敗する いつものように Scrapy でクローラーを走らせようとしたらエラーでコケました。 エラーのログはこんな感じ。 2018-01-27 14:36:06 [scrapy.utils.log] INFO: S…

Scrapy+AWS LambdaでWeb定点観測のイレギュラーに立ち向かう

Web スクレイピングはイレギュラーとの戦いです。特にそれが Web 定点観測のためのスクレイピングであれば難易度はさらに高まります。 スクレイピングしようとしたタイミングでサーバーが死んでいるかもしれない クローラーを書いていたときには気づけなかっ…

Python3 で言語処理100本ノック 2015 - 第3章

乾・岡崎研究室が公開している 言語処理100本ノック 2015 に取り組んで行きます。 使用する言語は Python3 です。 第3章です。一部の方が大好きな 正規表現 の章です。 私は...、あんまり好きじゃないですね。 第3章: 正規表現 Wikipediaの記事を以下のフォ…

Python3 で言語処理100本ノック 2015 - 第2章

どうも、株式会社あつまるで Python 製の社内ツールなどを作っている三井です。 まさか続くとは。 乾・岡崎研究室が公開している 言語処理100本ノック 2015 に取り組んで行きます。 使用する言語は Python3 です。 第2章まで出来たんでまとめます。 第2章: U…

毎月数時間を要していたスキャンデータ整理をOCRで自動化した

どうも、株式会社あつまるで財務経理部を全力サポートしている三井です。 企業活動をするなかで見積書や請求書といった書類を発送するシーンは多いですよね。 私が勤める会社でもそういった書類をクライアントに郵送していますが、郵送する前の書類をスキャ…

一手間加えた INSERT - レコードが未登録のとき、登録済みのとき、

どうも、株式会社あつまるで元気よく SQL を書いている三井です。 DB にレコードを INSERT するとき、一手間加えて 未登録の場合に限って登録 や 登録済みなら一部フィールドだけ上書き などしたくなりますよね。 ここ最近、そのような SQL を書くことが多か…

JavaScript のデータを CSV で保存する

どうも、株式会社あつまるでコンサルティングに必要なデータのとりまとめをしている三井です。 意外と需要のある JavaScript のデータを CSV として保存するスニペットを書き留めます。 var data = [ ['name' , 'age', 'gender'], ['Andrew', 26 , 'male' ],…

Python3 で言語処理100本ノック 2015 - 第1章

どうも、株式会社あつまるで Python 製の社内ツールなどを作っている三井です。 乾・岡崎研究室が公開している 言語処理100本ノック 2015 に取り組んで行きます。 使用する言語は Python3 です。 第1章から第10章で構成されているのでまずは第1章から。 では…

【jQueryの基本のき】パート4 - jQueryのいろんなバージョン

どうも、株式会社あつまるでフロントエンドエンジニアをやっている三井です。 これまでjQueryの使い方についてねちっこく解説してきましたが...。 今回は「使い方」ではなく「選び方」です。 ビギナーズからよく飛び出す質問「どのバージョンのjQueryを使え…

【jQueryの基本のき】パート3 - 起動スクリプトを囲っているアレをひもとく

どうも、株式会社あつまるでフロントエンドエンジニアをやっている三井です。 さて、前回までjQueryプラグインの基本的な使い方をおさらいして、さらに起動スクリプトについて詳しく解説してみました。 今回は、これまで意図的に触れずにスルーしてきた部分…

【jQueryの基本のき】パート2 - 起動スクリプトを詳しく解説

どうも、株式会社あつまるでフロントエンドエンジニアをやっている三井です。 前回はjQueryプラグインを設置するための基本的な流れを解説しました。 今回はプラグインを使いこなすための要(かなめ)になる 起動スクリプト についてイメージしやすい例で解説…

【jQueryの基本の"き"】 パート1 - jQueryプラグインの使い方

どうも、株式会社あつまるでフロントエンドエンジニアをやっている三井です。 今回書きたいのは jQueryプラグインの 作り方 ではなく、使い方 です。 Web上には多くのjQueryプラグインが公開されていますが、どのプラグインにも共通する基本の使い方を解説し…